近日，阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI主導(dǎo)的論文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》，大模型參數(shù)高效稀疏訓(xùn)練算法PST被IJCAI（International Joint Conference on Artificial Intelligence）2022錄取。論文通過(guò)減少模型稀疏訓(xùn)練過(guò)程中需要更新的參數(shù)量，從而減少大模型稀疏訓(xùn)練的時(shí)間以及資源開(kāi)銷(xiāo)。

IJCAI（International Joint Conference on Artificial Intelligence）是人工智能領(lǐng)域的頂級(jí)國(guó)際會(huì)議之一，涉及機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理等多個(gè)方向。本年度會(huì)議投稿超過(guò)4500篇，錄用率僅為15%，會(huì)議于7月在奧地利維也納召開(kāi)。此次入選意味著阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI在大模型優(yōu)化方向上的研究達(dá)到了全球業(yè)界先進(jìn)水平，獲得了國(guó)際學(xué)者的認(rèn)可，展現(xiàn)了中國(guó)深度學(xué)習(xí)技術(shù)在國(guó)際上的競(jìng)爭(zhēng)力。

首個(gè)大模型參數(shù)高效的稀疏訓(xùn)練算法PST

論文核心內(nèi)容是通過(guò)減少模型稀疏訓(xùn)練過(guò)程中需要更新的參數(shù)量，從而減少大模型稀疏訓(xùn)練的時(shí)間以及資源開(kāi)銷(xiāo)。近幾年，越來(lái)越多的大模型被提出，這些模型的參數(shù)量從百億到千億甚至萬(wàn)億，雖然它們可以達(dá)到很高的模型精度，但是過(guò)大的模型體積限制了這些大模型的實(shí)際落地應(yīng)用。稀疏作為一個(gè)有效的模型壓縮手段，可以將大模型壓縮到較小的體積，使得它們能夠以較少的資源較快的速度運(yùn)行起來(lái)。然而，稀疏訓(xùn)練本身會(huì)引入額外的參數(shù)，從而使得大模型的稀疏訓(xùn)練需要占用更多的訓(xùn)練資源以及導(dǎo)致訓(xùn)練速度更慢。

針對(duì)這一問(wèn)題，PST提出了一種參數(shù)高效的稀疏訓(xùn)練算法，通過(guò)分析權(quán)重的重要性指標(biāo)，得出了其擁有兩個(gè)特性：低秩性和結(jié)構(gòu)性。根據(jù)這一結(jié)論，PST算法引入了兩組小矩陣來(lái)計(jì)算權(quán)重的重要性，相比于原本需要與權(quán)重一樣大的矩陣來(lái)保存和更新重要性指標(biāo)，稀疏訓(xùn)練需要更新的參數(shù)量大大減少。對(duì)比常用的稀疏訓(xùn)練算法，PST算法可以在僅更新1.5%的參數(shù)的情況下，達(dá)到相近的稀疏模型精度。

PST技術(shù)已經(jīng)集成在阿里云機(jī)器學(xué)習(xí)PAI的模型壓縮庫(kù)，以及Alicemind平臺(tái)大模型稀疏訓(xùn)練功能中。為阿里巴巴集團(tuán)內(nèi)部落地使用大模型帶來(lái)了性能加速，在百億大模型PLUG上，PST相比于原本的稀疏訓(xùn)練可以在模型精度不下降的情況下，加速2.5倍，內(nèi)存占用減少10倍。目前，阿里云機(jī)器學(xué)習(xí)PAI已經(jīng)被廣泛應(yīng)用于各行各業(yè)，提供AI開(kāi)發(fā)全鏈路服務(wù)，實(shí)現(xiàn)企業(yè)自主可控的AI方案，全面提升機(jī)器學(xué)習(xí)工程效率。

論文名字：

Parameter-Efficient Sparsity for Large Language Models Fine-Tuning

論文作者：

李與超、羅福莉、譚傳奇、王夢(mèng)娣、黃松芳、李深、白俊杰

論文鏈接：https://arxiv.org/pdf/2205.11005.pdf