6月3日下午,一流科技OneFlow深度學(xué)習(xí)框架創(chuàng)始人袁進(jìn)輝博士亮相2021北京智源大會“AI系統(tǒng)”分論壇,并發(fā)表《為什么我們需要重新設(shè)計分布式深度學(xué)習(xí)框架》主題演講,和與會觀眾分享深度學(xué)習(xí)分布式AI系統(tǒng)設(shè)計的心得體會。

AI系統(tǒng)是當(dāng)前人工智能領(lǐng)域極具現(xiàn)實(shí)意義與前瞻性的研究熱點(diǎn)之一,在創(chuàng)新方法器件、體系架構(gòu)、優(yōu)化加速等方面都取得的相當(dāng)大的進(jìn)展。本次智源大會AI系統(tǒng)分論壇圍繞這一領(lǐng)域的最新學(xué)術(shù)研究進(jìn)展和產(chǎn)業(yè)界核心工作的設(shè)計與實(shí)踐展開。論壇由清華大學(xué)翟季冬教授主持,清華大學(xué)計算機(jī)系教授胡事民、MindSpore首席架構(gòu)師金學(xué)峰、谷歌高級軟件工程師陳德顥、Facebook研究院賈志豪、阿里云研究員林偉、百度主任架構(gòu)師胡曉光一同參加。

袁進(jìn)輝博士表示,近來,大規(guī)模預(yù)訓(xùn)練模型因其在文本生成等應(yīng)用上優(yōu)異的表現(xiàn)而備受關(guān)注,但通用深度學(xué)習(xí)框架無法直接支持此類需求,主要原因是大模型面臨嚴(yán)峻的“內(nèi)存墻”的挑戰(zhàn)。通用深度學(xué)習(xí)框架僅支持?jǐn)?shù)據(jù)并行,還不能支持大規(guī)模預(yù)訓(xùn)練模型所需要的模型并行、流水并行等技術(shù),只有高度定制的專用軟件系統(tǒng)(如InsightFace, HugeCTR, Megatron-LM, DeepSpeed等)才能滿足需求。如何在通用深度學(xué)習(xí)框架統(tǒng)一、靈活、高效的支持這些技術(shù)挑戰(zhàn)成為業(yè)界研究熱點(diǎn)。由此,重新設(shè)計一款分布式深度學(xué)習(xí)框架就顯得很有必要了。

袁進(jìn)輝博士演講

一流科技的OneFlow深度學(xué)習(xí)框架就是袁進(jìn)輝博士給出的解決方案。OneFlow深度學(xué)習(xí)框架擁有完全自主知識產(chǎn)權(quán),原生支持超大模型訓(xùn)練,無需深度開發(fā)。獨(dú)創(chuàng)的自動數(shù)據(jù)模型混合并行、靜態(tài)調(diào)度、去中心化和全鏈路異步流式執(zhí)行四大核心技術(shù),使用純軟件技術(shù)解決了大數(shù)據(jù)、大模型、大計算所帶來的異構(gòu)集群分布式橫向擴(kuò)展挑戰(zhàn)。

在圓桌論壇環(huán)節(jié),在談及層出不窮的大規(guī)模預(yù)訓(xùn)練模型給AI系統(tǒng)帶來的挑戰(zhàn)時,袁進(jìn)輝博士說:“預(yù)訓(xùn)練模型的主要特點(diǎn)是無監(jiān)督或者弱監(jiān)督,以前的模型由人工進(jìn)行數(shù)據(jù)標(biāo)注,費(fèi)事費(fèi)錢,現(xiàn)在可以用AI模型標(biāo)注,提高了效率。不過這也意味著訓(xùn)練出來的AI模型數(shù)據(jù)量級就會更加龐大,更加豐富。而豐富的數(shù)據(jù)帶來的是復(fù)雜的規(guī)律,模型參數(shù)非常大,計算量也非常大,因此預(yù)訓(xùn)練模型走向超大模型是個自然的趨勢。這也印證了OneFlow從第一行代碼開始,就瞄準(zhǔn)‘分布式、大模型’的方向是正確的,OneFlow這樣的深度學(xué)習(xí)框架會成為新一代學(xué)習(xí)框架的代表?！?

右一為袁進(jìn)輝博士

本次智源大會上發(fā)布的“悟道2.0”人工智能模型參數(shù)規(guī)模為1.75萬億,是目前全球最大的模型,比曾經(jīng)這一領(lǐng)域的“王者”——GPT-3的參數(shù)規(guī)模大了10倍,而兩者發(fā)布的時間僅僅相隔一年左右。毫無疑問,瞄準(zhǔn)超“大規(guī)模、分布式”的OneFlow深度學(xué)習(xí)框架與袁進(jìn)輝博士,將在未來有更大的施展空間。