6月1日，在2021北京智源大會開幕式上，北京智源人工智能研究院理事長張宏江、學(xué)術(shù)副院長唐杰介紹和發(fā)布了“悟道”模型。這是全球迄今最大的超大規(guī)模智能模型。

目前，“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對于人工智能發(fā)展具有重大意義，未來將基于大模型形成類似電網(wǎng)的變革性AI產(chǎn)業(yè)基礎(chǔ)設(shè)施。AI大模型相當(dāng)于“發(fā)電廠”，將數(shù)據(jù)，也就是“燃料”，轉(zhuǎn)換為智能能力，驅(qū)動各種AI應(yīng)用。如果將大模型和所有的AI應(yīng)用相連接，為用戶提供統(tǒng)一的智能能力，全社會將形成一個智能能力生產(chǎn)和使用的網(wǎng)絡(luò)，即“智網(wǎng)”。大模型就是下一個AI的基礎(chǔ)平臺，是未來AI發(fā)展的戰(zhàn)略基礎(chǔ)設(shè)施。

張宏江表示，國際主流的大模型主要基于英文語料研發(fā)，智源研究院作為AI基礎(chǔ)建設(shè)的先行者，成立了由智源研究院學(xué)術(shù)副院長唐杰教授領(lǐng)銜，100多位科研骨干共同參與的“悟道”團隊，啟動面向中文的大規(guī)模智能模型研發(fā)工作?！拔虻馈蹦Ｐ拖到y(tǒng)將構(gòu)建“大模型、大平臺、大生態(tài)”，持續(xù)研發(fā)超大規(guī)模智能模型，圍繞大模型研發(fā)，構(gòu)建大規(guī)模算力平臺，同時對外開放模型能力，“賦智”各行業(yè)發(fā)展，構(gòu)建大模型生態(tài)。

張宏江介紹“悟道”模型研發(fā)的背景

今年3月20日，智源研究院發(fā)布了中國首個超大規(guī)模智能模型“悟道1.0”，訓(xùn)練出中文、多模態(tài)、認(rèn)知、蛋白質(zhì)預(yù)測等系列模型。經(jīng)過不到3個月的持續(xù)更新迭代，“悟道2.0”實現(xiàn)了更高層面的跨越。

唐杰介紹，“悟道”超大模型智能模型旨在打造數(shù)據(jù)和知識雙輪驅(qū)動的認(rèn)知智能，讓機器能夠像人一樣思考，實現(xiàn)超越圖靈測試的機器認(rèn)知能力?！拔虻馈眻F隊在大規(guī)模預(yù)訓(xùn)練模型研發(fā)上做了很多基礎(chǔ)性工作，形成了自主的超大規(guī)模智能模型技術(shù)創(chuàng)新體系，擁有從預(yù)訓(xùn)練理論技術(shù)到預(yù)訓(xùn)練工具，再到預(yù)訓(xùn)練模型構(gòu)建和最終模型測評的完整鏈條，從技術(shù)上是完整成熟的。通過一系列原始創(chuàng)新和技術(shù)突破，本次發(fā)布的“悟道2.0”實現(xiàn)了“大而聰明”，具備大規(guī)模、高精度、高效率的特點。

唐杰介紹“悟道2.0”模型的具體情況

“悟道2.0”模型的參數(shù)規(guī)模達(dá)到1.75萬億，是GPT-3的10倍，打破了之前由國外預(yù)訓(xùn)練模型創(chuàng)造的1.6萬億參數(shù)記錄，是目前中國首個、全球最大的萬億級模型。

“悟道2.0”模型在中英雙語共4.9T的高質(zhì)量大規(guī)模清洗數(shù)據(jù)上進(jìn)行的訓(xùn)練。訓(xùn)練數(shù)據(jù)包含WuDaoCorpora中的1.2TB中文文本數(shù)據(jù)、2.5TB中文圖文數(shù)據(jù)，以及Pile數(shù)據(jù)集的1.2TB英文文本數(shù)據(jù)。“悟道2.0”模型一統(tǒng)文本與視覺兩大陣地，支撐更多任務(wù)，更加通用化。

大規(guī)模預(yù)訓(xùn)練模型的參數(shù)規(guī)模通常遠(yuǎn)超傳統(tǒng)的專用人工智能模型，在算力資源、訓(xùn)練時間等方面消耗巨大。為了提升大規(guī)模預(yù)訓(xùn)練模型的產(chǎn)業(yè)普適性和易用性，悟道團隊搭建高效預(yù)訓(xùn)練框架，在高效編碼、高效模型、高效訓(xùn)練、高效微調(diào)和高效推理等方面進(jìn)行全鏈路的原創(chuàng)突破或迭代優(yōu)化，實現(xiàn)效率的大幅提升。

同時，“悟道”模型研發(fā)過程中，智源研究院建設(shè)了全球最大的語料數(shù)據(jù)庫WuDaoCorpora2.0，包含全球最大的中文文本數(shù)據(jù)集、全球最大的多模態(tài)數(shù)據(jù)集、全球最大的對話數(shù)據(jù)集，為行業(yè)內(nèi)大規(guī)模智能模型的研發(fā)提供了豐富的數(shù)據(jù)支撐。

此外，智源研究院還推動開展“悟道”超大規(guī)模智能模型產(chǎn)業(yè)生態(tài)建設(shè)，將面向個人開發(fā)者、中小創(chuàng)新企業(yè)、行業(yè)應(yīng)用企業(yè)、IT領(lǐng)軍企業(yè)等不同主體，分別提供模型開源、API調(diào)用、“專業(yè)版”大模型開發(fā)、大模型開發(fā)許可授權(quán)等多種形態(tài)的模型能力服務(wù)，賦能AI技術(shù)研發(fā)。

本次大會上，智源研究院與新華社、美團、小米、快手、搜狗、360、寒武紀(jì)、第四范式、好未來、智譜華章等22家“悟道”大模型產(chǎn)業(yè)生態(tài)戰(zhàn)略合作單位進(jìn)行了簽約，并發(fā)出組建“悟道”大模型技術(shù)創(chuàng)新生態(tài)聯(lián)盟的倡議，吸引更多企業(yè)加入，將以聯(lián)盟為樞紐，以企業(yè)需求為導(dǎo)向推動模型研發(fā)，共同開發(fā)基于“悟道”大模型的智能應(yīng)用，以模型研發(fā)和應(yīng)用促進(jìn)產(chǎn)業(yè)集聚。