自 2018 年谷歌發(fā)布 BERT 以來，預(yù)訓(xùn)練模型（Pre-trained Models，PTMs）逐漸成為自然語言處理（NLP）領(lǐng)域的主流。

2020 年 5 月，OpenAI 發(fā)布了擁有 1750 億參數(shù)量的預(yù)訓(xùn)練模型 GPT-3。作為一個語言生成模型，GPT-3 不僅能夠生成流暢自然的文本，還能完成問答、翻譯、創(chuàng)作小說等一系列 NLP 任務(wù)，甚至進行簡單的算術(shù)運算，并且其性能在很多任務(wù)上都超越相關(guān)領(lǐng)域的專有模型，達(dá)到 SOTA 水平。

很快，OpenAI 便開始了 GPT-3 的商業(yè)化探索，并催生了一系列落地應(yīng)用，微軟的巨額投資也立馬跟進。同樣看中 PTM 潛力的谷歌，在 2021 年初推出超級語言模型 Switch Transformer，將參數(shù)量提升至萬億級別。

以 GPT-3 為代表的超大規(guī)模預(yù)訓(xùn)練模型，不僅以絕對的數(shù)據(jù)和算力優(yōu)勢徹底取代了一些小的算法和模型工程，更重要的是，它展示了一條探索通用人工智能極富潛力的路徑。然而，作為全球使用人數(shù)第一的語言，中文 PTM 寥寥可數(shù)。在這樣的發(fā)展態(tài)勢下，構(gòu)建以中文為核心的超大規(guī)模預(yù)訓(xùn)練模型及生態(tài)勢在必行。

2021 年 3 月 20 日，北京智源人工智能研究院（下稱「智源研究院」）發(fā)布了我國首個超大規(guī)模智能模型系統(tǒng)「悟道」的第一階段成果?！肝虻馈褂芍窃囱芯吭籂款^，匯聚清華、北大、人大、中科院等高校院所，以及諸多企業(yè)的 100 余位 AI 領(lǐng)域?qū)＜夜餐邪l(fā)，從基礎(chǔ)性能、有效使用到預(yù)訓(xùn)練模型擴展，提出一系列創(chuàng)新解決方法，取得多項國際領(lǐng)先的 AI 技術(shù)突破和多個世界第一。

機器之心專訪了智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰。作為悟道項目負(fù)責(zé)人，唐杰分享了團隊關(guān)于超大規(guī)模預(yù)訓(xùn)練模型的技術(shù)思考和戰(zhàn)略布局，以及智源研究院作為新一代 AI 研究機構(gòu)的優(yōu)勢。

智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰

唐杰認(rèn)為，超大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn)改變了 AI 產(chǎn)業(yè)格局，繼基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云計算時代之后，接下來可能將進入基于模型的 AI 時代。而智源研究院要做的，則是致力于成為這樣一個時代的引領(lǐng)者，集聚各方資源力量，構(gòu)建一個超大規(guī)模智能模型技術(shù)生態(tài)和開放平臺，供北京乃至全國的研究人員、開發(fā)者和企業(yè)使用。

今后越來越多的人會使用云上的超大規(guī)模預(yù)訓(xùn)練模型作為其 AI 研究和應(yīng)用的基礎(chǔ)。超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)將成為一種 AI 基礎(chǔ)設(shè)施，推動理論研究和技術(shù)應(yīng)用更上一層。

超大模型勢在必行，迎接基于模型的 AI 時代

AI 模型越做越大這件事不是最近才發(fā)生的。早在 3 年前便有人統(tǒng)計指出，計算機視覺領(lǐng)域的 SOTA 模型體積越來越大 [1]。

NLP 領(lǐng)域亦然，從最早的 ELMo（5 億參數(shù)）到后來的 Turing NLG（170 億參數(shù)），GPT-3 更是將模型的體積和復(fù)雜度拔升至一個全新的境界。美國大規(guī)模在線預(yù)測征求和匯總引擎 Metaculus 曾做過一項調(diào)研，參加者預(yù)計 GPT-4 參數(shù)量的中位數(shù)大約在 2.5 萬億 [2]。

唐杰表示，大模型可以包含更多數(shù)據(jù)，表示更多信息，模型往超大規(guī)模發(fā)展是一個必然的趨勢。目前有很多團隊都在做萬億級模型，國外有 DeepMind、谷歌Brain，國內(nèi)有華為、快手等，研究成果各有千秋。

「谷歌在今年 1 月就已經(jīng)推出了萬億參數(shù)模型，但精度上并沒有提升很多?！挂虼?，他推測 GPT-4 的參數(shù)規(guī)模很有可能上萬億，不僅如此，OpenAI 還會強調(diào)模型在眾多任務(wù)上精度的提高。

智源也在布局萬億級模型，包括配套的高性能算力平臺。不過，唐杰表示，由于萬億級模型參數(shù)量過于龐大，模型設(shè)計非常復(fù)雜，訓(xùn)練耗時長，直接使用還存在一定困難，很多時候反而不如百億級的模型。在現(xiàn)階段的實際應(yīng)用中，充分利用數(shù)據(jù)，參數(shù)規(guī)模更小的模型常常能實現(xiàn)更好的性能。

目前，悟道團隊一方面擴大模型的規(guī)模，讓模型的表示能力更強，一方面針對實際應(yīng)用，提高精度。此外，還在模型微調(diào)算法上進行創(chuàng)新，希望早日打通百億級模型和萬億級模型的橋梁。

「如果能用萬億級模型在一些任務(wù)上取得性能的顯著提升，這將是一個里程碑式的進步?！固平苷f。

隨著算力的不斷提升，我們現(xiàn)在可以訓(xùn)練越來越大的模型?；蛟S有一天，真能出現(xiàn)與人腦突觸量級相當(dāng)?shù)?100 萬億參數(shù)模型。即便這樣的模型真能做出來，訓(xùn)練也勢必花費巨資，動輒數(shù)十億美元。

超大規(guī)模預(yù)訓(xùn)練模型只能是有錢人的游戲嗎？小團隊如何創(chuàng)新？

對此，唐杰的看法是，人工智能發(fā)展可以分為這樣幾個階段：繼基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云計算時代之后，接下來可能將進入基于模型的 AI 時代，相當(dāng)于把數(shù)據(jù)提升為超大規(guī)模預(yù)訓(xùn)練模型。未來，研究人員可以直接在云模型上進行微調(diào)，很多公司甚至不用維護自己的算法研發(fā)團隊，只需要簡單的應(yīng)用工程師就行。

超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的開放，小團隊可以說是最大的受益者，大家不必從零開始，預(yù)訓(xùn)練基線智能水平大幅提升，平臺多樣化、規(guī)?；蠹以谠粕峡梢哉业阶约核璧哪Ｐ?，剩下的就是對行業(yè)、對場景的理解。這將給 AI 應(yīng)用創(chuàng)新帶來一個全新的局面。

至于基礎(chǔ)研究，唐杰說：「理論上可以研究得更深、更系統(tǒng)了，以前研究這個模型使用這種數(shù)學(xué)方法好，現(xiàn)在可以擺到臺面上、擴大到更廣的范圍來?！?

「數(shù)據(jù)規(guī)?；氖褂?，將促使業(yè)界和有關(guān)機構(gòu)更深入地討論哪些內(nèi)容可以學(xué)、哪些內(nèi)容不能學(xué)，更加注重 AI 倫理、數(shù)據(jù)隱私、保密和安全等問題?！?

智源悟道 1.0 階段性成果發(fā)布，取得多項世界第一

智源研究院自 2020 年 10 月正式啟動超大規(guī)模智能模型「悟道」項目，悟道 1.0 已啟動了 4 個大模型的開發(fā)，取得多項國際領(lǐng)先 AI 技術(shù)突破，持續(xù)填補我國研究領(lǐng)域空白：

悟道 · 文匯——首個面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型

該模型在多項任務(wù)中表現(xiàn)已接近突破圖靈測試，通過簡單微調(diào)即可實現(xiàn) AI 作詩、AI 作圖、AI 制作視頻、圖文生成、圖文檢索和一定程度的復(fù)雜推理。尤其是 AI 作詩方面，已接近詩人水平，并能首次實現(xiàn)根據(jù)現(xiàn)代概念生成古體詩。文匯的最終目標(biāo)是研發(fā)出更通用且性能超越國際水平的預(yù)訓(xùn)練模型，搭建預(yù)訓(xùn)練模型體系，形成認(rèn)知智能的生態(tài)。

悟道 · 文瀾——首個超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型

該模型基于從公開來源收集并脫敏的 5000 萬個圖文對上進行訓(xùn)練，性能已達(dá)國際領(lǐng)先水平，在中文公開多模態(tài)測試集 AIC-ICC 的圖像生成描述任務(wù)中，得分比冠軍隊高出 5%；采用雙塔模型，在圖文互檢任務(wù)中，得分比目前最流行的 UNITER 模型高出 20%。最終目標(biāo)是生成產(chǎn)業(yè)級中文圖文預(yù)訓(xùn)練模型和應(yīng)用。目前，文瀾模型已對外開放 API。

悟道 · 文源——首個以中文為核心的超大規(guī)模預(yù)訓(xùn)練模型

該模型目前參數(shù)量 26 億，預(yù)訓(xùn)練數(shù)據(jù)規(guī)模 100 GB，具備識記、理解、檢索、多語言等多種能力，并覆蓋開放域回答、語法改錯、情感分析等 20 種主流中文自然語言處理任務(wù)，技術(shù)能力已與 GPT-3 實現(xiàn)齊平。最終目標(biāo)是構(gòu)建完成全球規(guī)模最大的、以中文為核心的預(yù)訓(xùn)練語言模型，探索具有通用能力的自然語言理解技術(shù)，進行腦啟發(fā)的語言模型研究。

悟道 · 文溯——超大規(guī)模蛋白質(zhì)序列預(yù)測預(yù)訓(xùn)練模型

該模型已在蛋白質(zhì)方面完成基于 100GB UniParc 數(shù)據(jù)庫訓(xùn)練的 BERT 模型，在基因方面完成基于 5-10 萬規(guī)模的人外周血免疫細(xì)胞（細(xì)胞類型 25-30 種）和 1 萬耐藥菌的數(shù)據(jù)訓(xùn)練，同時搭建訓(xùn)練軟件框架并驗證其可擴展性。最終目標(biāo)是以基因領(lǐng)域認(rèn)知圖譜為指導(dǎo)，研發(fā)出可以處理超長蛋白質(zhì)序列的超大規(guī)模預(yù)訓(xùn)練模型，在基本性能、可解釋性和魯棒性等多個方面達(dá)到世界領(lǐng)先水平。

同時，悟道數(shù)據(jù)團隊還構(gòu)建并開放了全球最大中文語料數(shù)據(jù)庫 WuDaoCorpora，數(shù)據(jù)規(guī)模達(dá) 2TB，超出之前全球最大中文語料庫 CLUECorpus2020 十倍以上。該數(shù)據(jù)庫不僅為悟道項目提供了數(shù)據(jù)支撐，由于來源廣泛及多樣性，可廣泛用于中文 NLP 領(lǐng)域中多種任務(wù)的模型訓(xùn)練，并使模型具有更好的泛化性。數(shù)據(jù)經(jīng)過了專門的清洗，確保隱私和安全及保密問題。

為進一步實現(xiàn)模型規(guī)模和性能的擴增中面臨的挑戰(zhàn)，悟道系統(tǒng)團隊還開源了 FastMoE，作為首個支持 PyTorch 框架的高性能 MoE 系統(tǒng)，打破了行業(yè)研究受制于谷歌的局限，支持多種硬件，只需一行代碼即可完成 MoE 化改造，相比 PyTorch 樸素實現(xiàn)速度提升 47 倍。

所有的 NLP 任務(wù)都是生成任務(wù)

唐杰認(rèn)為，超大規(guī)模預(yù)訓(xùn)練模型有三個關(guān)鍵：首先，模型本身，這也是團隊智慧的體現(xiàn)；其次，大算力；第三，高質(zhì)量的數(shù)據(jù)。

目前，悟道團隊在模型設(shè)計上：第一，針對復(fù)雜任務(wù)設(shè)計模型，通過記憶機理或者類似于推理的機理，把一些更遠(yuǎn)的上下文信息加入到預(yù)訓(xùn)練中；第二，在把模型做大的過程中，要能加速模型收斂性；第三，在后端的微調(diào)算法上探索，提高模型的可用性，把下游任務(wù)的精度大大提高。

在此次發(fā)布的多項突破中，由唐杰率領(lǐng)的悟道文匯團隊提出全新的預(yù)訓(xùn)練范式 GLM，以生成為核心，打破 BERT 和 GPT 瓶頸，同時在語言理解、生成和 Seq2Seq 任務(wù)上取得最佳性能。

文匯團隊還提出了基于連續(xù)向量的微調(diào)算法 P-Tuning，首次實現(xiàn)自回歸模型在理解任務(wù)上超越自編碼模型，并在知識抽取 (LAMA)、少樣本學(xué)習(xí) (Superglue Fewshot) 等 10 多個任務(wù)上取得世界第一，性能提升超 20%。

GLM：基于生成的通用預(yù)訓(xùn)練框架

談到 GLM 的技術(shù)實現(xiàn)思路，唐杰表示，基于雙向模型 BERT 和 GPT 各自在理解和生成上的優(yōu)勢，團隊便思考如何將這兩個模型的優(yōu)點融合在一起。隨著研究的進行，他們修改了優(yōu)化結(jié)合的方式，在優(yōu)化目標(biāo)函數(shù)上做了嘗試。再后來發(fā)現(xiàn)，auto-encoder、seq-seq 以及填空任務(wù)等都可以整合到生成模型中，所有的 NLP 任務(wù)都可以被視為生成任務(wù)，統(tǒng)一在一個通用框架下。

唐杰表示，機器學(xué)習(xí)的傳統(tǒng)上可以分為判別模型和生成模型，這兩大派系也在不斷融合。當(dāng)數(shù)據(jù)量少的情況下，判別模型的效果會更好；而生成模型則比較復(fù)雜，需要在「理解」的基礎(chǔ)上進行判別，而大數(shù)據(jù)、大模型、大算力的到來，為生成模型提供了基礎(chǔ)，計算機可以實現(xiàn)基于大參數(shù)的「理解」，這也是如今生成式方法成為機器學(xué)習(xí)大態(tài)勢的原因。

至于是否可以將生成看作是「理解」，「其實這是一個哲學(xué)問題」，唐杰說。

計算機到底需不需要「理解」，人類「理解」的本質(zhì)又是什么？對此，悟道團隊做了很多的思考。

最簡化地講，人類的理解分三個層次：第一種可以叫做人腦知識 query，把已經(jīng)記住的知識查取出來；第二種叫 case based，基于以前的認(rèn)知和經(jīng)驗來完成新的任務(wù)；第三種叫隨機推理，也叫試錯性推理。

人類的這三種推理方式，其實計算機都可以實現(xiàn)。唐杰認(rèn)為，當(dāng)有一天計算機在眾多任務(wù)上通過了圖靈測試，就可以把計算機「理解」問題的引號去掉了。

數(shù)據(jù)和知識雙輪驅(qū)動的通用 AI 之路

假設(shè)有一個囊括全世界所有數(shù)據(jù)的模型，我們想要完成什么任務(wù)，給它輸入，模型返回多個候選結(jié)果，人類在此基礎(chǔ)上進行調(diào)整完善，再將結(jié)果反饋給模型，讓其優(yōu)化。與此同時，模型自身也能不斷地從網(wǎng)絡(luò)上抓取數(shù)據(jù)進行自我學(xué)習(xí)…… 長此以往，最終獲得的模型，是否就是通用 AI 呢？

唐杰說，「這其實也涉及到一個哲學(xué)問題」。關(guān)于計算機能否像人一樣思考，甚至超越人類智慧，「很多人包括我自己在內(nèi)，都是不相信，或者說不敢這樣認(rèn)為的。但是，現(xiàn)在我的想法轉(zhuǎn)變了，我認(rèn)為計算機實現(xiàn)乃至超越人類智能是可以實現(xiàn)的?！?

悟道大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的目標(biāo)，便是從更本質(zhì)角度進一步探索通用人工智能，讓機器像人一樣思考，讓模型具有認(rèn)知能力。對于神經(jīng)科學(xué)和人腦的思維方式，唐杰表示自己的發(fā)言權(quán)十分有限，但總的來講，如果可以用計算機模型實現(xiàn)人類認(rèn)知的 9 個準(zhǔn)則，那么他認(rèn)為計算機就可以被稱為具有認(rèn)知能力。

認(rèn)知 AI 需要具有的 9 大能力

但他也補充說，如果那一天實現(xiàn)了，也不代表計算機就把人腦顛覆了，也許到那一天，我們?nèi)四X也會進步?！溉说乃季S，包括我們的學(xué)習(xí)能力和進化能力，尤其是當(dāng)人類處于壓力情況下，我們會往前大大進化一步。而且，人的思維方式和思維的本質(zhì)目前也沒有真正得到一個結(jié)論?！?

像剛才說的那樣，讓模型包含盡可能多的數(shù)據(jù)，并從數(shù)據(jù)中提出內(nèi)容，一般被稱為人工智能研究的「純學(xué)習(xí)派」。同時，還有另一個派系，也就是傳統(tǒng)「符號 AI」，認(rèn)為只需要把知識表示出來，計算機做搜索、匹配就可以了。

悟道團隊走的是將知識與數(shù)據(jù)相結(jié)合的路線，這也是張鈸院士在幾年前提出的看法?！肝虻涝谟脙蓷l腿走路」，唐杰說：「一條腿是數(shù)據(jù)模型，另一條腿是知識圖譜。」一方面把知識圖譜做得非常大，另一方面，把知識圖譜放到預(yù)訓(xùn)練模型中，抽取知識圖譜反哺模型，進行雙輪驅(qū)動，「我認(rèn)為這是當(dāng)前實現(xiàn)通用人工智能最有前景的方法」。

唐杰表示，我們應(yīng)該允許機器犯錯，犯錯不可怕，最關(guān)鍵是要知道錯誤的原因。人的認(rèn)知中有一個試錯過程，意識到錯誤會反饋修改。「什么叫做『創(chuàng)新』？人通過試錯，如果試對了，就是一種『創(chuàng)新』?！?

盡管在受限領(lǐng)域，計算機已經(jīng)可以自我糾錯，比如 AlphaZero，在下棋過程中會感知自己走錯了，然后進行反饋，自我進化。但在通用領(lǐng)域，計算機是沒有這個反饋的，它錯了以后沒法修正，甚至不知道自己錯了。

那把受限領(lǐng)域都集中到一起，是否就能讓機器在通用領(lǐng)域自我糾錯了呢？唐杰指出，這是數(shù)據(jù)和知識的一個悖論，人總覺得自己的知識是無限擴張的，人每天都可以創(chuàng)造新的知識，無法把所有知識都裝在機器里。

而機器生成的內(nèi)容，很多人不認(rèn)為是知識或者「創(chuàng)新」，而只是一種組合?！溉绻幸惶鞕C器發(fā)現(xiàn)的東西獲得了諾貝爾獎，那我認(rèn)為就可以使機器能夠『創(chuàng)新』?！?

科學(xué)沒有高下之分，

只看能在多大程度上解決 Why 與 How

「哲學(xué)」這個詞在采訪中多次出現(xiàn)；超大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn)，讓唐杰從不相信、不敢認(rèn)為，到相信機器的智能可能超越人類。

但是，也有觀點認(rèn)為大規(guī)模預(yù)訓(xùn)練模型是大數(shù)據(jù)、大算力之下的暴力美學(xué)，缺乏對世界本源的理解。唐杰認(rèn)為，這個世界上科學(xué)就兩種，一種是回答 Why，一種是 How。而回答 Why 有兩個范疇，一個叫做基礎(chǔ)理論科學(xué)，另一個叫做工程科學(xué)，兩者沒有高下之分。

至于 How，則是看研究成果應(yīng)用范圍有多廣，以及真正能推動哪些產(chǎn)業(yè)進步。具體到超大規(guī)模預(yù)訓(xùn)練模型，唐杰認(rèn)為模型上云是一個大的方向，將來誰可以成為模型上云引領(lǐng)者，推動整個產(chǎn)業(yè)的發(fā)展，誰就是最終的成就者，「這就是所說的 how 以及誰能做這個事」。

而探究人腦思維則是在回答 Why?！缚茖W(xué)的本質(zhì)是什么？為什么人腦的思維就一定要強過計算機？對此我們可以大膽質(zhì)疑，小心求證，大家說人類智能比機器好，我們可以反過來問，為什么機器的智能不能比人好？這是回答 Why 的過程。」

唐杰表示，科研成果的評價指標(biāo)需要根據(jù)不同的行業(yè)、不同的場景來判別，歸根結(jié)底是看能在多大程度上解決了 Why 與 How，是否真正推進了社會的進步。就像萬億級參數(shù)模型，可能這個世界上 99% 的公司都用不上，但是作為科研探索很重要。

要做就做最難的、對標(biāo)最好的

智源悟道 1.0 的發(fā)布，標(biāo)志著「智源模式」取得階段性實質(zhì)性進展。

作為新型的 AI 研究機構(gòu)，智源研究院聚焦原始創(chuàng)新與核心技術(shù)，致力于建立自由探索與目標(biāo)導(dǎo)向相結(jié)合的科研體制。作為北京市 AI 戰(zhàn)略科技平臺，智源從創(chuàng)立以來，在科研機制上進行了多種嘗試，比如「智源學(xué)者計劃」，支持科學(xué)家勇闖無人區(qū)，「就是想做什么就做什么，」唐杰說：「只要夠牛，要么回答了 how，要么回答了 why，而且是別人做不到的?！?

同時，智源研究院也會圍繞目標(biāo)明確、有戰(zhàn)略意義的大項目，靈活機動地組織跨學(xué)科、跨機構(gòu)的專業(yè)研究和工程人員，組成緊密協(xié)作的大規(guī)模團隊，共同攻關(guān)，比如這次的超大規(guī)模智能模型系統(tǒng)項目。

「GPT-3 出來以后，我們看到市場未來產(chǎn)業(yè)化的發(fā)展，從數(shù)據(jù)云到計算云到模型云，這是一個大的趨勢，智源研究院有義務(wù)、也有能力來引領(lǐng)，因此迅速確定目標(biāo)，組織團隊?！固平苷f：「每個參與方，包括高校、企業(yè)和研究院所，都是帶有目標(biāo)、帶有資源、帶有情懷的，因此能夠通力協(xié)作?！?

唐杰介紹說，悟道 1.0 只是一個階段性的成果，今年 6 月將會有一個更大、更高的智慧模型發(fā)布。第一，模型規(guī)模會有實質(zhì)性的進展；第二，模型會在更多任務(wù)上突破圖靈測試；第三，把應(yīng)用平臺做得更加夯實。后續(xù)悟道模型將以開放 API 的形式對外提供服務(wù)，用戶通過申請并經(jīng)授權(quán)后，可以基于模型 API 開發(fā)各類智能化應(yīng)用。另外，也會開源模型的社區(qū)版本，服務(wù)我國 AI 科研發(fā)展。

「我們希望每一個我們做的東西一定是世界上最好的，如果不能做到最好，那就不做了?；蛘?，如果很多人都能做得比較好，我們也不做，我們就要做最難的，對標(biāo)最好的，包括我自己的定位?！?

「此外，光盯著現(xiàn)在的事情我們也不做，我們要瞄向下一步，十年以后、二十年以后人工智能是什么樣子，我們覺得能做就會去做。認(rèn)知 AI 是我特別看好的，預(yù)訓(xùn)練模型和知識數(shù)據(jù)雙輪驅(qū)動，是實現(xiàn)通用 AI 的其中一個辦法。我非常堅信，十年、二十年以后，計算機在很多任務(wù)上就能突破圖靈測試?！?