不過短短數(shù)月，ChatGPT又一次爆紅

全球的科技巨頭們也開始“蹭熱點”，關(guān)于AI新技術(shù)的發(fā)布會也都層出不窮，一時間百花齊放。

（發(fā)布產(chǎn)品Bard現(xiàn)場答錯問題的）谷歌發(fā)布會、（發(fā)布AIoffice全家桶來革打工人命的）微軟發(fā)布會、（展示了很多PPT和錄像的）百度發(fā)布會……

前幾天，英偉達(dá)GTC2023的春季發(fā)布會將這股AI熱潮徹底推至新高點。

英偉達(dá)最開始被大家所熟知的，是其應(yīng)用于游戲領(lǐng)域的出色顯卡能力。1999年，英偉達(dá)就推出了全世界第一個GPU（GraphicsProcessingUnit：圖形處理芯片）。

但是因為GPU優(yōu)秀的圖像處理及大型矩陣運算能力，現(xiàn)在也被廣泛地應(yīng)用于深度學(xué)習(xí)和人工智能(AI)方面——它作為ChatGPT運作的“心臟”，為其提供了超強(qiáng)算力支撐。

“TheiPhonemomentofAIhasstarted.”

這句話在一個多小時的發(fā)布會中被英偉達(dá)CEO黃仁勛強(qiáng)調(diào)了三次。

這場發(fā)布會，幾乎完全聚焦于人工智能。

發(fā)布內(nèi)容從計算光刻、芯片、DGX超級計算機(jī)、DGXCloud云服務(wù)，一直聊到了AIFoundations平臺等。

從基礎(chǔ)設(shè)施到產(chǎn)業(yè)應(yīng)用布局，英偉達(dá)徹底把握了AI時代的算力脈門，所有AI相關(guān)的企業(yè)，在軟硬件這一塊，都要向英偉達(dá)交入場費。

這場發(fā)布會上，最受矚目的莫過于是集成英偉達(dá)核心技術(shù)的全新GPU推理矩陣（inferencelineup）。

它包括了4種不同的配置：

-GraceHopper（超級芯片）

-NvidiaH100NVL（用于部署ChatGPT類的大語言模型）

-NvidiaL4（用于制作AI視頻）

-NvidiaL40（用于2D/3D圖像生成）

在一一介紹各芯片的功效時，老黃也花了挺大篇幅在芯片升級對于大語言模型類的系統(tǒng)算力提升上。

其中，GraceHopper和NvidiaH100NVL，都是為大語言模型（ChatGPT就是大語言模型的一種應(yīng)用）量身打造的。

大語言模型為什么會對GPU有特殊需求？

GPT類大語言模型的升級，需要更為龐大的訓(xùn)練集。

2018年，GPT初代訓(xùn)練參數(shù)量為1.2億個，訓(xùn)練數(shù)據(jù)規(guī)模是5GB

2019年，GPT-2訓(xùn)練參數(shù)量為15億個，訓(xùn)練數(shù)據(jù)規(guī)模是40GB

2020年，GPT-3訓(xùn)練參數(shù)量為1750億個，訓(xùn)練數(shù)據(jù)規(guī)模是45TB

從上面的信息就能明顯看出：

第二代模型較第一代的訓(xùn)練參數(shù)增長超10倍，訓(xùn)練數(shù)據(jù)規(guī)模增長近10倍。

第三代模型較第二代的訓(xùn)練參數(shù)增長超100倍，訓(xùn)練數(shù)據(jù)規(guī)模則增長超1000倍。

每次僅僅用了一年的時間。

上周最新版的GPT-4，網(wǎng)傳其訓(xùn)練參數(shù)已經(jīng)達(dá)到了3000億????。

在不久的未來，模型的訓(xùn)練參數(shù)甚至有可能邁入萬億級別，這就對其模型的底層硬件提出了更高要求。

在這次發(fā)布會之前，性能最強(qiáng)大GPU是英偉達(dá)的A100（特斯拉的自動駕駛也是用的它），隨著人工智能的不斷發(fā)展，硬件和成本已經(jīng)成為嗜需突破的瓶頸。

本次發(fā)布的GraceHopper和NvidiaH100NVL，就是在解決這一問題。

GraceHopper，由GraceCPU和HopperGPU連接而成，擁有一個900GB/秒的高速接口。兩者的超強(qiáng)結(jié)合，能夠部署50億-2000億參數(shù)級別的任何大語言模型。

NvidiaH100NVL，基于Hopper，由兩個94GB的HBM3內(nèi)存的GPU共同組成，專為LLM設(shè)計，采用了Transformer（我們后面會講到）加速解決方案。

相比于之前的A100，H100NVL實現(xiàn)了“更快更強(qiáng)”。

一臺搭載四對H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器能將現(xiàn)有使用A100的服務(wù)器速度提升10倍。

也就是說，對于現(xiàn)在的ChatGPT的訓(xùn)練速度可以快10倍，并且還可以將處理成本降低一個數(shù)量級。原本10天的訓(xùn)練周期可以快速縮短到一天。

GraceHopper和NvidiaH100NVL，充分滿足了大語言模型對于內(nèi)存和算力方面的需求。

一般而言，8個性能最好的GPU（A100）就可以帶動英偉達(dá)的超級計算機(jī)DGX。

而訓(xùn)練出一個ChatGPT，硬件層面則需要數(shù)以萬計的GPU。

這就是為什么GPT在如此龐大的訓(xùn)練集下，保持高速算力的同時，還能不崩的原因之一：用最先進(jìn)最前沿的硬件搭建起來的穩(wěn)定架構(gòu)。

“OpenAI在訓(xùn)練模型時所需要的云計算基礎(chǔ)設(shè)施規(guī)模，是當(dāng)時業(yè)內(nèi)前所未有的。網(wǎng)絡(luò)GPU集群的規(guī)模呈指數(shù)級增長，也超過了業(yè)內(nèi)任何人試圖構(gòu)建的程度?！?

微軟負(fù)責(zé)戰(zhàn)略合作伙伴關(guān)系的高管PhilWaymouth在本月微軟發(fā)布的官博中如此表示。

目前ChatGPT所使用的A100，價位在10000-15000美元，數(shù)萬A100的堆疊，背后是數(shù)億美元打底的巨額財力支撐。

這還不算每天的運維成本。

此前，據(jù)美國科技博客Techcrunch報道，運行ChatGPT的成本約為每個月300萬美元，相當(dāng)于一天燒掉10萬美元。

按前段時間ChatGPT每天活躍用戶100萬來計算的話，ChatGPT每回答一人問題，其成本大約有一毛。

GPT-4應(yīng)用于ChatGPT消息發(fā)布的當(dāng)天，官網(wǎng)一度被擠爆，所以現(xiàn)在的成本可能遠(yuǎn)不止這個數(shù)額。

天價投資和運維的背后，離不開金主爸爸源源不斷的財力輸送。

從2019年到現(xiàn)在，微軟前后給OpenAI投了110億美元。

2019年第一輪10億美元投資的時候，微軟聯(lián)合OpenAI打造了一臺性能位居全球前五，擁有超過28.5萬個CPU核心、1萬個GPU、每GPU擁有400Gbps網(wǎng)絡(luò)帶寬的超級計算機(jī)——AzureAI超算平臺。

當(dāng)然，微軟投資OpenAI的效益，現(xiàn)在大家也都看到了。

微軟運用AI成果順利完成了一輪對自身產(chǎn)品線的反哺，解鎖了Bing、Edge、Copilot等工具的AI功能，帶來了新一代升級。

微軟、英偉達(dá)，都是OpenAI的重要股東。

一個出錢，一個出基礎(chǔ)設(shè)施。

要想再出現(xiàn)一個ChatGPT，沒有這種深厚的資金實力和技術(shù)壁壘，可能只會是ChatPPT。

GPT能擁有如此龐大的算力，不僅僅是幾乎不計成本地用頂尖硬件搭建起來的穩(wěn)定架構(gòu)，更要歸功于它底層的深度學(xué)習(xí)模型——Transformer。

什么是Transformer？

它是一種NeuralNetwork（神經(jīng)網(wǎng)絡(luò)架構(gòu)）。

當(dāng)年Transformer的發(fā)布，也是劃時代性的。

可以說是語言基礎(chǔ)模型的iPhonemoment也不為過。

它出現(xiàn)以后，能夠大規(guī)模將數(shù)據(jù)“投喂”給模型的時代來臨。

Why?

在Transformer問世之前，我們用來處理語言的模型主要是RNN，其最顯著的特點就是順序分析。

它相當(dāng)于是語言模型的起點，通過大量的統(tǒng)計訓(xùn)練，用第一個詞來猜下一個詞，類似于搜索引擎中的自動補全功能。

谷歌搜索引擎的語言推薦和谷歌翻譯都是用的這個原理。

RNN的特性也是其局限性，對于序列性的依賴，導(dǎo)致它的訓(xùn)練只能“循序漸進(jìn)”，難以具備高效的并行計算力。

而且，它對長序列的數(shù)據(jù)處理不佳，有一個上下文的限制性，比如我剛輸入18個字符串，它處理到后半程可能就開始“燒腦”，以至于能把前面處理完的數(shù)據(jù)給“忘”了。

這種特性和表現(xiàn)，也就導(dǎo)致了基于RNN的模型訓(xùn)練集有限，訓(xùn)練速度慢，模型準(zhǔn)確率也差。

Transformer

Fromsequentialtoparallelized

徹底打破了這種序列性的限制。

最早是2017年由谷歌和多倫多大學(xué)共同研發(fā)、提出的，不過它最初只是用來翻譯。

光看它的工作原理架構(gòu)圖可能有點抽象，不太好懂。

我們可以來看一下它的運作特性來理解。

PositionalEncodings（位置編碼）、Attention（權(quán)重）、Self-Attention（自權(quán)重）

這三大特性也是它區(qū)別于其他模型，看起來這么“聰明”的核心原因。

PositionalEncodings（位置編碼）

Transformer通過使用內(nèi)置編碼，獲取語句中的所有單詞后在每個單詞后額外加一個按其順序排列的數(shù)字，實現(xiàn)大規(guī)模并行處理。

從曾經(jīng)的理解詞語負(fù)擔(dān)轉(zhuǎn)移到只需要處理數(shù)據(jù)，處理速度的指數(shù)級上升得以讓它“跑得快”。

我們對于Transformer特性的理解與總結(jié)，以作參考

Attention（權(quán)重）和Self-Attention（自權(quán)重）

可以簡單理解為計算機(jī)語言里對于“語言”的理解。

語言模型在輸出文本時對內(nèi)在邏輯和規(guī)律的“洞悉”，是需要通過大量的語料庫訓(xùn)練而來，而不是僅靠人為設(shè)定的規(guī)則。

通過訓(xùn)練，它們了解到各類型單詞之間的關(guān)系，以及如何尊重語法的多樣性和規(guī)則，因此有了權(quán)重的文本語言往往更類人言而非詞不達(dá)意的機(jī)器語言。

深度學(xué)習(xí)模型，即底層神經(jīng)網(wǎng)絡(luò)模型的運作邏輯巨變，帶來了深厚影響。

從只能按順序演進(jìn)到可并行處理，可以大規(guī)模將數(shù)據(jù)“投喂”給模型的時代來臨。

Transformer之后的語言模型，才能真正稱之為“大”語言模型。

也是我們現(xiàn)在常說的，為什么數(shù)據(jù)給的越多，訓(xùn)練時間越長，模型會跑得越好，甚至GPT-3的1750億量級的參數(shù)都能處理，原因之一，就在這里。

OpenAI看到了Transformer模型的劃時代意義，將其運用于GPT的創(chuàng)造，5年來，一路背靠金主爸爸和硬件爸爸，帶著GPT瘋狂迭代更新，也就有了讓全世界都嘆為觀止的AI應(yīng)用：ChatGPT。

ChatGPT在全球的走紅，還是因為它足夠“通人性”+“好用”，讓人們看到了AI商業(yè)化應(yīng)用的潛力和巨大價值。

比起陷入認(rèn)為AI會取代自身工作崗位的悲觀氛圍，我更傾向于AI是新時代的福音，會將我們從重復(fù)的腦力勞動中解放出來，釋放新的創(chuàng)造力。

ChatGPT是人工智能科技革命的縮影。

實際上，2010年前后，以人工智能、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等組成元素的新一輪科技革命就已開始孵化、孕育和成長。

最簡單的例子，智能汽車、新能源汽車現(xiàn)在已經(jīng)開始逐步替代傳統(tǒng)燃油汽車，廣泛地應(yīng)用生產(chǎn)生活。

而科技革命爆發(fā)的標(biāo)志就是新一代科技成果開始廣泛應(yīng)用生產(chǎn)生活，解放生產(chǎn)力、發(fā)展生產(chǎn)力，提高全要素生產(chǎn)率。

宏觀層面

AI已在科技、醫(yī)療、金融、圖像、物流配送等各行各業(yè)的應(yīng)用場景中大顯身手。

微觀層面

AdobeFirefly、CopilotX、Microsoft365Copilot……更自動化，更智能化，AI在一系列設(shè)計/編程/辦公軟件中表現(xiàn)不凡，

新應(yīng)用的井噴式涌出，也讓格子間打工人從被設(shè)計/編程/辦公軟件支配每一天，到只要輸入指令就可以實現(xiàn)自動化的內(nèi)容生成，即使初版不那么好，需要人工調(diào)整改稿，也是相當(dāng)“省心”了。

AI或?qū)⒊蔀槿祟悮v史上第四次里程碑式的科技革命。

我們都期待這一天。