高通進軍云端AI加速器市場

卷積神經(jīng)網(wǎng)絡(luò)和其他人工智能（AI）技術(shù)在過去十年中對處理器領(lǐng)域的影響是不可避免的。幾乎所有處理器制造商、軟件供應(yīng)商都渴望投資開發(fā)AI方面的新功能，并實現(xiàn)升級突破。

在這十年開始時，一個完全沒有存在的市場在過去幾年中成為研究和收入的中心，并且已經(jīng)有一些處理器供應(yīng)商已經(jīng)建立了自己的市場地位。

人工智能的這個現(xiàn)代時代仍處于早期階段，市場尚未找到上限；數(shù)據(jù)中心繼續(xù)批量購買AI加速器，并且該技術(shù)的部署也越來越多地在消費者處理器中出現(xiàn)。在許多人認為仍在爭奪的市場中，全球的處理器標記正在試圖弄清楚它們?nèi)绾纬蔀橐淮凶畲蟮男绿幚砥魇袌鲋坏闹鲗?dǎo)力量。簡而言之，人工智能“淘金熱”正在全面展開。

人工智能“淘金熱”吸引了科技界各個角落的關(guān)注。其范圍從GPU和CPU公司到FPGA公司，定制ASIC芯片等等。但在人工智能的所有這些方面，最有利可圖的市場是這個層次結(jié)構(gòu)的頂端市場：數(shù)據(jù)中心。由于運營商希望購買大量的分立處理器，因此數(shù)據(jù)中心市場是擴展性的、昂貴的，并且仍在實現(xiàn)跨越式發(fā)展。

而現(xiàn)在，最后一位坐在數(shù)據(jù)中心AI市場旁邊的巨頭終于采取行動了——高通正以激進的方式進入人工智能加速器市場。高通公布了他們的第一款分立式專用AI處理器，即Qualcomm Cloud AI 100系列。該公司專為人工智能市場而設(shè)計，并以高通公司承諾成為一個廣泛的軟件堆棧為后盾，希望到2020年將自己打造成為人工智能加速器的主要供應(yīng)商之一。

Cloud AI 100系列加速器基于7納米芯片工藝，將于2020年推出產(chǎn)品，樣片預(yù)計將在今年晚些時候向客戶公布。這款芯片的目標是根據(jù)數(shù)字化的語音或圖片數(shù)據(jù)流分析來制定決策。

高通高管基斯·克里辛（Keith Kressin）表示，這不是手機處理器的簡單改版。據(jù)外媒報道，高通聲稱Cloud AI 100的峰值性能是Snapdragon 855和Snapdragon 820的3-50倍，與傳統(tǒng)的FPGA相比，它的推理速度提高了約10倍。此外，Cloud AI 100的運算性能可以遠超100 TOPs，不過高通并未透露不同精度下的峰值。

Qualcomm Cloud AI 100架構(gòu)：專用推理ASIC

高通正在為數(shù)據(jù)中心市場開發(fā)一系列AI推理加速器。雖然不是一個從上到下的計劃，但這些加速器將采用各種外形和TDP，以滿足數(shù)據(jù)中心運營商的需求。在這個市場中，高通公司希望憑借在市場上提供最高效的推理加速器而獲勝，其性能遠高于目前的GPU和FPGA領(lǐng)跑者。

首先，這些新部件將采用7納米工藝制造——可能是臺積電以性能為導(dǎo)向的7納米HPC工藝。該公司將提供多款芯片，但目前尚不清楚它們是否實際設(shè)計了多個處理器。而且，這是一個全新的設(shè)計，從頭開始；所以它并沒有說Snapdragon 855的所有AI體位都被放大了。

事實上，最后一點可能是最重要的。雖然高通公司今天沒有為加速器提供架構(gòu)細節(jié)，但該公司已經(jīng)明確表示這是一款A(yù)I推理加速器，僅此而已。它沒有被稱為AI訓(xùn)練加速器，也沒有被稱為GPU。它只是被用于AI推理——有效地執(zhí)行預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

高通公司的聲明非常強烈地指出基礎(chǔ)架構(gòu)是人工智能推理ASIC——類似谷歌的TPU系列——而不是更靈活的處理器。當然遠非第一家專門為AI處理而構(gòu)建ASIC的廠商，但其他AI ASIC要么專注于低端市場，要么留作內(nèi)部使用（谷歌的TPU再次成為主要的例子），高通公司正在談?wù)搶I加速器出售給客戶以供數(shù)據(jù)中心使用。而且，相對于競爭對手而言，他們所談?wù)摰膬?nèi)容更像ASIC，而不是類似GPU的設(shè)計，每個人都期望在2020年從領(lǐng)先的英偉達（NVIDIA）和積極的新人英特爾中脫穎而出。

Qualcomm的Cloud AI 100處理器設(shè)計如此專注于AI推理，這對其性能潛力至關(guān)重要。在處理器設(shè)計范圍內(nèi)，架構(gòu)師可以靈活平衡效率；芯片越接近固定功能ASIC，它就越有效。正如GPU如何在CPU上實現(xiàn)AI性能的巨大飛躍一樣，高通希望在GPU上做同樣的事情。

當然，問題在于更具固定功能的AI ASIC正在放棄靈活性。無論是處理新框架，新處理流程還是全新神經(jīng)網(wǎng)絡(luò)模型的能力還有待觀察。但高通公司將在這里進行一些重要的權(quán)衡，最重要的問題是這些是否是正確的權(quán)衡，以及整個市場是否已為數(shù)據(jù)中心規(guī)模的AI ASIC做好準備。

同時，高通公司必須解決的另一個技術(shù)問題是Cloud AI 100系列，這是他們第一個專用的AI處理器。不可否認，每個人都必須從某個地方開始，而在高通的情況下，他們希望將他們在人工智能方面的專業(yè)知識轉(zhuǎn)化為數(shù)據(jù)中心的人工智能。該公司的旗艦Snapdragon SoC已經(jīng)成為一股不可忽視的力量，高通公司認為他們在高效設(shè)計和信號處理方面的經(jīng)驗將使公司在這方面占據(jù)重要地位。

無論是公司的龐大規(guī)模，他們都能夠迅速提高產(chǎn)量。雖然這并沒有幫助他們對抗NVIDIA和英特爾這兩大競爭對手——這兩者都可以分別在臺積電及其內(nèi)部晶圓廠擴大規(guī)?！沟酶咄ü驹跓o數(shù)小型硅谷初創(chuàng)公司中也有明顯的優(yōu)勢，這些初創(chuàng)公司也在追求AI ASIC方面的突破。

為什么要競逐數(shù)據(jù)中心推理市場？

除了技術(shù)方面的考慮之外，今天宣布的另一個重要因素是高通公司追求AI推理加速器市場的原因。簡而言之，答案就是利潤和金錢。

對人工智能推理市場最終規(guī)模的預(yù)測差別很大，但高通公司認為到2025年數(shù)據(jù)中心推理加速器市場可能會達到170億美元。如果事實證明這是真的，那么它將代表一個相當大的市場。否則高通會錯過。一個可以完全與當前芯片制造業(yè)務(wù)相媲美的產(chǎn)品。

此處值得注意的是，這顯然是推理市場，而不是整個數(shù)據(jù)中心推理+訓(xùn)練市場。這是一個重要的區(qū)別，因為雖然培訓(xùn)也很重要，但培訓(xùn)的計算要求與推理有很大不同。雖然可以使用相對低精度的數(shù)據(jù)類型——如INT8（有時更低）——執(zhí)行準確的推理，但目前大多數(shù)培訓(xùn)需要FP16或更多。這需要一種非常不同類型的芯片，特別是當我們談?wù)揂SIC時，而不是像GPU那樣更通用的東西。

這也可以擴展到規(guī)模：雖然訓(xùn)練神經(jīng)網(wǎng)絡(luò)可能需要大量資源，但只需要完成一次。然后它可以多次復(fù)制到推理加速器的農(nóng)場。因此，與培訓(xùn)一樣重要的是，潛在客戶只需要比具有培訓(xùn)功能的處理器更多的推理加速器。

與此同時，盡管該公司沒有明確表示，但很明顯高通公司正打算取消市場領(lǐng)導(dǎo)者NVIDIA，即使在這些早期，他們已經(jīng)用AI處理器建立了一個小型帝國。目前，NVIDIA的Tesla T4、P4和P40加速器構(gòu)成了數(shù)據(jù)中心AI推理處理器的支柱，數(shù)據(jù)中心收入整體上證明對NVIDIA來說非常有利可圖。因此，即使整個數(shù)據(jù)中心市場沒有像預(yù)期的那樣增長，它仍然會非常有利可圖。

高通還不得不提防來自英特爾的威脅，英特爾公開表達了他們自己的人工智能市場計劃。該公司有幾個不同的AI計劃，從低功耗Movidius加速器到最新的Cascade Lake Xeon可擴展CPU。然而，對于高通公司闖入的特定市場賽道而言，最大的威脅可能是英特爾即將推出的Xe GPU，這些GPU將來自該公司最近重建的GPU部門。與高通一樣，英特爾也在力爭趕超NVIDIA，因此人工智能推理市場正面臨著激烈的競爭與演化，沒有一個巨頭希望自己在這場角逐中落敗而歸。

沖刺終點線？

除了高通公司的雄心外，在接下來的12個月左右，公司的重點將是收獲和組建第一批客戶。要做到這一點，該公司必須表明它對Cloud AI 100系列所做的事情是認真的，它可以在硬件上提供，并且它可以與競爭對手的軟件生態(tài)系統(tǒng)的易用性相匹配。這一切都不容易，這就是為什么高通公司現(xiàn)在需要開始，遠遠超過商業(yè)貨運開始的時間。

雖然高通公司多年來一直對服務(wù)器和數(shù)據(jù)中心市場抱有各種各樣的夢想，但描述這些努力的最禮貌的方式可能是“過于雄心勃勃”。例如，高通公司的Centriq系列基于ARM的服務(wù)器CPU，該公司推出在2017年大張旗鼓地宣布，只有整個項目在一年內(nèi)崩潰。除了Centriq的優(yōu)點外，高通公司仍然是一家主要針對芯片制造方面的移動處理器和調(diào)制解調(diào)器的公司。因此，為了讓數(shù)據(jù)中心運營商投資Cloud AI系列，高通公司不僅需要為第一代提供一個偉大的計劃，而且還要為未來幾代人制定計劃。

這里的結(jié)果是，在年輕的、不斷增長的推理加速器市場中，數(shù)據(jù)中心運營商更愿意嘗試新的處理器而不是CPU。因此，我們沒有理由相信Cloud AI 100系列無論如何都不能取得適度的成功。但高通公司要說服其他仍然謹慎的數(shù)據(jù)中心運營商，高通公司的產(chǎn)品值得投入如此多的資源。

與此平行的是等式的軟件方面。到目前為止，NVIDIA成功的很大一部分就是他們的人工智能軟件生態(tài)系統(tǒng)。這本身就是他們十年前的CUDA生態(tài)系統(tǒng)的擴展，到目前已經(jīng)讓GPU競爭對手AMD陷入困境。高通方面的優(yōu)勢是，最流行的框架，運行周期和工具已經(jīng)建立，TensorFlow、Caffe2和ONNX這些是它布局中的“大目標”。這就是為什么高通公司承諾提供廣泛的軟件堆棧，因為它可以做到這一點。但高通公司確實必須在這一方面加快速度，因為他們的軟件堆棧實際運行的程度可以決定整個項目的成敗。高通需要提供良好的硬件和良好的軟件才能在這里取得成功。

但至少目前，高通公司今天發(fā)布的公告仍是一個“預(yù)告片”，還有很長的路要走。該公司制定了一項雄心勃勃的計劃，旨在闖入日益增長的人工智能推理加速器市場，并提供與開放市場上其他任何產(chǎn)品不同的處理器。雖然這中間的過渡將會是一個挑戰(zhàn)，高通公司對推理加速器市場的需求卻只增不減。它是能夠為其開發(fā)處理器的能力。以及它們?nèi)绾文軌虮苊庀萑肫湎惹胺?wù)器處理器計劃的那種失誤。

最重要的是，高通不會簡單地采用推理加速器市場：它們將不得不為它而戰(zhàn)。這是NVIDIA失去的市場，英特爾也在關(guān)注它，更不用說來自GPU廠商，F(xiàn)PGA供應(yīng)商和其他ASIC廠商的所有小型廠商。任何和所有這些都可以在新興技術(shù)的年輕市場中快速上升和下降。因此，雖然它還差不多一年，但2020年正在迅速成為人工智能加速器市場的第一場大戰(zhàn)。

高通高管基斯·克里辛（Keith Kressin）表示，該公司將使用其在移動領(lǐng)域的技術(shù)專長，并借助其利用最新制造技術(shù)設(shè)計芯片的能力。而這款芯片的關(guān)鍵特征在于能耗效率。這個市場到2025年的規(guī)模預(yù)計可達170億美元。