隨著深度學(xué)習(xí)帶來AI的第三次浪潮，對AI的相關(guān)討論層出不窮，算法是大家關(guān)注的重點(diǎn)。

  算法固然重要，但想做好AI，還需要強(qiáng)大的底層支撐。谷歌在訓(xùn)練AlphaGo Zero時，用到2000塊TPU，僅僅花費(fèi)三天就完成訓(xùn)練。目前，企業(yè)AI化的需求不斷加深，需要有非常強(qiáng)大的計(jì)算平臺來有力支撐線上推理和線下訓(xùn)練。

  AI計(jì)算平臺涉及到GPU、CPU、TPU、FPGA等硬件，每類硬件背后都有代表企業(yè)。英偉達(dá)GPU以卓越的性能，在AI計(jì)算中占據(jù)了相當(dāng)大的市場;英特爾在CPU上有得天獨(dú)厚的優(yōu)勢，并擅長布局生態(tài)，譬如將CPU與FPGA相結(jié)合;谷歌瞄準(zhǔn)深度學(xué)習(xí)場景，發(fā)布專用TPU加速器。

  在4月的浪潮云數(shù)據(jù)中心合作伙伴大會(IPF2018)上，浪潮首發(fā)面向AI 云設(shè)計(jì)的彈性GPU服務(wù)器NF5468M5，可靈活支持AI模型的線下訓(xùn)練和線上推理。

  

  圖：浪潮彈性GPU服務(wù)器NF5468M5

  浪潮彈性GPU服務(wù)器NF5468M5具備以下功能：

  · 面向線下訓(xùn)練對性能的需求，可支持8顆最高性能的Tesla Volta GPU以PCI-E或NVLink的高速互聯(lián)。

  · 面向在線推理對高能效比的需求，可支持16顆高能效比的Tesla P4 GPU，適用于語音、圖片、視頻場景。

  · 在智能視頻分析場景下，可同時處理300路以上1080p高清視頻結(jié)構(gòu)化。

  · 在數(shù)據(jù)存儲和通信性能方面，支持288TB大容量存儲或32TB固態(tài)存儲，能實(shí)現(xiàn)高達(dá)400Gbps的通信帶寬和1us的超低延遲。

  據(jù)浪潮介紹，AI云對基礎(chǔ)架構(gòu)的設(shè)計(jì)帶來了新的挑戰(zhàn)，要求AI服務(wù)器具備適合于不同AI訓(xùn)練場景的GPU靈活拓?fù)?、AI 線上推理的高并發(fā)低延遲與高能效比、大規(guī)模AI數(shù)據(jù)的存儲與通信能力?；诖耍Y(jié)合英偉達(dá)GPU芯片的良好性能以及穩(wěn)健生態(tài)，浪潮做出一系列創(chuàng)新，推出 NF5468M5。

  除了最新發(fā)布的GPU服務(wù)器 NF5468M5，浪潮的服務(wù)器還涉及CPU、FPGA。浪潮通過實(shí)測數(shù)據(jù)，分析不同場景下人工智能計(jì)算對服務(wù)器的性能要求，合理搭配以CPU、GPU和FPGA為核心的AI計(jì)算服務(wù)器。以下是兩個典型案例。

  適用于多個應(yīng)用場景的FPGA加速設(shè)備F10A

  F10A是一款 FPGA加速設(shè)備?；贔PGA具有可編程專用性，高性能及低功耗的特點(diǎn)，浪潮F10A AI線上推理加速方案針對CNN卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)算法進(jìn)行優(yōu)化和固化，可加速ResNet等神經(jīng)網(wǎng)絡(luò)，能夠應(yīng)用于圖片分類、對象檢測和人臉識別等應(yīng)用場景。

  這一服務(wù)器的單芯片峰值運(yùn)算能力為1.5 TFlops，每瓦特性能達(dá)到42 GFlops。同時，F(xiàn)10A具有靈活的板卡內(nèi)存配置，最大支持32G雙通道內(nèi)存，能夠寄存更多的并行任務(wù)數(shù)據(jù)。

  最大支持64塊GPU的SR-AI

  SR-AI單機(jī)可實(shí)現(xiàn)支持16個GPU的超大擴(kuò)展性節(jié)點(diǎn)，該方案最大支持64塊GPU，峰值處理能力為512 TFlop，可支持千億樣本、萬億參數(shù)級別的模型訓(xùn)練。該服務(wù)器打破了傳統(tǒng)服務(wù)器的GPU/CPU緊耦合架構(gòu)，通過PCI-e Switch節(jié)點(diǎn)連接上行的CPU計(jì)算/調(diào)度節(jié)點(diǎn)和下行的GPU Box，實(shí)現(xiàn)CPU/GPU的獨(dú)立擴(kuò)容，避免傳統(tǒng)架構(gòu)升級帶來的部件過度冗余，使得GPU擴(kuò)展無需同步配置高成本的IT資源，可將成本優(yōu)化5%以上，隨著規(guī)模上升，成本優(yōu)勢更加明顯。

  浪潮表示，在計(jì)算平臺的選擇上，企業(yè)可以在適合線下訓(xùn)練的計(jì)算加速節(jié)點(diǎn)采用浪潮領(lǐng)先業(yè)界設(shè)計(jì)的浮點(diǎn)運(yùn)算能力強(qiáng)、高擴(kuò)展的GPU服務(wù)器，或KNM 計(jì)算加速器，而用于線上識別的計(jì)算加速節(jié)點(diǎn)采用浪潮低功耗、高能效比的GPU 服務(wù)器，或者低功耗定制優(yōu)化推理程序的FPGA加速器。

  

  圖：浪潮GPU服務(wù)器產(chǎn)品家族

  2017 年，浪潮AI服務(wù)器在中國AI市場占有率超過57%，阿里巴巴、騰訊和百度三家運(yùn)營商90%以上的AI服務(wù)器都來自浪潮。

  對于浪潮在AI服務(wù)器上的成功，浪潮AI&HPC總經(jīng)理劉軍將其歸功于三個方面，一是對GPU的布局早，二是對行業(yè)客戶的把握——把互聯(lián)網(wǎng)作為主航道，三是產(chǎn)品創(chuàng)新的能力和效果有保證。

  日前，浪潮也公開了企業(yè)AI策略。

  2018年4月26日，在浪潮云數(shù)據(jù)中心合作伙伴大會IPF2018上，浪潮發(fā)布全新AI品牌TensorServer，明確傳遞浪潮對AI業(yè)務(wù)的決心與愿景。浪潮集團(tuán)副總裁彭震對TensorServer品牌予以了詮釋：「Tensor是算法的基礎(chǔ)元素，Server是計(jì)算力的基礎(chǔ)架構(gòu)。AI基礎(chǔ)架構(gòu)對于AI產(chǎn)業(yè)持續(xù)快速健康發(fā)展至關(guān)重要。TensorServer 意在成為AI的承載者與賦能者，整合創(chuàng)新AI基礎(chǔ)架構(gòu)系統(tǒng)，以計(jì)算開啟可進(jìn)化的智慧世界?！?

  這里的AI基礎(chǔ)架構(gòu)系統(tǒng)涵蓋平臺、管理、框架、應(yīng)用多個方面。

  在AI管理上，浪潮部署AIStation人工智能深度學(xué)習(xí)集群管理軟件。AIStation主要面向深度學(xué)習(xí)計(jì)算集群，提供數(shù)據(jù)處理、模型開發(fā)、模型訓(xùn)練、推理服務(wù)全流程服務(wù)，支持多種深度學(xué)習(xí)框架，能夠快速部署深度學(xué)習(xí)訓(xùn)練環(huán)境，全面管理深度學(xué)習(xí)訓(xùn)練任務(wù)，為深度學(xué)習(xí)用戶提供高效易用的平臺。此外，這一軟件可以對計(jì)算集群的CPU及GPU資源進(jìn)行統(tǒng)一的管理、調(diào)度及監(jiān)控，有效的提高計(jì)算資源的利用率和生產(chǎn)率。

  

  圖：浪潮AIStation系統(tǒng)架構(gòu)圖

  作為補(bǔ)充，浪潮還自研Teye應(yīng)用特征分析系統(tǒng)。Teye主要用于分析AI應(yīng)用程序在GPU集群上運(yùn)行時對硬件及系統(tǒng)資源占用的情況，反映出應(yīng)用程序的運(yùn)行特征、熱點(diǎn)及瓶頸，從而幫助用戶最大限度的在現(xiàn)有平臺挖掘應(yīng)用的計(jì)算潛力，進(jìn)而為應(yīng)用程序的優(yōu)化以及應(yīng)用算法的調(diào)整改進(jìn)提供科學(xué)的指引方向。

  而在框架上，浪潮早在2015年就發(fā)布Caffe-MPI深度學(xué)習(xí)計(jì)算框架，他們在Caffe架構(gòu)的基礎(chǔ)上，針對并行擴(kuò)展性做出一系列創(chuàng)新。

  據(jù)記者了解，最新版本Caffe-MPI在4節(jié)點(diǎn)16塊GPU卡集群系統(tǒng)上訓(xùn)練性能較單卡提升13倍，其每秒處理圖片數(shù)量是同配置集群運(yùn)行的TensorFlow 1.0的近2倍。

  Caffe-MPI設(shè)計(jì)了兩層通信模式：節(jié)點(diǎn)內(nèi)的 GPU 卡間通信及節(jié)點(diǎn)間的 RDMA 全局通信，這極大降低了網(wǎng)絡(luò)通信的壓力，并克服了傳統(tǒng)通信模式中 PCIE 與網(wǎng)絡(luò)之間帶寬不均衡的影響，同時Caffe-MPI還設(shè)計(jì)實(shí)現(xiàn)了計(jì)算和通信的重疊。此外，新版本 Caffe-MPI提供了更好的cuDNN兼容性，用戶可以無縫調(diào)用最新的cuDNN版本實(shí)現(xiàn)更大的性能提升。

  除了自研深度學(xué)習(xí)框架，浪潮將深度學(xué)習(xí)框架及其依賴的庫統(tǒng)一進(jìn)行資源封裝成一個鏡像，之后便可以在任何支持資源封裝的浪潮平臺上隨時加載鏡像，用戶可以立刻開始工作，其工作環(huán)境與原始環(huán)境完全一致，這可以有效提升生產(chǎn)力。目前，浪潮可封裝的框架資源基本涵蓋了主流的深度學(xué)習(xí)框架，包括 Caffe/Cafee-MPI、TensorFlow、CNTK、MXNet以及PaddlePaddle等。

  在應(yīng)用加速上，記者了解到浪潮的解決方案如下：

  · 應(yīng)用場景咨詢與系統(tǒng)方案設(shè)計(jì)

  浪潮AI解決方案專家與客戶商討深度學(xué)習(xí)應(yīng)用場景，共同分析計(jì)算熱點(diǎn)和瓶頸，幫助設(shè)計(jì)適合客戶應(yīng)用場景的系統(tǒng)方案。

  · 應(yīng)用代碼移植優(yōu)化

  浪潮異構(gòu)應(yīng)用專家可以幫助客戶分析CPU代碼特征，辨別是否適合遷移至異構(gòu)加速部件，并共同將代碼熱點(diǎn)進(jìn)行移植優(yōu)化，提升應(yīng)用的計(jì)算效率，時間更短。

  · 計(jì)算加速部件性能橫向評測

  浪潮針對GPU/FPGA/KNM等主流異構(gòu)加速部件擁有成熟的橫向評測方法，可以幫助客戶選擇適合的部件。

  目前，浪潮的解決方案為行業(yè)AI轉(zhuǎn)型提供賦能支撐。

  浪潮與百度合作推出ABC一體機(jī)，這一設(shè)備集合了百度自研的集群管理軟件、優(yōu)化引擎和浪潮AI計(jì)算硬件平臺，支持PaddlePaddle、TensorFlow、Caffe等主流深度學(xué)習(xí)框架，內(nèi)嵌成熟的算法模型和云管理技術(shù)。

  據(jù)浪潮介紹，ABC人臉識別一體機(jī)支持百度人臉檢測、1:1人臉對比和1：N人臉查找三大人臉識別核心能力，可以根據(jù)人臉面部的72個特征點(diǎn)識別多種人臉屬性，如性別、年齡、表情等信息，并計(jì)算人臉相似度，可用于用戶身份。

  

  圖：浪潮與百度攜手打造ABC一體機(jī)

  此外，浪潮很早就開始與科大訊飛合作訓(xùn)練語音神經(jīng)網(wǎng)絡(luò)模型，從將模型訓(xùn)練從CPU單機(jī)上擴(kuò)展到多機(jī)，而后又開展如何在FPGA上運(yùn)行語音神經(jīng)網(wǎng)絡(luò)模型的研究，實(shí)現(xiàn)更高的性能。

  目前，浪潮在計(jì)算平臺、管理套件、框架優(yōu)化和應(yīng)用加速上已經(jīng)形成有機(jī)的AI生態(tài)。劉軍表示，對于渴望AI轉(zhuǎn)型的企業(yè)，從客觀看，極其需要這四層能力，而浪潮作為賦能者，能將這四層能力賦予這些企業(yè)，讓其更快速地實(shí)現(xiàn) AI落地。