深度學(xué)習(xí)技術(shù)以及其他機(jī)器學(xué)習(xí)技術(shù)已經(jīng)大大提高了AI的聲音識別和圖片分類能力，并應(yīng)用在越來越多的領(lǐng)域。

但，現(xiàn)階段，深度學(xué)習(xí)技術(shù)更擅長做的是從大數(shù)據(jù)中找到線索，而不是理解這些數(shù)據(jù)，并得出結(jié)論。就好像深度學(xué)習(xí)能夠識別出照片中的一只貓，但它不能“說出”貓的胡須、眼睛等具體信息，只能給出模棱兩可的答案，甚至有可能將印有小貓圖案的毛毯誤認(rèn)為一只貓。

也正因如此，隨著機(jī)器學(xué)習(xí)行業(yè)趨于平衡，芯片廠商的關(guān)注點(diǎn)越來越多的轉(zhuǎn)移到推理上。

作為全球三大芯片巨頭之一，推理對于英偉達(dá)而言，一點(diǎn)也不陌生。其第一款基于GPU的推理引擎是Tesla M4和Tesla M40，它們發(fā)布于2015年。

兩年前，英偉達(dá)推出專門針對機(jī)器學(xué)習(xí)推理的TeslaP4和P40加速器。兩年后，它的升級版來了。

功耗更低，速度更快的Tesla T4

近日，英偉達(dá)CEO黃仁勛在東京發(fā)布最新一代專用于機(jī)器學(xué)習(xí)和數(shù)據(jù)推理的CPU Tesla T4。同時，英偉達(dá)表示，谷歌將率先將新款T4 GPU推向其云平臺。

據(jù)悉，Tesla T4搭配TensorR T軟件組成的新平臺，主要面向AI應(yīng)用，包括智能語音、翻譯、視頻、圖像、推薦等應(yīng)用領(lǐng)域，號稱處理查詢的速度比僅采用CPU時快了40倍，同時延遲更低。

在運(yùn)算速度上，英偉達(dá)表示T4明顯快于P4。比如，在語音識別模型DeepSpeech 2上，T4比P4的5倍還要快；在神經(jīng)網(wǎng)絡(luò)翻譯模型GNMT上，T4的速度接近P4的4倍；在圖像識別模型ResNet-50上，T4也接近P4的3倍。

那T4快在哪里？

快在算力的增長。而決定T4算力增長的重中之重在于其圖靈架構(gòu)里的張量核心（Tensor Core）。T4內(nèi)置了320個張量核心，這就讓其數(shù)據(jù)吞吐量疾速增長，峰值達(dá)到260 TOPS（精度INT4) 。

然而，令人詫異的是，Tesla T4的功耗低的不可思議，整卡僅75W，無需輔助供電。而核心規(guī)模更小、計(jì)算性能更低的RTX 2070還要175-185W，顯然這塊卡在計(jì)算、功耗方面都做了特殊的優(yōu)化！當(dāng)然，也不能排除，這與RT光線追蹤的耗電程度有關(guān)。

外觀和內(nèi)存

外觀上，該卡采用了PCI-E擴(kuò)展卡樣式，全覆蓋金屬外殼，散熱器隱藏在內(nèi)部，整體極具質(zhì)感也相當(dāng)干練，同時因?yàn)槊嫦蛴?jì)算領(lǐng)域而沒有視頻輸出接口。

而在內(nèi)存方面，其搭配了16GB GDDR6，雙倍于游戲卡，不過帶寬僅320GB/s，因此要么降低了位寬，要么降低了頻率。

除了芯片以外，英偉達(dá)還將提供圍繞T4的一系列技術(shù)，如用于優(yōu)化深度學(xué)習(xí)模型的 TensorRT 軟件，包括 TensorRT 推理服務(wù)器。TensorRT 是一個高度集成化的數(shù)據(jù)中心推理微服務(wù)，可以無縫插入現(xiàn)有的 Kubernetes 設(shè)施中。

推理工作負(fù)載將成為芯片廠商爭奪的熱門市場

事實(shí)上，專注于提升推理工作負(fù)載的性能，也是英偉達(dá)的一項(xiàng)戰(zhàn)略舉措。

據(jù)公司預(yù)計(jì)，未來五年，該市場將增長至200億美元。與此同時，英特爾也聲稱，世界上大多數(shù)的推理工作負(fù)載，仍將運(yùn)行在基于至強(qiáng)處理器的平臺上。

鑒于當(dāng)前英特爾占有全球約96%的服務(wù)器市場，這種說法還是相當(dāng)可信的。并且，最近，英特爾還宣布在2017年為AI工作負(fù)載銷售了10億美元的處理器。預(yù)計(jì)未來幾年，該數(shù)字還會迅速增長。

顯然，推理工作負(fù)載將成為英偉達(dá)、英特爾、AMD 多家爭奪的熱門市場。

在這個市場上，作為老牌巨頭，英特爾憑借的，是其在服務(wù)器市場的先發(fā)優(yōu)勢。而低成本、低功耗的推理加速器，如 Tesla T4，將對其發(fā)起每瓦特性能的巨大挑戰(zhàn)。

據(jù)悉，AMD 也即將推出用于深度學(xué)習(xí)的 7nmRadeon Instinct GPU，谷歌也在積極開發(fā)自研的定制芯片，如 TPU?；蛟S，在未來幾年，我們能見證該領(lǐng)域的最終獲勝者。