HPE今天宣布收購開源軟件平臺(tái)初創(chuàng)公司Determined AI，該公司的平臺(tái)可以將機(jī)器學(xué)習(xí)算法的訓(xùn)練速度提高數(shù)十倍。

在當(dāng)前超級(jí)計(jì)算機(jī)和服務(wù)器買家日益重視AI技術(shù)的背景下，此次收購將有助于提升HPE的機(jī)器學(xué)習(xí)能力。

Determined AI總部位于美國舊金山，創(chuàng)立于2017年，已經(jīng)累計(jì)融資1300萬美元，投資方包括Alphabet旗下GV基金、LG Electronics和CRV。

開發(fā)者在編寫完新的機(jī)器學(xué)習(xí)算法后，會(huì)通過處理大量訓(xùn)練數(shù)據(jù)來訓(xùn)練算法的計(jì)算能力，這個(gè)過程有助于提高人工智能軟件的準(zhǔn)確性和速度。隨著近年來機(jī)器學(xué)習(xí)算法中人工神經(jīng)元的數(shù)量增加，訓(xùn)練過程中所需的硬件數(shù)量也在隨之增加。

Determined AI的平臺(tái)可以更簡(jiǎn)化地設(shè)置構(gòu)建復(fù)雜AI算法所需的大量硬件。該平臺(tái)啟動(dòng)服務(wù)器之后，會(huì)在這些服務(wù)器之間創(chuàng)建網(wǎng)絡(luò)連接，使其可以協(xié)調(diào)工作并在設(shè)備之間分配工作負(fù)載。Determined AI采用了容錯(cuò)配置設(shè)置環(huán)境，即使其中一臺(tái)服務(wù)器掉線，AI算法也可以繼續(xù)進(jìn)行訓(xùn)練。

Determined AI的平臺(tái)可以加快機(jī)器學(xué)習(xí)項(xiàng)目的速度，因?yàn)橐郧霸O(shè)置AI訓(xùn)練環(huán)境通常需要進(jìn)行手動(dòng)操作，使工程師不得不把寶貴的時(shí)間花在一些繁雜的任務(wù)上，例如確保啟動(dòng)的服務(wù)器數(shù)量不超過公司分配給該項(xiàng)目的基礎(chǔ)設(shè)施數(shù)量。此外，在缺乏容錯(cuò)功能（例如Determined AI提供的容錯(cuò)功能）的情況下，服務(wù)器宕機(jī)可能需要工程師從頭開始重新訓(xùn)練，這會(huì)進(jìn)一步增加項(xiàng)目持續(xù)的時(shí)間。

Determined AI承諾加速AI開發(fā)的另一種方式，是在軟件層面優(yōu)化訓(xùn)練過程本身。為此，Determined AI的平臺(tái)采用了Horovod的定制版本，Horovod是Uber公司最初于2017年發(fā)布的開源AI訓(xùn)練框架。Determined AI表示，該版本框架在某些情況下可以將訓(xùn)練速度提高數(shù)十倍，項(xiàng)目持續(xù)時(shí)間從幾天縮短到幾個(gè)小時(shí)。

Determined AI所實(shí)施的Horovod通過提高所謂的擴(kuò)展效率來進(jìn)行加速。工程師通過添加更多服務(wù)器來擴(kuò)展AI訓(xùn)練環(huán)境，由于各種技術(shù)因素，每個(gè)服務(wù)器提供的計(jì)算能力會(huì)同步減少。Horovod可以實(shí)現(xiàn)非常高的擴(kuò)展效率，高達(dá)90%，這意味著隨著AI訓(xùn)練環(huán)境的擴(kuò)展，只有10%的服務(wù)器處理能力會(huì)損失掉。

HPE將利用Determined AI的技術(shù)來提升自身的超級(jí)計(jì)算能力，為此HPE計(jì)劃將Determined AI并入高性能計(jì)算和關(guān)鍵任務(wù)解決方案部門（包括其超級(jí)計(jì)算機(jī)業(yè)務(wù)）。

這次收購正值有越來越多的超級(jí)計(jì)算機(jī)被用于運(yùn)行機(jī)器學(xué)習(xí)工作負(fù)載，這個(gè)趨勢(shì)反映在越來越多即將上線的新系統(tǒng)都將采用GPU。通過收購Determined AI，HPE將可以用超級(jí)計(jì)算硬件加上機(jī)器學(xué)習(xí)軟件，為那些運(yùn)行AI工作負(fù)載的高性能計(jì)算客戶提供更好的支持。

此次收購另一個(gè)值得注意的方面，是Determined AI的平臺(tái)是可以運(yùn)行在云端的。這一點(diǎn)很重要，因?yàn)榕c其他本地應(yīng)用一樣，超級(jí)計(jì)算工作負(fù)載正越來越多地遷移到云中。特別是最近，HPE在今年4月與微軟展開合作，為英國氣象局在Azure數(shù)據(jù)中心設(shè)置了一套超級(jí)計(jì)算機(jī)。由于Determined AI的平臺(tái)在云端和本地環(huán)境中運(yùn)行性能都非常出色，因此HPE可以將其提供給越來越多的客戶，把高性能計(jì)算項(xiàng)目帶到企業(yè)網(wǎng)絡(luò)之外的環(huán)境中。

此外Determined AI的平臺(tái)也適用于HPE機(jī)器學(xué)習(xí)服務(wù)器的客戶。HPE有多條配備了GPU的產(chǎn)品線可用于那些不需要超級(jí)計(jì)算機(jī)、但仍需要相當(dāng)高本地計(jì)算能力的項(xiàng)目。HPE援引IDC的研究數(shù)據(jù)稱，到2024年加速AI服務(wù)器市場(chǎng)的年增長率預(yù)計(jì)將達(dá)到38%，規(guī)模達(dá)到180億美元。

Determined AI首席執(zhí)行官Evan Sparks表示：“過去幾年中，開發(fā)AI應(yīng)用已經(jīng)變成一件需要計(jì)算、數(shù)據(jù)和通信非常密集型的事情。通過與HPE行業(yè)領(lǐng)先的高性能計(jì)算和人工智能解決方案相結(jié)合，我們可以加快實(shí)現(xiàn)構(gòu)建尖端AI應(yīng)用的使命，同時(shí)顯著擴(kuò)大我們的客戶范圍。”

Determined AI以開源版本和付費(fèi)版本（帶有額外功能）兩種形式提供自己的平臺(tái)。Determined AI公司今天在其博客上表示，收購后將繼續(xù)提供開源版本。此外，HPE計(jì)劃繼續(xù)在Determined AI開發(fā)上進(jìn)行投入。

這次收購將在HPE的超級(jí)計(jì)算市場(chǎng)戰(zhàn)略中發(fā)揮核心作用。為了加強(qiáng)自己在該領(lǐng)域的影響力，兩年前HPE斥資13億美元收購了超級(jí)計(jì)算機(jī)制造商Cray，后者構(gòu)建了很多全球最快的高性能計(jì)算系統(tǒng)。