近日，阿里云機(jī)器學(xué)習(xí)平臺PAI和北京大學(xué)楊智老師團(tuán)隊(duì)合作的論文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被SIGMOD 2023錄用。論文通過對深度學(xué)習(xí)數(shù)據(jù)預(yù)處理流水線的彈性伸縮，大幅提升了訓(xùn)練性能和集群資源利用效率。

SIGMOD是數(shù)據(jù)庫與數(shù)據(jù)管理系統(tǒng)領(lǐng)域的國際頂級會議，自1975年首次舉辦以來，一直對數(shù)據(jù)管理、存儲和處理的發(fā)展起著深刻的推動作用，在學(xué)術(shù)和工業(yè)界均有巨大影響力。SIGMOD也重視數(shù)據(jù)管理系統(tǒng)與其他方向的交叉，尤其近年來也對機(jī)器學(xué)習(xí)和人工智能領(lǐng)域格外關(guān)注。此次入選意味著阿里云機(jī)器學(xué)習(xí)平臺PAI在深度學(xué)習(xí)數(shù)據(jù)處理方向達(dá)到了全球業(yè)界先進(jìn)水平，獲得了國際學(xué)者的認(rèn)可，展現(xiàn)了中國機(jī)器學(xué)習(xí)系統(tǒng)技術(shù)創(chuàng)新在國際上的競爭力。

近年來，隨著GPU加速器的不斷進(jìn)化，以及各類軟件優(yōu)化技術(shù)的層出不窮，深度學(xué)習(xí)訓(xùn)練的計(jì)算效率正不斷被提升到新的層次。但與此同時(shí)，深度學(xué)習(xí)本質(zhì)上仍是一種多階段、多資源的任務(wù)類型：不僅需要在GPU上進(jìn)行大量的訓(xùn)練計(jì)算，同時(shí)往往也需要CPU端的數(shù)據(jù)預(yù)處理流水線（如數(shù)據(jù)增強(qiáng)、特征轉(zhuǎn)換等），這類預(yù)處理計(jì)算是訓(xùn)練出高質(zhì)量模型的必要步驟。因此，GPU端訓(xùn)練性能的提升也帶來了更大的數(shù)據(jù)預(yù)處理壓力，使后者成為新的性能瓶頸。

針對這一問題，在觀察后發(fā)現(xiàn)數(shù)據(jù)預(yù)處理流水線具有無狀態(tài)的特點(diǎn)，具有內(nèi)在的資源彈性?；诖耍珿oldMiner將數(shù)據(jù)預(yù)處理流水線和模型訓(xùn)練部分分離執(zhí)行，通過自動計(jì)算圖分析來識別無狀態(tài)的數(shù)據(jù)預(yù)處理計(jì)算，并對其實(shí)現(xiàn)高效的并行加速和彈性伸縮，從而緩解數(shù)據(jù)預(yù)處理瓶頸，提升訓(xùn)練性能。通過與集群調(diào)度器的協(xié)同設(shè)計(jì)，GoldMiner進(jìn)一步發(fā)揮了數(shù)據(jù)預(yù)處理計(jì)算的資源彈性，大幅提升集群調(diào)度效率。實(shí)驗(yàn)顯示GoldMiner可提升訓(xùn)練性能最高達(dá)12.1倍，提升GPU集群利用率達(dá)2.5倍。

目前阿里云機(jī)器學(xué)習(xí)平臺 PAI正在將GoldMiner與PAI-DLC集成，以向用戶提供數(shù)據(jù)預(yù)處理加速能力。機(jī)器學(xué)習(xí)平臺PAI面向企業(yè)客戶及開發(fā)者，提供輕量化、高性價(jià)比的云原生機(jī)器學(xué)習(xí)，涵蓋PAI-DSW交互式建模、PAI-Designer可視化建模、PAI-DLC分布式訓(xùn)練到PAI-EAS模型在線部署的全流程。其中PAI-DLC提供了云原生一站式的深度學(xué)習(xí)訓(xùn)練平臺，提供靈活、穩(wěn)定、易用和高性能的機(jī)器學(xué)習(xí)訓(xùn)練環(huán)境。支持多種算法框架，超大規(guī)模分布式深度學(xué)習(xí)任務(wù)運(yùn)行及自定義算法框架，為開發(fā)者和企業(yè)降本增效。

論文名字：GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning論文作者：趙漢宇，楊智，程羽，田超，任仕儒，肖文聰，袁滿，陳浪石，劉愷博，張楊，李永，林偉論文pdf鏈接：https://dl.acm.org/doi/pdf/10.1145/3589773