專注于人工智能技術創(chuàng)新的科技周報Import AI,長期關注并報道科技領域的重要事件。在最近一期周報中,碼隆科技自研的CurriculumNet算法在計算機視覺技術創(chuàng)新領域的應用獲得了Import AI的關注。

作為數(shù)萬名業(yè)內(nèi)專家的重要讀物,Import AI一直專注于人工智能技術創(chuàng)新領域。其作者Jack Clark為OpenAI現(xiàn)任戰(zhàn)略及傳播總監(jiān),曾任Bloomberg唯一一位專注于神經(jīng)網(wǎng)絡學習領域的記者。OpenAI是眾多硅谷大亨聯(lián)合建立的人工智能非盈利組織,在技術界有廣泛影響力。

如下是報道的中文譯文:

中國計算機視覺創(chuàng)業(yè)公司碼隆科技于近期開源了基于弱監(jiān)督學習的CurriculumNet代碼和模型。CurriculumNet是一種可通過從互聯(lián)網(wǎng)上收集大量帶有噪聲標簽的數(shù)據(jù)來訓練出一個魯棒性很強的深度神經(jīng)網(wǎng)絡模型技術,這一方法對那些缺少大型已標注數(shù)據(jù)集的研究人員十分有幫助。但是,這種從互聯(lián)網(wǎng)上按照標簽語義收集來的數(shù)據(jù)往往帶有大量噪聲。因此,若要在這些數(shù)據(jù)上訓練出高性能的深度神經(jīng)網(wǎng)絡模型,研究人員需要面臨著從噪聲中提取足夠多有用信息的挑戰(zhàn)。

CurriculumNet:研究人員在WebVision數(shù)據(jù)庫上訓練他們的模型結構,該數(shù)據(jù)庫包含了超過2,400,000張帶有噪聲標簽的圖像。他們的方法是在整個數(shù)據(jù)集上訓練一個Inception_v2模型,之后研究所有圖像映射到的特征空間;此后,CurriculumNet將這些圖像分組,根據(jù)特征空間中所有圖像的相似程度將每個類聚成三個子集。接著,他們開始使用具有相似圖像特征的子集用于模型訓練,再混合到噪聲較大的子集中訓練。通過高質(zhì)量的標注數(shù)據(jù)迭代學習分類器,隨后添加具有噪聲的數(shù)據(jù)來加強分類器,研究人員表示這種增加噪聲數(shù)據(jù)訓練的方式不僅能提高模型的性能還能增強其泛化能力。

測試效果:研究員用CurriculumNet測試了四個基準:WebVision、ImageNet、Clothing1M和Food101。他們發(fā)現(xiàn),使用最大量的噪聲數(shù)據(jù)訓練的系統(tǒng)比那些沒有噪聲數(shù)據(jù)訓練的系統(tǒng)甚至有著更高的準確度。這一方法使WebVision上的錯誤率減少了多個百分點(“這些進步對于如此大規(guī)模的挑戰(zhàn)是至關重要的,”研究人員表示)。更進一步,CurriculumNet在WebVision上的準確度最高,而且訓練數(shù)據(jù)越多(例如結合ImageNet和WebVision的數(shù)據(jù)集進行訓練時),性能越好。

碼隆科技在四個公開數(shù)據(jù)集中的實驗結果

訓練模型在WebVision和ImageNet上合集的效果

技術意義:類似于CurriculumNet的系統(tǒng)很好地展示了研究人員可以如何利用標注不佳的數(shù)據(jù),結合前沿訓練理念來,提高低質(zhì)量標注數(shù)據(jù)的價值。這樣的方法就類似于在自然資源中提取有用物質(zhì)時所采取的“萃取”手法,很有現(xiàn)實意義。