11月22日，追一科技與粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院(IDEA)宣布，雙方將共同開展大型預訓練模型的研發(fā)工作。基于雙方在自然語言研究和認知智能領域的模型、算法、算力、科研、工程、應用積累優(yōu)勢，立足社會和企業(yè)智能化需求，共同推進創(chuàng)新技術(shù)研發(fā)和開源應用。

近幾年，隨著自然語言處理(NLP)技術(shù)的迅速發(fā)展，特別是2018年谷歌的Bert模型問世以來，預訓練與遷移學習技術(shù)在NLP領域當中獲得了廣泛應用。預訓練模型能夠大幅度提升模型在下游各種NLP任務當中的表現(xiàn)，包括語義理解、文本生成等;與此同時，使用預訓練模型還能夠降低下游任務所需要的標注數(shù)據(jù)量，從而降低技術(shù)應用所需要投入的成本。

IDEA認知計算與自然語言研究中心講席科學家張家興博士表示，“IDEA倡導業(yè)界一起合作開放來做開源大模型，匯聚學界和產(chǎn)業(yè)界智慧，推進創(chuàng)新技術(shù)研發(fā)實踐應用。追一科技是NLP領域的領軍企業(yè)，有深厚的技術(shù)積累和研發(fā)實力，以及產(chǎn)業(yè)實踐經(jīng)驗，雙方的合作將是我們在NLP領域的第一個典范。“

追一科技聯(lián)合創(chuàng)始人、CTO劉云峰博士表示，“大型預訓練模型已成為NLP應用技術(shù)的主流范式，將會得到越來越多的應用。追一科技立足自身創(chuàng)新同時，也一直積極推動產(chǎn)學研協(xié)同，助力NLP創(chuàng)新發(fā)展。IDEA是一流的國際化創(chuàng)新型研究機構(gòu)，匯集了國內(nèi)外頂級的技術(shù)專家，極具技術(shù)前瞻，我們期待和IDEA一起，將前沿大模型的創(chuàng)新研究成果帶給更多企業(yè)和應用開發(fā)者，讓AI真正普惠社會?！?

追一科技很早就關(guān)注和投入NLP預訓練領域研究，積累了深厚的技術(shù)能力，陸續(xù)開源了一系列的預訓練模型，如SimBERT、WoBERT、中文T5 PEGASUS、roformer等，并得到了NLP領域的廣泛關(guān)注與使用。

結(jié)合追一的商業(yè)實踐，預訓練的多項技術(shù)成果已經(jīng)率先在業(yè)內(nèi)轉(zhuǎn)化并落地應用。追一科技的在線機器人等多款智能化產(chǎn)品中，已經(jīng)將我們用在開源預訓練模型中的技術(shù)用到了為業(yè)務與產(chǎn)品線專門設計的ZOne預訓練模型中，機器人的準確性、性能大幅提升，數(shù)據(jù)標注和運營成本也持續(xù)降低，為政府和企業(yè)的的營銷、服務和運營的智能轉(zhuǎn)型提供更強科技動力。

此次追一科技和IDEA的合作不只限于技術(shù)層面，也將攻堅產(chǎn)業(yè)應用關(guān)鍵難題，并向業(yè)內(nèi)開源共享成果。 追一科技也將持續(xù)擁抱AI產(chǎn)學研開放合作，凝聚更多智慧力量，推進NLP發(fā)展，助力更多企業(yè)邁進智能化時代。