9月7日，在2023騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊首次公開了完全自主研發(fā)的通用大語言模型——騰訊混元大模型。得益于全鏈路自研技術(shù)，騰訊混元大模型能夠理解上下文的含義，并且有長文記憶能力，可以流暢地進(jìn)行專業(yè)領(lǐng)域的多輪對(duì)話。

騰訊從2021年開始，曾先后推出了千億、萬億級(jí)參數(shù)模型。經(jīng)過多年時(shí)間的持續(xù)研發(fā)投入和積累，以及在實(shí)際應(yīng)用中不斷地自主研發(fā)創(chuàng)新，騰訊目前已經(jīng)完全掌握了從模型算法到機(jī)器學(xué)習(xí)框架，再到AI基礎(chǔ)設(shè)施的全鏈路自研技術(shù)。騰訊混元大模型的誕生，也是騰訊在大模型領(lǐng)域多年的積累和探索的成果。

據(jù)了解，混元大模型是從第一個(gè)token開始從零訓(xùn)練的。通過采用預(yù)訓(xùn)練“探真”技術(shù)、動(dòng)態(tài)鋸齒狀注意力機(jī)制、位置編碼優(yōu)化、原創(chuàng)思維鏈策略等創(chuàng)新的大模型算法，使得大模型事實(shí)幻覺率相比主流開源大模型減少30%—50%，并讓大模型能夠真正像人一樣識(shí)別問題陷阱，并結(jié)合實(shí)際的應(yīng)用場景進(jìn)行推理和決策。

此外，混元大模型還使用了自研的機(jī)器學(xué)習(xí)框架Angel，使得訓(xùn)練速度相比業(yè)界主流框架提升1倍，推理速度比業(yè)界主流框架提升1.3倍。

得益于在算法、學(xué)習(xí)框架等各個(gè)層面進(jìn)行的一系列自研創(chuàng)新，混元大模型已經(jīng)具備良好的可靠性和成熟度，其上下文理解、長文記憶能力和邏輯推理能力表現(xiàn)優(yōu)秀。

在中國信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評(píng)估方法》的標(biāo)準(zhǔn)符合性測試中，混元大模型共測評(píng)66個(gè)能力項(xiàng)，在“模型開發(fā)”和“模型能力”兩個(gè)重要領(lǐng)域的綜合評(píng)價(jià)均獲得了當(dāng)前的最高分。在主流的評(píng)測集MMLU、CEval和AGI-eval上，混元大模型均有優(yōu)異的表現(xiàn)，特別是在中文的理科、高考題和數(shù)學(xué)等子項(xiàng)上表現(xiàn)突出。

騰訊混元大模型是一個(gè)從實(shí)踐中來，到實(shí)踐中去的實(shí)用級(jí)大模型。它不僅展示了騰訊在大模型領(lǐng)域的技術(shù)實(shí)力和創(chuàng)新能力，更體現(xiàn)了騰訊在將人工智能技術(shù)應(yīng)用到實(shí)際場景中的探索和實(shí)踐。通過與產(chǎn)業(yè)數(shù)據(jù)和場景相結(jié)合，混元大模型為解決產(chǎn)業(yè)痛點(diǎn)帶來了全新的思路和方案。