強(qiáng)化學(xué)習(xí)(RL)領(lǐng)域再迎技術(shù)革新。繼上周發(fā)布大模型慢思考推理技術(shù)獲系列成果之后，九章云極DataCanvas聯(lián)合研究團(tuán)隊(duì)再次發(fā)布新一代AI強(qiáng)化學(xué)習(xí)框架R1-Searcher及全鏈路工程代碼。

近日，中國(guó)人民大學(xué)STILL項(xiàng)目團(tuán)隊(duì)、九章云極DataCanvas研究人員聯(lián)合發(fā)布新技術(shù)論文稱，提出了一種全新的強(qiáng)化學(xué)習(xí)方法R1-Searcher。據(jù)官方論文介紹，這是一種用于AI大型語(yǔ)言模型(LLMs)可自主調(diào)用外部搜索系統(tǒng)且可通過(guò)模型自我學(xué)習(xí)進(jìn)行訓(xùn)練的強(qiáng)化學(xué)習(xí)(RL)方法，通過(guò)兩階段獎(jiǎng)勵(lì)機(jī)制(何時(shí)檢索 + 如何利用)解決了現(xiàn)有模型處理知識(shí)密集型問(wèn)題時(shí)的不足，在多跳問(wèn)答、實(shí)時(shí)信息處理等場(chǎng)景展現(xiàn)出顛覆性潛力。

據(jù)公開(kāi)資料顯示，九章云極創(chuàng)始人方磊以聯(lián)合研究者身份參與論文。該框架開(kāi)源代碼在GitHub上一經(jīng)發(fā)布，引發(fā)AI界高度關(guān)注。

九章云極DataCanvas聯(lián)合研究團(tuán)隊(duì)公布了該框架全參數(shù)開(kāi)源方案，完整開(kāi)放了從模型訓(xùn)練到推理部署的全鏈路工程代碼，同步公開(kāi)實(shí)踐驗(yàn)證過(guò)的技術(shù)實(shí)例，為開(kāi)發(fā)者提供可直接部署的工業(yè)化級(jí)大模型訓(xùn)練框架。論文實(shí)驗(yàn)結(jié)果顯示，相比于最好的基線ReARTeR，R1-Searcher在2WikiMultiHopQA上提升了21.7%，在Bamboogle上準(zhǔn)確率提升4.0個(gè)百分點(diǎn)(LLM-as-Judge評(píng)測(cè)集)。

該框架開(kāi)源代碼在GitHub上一經(jīng)發(fā)布，引發(fā)了“模型框架與工程化部署”的深度探討。討論熱點(diǎn)圍繞論文公開(kāi)的規(guī)?；渴鸱椒ā耪略茦ODataCanvas AIaya NeW智算操作系統(tǒng)支持的一鍵構(gòu)建?“檢索-推理-反饋”閉環(huán)系統(tǒng)，通過(guò)將動(dòng)態(tài)檢索能力深度植入大型語(yǔ)言模型(LLMs)的推理本能;并通過(guò)全鏈路優(yōu)化實(shí)現(xiàn)動(dòng)態(tài)知識(shí)更新與實(shí)時(shí)性能調(diào)優(yōu)，從根本上解決了域外/域內(nèi)數(shù)據(jù)難度分布和數(shù)據(jù)多樣性對(duì)訓(xùn)練的影響，在提高推理速度的同時(shí)、降低預(yù)訓(xùn)練成本，而不會(huì)犧牲性能方面起到關(guān)鍵貢獻(xiàn)，使該R1-Searcher模型能夠直接處理代碼倉(cāng)庫(kù)或多輪對(duì)話(如客服場(chǎng)景)，擴(kuò)展了大語(yǔ)言模型在文檔分析、代碼生成、復(fù)雜推理等領(lǐng)域的應(yīng)用邊界。

九章云極DataCanvas研究團(tuán)隊(duì)這一“對(duì)癥下藥”式創(chuàng)新性設(shè)計(jì)，不僅解決了大模型知識(shí)時(shí)效性問(wèn)題，更通過(guò)強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)了檢索策略的自主優(yōu)化，在經(jīng)濟(jì)層面實(shí)現(xiàn)低成本高性能。有AI技術(shù)專(zhuān)家認(rèn)為，該算法為垂直領(lǐng)域大模型開(kāi)發(fā)提供了新范式，未來(lái)或催生更多實(shí)時(shí)智能應(yīng)用。對(duì)于AI應(yīng)用企業(yè)而言，這不僅意味著更準(zhǔn)確的搜索結(jié)果，更代表著一種企業(yè)自主可運(yùn)營(yíng)的AI基礎(chǔ)設(shè)施——像“水電煤”一樣實(shí)時(shí)適配業(yè)務(wù)變化。

公開(kāi)資料顯示，RL(即Reinforcement Learning，強(qiáng)化學(xué)習(xí))是一種通過(guò)智能體與環(huán)境的交互來(lái)學(xué)習(xí)最優(yōu)策略的機(jī)器學(xué)習(xí)方法。RAG(即Retrieval Augmented Generation，檢索增強(qiáng)生成)是將大量外部數(shù)據(jù)與基礎(chǔ)模型相結(jié)合，進(jìn)而增強(qiáng)了大語(yǔ)言模型(LLMs)的能力。