4月28日，科技創(chuàng)新與知識產(chǎn)權(quán)信息服務(wù)商智慧芽旗下的大模型開發(fā)團隊在arXiv發(fā)表技術(shù)報告PatentGPT: A Large Language Model for Intellectual Property（智慧芽專利大模型：一個應(yīng)用于知識產(chǎn)權(quán)領(lǐng)域的大語言模型），介紹“智慧芽專利大模型”的訓練策略，及其在知識產(chǎn)權(quán)場景表現(xiàn)超越GPT-4等方面的應(yīng)用優(yōu)勢。此前，智慧芽已發(fā)布“垂直領(lǐng)域大模型”并成功訓練“專利大模型”和“生物醫(yī)藥大模型”。

arXiv是國際知名的學術(shù)平臺，于1991年創(chuàng)立，目前在物理、數(shù)學、計算機科學等八個主題領(lǐng)域，收錄了超過200萬篇學術(shù)文章，由康奈爾大學的arXiv領(lǐng)導團隊及工作人員維護運營。

在該篇技術(shù)報告中，智慧芽提出了一種用于訓練面向知識產(chǎn)權(quán)領(lǐng)域的大語言模型，滿足知產(chǎn)領(lǐng)域的獨特需求。該模型在2019年中國專利代理師資格考試中成績超過GPT-4，達到了人類專家水平。同時，鑒于其采用SMoE架構(gòu)，因而在長文本任務(wù)上展現(xiàn)了更高的資源效率。此外，智慧芽提出了一個更接近大模型在知識產(chǎn)權(quán)領(lǐng)域用例的基準“PatentBench”，為知產(chǎn)領(lǐng)域大模型的全面評估提供參考。

亮點一：專業(yè)能力超越GPT-4

根據(jù)技術(shù)報告，智慧芽提出了知識產(chǎn)權(quán)領(lǐng)域大模型的標準訓練程序，包括數(shù)據(jù)預(yù)處理、預(yù)訓練、對齊和評估，并基于此訓練了“智慧芽專利大模型”。

為了證明“智慧芽專利大模型”在知識產(chǎn)權(quán)領(lǐng)域的專業(yè)能力，團隊使用2019年中國專利代理師資格考試對各項大模型進行測試。實驗結(jié)果表明，商業(yè)通用大模型未能通過考試及格線，而“智慧芽專利大模型”取得65分，達到知識產(chǎn)權(quán)專家的水平。上述結(jié)果揭示了通用大模型在知識產(chǎn)權(quán)領(lǐng)域?qū)I(yè)能力的不足，并再次強調(diào)了預(yù)訓練領(lǐng)域特定大模型的有效性和必要性。

上圖呈現(xiàn)了智慧芽專利大模型考試成績高于商業(yè)通用大模型（圖源arXiv）

需要強調(diào)的是，上述考試結(jié)果不僅僅是通過將知識產(chǎn)權(quán)知識整合到模型中實現(xiàn)的，還通過一系列數(shù)據(jù)增強技術(shù)提高了模型消除選項順序干擾的能力，這種能力可以用PPA來表示。結(jié)果顯示，“智慧芽專利大模型”的PPA顯著優(yōu)于GPT-4-1106-preview。

在技術(shù)報告中，智慧芽還使用了MoZIP，一項專門為知識產(chǎn)權(quán)行業(yè)大模型設(shè)計的開源測試基準，包含三項挑戰(zhàn)任務(wù)：IP基礎(chǔ)知識多項選擇測驗（IPQuiz）、IP基礎(chǔ)知識問答（IPQA）和專利內(nèi)容匹配（PatentMatch）。

其中，“智慧芽專利大模型”在專利內(nèi)容匹配任務(wù)上的表現(xiàn)均超過了GPT-3.5-turbo，這表明智慧芽大模型在把握各種專利之間的關(guān)系方面更為優(yōu)秀，該能力有助于協(xié)助專利審查員識別潛在的侵權(quán)內(nèi)容?？梢?，智慧芽的預(yù)訓練數(shù)據(jù)和策略有效提高了大模型在知識產(chǎn)權(quán)領(lǐng)域的性能。

上圖呈現(xiàn)了智慧芽專利大模型在專利內(nèi)容匹配任務(wù)上的表現(xiàn)優(yōu)異（表源arXiv）

亮點二：推理效率更勝一籌

除了性能外，模型的響應(yīng)延遲和運營成本對于其商業(yè)可行性至關(guān)重要。智慧芽大模型開發(fā)團隊對所有“智慧芽專利大模型”進行了4位量化，并使用了Text-Generation-Inference(TGI)-1.4來評估它們在輸出第一個標記時的資源消耗。所有實驗都在配備NVIDIA A100 80GB GPU的服務(wù)器上進行。

下圖展示了輸入序列長度與推理階段資源消耗之間的關(guān)系。結(jié)果表明，所有模型的GPU內(nèi)存使用量與它們的參數(shù)數(shù)量和輸入序列長度都呈正相關(guān)。其中，“智慧芽專利大模型-1.0-MoE”在輸入序列長度增加時GPU內(nèi)存使用量的增加最小，表明其在涉及長上下文場景的應(yīng)用中更具資源效率。

上圖呈現(xiàn)了智慧芽專利大模型-1.0-MoE在長上下文場景應(yīng)用中更具資源效率（圖源arXiv）

實驗結(jié)果還揭示了在模型性能水平幾乎相等的條件下，“智慧芽專利大模型-1.0-MoE”在推理效率方面更勝一籌。知識產(chǎn)權(quán)領(lǐng)域大模型尤為注重長上下文序列的計算資源管理。該模型的設(shè)計允許處理長上下文并保持高性能水平，而不會對系統(tǒng)資源造成不必要的負擔，提供了一個可能的優(yōu)越折衷方案。這或許是在資源管理與處理復雜和長數(shù)據(jù)序列的能力同樣關(guān)鍵的環(huán)境中部署先進的知識產(chǎn)權(quán)導向模型的關(guān)鍵一步。這些發(fā)現(xiàn)表明，類似“智慧芽專利大模型-1.0-MoE”這樣的SMoE模型在知識產(chǎn)權(quán)行業(yè)中得以應(yīng)用的可行性，以及選擇模型架構(gòu)以開發(fā)功能強大、高效和專業(yè)使用的解決方案的重要性。

亮點三：建立PatentBench評測基準

目前市面上缺乏系統(tǒng)性評測大模型在知識產(chǎn)權(quán)領(lǐng)域?qū)I(yè)能力的開源基準，為此智慧芽提出了PatentBench，率先將專利代理和審查過程中涉及的任務(wù)，如專利規(guī)格起草、專利分類以及總結(jié)專利的關(guān)鍵技術(shù)點，納入評估知識產(chǎn)權(quán)領(lǐng)域大模型的基準。值得一提的是，智慧芽計劃在2024年第四季度開源PatentBench，為開源社區(qū)和行業(yè)發(fā)展做出貢獻。

PatentBench的主要評估任務(wù)包括：專利問答Patent QA、專利撰寫Patent Writing、專利分類Patent Classification、專利摘要Patent Summary、專利推理Patent Reasoning、專利校正Patent Correction、專利翻譯Patent Translation。

具體來看，智慧芽首先使用GPT-4和NLP中廣泛使用的指標評估“智慧芽專利大模型”在PatentBench上的零樣本性能。為了評估模型的總結(jié)、撰寫和對話能力，使用GPT-4作為評委，對比不同模型輸出結(jié)果的質(zhì)量。

結(jié)果顯示，“智慧芽專利大模型”在起草和知識產(chǎn)權(quán)領(lǐng)域的開放式問答方面顯著優(yōu)于ChatGPT-3.5-turbo，表明“智慧芽專利大模型”有潛力作為專利助手，幫助人類起草專利說明書、閱讀專利以及理解專利法律法規(guī)。

隨后根據(jù)不同的指標評估了分類、審查、翻譯、文本校正和推理能力。“智慧芽專利大模型”在除了推理之外的其他能力上整體優(yōu)于ChatGPT-3.5-turbo。這些結(jié)果證明了智慧芽的預(yù)訓練和專利大模型在知識產(chǎn)權(quán)領(lǐng)域的先進性。

上圖呈現(xiàn)了智慧芽專利大模型在多項能力上表現(xiàn)優(yōu)異（圖源arXiv）

未來，智慧芽大模型的開發(fā)將專注于增強長上下文支持，以滿足更多樣化的知識產(chǎn)權(quán)工作場景。此外，還將積累英文預(yù)訓練語料庫和SFT數(shù)據(jù)，以進一步提高智慧芽垂直領(lǐng)域大模型在英文方面的表現(xiàn)。