隨著大模型在社會應(yīng)用中逐漸普及，人們在享受便利的同時，也面臨著“AI 幻覺”產(chǎn)生的風(fēng)險。訓(xùn)練數(shù)據(jù)是影響大模型“認(rèn)知能力”的關(guān)鍵要素，近期，上海合合信息科技股份有限公司（簡稱“合合信息”）TextIn“大模型加速器 2.0”版本正式上線，基于領(lǐng)先的智能文檔處理技術(shù)，對復(fù)雜文檔的版式、布局和元素進(jìn)行精準(zhǔn)解析及結(jié)構(gòu)化處理，從數(shù)據(jù)源頭降低大模型“幻覺”風(fēng)險，讓大模型在與人類的溝通中“更靠譜”。

圖說：“大模型加速器 2.0”文檔解析引擎助力知識庫理解手寫筆記示意圖

據(jù)悉，升級后的“大模型加速器”在復(fù)雜版面理解、表格及圖表處理、內(nèi)容溯源等能力上實現(xiàn)新突破，可精準(zhǔn)識別上千種文檔中的跨頁表格、合并單元格、密集表格、手寫字符及公式，解析穩(wěn)定率達(dá)99.99%，單頁處理耗時較行業(yè)可比產(chǎn)品降低超30%；可“逆還原”十余種專業(yè)圖表數(shù)據(jù)，并將其轉(zhuǎn)化為大模型可理解的結(jié)構(gòu)化數(shù)據(jù)。此外，“大模型加速器 2.0”版本新增知識庫系列開源組件，助力醫(yī)療、制造、教育等行業(yè)開發(fā)者構(gòu)建個性化的知識庫。

文檔解析技術(shù)助力教育大模型建設(shè)

大模型需要不斷“吸收”正確的專業(yè)知識，才能應(yīng)對實際應(yīng)用問題。合合信息技術(shù)團(tuán)隊成員表示，在處理年報、論文、實驗室報告等專業(yè)文檔的過程中，一個符號的解析失誤，便可能“誤導(dǎo)”大模型，得出與事實相悖的結(jié)論?？尚判缘娜笔В仓萍s了大模型在實際應(yīng)用場景中的縱深拓展。

賽爾教育科技發(fā)展有限公司（簡稱“賽爾教育”）系“中國教育和科研計算機網(wǎng)CERNET”的運營公司賽爾網(wǎng)絡(luò)的重要子公司，是教育國際化、教育信息化、數(shù)字化教育方案的提供商。賽爾教育CTO、教育數(shù)字化事業(yè)部總經(jīng)理楊林提到，教育行業(yè)中所涉及的文檔格式多樣，在內(nèi)容上也包含了表格、公式、手寫字符、多語言文字等信息。如何高效準(zhǔn)確地提取各類文檔中的文本信息，并非易事。

“教育行業(yè)的大模型建設(shè)工作中，數(shù)據(jù)的數(shù)量和質(zhì)量起著決定性作用。我們做了很多嘗試，模型的速度和準(zhǔn)確性都達(dá)不到要求，嚴(yán)重影響科研工作的進(jìn)展?！睏盍直硎荆袠I(yè)知識庫的構(gòu)建基于大量文檔的文本信息提取，需要高效率、高準(zhǔn)確率的工具。合合信息文檔解析技術(shù)提供了專業(yè)的技術(shù)支持和服務(wù)，有效解決了文檔處理過程中的問題。

在“大模型加速器”的支持下，合合信息與賽爾教育共同協(xié)作，提升大模型對復(fù)雜版面、元素的“理解力”，使其按照人類正常的閱讀順序識別文檔結(jié)構(gòu)，智能劃分標(biāo)題、段落、表格和圖表等內(nèi)容塊，幫助大模型理解版面、內(nèi)容間的對應(yīng)關(guān)系，減少AI“幻覺”現(xiàn)象。

圖說：圖表解析模塊將圖表還原為表格數(shù)據(jù)

除了復(fù)雜的版面布局，種類繁多、空間結(jié)構(gòu)復(fù)雜的圖表元素也是解析難點所在?！按竽Ｐ图铀倨?.0”圖表解析模塊可智能提取多種圖表中的關(guān)鍵數(shù)據(jù)點、坐標(biāo)軸信息、圖例說明等，在精準(zhǔn)解析不同類型圖表數(shù)據(jù)的基礎(chǔ)上，將其還原為一組完整的Excel表格數(shù)據(jù)，作用于教育行業(yè)大模型微調(diào)，學(xué)科知識庫建設(shè)、智能審閱等環(huán)節(jié)。

智能溯源讓大模型用得更“安心”

近期，多家券商機構(gòu)紛紛宣布接入大模型，幫助分析師、行業(yè)研究員等專業(yè)人士提高工作效率。為幫助用戶簡化專業(yè)文檔數(shù)據(jù)篩選和數(shù)據(jù)抽取流程，提升文檔內(nèi)容解讀效率與準(zhǔn)確率，“大模型加速器 2.0” 上線了知識庫產(chǎn)品組件，支持復(fù)雜文檔的智能問答、總結(jié)與檢索。

為了讓行業(yè)“安心”使用大模型，知識庫產(chǎn)品推出溯源功能，通過在“投喂”給知識庫的Markdown及JSON文件中標(biāo)記頁碼、坐標(biāo)等空間位置信息，實現(xiàn)對句子、段落的精確溯源，為用戶提供了一個快速檢驗的路徑。以財務(wù)分析為例，大模型在多份高達(dá)上千頁的財報文件中找到收入、利潤等關(guān)鍵數(shù)據(jù)后，券商分析師可利用溯源功能定位原表格，對信息進(jìn)行復(fù)核，防止錯誤、遺漏。

圖說：知識庫對財報數(shù)據(jù)所在表格進(jìn)行精準(zhǔn)溯源

目前，知識庫組件已面向開發(fā)者開源，幫助其根據(jù)自身需要快速構(gòu)建個性化行業(yè)知識庫。此前，合合信息已開源智能文檔處理“百寶箱”系列產(chǎn)品，解決文檔解析精度低、解析效果評估難等問題，開發(fā)者可根據(jù)研發(fā)需求靈活搭配使用。未來，“大模型加速器”將持續(xù)優(yōu)化迭代，助力大模型在各行各業(yè)中“百花齊放”。