多模態(tài)大語言模型是近年來金融行業(yè)研究的熱點技術(shù)之一，其獨有的技術(shù)特色能夠緩解行業(yè)諸多難題。度小滿積極布局各項前沿科技，在多模態(tài)大語言模型領域展開一系列的探索與實踐，近期聯(lián)合哈爾濱工業(yè)大學共同推出SmartTrim技術(shù)，不斷探索人工智能發(fā)展新路徑，為金融行業(yè)創(chuàng)新發(fā)展提供科技支撐。

度小滿推出SmartTrim技術(shù)，大幅提升計算效率

在視覺語言大模型（VLM）的研究和應用中，高計算成本一直是制約其廣泛部署的主要障礙。近日，哈爾濱工業(yè)大學聯(lián)合度小滿共同研發(fā)出一種創(chuàng)新的自適應剪枝算法——SmartTrim。該算法針對多模態(tài)大模型的冗余計算進行有效削減，實現(xiàn)了顯著的效率提升，相關研究成果已被國際自然語言處理領域頂級會議COLING 24接收。

據(jù)介紹，SmartTrim技術(shù)的核心在于其自適應剪枝能力，通過分析模型中每層的token表示和attention head的冗余性，智能識別并剪除不必要的計算負擔。這一過程中，SmartTrim不僅考慮了token在單一模態(tài)序列中的重要性，還特別強調(diào)了跨模態(tài)交互中的關鍵作用。通過這種精細化的剪枝策略，SmartTrim能夠在保持模型性能的同時，大幅提升計算效率。

在基于 VQA 微調(diào)的 METER 的跨模態(tài)編碼器中，層內(nèi)不同 token（上）和 attention head（下）表示的相似性。

SmartTrim框架的實施涉及兩個關鍵組件：跨模態(tài)感知的Token修剪器和模態(tài)自適應的注意力頭修剪器。Token修剪器利用多層感知器（MLP）結(jié)構(gòu)，智能地識別并去除那些對于當前層不重要的Token。這一過程不僅考慮了Token在文本或圖像序列中的獨立重要性，還綜合了它們在跨模態(tài)交互中的貢獻。注意力頭修剪器則直接集成在模型的自注意力模塊中，評估并修剪那些冗余的注意力頭，從而優(yōu)化了模型的計算效率。

SmartTrim 框架結(jié)構(gòu)圖

在訓練SmartTrim模型時，研究人員采用了一種結(jié)合任務相關目標和計算開銷目標的雙重優(yōu)化策略。通過重參數(shù)化技巧，解決了不可導二值mask的問題，實現(xiàn)了模型的端到端訓練。此外，自蒸餾和課程學習策略的引入，進一步提高了剪枝后模型的性能，確保了訓練過程的穩(wěn)定性。

Token 的逐步裁剪修剪過程

將SmartTrim整合到軒轅大模型中，推動大模型技術(shù)發(fā)展

實驗結(jié)果表明，SmartTrim在METER和BLIP兩個VLM上實現(xiàn)了2-3倍的加速，同時將性能損失最小化。這一成果不僅在理論上具有創(chuàng)新性，也為實際應用中的模型優(yōu)化提供了新的思路。特別是在1.5倍加速比下，SmartTrim的性能甚至超過了原始模型。在高加速比下，SmartTrim相比其他方法展現(xiàn)出顯著優(yōu)勢。SmartTrim技術(shù)的推出，標志著多模態(tài)大模型研究的一個重要里程碑。度小滿表示，SmartTrim技術(shù)將在未來整合到公司的軒轅大模型中，以推動大模型技術(shù)的發(fā)展。相關研究者可以通過訪問https://github.com/Duxiaoman-DI/XuanYuan，了解更多關于SmartTrim的詳細信息和研究成果。

度小滿在技術(shù)領域持續(xù)探索，借助先進科技破解金融行業(yè)系列技術(shù)難題，為推動多模態(tài)等創(chuàng)新技術(shù)在金融領域的應用落地貢獻了一份力量。未來，度小滿還將繼續(xù)加強對前沿科技的布局，不斷攻克技術(shù)難關，加速推動多模態(tài)在金融各大場景中的運用，以創(chuàng)新技術(shù)助推金融行業(yè)高質(zhì)量發(fā)展。