病理是疾病診斷的“金標(biāo)準(zhǔn)”，而我國(guó)面臨病理診斷人才嚴(yán)重匱乏窘境。近年來癌癥發(fā)病率不斷攀升，如何借助AI賦能醫(yī)生精準(zhǔn)診斷，提高工作效率及醫(yī)療質(zhì)量，成為當(dāng)前世界病理學(xué)科的前沿?zé)狳c(diǎn)。近日，浙江大學(xué)發(fā)布了視覺與語言模型融合的人機(jī)交互AI病理萬能助手-OmniPT，該模型已在浙江大學(xué)醫(yī)學(xué)院附屬第一醫(yī)院（以下簡(jiǎn)稱“浙大一院”）病理科進(jìn)行臨床應(yīng)用驗(yàn)證，病理診斷技術(shù)進(jìn)入了智能化與個(gè)性化的新時(shí)代。浙江大學(xué)在AI+醫(yī)學(xué)交叉領(lǐng)域開展的技術(shù)突破、技術(shù)轉(zhuǎn)化、臨床驗(yàn)證等系列成果，以實(shí)際行動(dòng)有力響應(yīng)了科技創(chuàng)新引領(lǐng)衛(wèi)生健康事業(yè)新發(fā)展的國(guó)家戰(zhàn)略。

OmniPT由浙大計(jì)算機(jī)學(xué)院宋明黎教授團(tuán)隊(duì)聯(lián)合浙大一院共同開發(fā)，雙方自2020年開展深度合作，2022年6月聯(lián)合申請(qǐng)到數(shù)字病理人工智能醫(yī)療器械臨床試驗(yàn)中心（工信部&國(guó)家藥監(jiān)局聯(lián)合審批）。在浙江大學(xué)和浙大一院雙方領(lǐng)導(dǎo)的大力支持下，2024年8月該中心獲批人工智能醫(yī)療器械創(chuàng)新任務(wù)揭榜掛帥優(yōu)勝單位。

世界衛(wèi)生組織（WHO）發(fā)布《醫(yī)療衛(wèi)生中人工智能的倫理治理》指南中指出，AI應(yīng)用部署落地臨床需要滿足人工智能倫理共識(shí)，確定醫(yī)生決策和道德主體地位，醫(yī)生需要確認(rèn)診斷結(jié)果的安全與準(zhǔn)確性。OmniPT的研發(fā)以臨床落地應(yīng)用為目標(biāo)，圍繞交互便捷性、診斷效率、診斷精準(zhǔn)性、診斷可信性等痛點(diǎn)需求開展技術(shù)攻關(guān)，以病理科醫(yī)生為主導(dǎo)，通過人機(jī)交互形式，大幅提升診斷效率及質(zhì)量，有效緩解了病理人才匱乏的窘境。

2024年12月13日，在第十七屆中國(guó)病理醫(yī)師年會(huì)上，浙大一院病理科章京教授詳細(xì)介紹了人機(jī)交互AI病理萬能助手-OmniPT。面向臨床病理診斷真實(shí)需求，依托數(shù)字病理人工智能醫(yī)療器械臨床試驗(yàn)中心豐富數(shù)據(jù)和算力資源，通過多項(xiàng)關(guān)鍵技術(shù)突破，助力病理大模型在胃癌、結(jié)直腸癌和宮頸癌等高發(fā)病率癌種上開展臨床應(yīng)用，有效解決數(shù)字病理AI臨床應(yīng)用難題。

浙大一院章京教授在2024年中國(guó)病理醫(yī)師年會(huì)上首次對(duì)外展示OmniPT的功能

精準(zhǔn)與高效：技術(shù)突破解決臨床應(yīng)用難題

超大尺寸病理圖蘊(yùn)含多層級(jí)豐富信息，如何精準(zhǔn)、快速給出可信診斷結(jié)果是病理大模型需要解決的核心難題。研發(fā)團(tuán)隊(duì)通過跨層級(jí)高效特征鎖定、提示引導(dǎo)細(xì)節(jié)特征補(bǔ)全等關(guān)鍵技術(shù)突破，解決GB級(jí)超大尺寸病理圖秒級(jí)推理、精準(zhǔn)分析難題；進(jìn)一步地，通過多任務(wù)協(xié)同分析技術(shù)，將文本語義與視覺特征強(qiáng)關(guān)聯(lián)，首次實(shí)現(xiàn)分類、分割、檢測(cè)等多類型診斷任務(wù)全覆蓋，為病理報(bào)告一鍵生成提供支撐。通過集成上述核心技術(shù)，病理萬能診斷助手OmniPT有效滿足臨床人機(jī)交互診斷分析實(shí)時(shí)、精準(zhǔn)、可信需求。

技術(shù)負(fù)責(zé)人馮尊磊副教授介紹：“以往醫(yī)生在分析病理切片時(shí)，需要耗費(fèi)大量時(shí)間逐一觀察微觀細(xì)節(jié)，而OmniPT可以在不影響推理速度的情況下，1~3秒內(nèi)準(zhǔn)確鎖定病灶區(qū)域，十余個(gè)癌種上取得95%以上診斷準(zhǔn)確性。此外，OmniPT支持文本輸入、視覺框選等多種便捷交互方式，能夠?qū)崿F(xiàn)從全局到局部多尺度病變特征精準(zhǔn)鎖定，給文本診斷結(jié)果提供視覺特征依據(jù)，有效解決臨床應(yīng)用可信診斷難題”。這一成果將進(jìn)一步推動(dòng)智能化病理診斷的臨床應(yīng)用進(jìn)程，為患者提供更高質(zhì)量的醫(yī)療服務(wù)。

人機(jī)交互病理萬能助手OmniPT應(yīng)用平臺(tái)

前沿領(lǐng)域探索：從癌癥診斷到腫瘤標(biāo)志物挖掘

OmniPT目前已在癌癥分型、分級(jí)、血管及神經(jīng)侵犯識(shí)別、預(yù)后標(biāo)志物發(fā)現(xiàn)等多項(xiàng)核心任務(wù)中取得突破性進(jìn)展。在腫瘤病理診斷中，OmniPT可精準(zhǔn)識(shí)別腫瘤微環(huán)境的各種細(xì)胞及組織，并進(jìn)行精細(xì)化分析；進(jìn)一步地，OmniPT衍生預(yù)后分析能力，在多個(gè)癌種上達(dá)到80~90%預(yù)后精準(zhǔn)預(yù)測(cè)，并從病理表型層面智能化挖掘預(yù)后關(guān)聯(lián)多個(gè)新型標(biāo)志物，有效輔助臨床個(gè)體化治療。實(shí)驗(yàn)數(shù)據(jù)顯示，OmniPT的整體性能顯著優(yōu)于目前國(guó)際上發(fā)布的主流病理模型，為復(fù)雜病理診斷分析、腫瘤預(yù)后標(biāo)志物挖掘提供了可靠的智能化解決方案。

總結(jié)而言，人機(jī)交互AI病理萬能助手圍繞可信性、實(shí)時(shí)性、精準(zhǔn)性等臨床痛點(diǎn)需求取得的核心技術(shù)創(chuàng)新，推動(dòng)人機(jī)交互AI在病理臨床實(shí)踐場(chǎng)景從0到1的突破。研發(fā)團(tuán)隊(duì)積極開源共享研發(fā)核心技術(shù)，促進(jìn)領(lǐng)域協(xié)同合作發(fā)展，提升我國(guó)AI智慧病理國(guó)際競(jìng)爭(zhēng)力。

未來愿景：構(gòu)建智能化病理生態(tài)

數(shù)據(jù)質(zhì)控負(fù)責(zé)人張秀明醫(yī)生表示：“高質(zhì)量病理數(shù)據(jù)是OmniPT構(gòu)建的基石，隨著算力規(guī)模的提升和更多癌種數(shù)據(jù)樣本的擴(kuò)充，OmniPT將在更廣泛的臨床場(chǎng)景中應(yīng)用，為病理醫(yī)生減負(fù)的同時(shí)，為患者帶來更精準(zhǔn)和高效的醫(yī)療體驗(yàn)?！?

依托數(shù)字病理人工智能醫(yī)療器械臨床試驗(yàn)中心，OmniPT已在浙大一院病理科多個(gè)高發(fā)病率癌種率先應(yīng)用，同步在神經(jīng)病理（如阿爾茨海默?。┑戎卮舐☆I(lǐng)域開展結(jié)合液體活檢、基因組學(xué)的多模態(tài)轉(zhuǎn)化研究，未來將拓展到更多癌種及非腫瘤疾病中的應(yīng)用。進(jìn)一步地，通過結(jié)合底層數(shù)字病理掃描設(shè)備以及病理遠(yuǎn)程診斷場(chǎng)景，OmniPT將成為病理科高效、精準(zhǔn)診斷智能助手，加快推動(dòng)AI技術(shù)在真實(shí)臨床場(chǎng)景應(yīng)用建設(shè)進(jìn)程。