近期，國際著名的醫(yī)學圖像處理領(lǐng)域會議Miccai(Medical Image Computing and Computer-Assisted Intervention)上發(fā)表了莫納什大學戈宗元教授團隊與Airdoc人工智能團隊合作的題為：“Retinal Abnormalities Recognition Using Regional Multitask Learning”的研究論文。莫納什大學是澳大利亞規(guī)模最大的國立大學之一，其藥劑與藥理學專業(yè)位列全球第二位，僅次于哈佛大學。

研究團隊提出了一種基于深度學習的新方法，使用一個區(qū)域特定的多任務識別模型，通過三個子網(wǎng)絡(luò)學習視網(wǎng)膜不同區(qū)域的疾病。這三個子網(wǎng)絡(luò)通過訓練，分別識別影響視盤、黃斑和整個視網(wǎng)膜的疾病。以往基于深度學習自動篩查的研究主要集中在特定類型的視網(wǎng)膜疾病，但患者通常會同時患有多種視網(wǎng)膜病變，單一的解決方案在臨床應用上就顯得有些力不從心，而此次研究成果可通過一個模型識別出36種不同的視網(wǎng)膜疾病，并且能夠同時識別視網(wǎng)膜上的多種疾病，大大提升了人工智能識別視網(wǎng)膜疾病的可應用性。

患有視網(wǎng)膜疾病的人數(shù)隨著人口老齡化和電子屏幕的普及而增加，許多視網(wǎng)膜疾病，例如年齡相關(guān)性黃斑變性(AMD)和糖尿病性視網(wǎng)膜病變(DR),會造成不可逆的嚴重健康問題。與此同時，在三四線城市中，能夠檢查和醫(yī)治視網(wǎng)膜疾病的醫(yī)生鳳毛麟角，醫(yī)療資源緊張，不少人因此錯失了治療的最佳時機。本次研究成果可以不依賴醫(yī)生，直接使用人工智能算法識別，在確保同樣識別率的前提下，極大程度的提高了效率，同時也能幫助醫(yī)療資源緊缺的區(qū)域提高醫(yī)療質(zhì)量。

△ 多標簽分類網(wǎng)絡(luò)

研究團隊以多任務的方式設(shè)計網(wǎng)絡(luò)，框架包括兩個階段：

第一階段包括一個聯(lián)合檢測網(wǎng)絡(luò)，用于檢測視盤和黃斑區(qū)。

第二階段由一個語義多任務網(wǎng)絡(luò)組成，每個任務通過特定區(qū)域相關(guān)疾病標注數(shù)據(jù)的訓練，同時輸出整個眼底、視盤和黃斑的疾病類別，如圖1所示。

為了評估提出方法的性能，研究團隊收集了36種在篩查過程中常見的視網(wǎng)膜疾病，包括影響整個視網(wǎng)膜的疾病(如糖尿病性視網(wǎng)膜病變等)、 影響黃斑區(qū)域的疾病(如年齡相關(guān)性黃斑病變等)及影響視盤區(qū)域的疾病(如青光眼等)?？偣彩占?6個類別的200817幅圖像，其中17385幅圖像包含多個標簽，每幅圖像有三名有經(jīng)驗的眼科醫(yī)師標注，當且僅當不少于兩位眼科醫(yī)師同意的情況下，才能保留對應視網(wǎng)膜圖像的標簽。

在這項工作中，數(shù)據(jù)集被分為訓練集(80%)、驗證集(10%)和測試集(10%)。在所有這些圖像中，183432個圖像具有單個標簽，16849個圖像具有兩個標簽，536個圖像具有三個標簽。

△ 輔助檢測框圖示

團隊研究的方法包括兩部分：

(1)黃斑和視盤區(qū)聯(lián)合檢測;

(2)用于視網(wǎng)膜疾病語義分類的多任務學習。

首先訓練一個基于YoloV3的聯(lián)合檢測模型來定位視盤和黃斑區(qū)域。將檢測到的視盤和黃斑區(qū)域圖像以及整個眼底圖像分別調(diào)整為300×300、600×600、800×800，然后輸入多標簽疾病分類網(wǎng)絡(luò)。

分類網(wǎng)絡(luò)利用語義特征融合的思想對區(qū)域性疾病進行分類。為了更好地理解所提出的模型，團隊還為每個流繪制了與每個任務相關(guān)的類激活圖(CAM)。

△ 分類激活圖(CAM)

此次研究成功展示了多任務學習方法識別整個視網(wǎng)膜、黃斑和視盤疾病的有效性，而不是單任務分類，更適用于復雜的實際臨床應用場景，高效、便捷、使用局限性小，可以幫助更多患者實現(xiàn)早發(fā)現(xiàn)，早干預，延緩基礎(chǔ)慢病的進展，?的發(fā)生率。