近日，中國科學院合肥物質院健康所李海研究員團隊開發了一種新型AI醫療診斷系統：MultiXpert。該系統能夠在“零樣本”（zero-shot）條件下對胸片（Chest X-Ray，CXR）進行智能診斷，意味著它無需任何標注數據，就能識別出甚至從未見過的疾病，從而使AI具備更接近醫生診斷思維的能力。相關研究成果發表在計算機科學與信息管理領域一區期刊Information Processing and Management上。

胸片是臨床最常用的影像學檢查手段之一，用于肺炎、結節、氣胸等多種疾病的篩查，但人工判讀耗時且依賴專家經驗。傳統AI系統雖然在一些任務上能媲美專家，卻又嚴重依賴大量人工標注的數據，難以應對新發疾病或不同醫院之間的數據差異，導致模型泛化能力有限，無法滿足復雜臨床環境下的精準診斷的需求。

為應對這一挑戰，李海研究員團隊提出了多模態雙流協同增強的新思路，構建了一個無需額外標注數據即可實現零樣本高精度診斷的胸片智能分析框架：MultiXpert。該模型能夠同時處理圖像與文字信息，并利用大語言模型和放射科專家知識優化病灶描述，實現圖像與語言的深度融合，讓AI在未見疾病中也能“看懂”胸片，從而更加趨近于醫生的思考邏輯。具體來講，在圖像分支中，通過引入病灶感知掩碼機制，MultiXpert能夠在無顯式標注情況下提升對潛在病灶的特征表達能力；同時，通過分層記憶矩陣實現全局解剖信息與局部病灶特征的動態平衡，顯著提升模型對復雜影像的結構化理解能力。在文本分支中，聯合大語言模型（ChatGPT-4o）與臨床專家知識，MultiXpert能夠對疾病描述進行語義校準與結構化重構，生成同時具備解剖精準性與臨床標準化的病理描述文本，增強醫學語義的表達一致性。最終，通過跨模態語義對齊模塊實現多粒度信息的互補融合，有效提升了模型在零樣本條件下的病灶識別與診斷性能。實驗結果顯示，MultiXpert在四個單標簽公共數據集上平均AUC提升達7.5%，在零樣本場景下較主流視覺語言模型平均提升3.9%。在來自十家醫院的多中心私有數據上，MultiXpert較傳統監督模型（如ConvNeXt）提升13.9-22.6%，充分證明了其優異的跨中心泛化性能與臨床可遷移性。

該項研究為胸片零樣本智能診斷提供了新的技術路徑，也為醫學AI從“依賴標注”邁向“自主理解”提供了新范式，標志著醫療AI在零樣本學習領域的新突破。李海研究員團隊長期聚焦于AI+醫學影像研究，致力于推進智慧醫療的技術創新和臨床轉化。未來，團隊將進一步拓展該模型在多病種、多模態影像（如：X光、超聲、CT、MRI）中的應用，推動其在臨床場景中的落地轉化，助力構建更加智能、精準、可解釋的醫學影像分析體系。

該論文第一作者為中國科學技術大學2023級博士研究生王俊杰，通訊作者為健康所李海研究員和王騰飛博士。本研究得到了國家自然科學基金和安徽省重點研發項目的支持。

文章鏈接：https://doi.org/10.1016/j.ipm.2025.104468

多模態雙流協同增強模型（MultiXpert）結構示意圖