成果情况：单一模态数据的使用常常无法全面捕捉患者之间的复杂异质性，尤其是在HER2阳性胃癌（GC）的治疗中，这种异质性表现为对抗HER2治疗的耐药性差异以及联合治疗方案的不同效果。然而，许多研究并未充分考虑这一模态不足的问题。此外，人工智能在预测治疗反应方面的应用，特别是在像胃癌这样复杂的疾病中的应用，仍处于起步阶段。项目组联合临床团队开发了一种名为MuMo（Multi-Modal model）的深度学习模型。该研究突破了单一模态数据无法全面表征肿瘤复杂特性的局限，构建了一个整合影像学、病理学及临床指标的大规模多模态数据库（含429名患者）。MuMo模型通过多分支特征提取与跨模态融合算法，实现了对治疗反应的精准预测：在接受抗HER2治疗的队列中，模型预测的曲线下面积（AUC）达到0.821；在抗HER2联合免疫治疗队列中，AUC更是高达0.914。此外，模型通过风险分层证实，低风险组患者的无进展生存期（PFS）和总生存期（OS）均显著延长（P < 0.05），展现了卓越的预测效能与临床一致性。

科学意义与应用前景：该成果体现了本项目在多源异构信息集成方面的理论突破，验证了通过深度学习框架协同处理宏观影像特征与微观病理特征，能够更本质地刻画肿瘤的生物学行为。在应用前景方面，MuMo模型为HER2阳性胃癌的个体化治疗提供了重要的决策支持工具，能够帮助临床医生在治疗前精准识别获益人群，优化联合治疗方案，从而提升患者的生存获益。这种基于多模态大数据的综合分析模式，不仅为胃癌的精准诊疗树立了新标杆，也为其他复杂恶性肿瘤的智能诊疗研究提供了可借鉴的技术范式。

Zifan Chen, Yang Chen, Yu Sun, Lei Tang, Li Zhang, Yajie Hu, Meng He, Zhiwei Li, Siyuan Cheng, Jiajia Yuan, Zhenghang Wang, Yakun Wang, Jie Zhao, Jifang Gong, Liying Zhao, Baoshan Cao, Guoxin Li, Xiaotian Zhang, Bin Dong, and Lin Shen, Predicting gastric cancer response to anti-HER2 therapy or anti-HER2 combined immunotherapy based on multi-modal data, Signal Transduction and Targeted Therapy, 9:222, 2024.

MuMo模型技术框架

MuMo模型预测治疗反应效果