成果情况：针对通用大语言模型（LLMs）在处理复杂消化系统肿瘤医学知识时存在的专业性不足与逻辑局限，项目组前期系统性开展了提示工程（Prompt Engineering）的优化研究，深入探讨了简单提示、模板提示、上下文学习（ICL）以及多轮迭代提问等多种策略，并构建了一套覆盖医学知识检索、临床决策支持及患者教育等多维度的评估体系。研究发现，提示词设计的全面性与模型性能呈显著正相关，其中多轮迭代策略与 ICL 策略在复杂病例分析和医学推理任务中表现显著优于传统单一提示方式。该研究系统量化了不同提示策略对大模型医疗适用性的影响，为 LLMs 在消化系统肿瘤领域的规范化应用提供了可复现、可推广的操作范式。
在上述方法论研究基础上，团队进一步将提示工程与检索增强生成（RAG）技术深度融合，研发并持续迭代了一套面向消化系统肿瘤的 AI 诊疗助手系统。系统以大语言模型为核心，引入多模态融合与大模型智能体（Agent）技术，构建了覆盖临床诊疗与科研支持的综合性智能平台。通过实时索引包含数十万份脱敏病历、权威医学文献、最新疾病指南及药物信息的专有知识库，实现了模型内部参数化知识与外部非参数化知识的协同推理，有效提升了模型对复杂医学概念及其内在逻辑关系的理解能力。
在临床应用层面，系统围绕真实诊疗流程构建了多类功能智能体：病历整理智能体可对入院及随访数据进行自动识别与结构化整理；疾病诊断与治疗决策智能体支持疾病分析、多学科会诊（MDT）方案生成；临床试验筛查智能体可自动匹配潜在可入组的临床试验资源，辅助医生制定更为全面的治疗策略。在科研支持层面，病历分析智能体实现纸质病历的自动识别与结构化提取；AI 标注系统支持医学影像病灶分割、数字病理图像的配准融合与自动切片；疗效预测与预后评估智能体基于多模态融合算法，对患者疗效反应和长期预后进行量化评估。同时，系统还整合了消化系统肿瘤知识图谱与大规模多模态医疗数据集，为临床决策与科研探索提供统一的数据与知识底座。
经北京大学肿瘤医院消化内科多级临床医生在真实诊疗场景下的试用与闭环评测，该诊疗助手在复杂病历理解、诊疗方案推荐及信息检索效率等方面均显著优于同类通用模型和现有产品，展现出良好的稳定性与临床适用性。
科学意义与应用前景：从科学意义上看，该成果系统验证了通过先进提示工程策略与动态知识检索机制，可以显著提升通用大语言模型在垂直医学领域中的专业适配能力，有效缓解大模型在严谨医学推理任务中易产生“幻觉”的核心问题。进一步地，将大模型与多模态数据融合及智能体架构相结合，为复杂医学任务提供了一种从“单模型问答”迈向“多智能体协同推理”的新范式，为大模型在医学领域的可信应用奠定了方法学基础。在应用前景方面，该 AI 诊疗助手已在北京大学肿瘤医院开展试用，展现出显著的临床辅助价值。系统能够协助医生在诊疗全流程中高效获取关键依据、优化诊疗路径、降低潜在误诊风险，并显著提升临床与科研工作的整体效率。未来，该成果有望作为消化系统肿瘤领域的智能诊疗基础平台，推动高质量、标准化诊疗能力向基层医疗机构的普惠化推广，同时为多模态医学大模型和智能体技术在更广泛疾病领域中的应用提供可复制的技术路径。
Jiajia Yuan, Peng Bao, Zifan Chen, Mingze Yuan, Jie Zhao, Jiahua Pan, Yi Xie, Yanshuo Cao,Yakun Wang, Zhenghang Wang, Zhihao Lu, Xiaotian Zhang, Jian Li, Lei Ma, Yang Chen,Li Zhang, Lin Shen and Bin Dong, Advanced Prompting as a Catalyst: Empowering Large Language Models in the Management of Gastrointestinal Cancers, The Innovation Medicine, 1(2), 100019, 2023.
Mingze Yuan, Peng Bao, Jiajia Yuan, Yunhao Shen, Zifan Chen, Yi Xie, Jie Zhao, Quanzheng Li, Yang Chen, Li Zhang, Lin Shen, Bin Dong, Large language models illuminate a progressive pathway to arti cial intelligent healthcare assistant, Medicine Plus, 100030,2024.
基于大语言模型的AI诊疗助手
基于多模态大模型的消化系统肿瘤辅助诊疗系统
基于多模态大模型的消化系统肿瘤辅助诊疗系统典型模块
合作联系：赵杰，jiezhao@pku.edu.cn
