现有的语言模型已经彻底改变了我们在医疗领域中与强大 AI 模型的互动方式。然而，现代医学本质上是多模态的。要全面评估患者的健康状况，不仅需要理解医学文本，还要依靠更智能的 AI 模型，整合分析来自医学影像、基因数据、临床记录等多种数据源的信息。
图 1：评估患者健康的全貌
过去，构建全面的多模态模型一直面临着大规模集成数据集和高计算需求的挑战。这些障碍限制了许多医疗机构充分发挥 AI 技术的潜力。
Healthcare AI 模型包含：
MedImageInsight 是一个嵌入模型，能够进行复杂的医学影像分析，包括分类和相似性搜索。医疗机构和研究人员可以利用该模型的嵌入，为特定任务构建适配器，简化放射学、病理学、眼科学、皮肤科等领域的工作流程。例如，研究人员可以借助该模型开发工具，自动将影像扫描结果发送给相关专家，或标记潜在异常，便于进一步审查，从而提升效率，改善患者的治疗效果1。
MedImageParse 这款模型专为精确图像分割设计，支持多种影像模式，包括 X 光、CT、核磁共振、超声波、皮肤科图像和病理切片。它还可以针对特定应用（如肿瘤分割或器官识别）进行微调，帮助开发人员测试并验证 AI 技术在癌症及其他疾病检测、诊断和治疗规划中的应用潜力2。
CXRReportGen 胸部 X 光是全球最常见的放射检查，能够帮助医生诊断从肺部感染到心脏问题等多种疾病，常常是发现健康问题的第一步。这款多模态 AI 模型结合当前和先前的影像以及关键的患者信息，生成详细的结构化报告，并直接在影像上标注 AI 生成的发现，支持人机协作的工作流程。研究人员可以测试该模型，加速报告生成，提高放射科医生的诊断精度。该模型在行业标准 MIMIC-CXR 基准测试中表现出色3。
这些基础模型加速了前沿 AI 技术的应用，为放射科医生带来了智能化工作流程、高效的报告生成，以及更先进的视图识别和分割功能。除了提升报告的准确性外，AI 还能够从放射学、病理学和基因学中挖掘新洞见，助力加速疾病治疗方法的发现，并预测治疗效果和最佳方案，从而进一步改善患者护理。
#1
资源不再是创新的障碍
在医疗和生命科学领域，面对繁多的需求，投入时间、资源和预算来尝试 AI 技术一直是个挑战。如今，Healthcare AI 模型采用开源和预训练的方式，代表了目前在公共基准测试中可达到的顶尖性能，助力机构更轻松地推动创新。
总体而言，Healthcare AI 模型及其多模态医学基础模型涵盖了多种数据形式和不断扩展的能力库，支持广泛的应用场景测试和验证，包括：
使用图像嵌入模型搜索相似图像，或协助检测潜在的数据问题或系统错误。（如图 2：图像嵌入）
为特定任务构建嵌入模型适配器，提升任务的精准性和效率。(如图 3：特定任务适配器）
微调预训练的单模态模型，创建更聚焦的特定应用模型。(如图 4：针对特定任务的微调）
集成语言模型，跨数据模态提取洞见，提升多模态数据的解释能力。（如图 5：通用推理器的适配器）
连接不同的数据模态，全面洞察数据，发现隐藏的相关性和模式，帮助挖掘新的见解。
凭借高度的灵活性和广泛的模型选择，单一模型既可以独立使用，也可以连接到不同的模态，或者与 GPT-4o 和 Phi 等高级通用推理模型结合，轻松创建强大的多模态模型，无需从一开始就依赖大规模的集成数据集。Azure AI Studio 与Healthcare AI 模型结合 Microsoft Fabric 提供的医疗数据解决方案，为用户打造了一个统一的平台，便于进行全面的分析，挖掘出重要的患者洞察。
图 2：图像嵌入
图 3：特定任务的适配器
图 4：针对特定任务的微调
图 5：通用推理器的适配器
图 6：连接模态
#2
由合作伙伴生态共同创建
我们的合作伙伴生态系统致力于推动行业对AI技术的使用。多家医疗行业合作伙伴为基础模型做出了贡献，涵盖病理学、三维医学成像、生物医学研究和医学知识共享。这些模型是在一套共享的人工智能核心原则下开发的，为企业开启人工智能项目奠定了坚实的基础，同时将负责任的实践嵌入整个行业。微软致力于以负责任的方式扩展 AI 技术，并倾听、学习和改进我们的工具。我们与各组织合作，帮助他们利用数据来构建所需的预测和分析能力，从而在竞争中取得优势。
目录中的开放式 AI 模型和模块化方法，让医疗机构能够灵活定制解决方案，且保持对自有数据的管理权限，并通过协作开发与监督来建立信任。这种方式契合了我们对负责任 AI 技术的承诺，确保技术符合道德标准，赢得医疗行业的信赖。
目录的不断升级将是一项协作过程——不仅依赖基础模型提供方的合作，也需要客户和合作伙伴的支持，帮助他们基于这些模型开发自己的研究或临床系统。
微软致力于打造一个透明、开放的生态系统，积极推动社区参与，赋能合作伙伴、开发者和研究人员突破医疗保健领域的边界，助力医疗和生命科学机构实现更多。不仅仅是构建模型，更在于解锁新的洞察，加速创新，最终在全球范围内提升患者的治疗效果，从尖端药物研究到提供改变生活方式的医疗服务。
#3
创新在行动
已有多家客户开始借助Healthcare AI 模型提升医疗体验。
马萨诸塞州总医院布莱根（Mass General Brigham）以及威斯康星大学医学院、公共卫生学院和威斯康星大学医疗机构（UW Health）正在探索利用医学影像分析生成高级报告。随着医学影像数据量的激增，加上放射科医生的过度工作和人手短缺，先进的医学影像模型可以帮助构建将医学影像转化为初步报告的应用。这类项目能够显著提升核心医疗流程的效率，不仅改善患者的治疗效果，还能让医生将更多精力专注于更具价值的临床工作。
基于医学图像生成报告是一个全新的领域。我们的合作汇聚了多领域的专业知识，致力于开发、测试和验证新模型。我们正在积极探索如何将这些模型融入实际的临床系统和工作流程中，克服各种挑战，为未来这些技术真正应用到患者护理中打下基础。
——理查德·布鲁斯医学博士，
威斯康星大学麦迪逊分校放射学信息学副主席
与微软的合作，让 Paige 能够从数百万份数字化病理切片、临床报告和基因组数据中挖掘出更多洞察，帮助我们对癌症有了更加全面的理解。我们正在共同推动前沿的多模态 AI 模型，这些模型有望加速并重新定义癌症的检测、诊断和治疗进程。我们非常期待继续引领这一潮流，携手打造精准肿瘤学的未来。
———拉齐克·尤斯菲，
Paige 首席执行官兼首席技术官
在生命科学领域，Paige 正在整合放射学、病理学和基因组学的见解，以更全面的方式推动疾病诊断，目标是加速新疗法的发现。AI技术在医疗保健的各个环节中都扮演着关键角色，随着我们对风险、疾病和治疗方案理解的不断深入，这些进展将对提升患者的后续护理产生重要影响。
Healthcare AI 模型的应用不仅限于人类健康，玛氏宠物护理（Mars PETCARE）也在探索如何将其应用于兽医学领域，比如为放射学和病理学团队提供数据评估。宠物的治疗同样复杂，因此这也进一步证明了平台的多样化和灵活性——只要运用合适的方法，这些模型可以为全新的应用场景服务。
我们与微软的战略合作标志着兽医诊断的一次重要突破。作为AI技术在数字病理学和放射学领域的早期应用者，我们亲眼见证了这项技术如何改变动物护理。通过结合我们的兽医专长与微软的前沿AI模型，我们不仅推动了诊断技术的进步，也为宠物的健康创造了更美好的未来。这次合作将加速我们的AI研发，为兽医提供更精准、高效的工具。我们将携手设立兽医领域的新标准，继续践行在动物健康领域的创新承诺。
——— 杰瑞·马丁，
玛氏研究与开发部，科学与诊断副总裁
Sectra 正在积极探索如何运用基础模型中的图像和文本嵌入技术，来革新放射科的工作流程。以往这些任务依赖于静态配置，而如今，通过生成式人工智能技术，能够更灵活地适应医疗数据的多样性。
——Fredrik Häll，
SECTRA 产品总监
Topcon Healthcare 正在构建一个多模态、三维眼科成像基础模型（FM），利用大规模人群筛查中收集的数据，为健康人群进行表型分析。通过该模型，能够深入探索眼部生物标志物，发现它们作为眼部及全身疾病早期预警的潜力。
——Topcon Healthcare，
临床科学副总裁 Mary Durbin
我们非常高兴通过 Azure AI Studio 推出我们领先的临床 LLM——Med42。借助 Med42，我们正利用 AI 的力量颠覆传统医疗体系，为临床医生、科学家和患者带来切实的价值。通过 Med42 基础模型套件和 MEDIC（我们的 LLM 综合临床评估框架）等创新技术，M42 正在全球范围内推动医疗健康领域的创新。
——罗尼·拉詹博士
M42 AI 和应用科学副主任
病理学和医学影像领域的基础AI模型正在推动癌症研究和诊断的巨大进步。这些模型不仅能为传统视觉解读提供更多的洞察力，还能有效补充人类专家的判断。随着我们迈向更加综合、多模态的医疗方式，这将重塑医学的未来。
——普罗维登斯基因组学首席医疗官、Prov-GigaPath 研究报告共同作者 Carlo Bifulco 医学博士
——卡洛·比富尔科博士，普罗维登斯基因组学首席医学官，以及 Prov-GigaPath 研究的共同作者
Microsoft Cloud for Healthcare帮助您的组织利用数据和人工智能技术打造更健康的未来
我们通过Microsoft Cloud for Healthcare，进一步加强了在数据和人工智能方面的投资。我们的医疗解决方案基于信任，并遵循微软的负责任AI原则。借助这些创新，我们帮助合作伙伴和客户在每个护理环节轻松打造互联体验，提升医疗团队的能力，并利用对行业至关重要的数据标准，释放数据的真正价值。
了解有关 Microsoft 如何利用数据和负责任的AI技术增强医疗保健的更多信息。请扫码阅读官方网站。
医疗设备免责声明
Microsoft 产品与服务 (1) 并非医疗设备，(2) 不可作为专业医疗建议、诊断、治疗或判断的替代方案。客户与合作伙伴需确保其解决方案符合相关法律法规。
生成式人工智能的内容并不总是准确或完整，其输出不代表 Microsoft 的观点。客户/合作伙伴应全面测试并评估 AI 工具是否符合预期用途，并识别并降低使用中的潜在风险。同时，建议仔细阅读每款工具的产品文档以充分了解使用情况。
参考文献：
1. MedImageInsight：通用医学影像的开源嵌入模型，2024 年。
2. BiomedParse：一种基础生物医学模型，可对图像内容进行全面解析，2024 年。
3. MAIRA-2：放射科报告生成模型，2024 年。
