喜好儿网各种医疗应用的卓越表现给人工智能带来了巨大的挑战，需要先进的推理、获取最新的医学知识以及对复杂的多模态数据的理解。 Gemini 模型在多模式和长上下文推理方面具有强大的通用能力，为医学领域提供了令人兴奋的可能性。
基于 Gemini 的这些核心优势，研究团队推出了 Med-Gemini，这是一个功能强大的多模式模型系列，专门用于医学，能够无缝使用网络搜索，并且可以使用自定义编码器有效地针对新颖的模式进行定制。研究团队在 14 个医疗基准上评估 Med-Gemini，在其中 10 个基准上建立了新的最先进 (SoTA) 性能，并在每个可以进行直接比较的基准上超越了 GPT-4 模型系列，通常是广泛的利润。
在流行的 MedQA (USMLE) 基准上，研究团队性能最佳的 Med-Gemini 模型使用新颖的不确定性引导搜索策略，实现了 91.1% 准确度的 SoTA 性能。在包括 NEJM Image Challenges 和 MMMU（健康与医学）在内的 7 个多模态基准测试中，Med-Gemini 比 GPT-4V 提高了 44.5% 的平均相对优势。
研究团队通过从长期去识别化的健康记录和医疗视频问答中进行大海捞针检索任务的 SoTA 性能，证明了 Med-Gemini 的长上下文能力的有效性，超越了之前仅使用上下文学习的定制方法。最后，Med-Gemini 的表现表明了其在现实世界中的实用性，在医学文本摘要等任务上超越了人类专家，同时展示了多模式医学对话、医学研究和教育的巨大潜力。 总而言之，研究团队的结果为 Med-Gemini 的潜力提供了令人信服的证据，尽管在这个安全关键领域的实际部署之前，进一步严格的评估至关重要。
论文链接：https://huggingface.co/papers/2404.18416
更多消息：
https://heehel.com/category/ai-news
图2|自我训练和搜索工具的使用。左图展示了使用搜索框架进行自我训练，用于微调 Med-Gemini-L 1.0 以实现高级医学推理和网络搜索的使用。该框架在有或没有网络搜索的情况下迭代生成推理响应 (CoT)，从而提高模型利用外部信息获得准确答案的能力。右图展示了 Med-Gemini-L 1.0 在推理时的不确定性引导搜索过程。该迭代过程涉及生成多个推理路径、基于不确定性进行过滤、生成搜索查询以解决歧义，以及合并检索到的搜索结果以获得更准确的响应。
图3 |通过网络搜索将 Med-Gemini-L 1.0 推广到另外两个基于文本的基准。 (a)：Med-Gemini-L 1.0 在 NEJM CPC 基准上的 top-k 准确性与先前的 SoTA LLMs 和临床医生的比较，有或没有搜索。 (b)：Med-Gemini-L 1.0 和 SoTA 模型在 GeneTuring 数据集模块上的比较。
图4 | MedQA 的消融分析和标签不确定性。 (a)：自我训练和不确定性引导搜索对 Med-Gemini-L 1.0 在 MedQA 上的准确性的影响。自我训练和每轮搜索都有助于显着提高性能。 (b)：每个问题至少由三名美国医生重新标记后，Med-Gemini-L 1.0 的准确性（蓝色）和 MedQA 上的剩余问题（红色）。过滤缺少信息、标签错误或模糊事实的问题可以进一步提高准确性。误差线对应于 (a) 中案例的标准误差和 (b) 中引导注释的标准偏差。
谷歌的Gemini模型以其多模式和长上下文推理的通用能力，为医学领域带来了新的突破与可能性。
一、Gemini模型的核心优势
Gemini模型在人工智能领域以其独特的多模式和长上下文推理能力而著称。它能够处理来自不同来源、不同格式的数据，包括文本、图像、视频等，实现跨模态的信息融合与推理。同时，Gemini模型的长上下文推理能力使其能够理解和分析复杂、连续的信息流，从而做出更为准确、全面的判断。
二、Med-Gemini的推出与表现
基于Gemini模型的核心优势，谷歌研究团队推出了专门针对医学领域的Med-Gemini模型系列。这一模型系列不仅继承了Gemini模型的多模式和长上下文推理能力，还针对医学领域的特定需求进行了优化和改进。
Med-Gemini模型具有无缝使用网络搜索的能力，可以实时获取最新的医学知识和信息。同时，它还可以使用自定义编码器针对新颖的模式进行定制，以适应医学领域不断变化的数据类型和需求。
为了验证Med-Gemini模型的性能，研究团队在14个医疗基准上进行了评估。结果显示，Med-Gemini模型在其中10个基准上建立了新的最先进（SoTA）性能，并在每个可以进行直接比较的基准上超越了GPT-4模型系列，取得了显著的成果。
在流行的MedQA（USMLE）基准上，研究团队性能最佳的Med-Gemini模型使用了一种新颖的不确定性引导搜索策略。这一策略使得模型能够在处理医疗问题时更加谨慎和准确，从而实现了91.1%准确度的SoTA性能。这一成果不仅证明了Med-Gemini模型在处理医疗问答任务时的卓越能力，也为其在医学领域的应用提供了有力的支持。
在包括NEJM Image Challenges和MMMU（健康与医学）在内的7个多模态基准测试中，Med-Gemini模型同样表现出色。与GPT-4V相比，Med-Gemini在这些测试中平均提高了44.5%的相对优势。这一结果进一步证明了Med-Gemini模型在处理多模态医疗数据时的优势和能力。
三、Med-Gemini的长上下文能力
除了在处理医疗问答和多模态数据方面的卓越表现外，Med-Gemini模型还展现出了强大的长上下文能力。研究团队通过从长期去识别化的健康记录和医疗视频问答中进行大海捞针检索任务的SoTA性能，证明了Med-Gemini模型在处理复杂、连续的医疗信息时的有效性。这一能力使得Med-Gemini模型能够更好地理解和分析患者的病史、病情发展以及治疗方案等信息，为医生提供更准确、全面的诊断建议和治疗方案。
四、Med-Gemini的实用性及未来潜力
Med-Gemini模型在医学领域的实用性不仅体现在其卓越的性能上，更体现在其广泛的应用场景中。它可以在医学文本摘要、多模式医学对话、医学研究和教育等多个领域发挥重要作用。例如，在医学文本摘要任务中，Med-Gemini模型可以自动提取和总结医学文献中的关键信息，为医生提供快速、准确的参考资料；在多模式医学对话中，Med-Gemini模型可以与患者进行自然语言交流，并结合患者的病史、病情等信息提供个性化的诊断和治疗建议；在医学研究和教育中，Med-Gemini模型可以辅助研究人员进行数据分析、模型构建等工作，提高研究效率和质量。
尽管Med-Gemini模型在医学领域的应用前景广阔，但在实际部署之前仍需要进行严格的评估和测试。毕竟医学领域是一个安全关键领域，任何一点小错误都可能对患者的生命健康造成不可挽回的影响。因此，在未来的研究中我们将继续完善和优化Med-Gemini模型的性能和稳定性确保其能够更好地服务于医学领域的发展和进步。
