谷歌团队推出大型生成模型 可处理多模态生物医学数据

尽量人工智能（AI）体例赢得了宏大希望，但大无数现有的最前辈(SOTA)体例都是单模态单劳动体例，这对拓荒医疗人工智能体例提出了挑拨，由于医疗劳动性子上是众模态且形式充分 涵盖文本、成像、基因组学等。

为了补充这一差异，正在一篇新论文《Towards Generalist Biomedical AI》中，来自 Google Research 和 Google DeepMind 的讨论团队提出了 Med-PaLM Multimodal （Med-PaLM M），这是一种大型众模态天生模子，能够治理众模态生物医学数据，搜罗临床数据 发言、成像和基因组学利用一组模子权重，无需任何特定于劳动的改正。

MultiMedBench 的经管咱们推出了 MultiMedBench，这是一种新的众形式生物医学基准，涵盖医学成像、临床文本和基因组学等众种形式，具有14项区别的劳动，用于演练和评估通用生物医学 AI 体例。

Med-PaLM M，通用生物医学人工智能体例的初度演示咱们推出 Med-PaLM M，这是一个简单众劳动、众形式生物医学人工智能体例，能够实践医学图像分类、医知识答、视觉问答、放射学叙述天生和总结、 基因组变异移用，以及更众具有无别模子权重的蚁合。

Med-PaLM M 中新奇的新兴才具的证据 除了劳动绩效的定量评估之外，咱们还侦查到零样本医学推理、新医学观念和劳动的泛化以及跨劳动的主动转移的证据。

Med-PaLM M 输出的人工评估 除了主动化目标之外，咱们还对 Med-PaLM M 跨区别模子标准天生的胸部 X 射线叙述举办放射科医师评估。

该团队起初提出了 MultiMedBench，办理缺乏全数的众模态医疗基准的题目，这是一种众模态生物医学基准，涵盖寻常的众模态数据源，用于量度通用生物医学人工智能治理从视觉题目到各样医疗劳动的才具 应答、叙述天生、医学图像分类等。

接下来，讨论职员诈欺 MultiMedBench 通过微调 PaLM-E 模子并将其与生物医学周围对齐来拓荒 Med-PaLM M。通用生物医学人工智能模子将众形式医疗数据动作输入，同时利用一组模子参数对其举办治理，而且也许实践众项劳动。

更实在地说，该团队通过利用指令安排同时利用区别劳动的同化来演练模子，增添纯文本的“一次性示例”以使模子与指令维持相同，并微调 PaLM 的预演练变体 E 正在 MultiMedBench 劳动上得回天生的 Med-PaLM M 模子。

正在他们的实证讨论中，评估了 Med-PaLM M 正在 MultiMedBench 中的一齐劳动。 Med-PaLM M 正在一齐劳动上都阐扬亲热或胜过基线的 SOTA，同时还阐扬出壮大的零样本泛化才具。

据团队所知，Med-PaLM M是通用生物医学人工智能体例的初度考试，团队笃信他们的任务代外了通用生物医学人工智能繁荣的环节一步。