MRI 图像复杂且数据量大MRI 图像的复杂性和数据量之大是可以理解的。传统方法的局限性由于这个原因，开发用于 MRI 分析的大型语言模型（LLM）的开发人员不得不将捕获的图像切成 2D。但这只是对原始图像的近似，从而限制了模型分析复杂解剖结构的能力。这在涉及脑瘤、骨骼疾病或心血管疾病等复杂病例中带来了挑战。GE 医疗的突破但 GE 医疗似乎已经克服了这个巨大的障碍，在今年的 AWS re:Invent 上推出了行业首个全身 3D MRI 研究基础模型（FM）。这是第一次，模型可以使用整个身体的完整 3D 图像。基于 AWS 构建GE 医疗的 FM 是在 AWS 上从头开始构建的——专门为 MRI 等医学成像设计的模型很少——并且基于来自超过 19,000 项研究的超过 173,000 张图像。开发人员表示，他们已经能够以比以前所需的计算量少五倍的方式训练模型。仍处于研究阶段GE 医疗尚未将基础模型商业化；它仍处于进化研究阶段。早期评估者 Mass General Brigham 即将开始对其进行试验。目标和愿景GE HealthCare 首席 AI 官 Parry Bhatia 告诉 ventureBeat：“我们的愿景是将这些模型交到医疗系统中的技术团队手中，为他们提供强大的工具，更快、更具成本效益地开发研究和临床应用。”实现复杂 3D MRI 数据的实时分析虽然这是一项突破性的发展，但生成式 AI 和 LLM 对该公司来说并不是新领域。Bhatia 解释说，该团队已经使用先进技术超过 10 年。旗舰产品其旗舰产品之一是 AIR Recon DL，这是一种基于深度学习的重建算法，允许放射科医生更快地获得清晰的图像。该算法从原始图像中去除噪声并提高信噪比，将扫描时间缩短多达 50％。自 2020 年以来，已有 3400 万患者接受了 AIR Recon DL 扫描。GE 医疗的 MRI FM 工作GE 医疗于 2024 年初开始研究其 MRI FM。由于该模型是多模态的，因此它可以支持图像到文本的搜索，链接图像和文字，以及分割和分类疾病。Bhatia 说，目标是在一次扫描中为医疗专业人员提供比以往更多的细节，从而实现更快，更准确的诊断和治疗。对医疗程序的影响AWS 医疗保健和生命科学总经理 Dan Sheeran 告诉 ventureBeat：“该模型具有实现 3D MRI 数据实时分析的巨大潜力，这可以改善诸如活检，放射治疗和机器人手术等医疗程序。”已经取得的成果它已经在包括前列腺癌和阿尔茨海默病分类在内的任务中优于其他公开可用的研究模型。在图像检索中，它在将 MRI 扫描与文本描述匹配方面的准确性高达 30％-这听起来可能并不令人印象深刻，但与类似模型所展示的 3％能力相比，这是一个巨大的改进。Bhatia 的看法Bhatia 说：“它已经到了一个能够提供一些非常可靠结果的阶段。影响是巨大的。”用（少得多）的数据做更多的事情MRI 过程需要几种不同类型的数据集来支持映射人体的各种技术，Bhatia 解释说。T1 加权成像技术例如，所谓的 T1 加权成像技术突出显示脂肪组织并降低水的信号，而 T2 加权成像则增强水信号。这两种方法是互补的，并创建了大脑的完整图像，以帮助临床医生检测异常，如肿瘤，创伤或癌症。MRI 图像的多样性Bhatia 说：“MRI 图像有各种不同的形状和大小，就像你有不同格式和大小的书籍一样，对吧？”克服数据集多样性的挑战为了克服不同数据集带来的挑战，开发人员引入了“调整大小和适应”策略，以便模型可以处理和响应不同的变化。此外，某些区域可能缺少数据-例如，图像可能不完整-因此他们教导模型简单地忽略这些情况。Bhatia 的解释Bhatia 说：“我们不是陷入困境，而是教导模型跳过差距并专注于可用的内容。这就像是解决一个有一些缺失部分的谜题。”半监督学生-教师学习开发人员还采用了半监督学生-教师学习，这在数据有限时特别有用。通过这种方法，两个不同的神经网络在标记和未标记的数据上进行训练，教师创建标签帮助学生学习和预测未来的标签。减少对数据和标签的依赖Bhatia 说：“我们现在正在使用许多这些自我监督的技术，它们不需要大量的数据或标签来训练大型模型。它减少了依赖，你可以从这些原始图像中学到比过去更多的东西。”确保模型在不同资源条件下的性能这有助于确保模型在资源较少，机器较旧和数据集不同的医院中表现良好，Bhatia 解释说。模型的多模态性的重要性他还强调了模型的多模态性的重要性。Bhatia 说：“过去的许多技术都是单模态的。它只会看图像，看文本。但现在它们变得多模态，它们可以从图像到文本，从文本到图像，这样你就可以引入过去用单独模型完成的许多事情，并真正统一工作流程。”强调数据的合法性和合规性他强调，研究人员只使用他们有权使用的数据集；GE 医疗有合作伙伴授权去识别数据集，并且他们小心遵守合规标准和政策。使用 AWS SageMaker 解决计算和数据挑战毫无疑问，构建如此复杂的模型存在许多挑战-例如，对于千兆字节大小的 3D 图像，计算能力有限。数据量巨大Bhatia 说：“这是一个巨大的 3D 数据量。你需要将其带入模型的内存中，这是一个非常复杂的问题。”借助 Amazon SageMaker为了帮助克服这一问题，GE 医疗构建在 Amazon SageMaker 上，该平台提供高速网络和跨多个 GPU 的分布式训练功能，并利用 Nvidia A100 和张量核心 GPU 进行大规模训练。SageMaker 的作用Bhatia 解释说，由于数据的大小和模型的大小，它们无法将其发送到单个 GPU。SageMaker 允许他们在可以相互交互的多个 GPU 上自定义和扩展操作。使用 Amazon FSx开发人员还在 Amazon S3 对象存储中使用了 Amazon FSx，这允许更快地读取和写入数据集。成本优化Bhatia 指出，另一个挑战是成本优化；借助 Amazon 的弹性计算云（EC2），开发人员能够将未使用或不经常使用的数据移动到成本较低的存储层。SageMaker 的重要性Bhatia 说：“利用 SageMaker 训练这些大型模型-主要是为了在多个高性能 GPU 集群上进行高效，分布式训练-是真正帮助我们更快前进的关键组件之一。”强调数据完整性和合规性他强调，所有组件都是从数据完整性和合规性的角度构建的，考虑了 HIPAA 和其他监管法规和框架。最终目标最终，“这些技术可以真正简化流程，帮助我们更快地创新，以及通过减少管理负担来提高整体运营效率，并最终推动更好的患者护理-因为现在你提供了更个性化的护理。”作为其他专业微调模型的基础虽然目前该模型特定于 MRI 领域，但研究人员看到了扩展到医学其他领域的巨大机会。Sheeran 的观点Sheeran 指出，历史上，医学成像中的 AI 受到需要为特定器官中的特定条件开发定制模型的限制，需要对每个用于训练的图像进行专家注释。传统方法的局限性但这种方法“本质上是有限的”，因为疾病在个体之间的表现方式不同，并引入了泛化挑战。生成式 AI 的优势他说：“我们真正需要的是数千个这样的模型，以及在遇到新信息时快速创建新模型的能力。”每个模型的高质量标记数据集也是必不可少的。GE 医疗模型的潜力现在，借助生成式 AI，开发人员可以预训练一个单一的基础模型，而不是为每个疾病/器官组合训练离散模型，该基础模型可以作为下游其他专业微调模型的基础。例如例如，GE 医疗的模型可以扩展到放射治疗等领域，在那里放射科医生花费大量时间手动标记可能处于危险中的器官。Bhatia 说，它还可以帮助减少 X 射线和其他目前需要患者在机器中长时间静止的程序的扫描时间。Sheeran 的感慨Sheeran 惊叹道：“我们不仅通过基于云的工具扩大了对医学成像数据的访问；我们正在改变如何利用这些数据来推动医疗保健中的 AI 进步。”
