针对数据有限的情况,圣路易斯华盛顿大学麦凯维工程学院的UlugbekKamilov和JiamingLiu与劳伦斯利弗莫尔国家实验室的研究人员合作开发了一种新工具,可以用更少的资源做更多的事情。
在法国巴黎国际计算机视觉会议(ICCV)上发表的一篇论文中,该团队介绍了DOLCE,这是一种基于深度模型的框架,旨在克服有限角度计算机断层扫描(LACT)带来的挑战。
LACT是一种成像技术,应用范围从医疗诊断到安全检查。然而,LACT中有限的角度覆盖通常是严重伪影或重建图像与地面实况之间差异的根源。
“这个项目的核心是恢复丢失的数据,”电气与系统工程和计算机科学与工程副教授卡米洛夫说。
“为了完成在有限角度拍摄的CT或在有限时间内拍摄的短MRI,我们可以使用数据或图像的部分来推断缺失的内容。”
DOLCE代表扩散概率有限角度CT重建,它使用尖端的生成AI模型从严重有限的数据中创建多个高质量图像。虽然生成式人工智能模型可以创建真实的数据,但其输出可能不准确。DOLCE的主要优势之一是它利用人工智能的力量,同时还提供量化其重建不确定性的工具。
“DOLCE让我们生成逼真的图像,但它也确保与测量数据的一致性,并显示方差和不确定性,”卡米洛夫说。
“与传统的生成模型(例如人们现在通过聊天机器人熟悉的大型语言模型)不同,DOLCE始终与实际情况、测量数据以及底层系统的物理属性保持一致。DOLCE还提供了一个方差图,以显示它根据所提供的数据可能产生的所有可能的变体。”
卡米洛夫和第一作者电气与系统工程博士生刘在论文中展示了DOLCE作为逼真图像生成器在两个关键应用中的功能范围:机场安全扫描托运行李和人体医学成像。
通过对真实的LACT数据集进行实验,Liu表明,DOLCE在完全不同类型的图像上始终表现出色。这种多功能性使其成为提高重建LACT图像质量的有前途的工具。
虽然卡米洛夫和刘指出DOLCE并不是为医疗诊断而设计的,但它确实提供了可能的真实情况以及其生成的图像中可能存在的变化的现实视图。这对于由于物理或时间限制而无法收集所有角度的应用程序特别有用。
卡米洛夫说:“作为工程师,我们的工作是向医学和其他领域的同事展示这项技术的能力,然后与我们的合作者合作,为特定应用选择或开发合适的工具。”
“通过DOLCE,我们利用最新的生成建模功能创新了最先进的计算成像技术。”