那是一张比较模糊的CT图像, 在经过人工智能算法放大八倍之后, 里面的血管看起来非常清晰, 也很自然。但是, 这些血管到底是不是真实存在于这位患者的身体里面这一点, 现在有了一项新的研究给出来了验证的方案。
放大后血管看着漂亮但可能是编的
早期的超分辨率技术, 例如SRCNN和EDSR, 使用了像素级别的误差作为训练目标。这样做会导致图像变得过度平滑。细小的血管纹理几乎被完全抹掉了。医生因此很难从这些图像里面获取到有效的信息。
生成式的方法, 像是SRGAN还有扩散模型这些种类, 能让画面变得更清晰一些, 不过, 对于同一张模糊的图片来说, 在理论上是可以对应到无数种合理的结果的, 所以AI就会开始进行自由的发挥了, 血管的走向也就变得不再受到控制了。
传统指标为什么抓不住这种错
就算SSIM分数很高, 血管还是可能会发生断裂或者多出来一根的情况。这是因为单根血管的像素数量在整个图像的全部像素总量里面所占的比例是非常小的。所以这个因素对于整体分数的影响是可以忽略不计的。
传统的指标是用来衡量全局像素之间的相似度的, 对于血管到底连没连上、分叉点是不是正确的这些属于拓扑层面的错误, 它们完全就检测不到。
拆成两件事分别训练
研究者把图像清晰这一项, 和血管结构正确这一项, 拆开成了两个独立的任务, 其中前者是由超分辨率扩散模型来负责, 而后者则是交给了新训练的轻量级三维UNet来负责。
把血管的概率图交给那个三维的Unet模型, 它输出来修好后的解剖标签, 接着把这些内容转换成指导信息, 传给专门对每一张二维切片进行单独处理的超分辨率模型, 用作下一轮生成的引导。
三轮迭代逐步修正血管树
第一轮运行过程中没有血管引导信息, 模型是靠着自己的本领生成初步结果的, 分割步骤结束后把结果交给三维修正模型进行修正, 修正后的结果再重新用于引导第二轮和第三轮的生成工作。
在三维可视化显示中, 初始分割存在大量孤立的细小碎块, 经过三轮迭代之后, 这些小碎块被基本清理干净, 从而使得整棵血管树的连贯性得到显著提升。
直接加损失函数反而更差
通过对对照实验的情况进行查看, 在发现了把Dice直接加入到用来进行调整微调的损失函数之后, 可以得知针对MSD这个数据集中的肝静脉部位来说, Dice数值由原来的0.6526增加到了0.7010, 看起来这一结果与VascuSR所取得的0.7072是处于非常接近的状态的。
但是, 改用没有参加训练过程的TotalSegmentator来进行重新评估之后, 这个模型所获得的分数反而比原始的ResShift还要低, 这一结果清楚地表明, 该算法仅仅是在学习那些能够取悦某一个特定评分器的便捷方法。
六分钟跑完一个三维体积
使用八条并行轨迹进行三轮完整的反馈处理, 这样一个三维CT体积, 大概需要花费六分钟左右的时间才能完成分析工作, 至于具体的技术细节内容, 大家可以前往 m.hyjdxg.com 这个网址去查看相关的报道说明。
论文附录里面的数据是有关血管区域信号强度偏差的, 这部分数据表明, 那种先独立进行训练然后再去转译的方案, 在局部质量这一方面以及在结构准确度这一方面, 都比直接采用微调的那种路线要更加优秀。
在日常生活中查看影像图片时, 你更加倾向于凭借直观的画面视觉呈现来获取判断结果, 还是说你乐意投入额外的数分钟时长来仔细核实血管的空间结构分布呢? 大家可以在评论区域内交换各自不同的观点与感受, 同时不妨顺手完成点赞以及转发操作, 将这些内容传递给一起工作的同事们参考。
