回复
在线教程丨仅需极少量医学影像数据，MediCLIP 在异常检测与定位任务中刷新 SOTA 原创
在临床诊疗过程中，医学影像技术（如 X 光、 CT 、 B 超等）是医生诊断的重要依据。当患者完成影像检查后，通常需要由放射科或超声科医生对影像进行专业判读，通过识别异常征象、定位病变区域并撰写诊断报告，为临床决策提供关键支持。
随着人工智能技术的发展，医学影像分析正迎来新的变革。目前基于机器学习已经能够胜任医学影像异常检测的任务，即区分正常影像与病变异常影像，并识别这些病变区域的位置。这类技术在辅助医学决策中发挥着关键作用，部分先进的检测模型在特定任务上的表现甚至可与专业的临床医生相媲美，降低决策风险的同时提高了医疗人员的工作效率。
然而，现有的医学影像异常检测方法普遍依赖大规模数据集进行训练，虽然可以取得较高性能，但也显著增加了开发成本。
通用领域的 CLIP 模型在零样本迁移上表现出色，但直接应用于医学影像异常检测时，受到领域差异和标注稀缺的限制。美国伊利诺伊大学香槟分校的研究团队在 2022 年提出了 MedCLIP 方法，受到 CLIP 等视觉-文本对比学习模型的启发，通过解耦图文对比学习并引入医学知识消除「假负例」，将这一范式扩展到医学图像分类与跨模态检索，在数据量大幅减少的情况下依然取得了优异表现。
虽然 MedCLIP 在缓解数据依赖方面成效显著，但其设计目标是分类与检索任务，在异常检测尤其是病灶定位方面并不适配。与此同时，近期有研究将 CLIP 应用于零样本/小样本异常检测，其性能取得了令人印象深刻的效果。但这些方法往往需要真实异常影像及像素级标注的辅助数据集来进行模型训练，这在医疗领域获取困难。
针对这些问题，北京大学的研究团队提出了一种高效的少样本医学影像异常检测方案 MediCLIP 。该方法仅需极少量正常医学影像，即可在异常检测与定位任务中取得领先性能，并在多种医学影像类型中有效检测不同疾病，展现出惊人的零样本泛化能力。
「MediCLIP：采用 CLIP 进行小样本医学图像异常检测」现已上线 HyperAI 超神经官网（hyper.ai）的「教程」板块，快来体验高效的医学影像智能诊断方法吧！
教程链接：
Demo 运行
1. 进入 hyper.ai 首页后，选择「教程」页面，并选择「MediCLIP：采用 CLIP 进行小样本医学图像异常检测」，点击「在线运行此教程」。
2. 页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。
3. 选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像，并点击「继续执行」。 OpenBayes 平台提供了 4 种计费方式，大家可以按照需求选择「按量付费」或「包日/周/月」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！
HyperAI 超神经专属邀请链接（直接复制到浏览器打开）：
https://openbayes.com/console/signup?r=Ada0322_NR0n
4. 等待分配资源，首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后，点击「打开工作空间」。
5. 双击左侧目录栏的项目名称，即可开始使用。请注意：该教程算力资源采用单卡 RTX 4090，请勿同时开启中文和英文版本的 Notebook，选择一个开启即可，推荐：README.ipynb（中文版本方便阅读）。
6. 点击上方「运行按钮」：设置 Python 虚拟环境。
7. 使用 16 个支持样本在 BrainMRI 数据集上训练 MediCLIP 模型。
8. 使用训练好的模型对 BrainMRI 数据集进行测试。
效果演示
输出结果显示：模型在 BrainMRI 测试集上的图像二分类性能非常好，AUROC = 0.9424（接近满分 1）。
模型对每张测试图像的可视化检测结果，默认保存到 openbayes//home/MediCLIP/vis_result 目录下，具体位置如下图所示：
随机打开一张检测结果图，清晰且直观地进行了展示：
* 左：原始脑部图像
* 右：高亮出的「异常区域」
以上就是 HyperAI 超神经本期推荐的教程，欢迎大家前来体验！
教程链接：
©著作权归作者所有，如需转载，请注明出处，否则将追究法律责任
赞
收藏
回复
相关推荐
