Segment Anything

https://arxiv.org/pdf/2304.02643
code

解析文章: Segment-anything学习到微调系列2_SAM细节理解和部分代码

图像分割开山之作，值得精读

Segment anything in medical images

https://www.nature.com/articles/s41467-024-44824-z

LISA: Reasoning Segmentation via Large Language Model

https://arxiv.org/pdf/2308.00692
code

利用seg特殊token的embedding做变换映射为一个掩码图

收获
1.有文本-图片-掩码数据集

One Model to Rule them All: Towards Universal Segmentation for Medical Images with Text Prompts

https://arxiv.org/pdf/2312.17183
提出了SAT通用模型，可以使用文本提示对放射扫描的内容进行分割

之前的工作
模型通常执行2D切片分割，随后通过后处理融合到3D体积中，忽略了3D放射成像中固有的关键上下文信息
通常需要点或框输入作为提示，是一种交互式分割模型，在实际使用中需要大量的手动工作

收获
1.人体解剖学多模态知识树，6502个解剖术语

想法
1.scaling law在分割模型上的情况
2.SAT可以作为一个预训练模型，可以考虑在特定领域上微调？
3.SAT目前仅支持文本作为提示，可以加入一些交互方式
4.长尾问题有待解决