MMSCI: A DATASET FOR GRADUATE-LEVEL MULTIDISCIPLINE MULTIMODAL SCIENTIFIC UNDERSTANDING

https://arxiv.org/pdf/2407.04903

两个benchmark
1.MMSCICAP
(1)只给图片生成caption (2)给abstract，提供了图形的上下文生成caption
指标: ROUGE, METEOR, BERTScore, 经过修改的FACTSCORE(专注于precision而非recall), G-Eval

2.MMSCIQA—>选择题
(1)figure->caption 负例用同一个文章中其他caption
(2)subfigure->subcaption 负例用同一个图片其他3个子标题
(3)subcaption->subfigure 图中所有子图作为选项