SciFigDetect: A Benchmark for AI-Generated Scientific Figure Detection
Zhejiang University(浙江大学);Independent Researcher(独立研究员);University of Oulu(奥卢大学)
本文提出首个AI生成科学图表检测基准,通过多模态数据管道构建,涵盖多种图表类别和生成源,揭示现有方法在零样本迁移和对抗性攻击下的不足。
2026-04-09 cs.CV
Compound Figure Separation of Biomedical Images: Mining Large Datasets for Self-supervised Learning
Vanderbilt University(范德堡大学);Central South University(中南大学)
随着自监督学习的快速发展(例如,对比学习),具有大规模图像(即使没有注释)用于训练更通用的AI模型的重要性已经在医学图像分析中得到广泛认可。然而,大规模收集特定于任务的未注释数据对于单个实验室来说可能具有挑战性。现有的在线资源,如数字图书、出版物和搜索引擎,为获取大规模图像提供了新的资源。然而,在医疗保健中发表的图像(例如,放射学和病理学)由大量具有子图的复合图组成。为了提取和分离复合数字到可用的个人图像的下游学习,我们提出了一个简单的复合图分离(SimCFS)框架,而不使用传统上需要的检测限界框注释,一个新的损失函数和硬情况下的模拟。我们的技术贡献是四方面的:(1)我们引入了一个基于模拟的训练框架,最大限度地减少了对资源扩展限界框注释的需求;(2)我们提出了一个新的边损失,它是针对复合图形分离进行优化的;(3)我们提出了一个类内图像增强方法来模拟硬情况;和(4)据我们所知,这是第一个评估利用自监督学习与复合图像分离的有效性的研究。从结果来看,所提出的SimCFS在ImageCLEF 2016复合图分离数据库上实现了最先进的性能。预训练的自监督学习模型使用大规模挖掘的数字,通过对比学习算法提高了下游图像分类任务的准确性。SimCFS的源代码可在https://github.com/hrlblab/ImageSeperation上公开获取。
2022-08-30 cs.CV
Extracting Scientific Figures with Distantly Supervised Neural Networks
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
非文本组件,如图表,图表和表格提供了许多科学文献中的关键信息,但缺乏大型标记数据集阻碍了数据驱动的科学图形提取方法的发展。在本文中,我们在大量的科学文献中为图形提取任务引入了高质量的训练标签,没有人为干预。为了实现这一目标,我们利用两个大型科学文献(arXiv和PubMed)网络集合中提供的辅助数据来定位光栅化PDF中的图形及其相关标题。我们分享了超过550万个诱导标签的数据集--比之前最大的图形提取数据集大4,000倍--平均精度为96.8%,从而能够为这项任务开发现代数据驱动的方法。我们使用这个数据集来训练一个深度神经网络,用于端到端的图形检测,产生一个模型,与以前的工作相比,它可以更容易地扩展到新的领域。该模型已成功部署在大型学术搜索引擎Semantic Scholar中,并用于提取1300万份科学文献中的数字。
2018-05-30 cs.CV cs.DL
Look, Read and Enrich. Learning from Scientific Figures and their Captions
Expert System Cogito Labs(Expert System Cogito实验室)
与自然图像相比,理解科学数字对机器来说特别困难。然而,在科学文献中有一个有价值的信息来源,直到现在还没有被开发:一个数字和它的标题之间的对应关系。在本文中,我们研究了什么可以通过看大量的数字和阅读他们的标题,并介绍了一个数字标题对应学习任务,利用我们的观察。训练视觉和语言网络,而不是对不受约束的数字和标题的监督,成功地解决了这个任务。我们还表明,从知识图谱转移词汇和语义知识显着丰富的功能。最后,我们展示了这些功能在涉及科学文本和数字的其他任务中的积极影响,如多模态分类和机器理解问答,优于监督基线和ad-hoc方法。
2019-09-19 cs.AI cs.CL cs.CV
SciCap+: A Knowledge Augmented Dataset to Study the Challenges of Scientific Figure Captioning
Tokyo Institute of Technology(东京工业大学);National Institute of Information and Communications Technology(信息通信研究机构)
本文构建含提及段落与 OCR 标记的 SciCap+ 知识增强数据集,并以 M4C-Captioner 为基线验证跨模态知识可显著提升科学图表字幕生成效果。
2023-06-06 cs.CL cs.CV
Every Part Matters: Integrity Verification of Scientific Figures Based on Multimodal Large Language Models
School of Information Management(信息管理学院);Wuhan University(武汉大学)
本文提出图表完整性验证新任务,构建大规模数据集Figure-seg,并创新EPM框架利用多模态大语言模型通过类比推理提升文本与图表的细粒度对齐与验证,显著改进了复杂科学图表的精确分析。
2024-07-26 cs.AI cs.CL cs.CV
SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation
University of Cambridge(剑桥大学);The University of Hong Kong(香港大学);Google DeepMind(谷歌DeepMind)
提出包含 2000 个科学图表问题的 SciFIBench,结合对抗过滤与人工验证,评测 28 个 LMM 的图表理解、对齐及推理忠实性。
2024-12-05 cs.CV
DeTikZify: Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ
University of Mannheim(曼海姆大学);University of Technology Nuremberg(纽伦堡工业大学)
DeTikZify是一种多模态语言模型,通过新数据集和MCTS推理算法,将草图及现有图形自动合成为TikZ程序,性能超越Claude 3和GPT-4V。
2024-11-06 cs.CL cs.CV
SciFigPlag-Bench: A Benchmark for Provenance-Aware Scientific Figure Plagiarism Detection
本文提出SciFigPlag-Bench基准,用于科学图片的来源感知抄袭检测,含四类任务,实验发现视觉语言模型在细粒度来源推理等方面仍有挑战。
2026-08-03 cs.CV cs.LG
FigGen: Text to Scientific Figure Generation
ServiceNow Research(ServiceNow研究院);ÉTS(ÉTS(高等技术学院));Apple Machine Learning Research(苹果机器学习研究院)
本文提出文本到科学图表生成任务,并给出基于扩散模型的 FigGen 方法,同时分析主要挑战、开放代码与模型。
2023-12-17 cs.AI cs.CV
A Survey on Figure Classification Techniques in Scientific Documents
Indian Institute of Information Technology, Allahabad(阿拉哈巴德印度信息技术学院);University at Buffalo(布法罗大学)
本文综述科学文档图形分类技术,将图形分为五类,梳理相关方法与数据集,并指出研究空白和未来方向。
2023-07-09 cs.CV cs.IR cs.LG
Edit2TikZ: A Comprehensive and Challenging Benchmark for Scientific Figure Editing with TikZ
本文推出科学图像编辑基准Edit2TikZ,评估主流多模态大语言模型发现其性能不足,通过构建混合训练集并采用课程学习,可显著提升紧凑模型的编译成功率。
2026-08-14 cs.CV
SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence
本文构建了含3857张科学图表的标注数据集,提出基于稿件证据的多模态评分器SciFigAlign,其在测试集上的MAE为0.3524,相对最佳LLM基准降低59%误差,证实需视觉与稿件证据的学习对齐。
2026-07-30 cs.AI cs.CV
Figuring out Figures: Using Textual References to Caption Scientific Figures
Stanford University(斯坦福大学)
本研究利用SciCap和新建的MetaSciCap数据集,比较CLIP+GPT-2与SciBERT+GPT2模型,发现仅用文本元数据的SciBERT+GPT2模型在科学图表标题生成上表现最优。
2024-06-25 cs.AI cs.CL cs.CV
Personalized Scientific Figure Caption Generation: An Empirical Study on Author-Specific Writing Style Transfer
Teamreboott Inc.(Teamreboott公司);MIRI D.I.H Inc.(MIRI D.I.H公司)
本文在第三届 SciCap 挑战赛中实证研究利用作者档案与元数据实现科学图表标题个性化,证明其可提升多模态大模型风格迁移效果,并指出风格匹配与标题质量间存在权衡。
2025-09-30 cs.CL cs.CV
PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
Generative Expert Labs, Inc(生成专家实验室公司);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
PlotGround构建了基于真实科学图形及其源数据的图表数字化基准,揭示多模态模型在精确恢复数值上的不足,并证明提供源表格可显著提升编码代理的准确率并降低成本。
2026-10-20 cs.CL cs.CV
ICDAR 2026 Competition on Information Extraction from Atomic Layer Deposition/Etching (ALD/E) Scientific Figures
TIB - Leibniz Information Centre for Science and Technology(蒂宾根信息中心(莱布尼茨科学技术信息中心));L3S Research Center, Leibniz University(莱布尼茨大学L3S研究中心)
该研究介绍了ICDAR 2026 ALD/E科学图信息提取竞赛,基于Sci-ImageMiner基准数据集开展多任务评测,发现现有多模态模型在数据提取等任务中存在局限,为领域多模态AI研究提供了平台。
2026-07-30 cs.CV
FigEx2: Visual-Conditioned Panel Detection and Captioning for Scientific Compound Figures
University of Pittsburgh(匹兹堡大学);UPMC Hillman Cancer Center(UPMC希尔曼癌症中心)
针对科学复合图像中缺乏标注的问题,FigEx2通过视觉条件化框架直接从图像生成面板标注,提升下游预训练和检索性能,同时引入噪声感知门控融合模块和分阶段SFT+RL策略。
2026-09-09 cs.AI cs.CL cs.CV
SciFigure2Code: An AI-Reconstructed Benchmark for Scientific Figure-to-Code
Tsinghua University(清华大学)
提出SciFigure2Code基准,通过AI重建和审计协议,将科学图版转化为可编辑Python程序,并构建包含6,740个图版和337图版测试集,评估14个零样本模型,发现执行和布局仍是弱点。
2026-11-11 cs.CV
VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
VeriSciQA通过跨模态验证框架生成并验证高质量科学视觉问答数据集,显著提升开源模型在科学图表问答任务上的表现。
2026-02-11 cs.CV
Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models
提出SciDraw-Bench基准,通过32个结构化任务和四维评估协议(文本保真度、语义正确性、结构质量、惯例遵循),评估文本到图像模型生成科学图形的能力。
2026-06-24 cs.CV cs.GR cs.LG
Enhancing Scientific Figure Captioning Through Cross-modal Learning
Technological University of Peru(秘鲁理工大学)
本文提出一种基于自然语言处理和多模态技术的科学图表标题自动生成新方法,有效提升了研究数据的清晰度与可访问性。
2024-06-24 cs.CV
EdiTikZ: Scientific Figure Editing from Revision Trajectories
University of Technology Nuremberg(纽伦堡工业大学);University of Sheffield(谢菲尔德大学)
该研究针对科学图表编辑任务,构建了首个基于修订轨迹的大规模数据集DaEdiTikZ及人工基准,训练了Qwen3.5系列的EdiTikZ模型,其性能在自动与人工评估中优于多数基线,与顶尖模型相当。
2026-09-16 cs.AI cs.CL cs.CV
Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Peking University(北京大学)
提出Crafter多智能体框架,通过结构化组合离散语义组件,实现跨图表类型和输入条件的可编辑科学图表生成,并引入CraftEditor将栅格输出转换为可编辑SVG,在CraftBench基准上显著优于现有方法。
2026-05-28 cs.AI cs.CL cs.CV
From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature
University of Strasbourg, CNRS, INSERM, ICube, UMR7357, Strasbourg, France(斯特拉斯堡大学、法国国家科学研究中心、法国国家医学研究院、ICube、UMR7357、斯特拉斯堡,法国);Technical University of Munich(慕尼黑技术大学);Stanford University(斯坦福大学);DSAI, The Hong Kong Polytechnic University(香港理工大学DSAI实验室);University of British Columbia(不列颠哥伦比亚大学);Munich Center for Machine Learning(慕尼黑机器学习中心);IHU Strasbourg, Strasbourg(斯特拉斯堡IHU医院,斯特拉斯堡);Vector Institute for AI(人工智能向量研究所);Yale University(耶鲁大学)
本文提出Panel2Patch方法,通过挖掘生物医学文献中的层次结构,生成多粒度监督,提升视觉-语言预训练效果。
2026-03-24 cs.AI cs.CV
AI-Generated Figures in Academic Publishing: Policies, Tools, and Practical Guidelines
University of Arts in Poznań(波兹南艺术大学)
本文探讨学术出版中AI生成图表的政策与工具,提出透明和合规的实践指南,强调适当披露和质量控制可加速科学交流而不损害诚信。
2026-03-17 cs.CV cs.CY
Five Years of SciCap: What We Learned and Future Directions for Scientific Figure Captioning
SciCap项目通过五年研究总结了科学图表描述领域的技术经验,并提出了未来研究的五个关键方向。
2026-01-15 cs.AI cs.CL cs.CV
Do Large Multimodal Models Solve Caption Generation for Scientific Figures? Lessons Learned from SciCap Challenge 2023
Pennsylvania State University(宾夕法尼亚州立大学);National Tsing Hua University(国立清华大学);AllSci(奥尔赛公司);MetaMetrics Inc.(美塔麦特里克公司);Adobe Research(奥多比研究院);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
本文总结首届 SciCap Challenge 中各类模型的科学图表标题生成表现,发现 GPT-4V 最受专业编辑青睐,并据此评估先进 LMM 是否已解决该任务。
2025-02-18 cs.AI cs.CL cs.CV
S1-MMAlign: A Large-Scale, Multi-Disciplinary Dataset for Scientific Figure-Text Understanding
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);University of Chinese Academy of Sciences(中国科学院大学)
S1-MMAlign是一个大规模跨学科数据集,通过语义增强提升科学图像与文本的对齐质量,推动AI在科学领域的应用。
2026-01-01 cs.CV
Viziometrics: Analyzing Visual Information in the Scientific Literature
University of Washington(华盛顿大学)
科学成果通过图表、可视化和照片在文献中直观地传达。与引文和文本相比,这些信息密集的对象在文献计量学和科学计量学研究中基本上被忽视了。在本文中,我们使用计算机视觉和机器学习技术将PubMed中的800多万个图形分为5种图形类型,并研究视觉信息的结果模式,因为它们与影响有关。我们发现,随着时间的推移,文献中人物和人物类型的分布保持相对恒定,但在不同领域和主题中可能会有很大的差异。值得注意的是,我们发现科学影响力和视觉信息的使用之间存在显着的相关性,其中影响力较高的论文往往包含更多的图表,并在较小程度上包含更多的图表和照片。为了探索这些结果和其他提取视觉信息的方法,我们构建了一个视觉浏览器来说明这个概念,并探索支持视觉分析和组织视觉信息的设计方案。我们使用这些结果来阐明一个新的研究议程-视觉计量学-研究组织和视觉信息在科学文献中的介绍。
2016-05-27 cs.CV cs.DL cs.IR
A Pathway to General-Purpose Scientific AI: Multimodal Comprehension of Scientific Images
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB));Eindhoven University of Technology(埃因霍温理工大学);Freie Universität Berlin(柏林自由大学);International Center for Chemical and Biological Sciences, University of Karachi(卡拉奇大学国际化学与生物科学中心);National University of Sciences and Technology(国家科技大学);University of Warwick(华威大学);PSG College of Technology(PSG理工学院);Aalto University(阿尔托大学)
该研究提出以科学图像多模态理解构建通用科学AI的路径,依托ALD/E-ImageMiner基准与2026年ICDAR竞赛,明确相关任务能力检验维度及长期研究方向,推动可机器执行的科学视觉知识与可验证多模态科学AI发展。
2026-08-17 cs.AI cs.CV cs.DL
SciFigQual-Bench: Scientific Figure Quality Assessment with Manuscript-Linked Context
本文针对现有科学图片质量评估方法的不足,构建了SciFigQual-Bench基准,设计SFQ-Agent框架实现自动化评估,实验显示其在eval1200子集上表现优于主流方案。
2026-11-19 cs.AI cs.CV
MedICaT: A Dataset of Medical Images, Captions, and Textual References
University of Washington(华盛顿大学);Tel Aviv University(特拉维夫大学);Swedish Medical Group(瑞典医疗集团);University of California, Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
理解图形与文字的关系是科学理解文档理解的关键。医疗数据尤其复杂,通常由几个子图组成(占我们数据集中的75%),并有详细的文字描述其内容。以前研究科学论文中的数字的工作集中在对数字内容进行分类,而不是理解图像与文本的关系。为了解决数字检索和图文对齐的挑战,我们引入了MedICaT,一个上下文中的医学图像数据集。MedICaT由来自131 K开放获取生物医学论文的217 K图像组成,并包括标题,74%的图的内联参考,以及手动注释的子图和子标题。使用MedICaT,我们介绍了在复合图子图子标题对齐的任务,并演示了在图像-文本匹配内联引用的实用程序。我们的数据和代码可以在https://github.com/allenai/medicat上访问。
2020-10-12 cs.CL cs.CV
Seeing Through the PRISM: Compound & Controllable Restoration of Scientific Images
PRISM通过结合复合感知监督和加权对比度解纠缠目标,实现科学图像中复杂退化的同时恢复,支持通过自然语言提示选择性修复,提升下游科学准确性。
2026-03-14 cs.CV
Multimodal ArXiv: A Dataset for Improving Scientific Comprehension of Large Vision-Language Models
The University of Hong Kong(香港大学);Peking University(北京大学)
本文提出 Multimodal ArXiv 数据集(含 ArXivCap 和 ArXivQA),以提升大型视觉语言模型对科学图表的理解与数学推理能力,并揭示当前模型在学术图形语义理解上的不足。
2024-06-02 cs.CL cs.CV
ReFigBench: Benchmarking Scientific Figure Reconstruction as Editable PowerPoint Artifacts
SZU(深圳大学);SIAT, CAS(中国科学院深圳先进技术研究院);UCAS(中国科学院大学);China Tower Corporation(中国铁塔股份有限公司);SUAT(深圳技术大学)
针对多模态编码智能体评估的缺陷,提出ReFigBench基准,用1000张arXiv真实概览图测试科学图形重建为可编辑PPT的任务,发现感知瓶颈及模型与执行框架的耦合影响,揭示保真度与可编辑性的核心矛盾。
2026-09-17 cs.CL cs.CV
Charts Are Not Images: On the Challenges of Scientific Chart Editing
University of Southern California(南加州大学);Adobe Research(Adobe研究院);Texas A&M University(德克萨斯A&M大学)
本文提出FigEdit基准测试,揭示科学图表编辑中结构转换的重要性,并指出传统像素操作方法的不足。
2025-11-30 cs.CV
PosterHarness: Turning Scientific Poster Generation into an Auditable Instruction-Following Benchmark
School of Physics, Peking University(北京大学物理学院)
研究针对文本丰富图像模型,缺乏衡量其是否遵循科学传播规范的方法这一问题,提出PosterHarness,将海报生成变为可审计任务,介绍核心方法,展示了相关实验发现及与其他方法的对比结果。
2026-10-23 cs.AI cs.CV cs.SE
How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
University of Aberdeen(阿伯丁大学);International Institute of Information Technology Hyderabad(海德拉巴国际信息技术学院);University of Technology Nuremberg(纽伦堡工业大学);University of Southern California(南加利福尼亚大学)
本研究构建科学图表理解基准SciFigBench,提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性,发现高感知与推理准确性不代表行为可靠,不同模型表现存在显著差异。
2026-08-14 cs.AI cs.CL cs.CV
MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文发布覆盖72个领域的研究生级多模态科学图表数据集MMSci,评估19个模型并证明其可用于微调和持续预训练,显著提升科学理解性能。
2025-02-20 cs.AI cs.CL cs.CV
The Solution for the ICCV 2023 1st Scientific Figure Captioning Challenge
Nanjing University of Science and Technology(南京理工大学);Baidu,Inc(百度公司);Boss Zhipin(Boss直聘)
本文提出一种提升论文图像描述生成质量的解决方案,通过 PaddleOCR 提取 OCR 信息,利用 LLaMA 过滤无关文本,并集成 BRIO 框架对齐生成与评估过程,最终在挑战赛中排名第一。
2024-03-26 cs.AI cs.CV
PlotPick: AI-powered batch extraction of numerical data from scientific figures
Copenhagen Research Centre for Biological and Precision Psychiatry(哥本哈根生物与精准精神病学研究中心);Mental Health Centre Copenhagen(哥本哈根心理健康中心);Copenhagen University Hospital(哥本哈根大学医院)
PlotPick利用视觉语言模型批量提取科学图表中的结构化表格数据,六个VLMs在ChartX和PlotQA基准测试中均优于专用模型DePlot,尤其在未包含在训练数据中的图表类型上表现更佳。
2026-10-07 cs.CV cs.DL
A Simple Data Augmentation Strategy for Text-in-Image Scientific VQA
MBZUAI(穆罕默德·本·拉希德智能研究院)
针对科学视觉问答中图像内文本格式训练数据稀缺的问题,提出通过将图像-文本对合成统一图像的数据增强策略,微调小型多语言模型,在13种语言上取得显著提升。
2025-09-24 cs.CV
AutomaTikZ: Text-Guided Synthesis of Scientific Vector Graphics with TikZ
Bielefeld University(比勒费尔德大学);University of Hamburg(汉堡大学);University of Mannheim(曼海姆大学)
本文提出 AutomaTikZ 框架,以 TikZ 语言为中间表示,构建 120k 规模的 DaTikZ 数据集,并微调 LLaMA 及多模态增强模型 CLiMA,实现文本到科学矢量图形的高质量生成,性能超越 GPT-4 和 Claude 2。
2024-01-23 cs.CL cs.CV
From Compound Figures to Medical Multi-image Reasoning: Scaling Multimodal Large Language Models with Biomedical Literature
Department of Biomedical Informatics and Data Science, Yale School of Medicine, Yale University, New Haven, CT 06510, USA(耶鲁医学院生物医学信息学与数据科学系,耶鲁大学,新 Haven,CT 06510,USA);School of Medicine, University of Puerto Rico, San Juan, PR 00921, USA(波多黎各大学医学院,波多黎各,San Juan,PR 00921,USA)
本文提出M3LLM,一种基于生物医学文献中复合图像的多模态大语言模型,通过分而治之策略提升多图像理解能力,实验证明其在多图像、单图像等场景中表现优异。
2026-10-01 cs.AI cs.CL cs.CV
FigCaps-HF: A Figure-to-Caption Generative Framework and Benchmark with Human Feedback
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Northeastern University(东北大学);Adobe Research(Adobe研究);Cisco Research(思科研究)
针对现有科学图标题生成方法与读者偏好不匹配的问题,提出融入人类反馈的FigCaps-HF框架,含自动评估方法与RLHF优化方法,性能优于标准微调,并发布带人类反馈的大规模基准数据集。
2025-06-17 cs.CL cs.CV cs.LG
SciGA: A Comprehensive Dataset for Designing Graphical Abstracts in Academic Papers
Hosei University(法政大学)
本文提出SciGA-145k数据集,用于支持图形摘要的选择与推荐,以及自动化生成研究。通过定义两个任务和新的评估指标CAR,推动AI for Science中的科学传播。
2026-04-05 cs.CL cs.CV cs.LG
Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Southern California(南加州大学)
本研究针对科学图表视觉问答的精度问题,提出结合提示优化、思维链推理和集成建模的方法,在SciVQA 2025任务中,最强单模型InternVL3取得ROUGE-L F1 0.740,集成模型进一步提升性能。
2025-07-08 cs.CV
Homophilic Clustering by Locally Asymmetric Geometry
HTC Beijing Advanced Technology and Research Center(HTC北京先进技术与研究中心);The Chinese University of Hong Kong(香港中文大学)
聚类是许多科学学科中数据分析不可或缺的一部分。从强噪声中检测聚类仍然具有挑战性,特别是对于高维稀疏数据。基于图论框架,本文提出了一种新的算法来解决这个问题。数据点之间的邻域的局部非对称几何形状导致有向相似性图来模拟数据点的结构连接。简单地通过其邻接矩阵的幂在这个有向图上执行相似性传播会导致一个有趣的发现,在这个意义上,如果入度由相应的排序出度排序,则它们将根据簇密度的不同分布自组织为homophilic层,这被称为Homophilic In-degree图(HI图)。利用HI图,我们可以很容易地挑出所有的核心集群,识别集群和噪声之间的边界,并可视化集群的内在结构。基于入度同伦,我们还提出了一种简单有效的线性空间复杂度聚类算法。在玩具和真实科学数据上的实验验证了算法的有效性。
2014-07-05 cs.CV
SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有科学论文问答数据集规模小、仅覆盖文本的问题,本文推出首个多模态大规模数据集SPIQA,含27万问题,结合图文内容,评估12个基础模型并提出带检索的CoT策略提升性能。
2025-01-10 cs.AI cs.CL cs.CV
OmniScience: A Large-scale Multi-modal Dataset for Scientific Image Understanding
DP Technology(DP技术)
OmniScience是一个大规模多模态数据集,通过动态模型路由生成高信息密度的图像标题,提升多模态模型在科学图像理解上的性能。
2026-02-14 cs.AI cs.CV
MatMMExtract: An Open-Source Pipeline for Panel-Level Extraction of Grounded Image-Text Pairs from Materials Science Literature
Mehta Family School of Data Science and Artificial Intelligence(梅塔家庭数据科学与人工智能学院);Indian Institute of Technology Roorkee(印度理工学院罗奥克学院);Department of Metallurgical and Materials Engineering(冶金与材料工程系)
针对科学文献中复合图像导致图文配对困难的问题,提出MatMMExtract管道,通过分解复合图、利用大语言模型生成结构化标注,构建包含39万对面板级图文对的MatSciFig数据集,并引入MaterialScope检测数据集和微调YOLO12检测器,显著提升视觉语言检索性能。
2026-08-24 cond-mat.mtrl-sci cs.AI cs.CV
VIS30K: A Collection of Figures and Tables from IEEE Visualization Conference Publications
The Ohio State University(俄亥俄州立大学);Inria(法国国家信息与自动化研究所);University of Stuttgart(斯图加特大学);University of Vienna(维也纳大学);University of Nottingham(诺丁汉大学)
提出VIS30K数据集,包含IEEE可视化会议30年来的29,689张图表,通过CNN与人工筛选半自动收集,并发布VISImageNavigator工具支持多维搜索。
2021-01-11 cs.CV cs.GR eess.IV
Multi-LLM Collaborative Caption Generation in Scientific Documents
Teamreboott Inc.(Teamreboott公司);Pennsylvania State University(宾夕法尼亚州立大学);Adobe Research(奥多比研究院)
针对科学图表标题生成中信息利用不足及 arXiv 标题数据质量低的问题,提出 MLBCAP 多 LLM 协作框架,通过质量评估、候选生成与判断精修获得优于人工的标题。
2025-01-05 cs.CL cs.CV