SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence
本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。
2026-07-30 cs.AI cs.CV
Figure Captioning with Reasoning and Sequence-Level Training
Ohio University（俄亥俄大学）；Adobe Research（奥多比研究）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
条形图、饼图和折线图等图形广泛用于以简洁的格式传达重要信息。它们通常对人类友好，但计算机难以自动处理。在这项工作中，我们调查的问题，图字幕的目标是自动生成一个自然语言描述的数字。虽然自然图像描述已经被广泛地研究，但图形字幕受到的关注相对较少，并且仍然是一个具有挑战性的问题。首先，我们介绍了一个新的数据集的图形字幕，FigCAP，基于FigureQA。其次，我们提出了两种新的注意力机制。为了实现数字中标签的准确生成，我们提出了标签地图注意力。为了对图形标签之间的关系进行建模，我们提出了关系映射注意力。第三，我们使用序列级训练和强化学习，以直接优化评估指标，这消除了曝光偏差问题，并进一步改进了生成长字幕的模型。大量的实验表明，所提出的方法优于基线，从而展示了巨大的数据库的自动字幕的显着潜力。
2019-06-07 cs.CL cs.CV
FigAct: Turning Scientific Figures into Active Canvases for Explanation
Brown University（布朗大学）；Adobe Research（Adobe 研究院）
FigAct将静态科学图形转化为主动画布，通过分层搜索和视觉动作生成锚定解释，减少40倍令牌使用，使解释更清晰易理解。
2026-09-30 cs.AI
ScanBank: A Benchmark Dataset for Figure Extraction from Scanned Electronic Theses and Dissertations
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Old Dominion University（奥多明尼昂大学）
我们专注于电子论文和学位论文（ETD），旨在改善访问和扩大其效用，因为超过600万是公开的，它们构成了一个重要的语料库，以帮助跨学科的研究和教育。随着新的电子数字文件的加入，以及数百万份旧的论文和学位论文已转换为数字形式，以便在机构资料库中以电子方式传播，该语料库正在不断扩大。在ETD中，与其他学术著作一样，数字和表格可以以简洁的方式传达大量信息。虽然已经提出了从数字PDF中提取图形和表格的方法，但它们不能很好地与扫描的ETD一起工作。考虑到这个问题，我们对最先进的数字提取系统的评估是，它们在扫描的PDF上不能很好地工作的原因是它们只在数字文档上进行过训练。为了解决这一限制，我们提出了ScanBank，一个新的数据集，包含1万个扫描的页面图像，由人类手动标记其中存在的3300个数字或表格。我们使用这个数据集来训练一个基于YOLOv5的深度神经网络模型，以准确地从扫描的ETD中提取图形和表格。我们提出并回答了重要的研究问题，旨在找到更好的方法，从扫描文件中提取数字。其中之一涉及应用于原生数字文档的数据增强技术的训练价值，这些技术用于训练更适合从扫描文档中提取图形的模型。据我们所知，ScanBank是第一个用于扫描ETD的图形和表格提取的手动注释数据集。一个基于YOLOv5的模型，在ScanBank上训练，比现有的可比开源和免费提供的基线方法有相当大的优势。
2021-06-23 cs.CV cs.DL cs.LG
Crafter: A Multi-Agent Harness for Editable Scientific Figure Generation from Diverse Inputs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Peking University（北京大学）
提出Crafter多智能体框架，通过结构化组合离散语义组件，实现跨图表类型和输入条件的可编辑科学图表生成，并引入CraftEditor将栅格输出转换为可编辑SVG，在CraftBench基准上显著优于现有方法。
2026-05-28 cs.AI cs.CL cs.CV
SciFigDetect: A Benchmark for AI-Generated Scientific Figure Detection
Zhejiang University（浙江大学）；Independent Researcher（独立研究员）；University of Oulu（奥卢大学）
本文提出首个AI生成科学图表检测基准，通过多模态数据管道构建，涵盖多种图表类别和生成源，揭示现有方法在零样本迁移和对抗性攻击下的不足。
2026-04-09 cs.CV
PatFig: Generating Short and Long Captions for Patent Figures
Qatent；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
本文提出大规模专利附图数据集Qatent PatFig，包含超3万张附图及其短长标题、参考标号和最小权利要求集，并通过微调LVLM模型验证其可用性及文本线索对生成效果的影响。
2023-09-15 cs.CL cs.CV
Learning to score the figure skating sports videos
Fudan University（复旦大学）
本文以花样滑冰运动视频的学习评分为研究对象。为了解决这一任务，我们提出了一个深度架构，包括两个互补的组件，即，Self-Attentive LSTM和Multi-scale Convolutional Skip LSTM。这两个组件可以有效地学习每个视频中的局部和全局序列信息。在此基础上，本文提出了一个大规模的花样滑冰运动视频数据集-- FisV数据集。该数据集包括500个花样滑冰视频，平均长度为2分50秒。每个视频由九个不同裁判的两个分数注释，即，要素总得分（TES）和项目总得分（PCS）。我们提出的模型在FisV和MIT-skate数据集上进行了验证。实验结果表明，我们的模型在学习花样滑冰视频评分的有效性。
2018-07-28 cs.CV cs.MM
FigCaps-HF: A Figure-to-Caption Generative Framework and Benchmark with Human Feedback
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Northeastern University（东北大学）；Adobe Research（Adobe研究）；Cisco Research（思科研究）
针对现有科学图标题生成方法与读者偏好不匹配的问题，提出融入人类反馈的FigCaps-HF框架，含自动评估方法与RLHF优化方法，性能优于标准微调，并发布带人类反馈的大规模基准数据集。
2025-06-17 cs.CL cs.CV cs.LG
PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
Generative Expert Labs, Inc（生成专家实验室公司）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
PlotGround构建了基于真实科学图形及其源数据的图表数字化基准，揭示多模态模型在精确恢复数值上的不足，并证明提供源表格可显著提升编码代理的准确率并降低成本。
2026-10-20 cs.CL cs.CV
FSBench: A Figure Skating Benchmark for Advancing Artistic Sports Understanding
Lappeenranta-Lahti University of Technology LUT（拉佩兰塔-拉赫蒂技术大学）；Tianjin University（天津大学）；AMD Silo AI；Great Bay University（大湾大学）；Rensselaer Polytechnic Institute（雷士大学）；Brno University of Technology（布拉格技术大学）
针对花样滑冰等艺术体育理解缺乏综合数据集的问题，提出大规模数据集FSAnno及基准FSBench，支持技术与艺术多模态评估，揭示了现有模型的局限性。
2025-04-28 cs.CV
3D Pose-Based Temporal Action Segmentation for Figure Skating: A Fine-Grained and Jump Procedure-Aware Annotation Approach
Nagoya University（名古屋大学）
针对花样滑冰缺乏3D姿态TAS数据集和方法的问题，本文提出了FS-Jump3D数据集及细粒度跳跃过程感知标注方法，验证了3D姿态特征与细粒度数据集在TAS模型中的有效性。
2024-08-29 cs.CV cs.LG
DeTikZify: Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ
University of Mannheim（曼海姆大学）；University of Technology Nuremberg（纽伦堡工业大学）
DeTikZify是一种多模态语言模型，通过新数据集和MCTS推理算法，将草图及现有图形自动合成为TikZ程序，性能超越Claude 3和GPT-4V。
2024-11-06 cs.CL cs.CV
Automated Classification of Normal and Atypical Mitotic Figures Using ConvNeXt V2: MIDOG 2025 Track 2
Graduate School of Medicine, The University of Tokyo, Japan（东京大学医学研究生院）；Department of Radiology, The University of Tokyo Hospital, Japan（东京大学医院放射科）
针对MIDOG 2025赛道2，采用ConvNeXt V2模型结合中心裁剪与5折交叉验证，解决类别不平衡和领域异质性，实现正常与非典型有丝分裂图像的稳健二分类。
2025-08-26 cs.CV
LineCap: Line Charts for Data Visualization Captioning Models
Harvard University（哈佛大学）
数据可视化标题可以帮助读者理解可视化的目的，对于有视觉障碍的人来说至关重要。不良图形字幕的普遍存在以及深度学习方法在图像描述中的成功应用促使人们将类似技术用于自动图形字幕。然而，由于缺乏合适的数据集，这一领域的研究一直受到阻碍。我们介绍了LineCap，这是一个包含3，528个图形的新型图形字幕数据集，我们提供了对该数据集的管理和使用端到端深度学习模型进行自动图形字幕的见解。
2022-07-15 cs.CL cs.CV cs.LG
FigGen: Text to Scientific Figure Generation
ServiceNow Research（ServiceNow研究院）；ÉTS（ÉTS（高等技术学院））；Apple Machine Learning Research（苹果机器学习研究院）
本文提出文本到科学图表生成任务，并给出基于扩散模型的 FigGen 方法，同时分析主要挑战、开放代码与模型。
2023-12-17 cs.AI cs.CV
Figures as Programs: Recursive Generation of Editable Scientific Figures
UC Santa Barbara（加州大学圣巴巴拉分校）；CUHK（香港中文大学）；National University of Singapore（新加坡国立大学）；University of New South Wales（新南威尔士大学）；Tongji University（同济大学）
本研究提出多智能体系统FigTree，将科学图形生成转化为递归SVG程序构建任务，可从论文生成高质量可编辑矢量图形，其编辑效果优于现有光栅方法。
2026-09-02 cs.AI cs.GR
FigEx2: Visual-Conditioned Panel Detection and Captioning for Scientific Compound Figures
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（UPMC希尔曼癌症中心）
针对科学复合图像中缺乏标注的问题，FigEx2通过视觉条件化框架直接从图像生成面板标注，提升下游预训练和检索性能，同时引入噪声感知门控融合模块和分阶段SFT+RL策略。
2026-09-09 cs.AI cs.CL cs.CV
SciFig: Towards Automating Editable Figure Generation for Scientific Papers
Johns Hopkins University（约翰霍普金斯大学）；Zhejiang University（浙江大学）；Independant Researcher（独立研究者）；Tsinghua University（清华大学）；University of Central Florida（佛罗里达中央大学）；City University of Hong Kong（香港城市大学）；Adobe Research（Adobe研究）
提出SciFig多智能体框架，从科学文本自动生成可编辑的高质量方法图，通过分解规划、布局、渲染和迭代优化，在435个基准上优于基线，平均10分钟生成可编辑图形。
2026-06-29 cs.AI
Carbon Figures of Merit Knowledge Creation with a Hybrid Solution and Carbon Tables API
IBM Research Brazil（IBM巴西研究院）
如今，正在创建算法、方法和平台，以加速发现能够吸收或吸附大气中或发电厂燃烧过程中的$CO_2$分子的材料。在这项工作中，描述了一个异步REST API，以加速创建碳优值知识，称为碳表，因为知识是从科学PDF文档中的表创建的，并存储在知识图谱中。品质因数知识创建解决方案使用一种混合方法，其中数学和机器学习是其中的一部分。因此，人们可以使用成熟和复杂的认知工具搜索知识，并创造更多关于碳优值的知识。
2022-05-18 cs.AI cs.CL physics.chem-ph
SciCapenter: Supporting Caption Composition for Scientific Figures with Machine-Generated Captions and Ratings
The Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Research（奥多比研究院）
本文提出交互式系统SciCapenter，整合前沿AI技术为学术图表生成多样化标题并提供多维度质量评分与检查表，支持用户迭代编辑，有效降低了用户撰写标题的认知负荷。
2024-03-26 cs.AI cs.HC
Wiring diagram extraction and gluing: a case study in classifying figure skating jumps using 3D dataset
California State University, Northridge（加州州立大学北岭分校）
本文提出接线图粘合理论以解决Hasse聚类的组合复杂度问题，并将其应用于三维数据集的花样滑冰跳跃分类，验证了迭代应用Hasse聚类可获得与单次应用相同结果。
2026-07-31 cs.AI cs.LG
