CT2C-QA: Multimodal Question Answering over Chinese Text, Table and Chart
Fudan University(复旦大学);Fudan Zhangjiang Institute(复旦张江研究院)
针对现有多模态问答研究多聚焦双模态、缺乏三模态联合分析的问题,研究者构建了首个中文文本-表格-图表推理问答数据集CT²C-QA,并提出多智能体系统AED,实验显示包括GPT-4在内的现有方法仍未达该数据集基准。
2024-10-28 cs.AI cs.CL
ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院);Abaka AI & 2077AI(Abaka AI及2077AI)
ChartNet通过生成150万张不同图表样本,提升图表解释和推理能力,包含代码、图像、表格、自然语言和问答数据,支持多模态对齐,公开可用。
2026-04-14 cs.AI cs.CL cs.CV
ChartGemma: Visual Instruction-tuning for Chart Reasoning in the Wild
York University(约克大学);MILA - Quebec AI Institute(米拉-魁北克人工智能研究所);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
针对现有图表推理模型依赖底层数据表、泛化性弱的问题,研究提出基于PaliGemma的ChartGemma模型,通过图表图像生成的指令数据训练,在5个基准上取得最优效果并开源相关资源。
2024-11-04 cs.AI cs.CL cs.CV
ChartMoE: Mixture of Diversely Aligned Expert Connector for Chart Understanding
International Digital Economy Academy(国际数字经济学院);Tsinghua University(清华大学);Peking University(北京大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对MLLM图表理解中数据不忠实、分析不可靠的问题,提出采用MoE连接器的ChartMoE,并构建近百万四元组的ChartMoE-Align实现多样化专家初始化与高质量学习,显著提升ChartQA准确率。
2025-03-14 cs.AI cs.CL cs.CV
Charting the Future: Using Chart Question-Answering for Scalable Evaluation of LLM-Driven Data Visualizations
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出利用视觉问答模型自动评估LLM生成的数据可视化质量,实验表明少样本提示能显著提升图表生成准确性,但LLM生成图表仍不及人工生成图表的精确度。
2024-09-27 cs.CL cs.CV
WikiMixQA: A Multimodal Benchmark for Question Answering over Tables and Charts
EPFL(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);Universidad Nacional de Córdoba(国家科隆大学)
本文提出WikiMixQA基准,含1,000道基于4,000个维基百科页面的表格和图表的多选题,评估12个视觉语言模型,发现专有模型在长文档检索下性能大幅下降,仅GPT-4-o超过50%准确率,开源模型最高仅27%。
2025-06-18 cs.AI cs.CL cs.LG
SpaDen : Sparse and Dense Keypoint Estimation for Real-World Chart Understanding
University at Buffalo, SUNY(纽约州立大学布法罗分校)
提出一种自底向上的图表数据提取方法SpaDen,通过融合连续与离散关键点预测、稀疏密集逐像素目标及深度度量学习实现对象分割与重建,并结合图例匹配获取数据系列名称,有效提升了真实世界图表数据提取的准确性。
2023-08-03 cs.AI cs.CV
CycleChart: A Unified Consistency-Based Learning Framework for Bidirectional Chart Understanding and Generation
Zhejiang University(浙江大学)
CycleChart通过实例生命周期设计,实现图表生成与解析的一致性学习,提升跨任务泛化能力。
2026-04-09 cs.CL cs.CV
ChartGen: Scaling Chart Understanding Via Code-Guided Synthetic Chart Generation
MIT(麻省理工学院);MIT-IBM Watson AI Labs(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
提出 ChartGen 全自动代码引导合成图表生成流水线,构建 222.5K 图表-代码对数据集及 4.3K 评估子集,并评测六个开放权重 VLM。
2025-05-31 cs.AI cs.CV cs.HC
Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
本文提出大规模合成语料库 Cross-Lingual SynthDocs,通过真实扫描背景、双语版面与变音符号感知字体构建超 250 万样本,微调 Qwen-2.5-VL 后在阿拉伯语 OCR 和文档理解多项指标上取得一致提升。
2025-11-01 cs.CL cs.CV
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University(约克大学);Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
图表在分析数据方面非常受欢迎。在探索图表时,人们经常会问各种复杂的推理问题,涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而,大多数现有的数据集并不关注这样复杂的推理问题,因为它们的问题是基于模板的,答案来自固定的词汇表。在这项工作中,我们提出了一个大规模的基准测试,涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战,我们提出了两个基于transformer的模型,它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果,但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Rethinking Comprehensive Benchmark for Chart Understanding: A Perspective from Scientific Literature
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对现有图表理解基准的局限,提出SCI-CQA基准,包含大量真实科学文献图表和受人类考试启发的评估框架,并强调上下文信息在解决难题中的关键作用。
2024-12-11 cs.CL cs.CV cs.LG
PlotQA: Reasoning over Scientific Plots
Department of Computer Science and Engineering(计算机科学与工程系);Robert Bosch Centre for Data Science and AI (RBC-DSAI)(罗伯特·博世数据科学与人工智能中心(RBC-DSAI));Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
现有的用于对图进行推理的合成数据集(FigureQA,DVQA)不包含数据标签,实值数据或复杂推理问题的可变性。因此,为这些数据集提出的模型并不能完全解决在图上推理的挑战。特别是,他们假设答案来自一个小的固定大小的词汇表或来自图像内的限界框。然而,在实践中,这是一个不切实际的假设,因为许多问题需要推理,因此具有既不出现在小的固定大小的词汇表中也不出现在图像中的实值答案。在这项工作中,我们的目标是弥合现有数据集和真实世界图之间的差距。具体来说,我们提出了PlotQA,其中包含2890万个问答对,超过224,377个图,这些图基于来自现实世界的数据和基于众包问题模板的问题。此外,PlotQA中80.76%的词汇表外(OOV)问题的答案不在固定词汇表中。对PlotQA上现有模型的分析表明,它们无法处理OOV问题:它们在我们数据集上的总体准确度为个位数。这并不奇怪,因为这些模型不是为这些问题设计的。作为迈向可以解决固定词汇和OOV问题的更整体模型的一步,我们提出了一种混合方法:通过从固定词汇中选择答案或从预测的限界框中提取答案来回答特定问题。图,而其他问题则通过表格问答引擎来回答,该引擎提供通过检测图像中的视觉元素生成的结构化表格。在现有的DVQA数据集上,我们的模型的准确率为58%,比报告的最高准确率46%有显著提高。在PlotQA上,我们的模型的准确率为22.52%,明显优于最先进的模…
2020-02-01 cs.AI cs.CL cs.CV
Enhancing Question Answering on Charts Through Effective Pre-training Tasks
University of Utah(犹他大学);University of Pennsylvania(宾夕法尼亚大学);Bloomberg(彭博公司)
本文针对现有VisualQA模型在图表问答中的不足,提出三种预训练任务以增强模型的结构-视觉知识与数值理解能力,并在三个图表数据集上验证MatCha-v2模型平均提升1.7%。
2024-10-04 cs.CL
TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
针对多模态大模型计算成本高的问题,提出仅3B参数的TinyChart,通过视觉Token合并模块与Program-of-Thoughts学习策略分别解决高分辨率图像特征冗余和数值计算负担,在多项图表理解基准上达到SOTA并实现高效推理。
2024-04-25 cs.CV
ChartReader: A Unified Framework for Chart Derendering and Comprehension without Heuristic Rules
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Amazon(亚马逊)
提出ChartReader统一框架,通过基于transformer的组件检测和扩展预训练视觉语言模型,实现无需启发式规则的图表反渲染与理解,在多项任务上优于现有方法,并支持与主流LLM即插即用集成。
2023-04-05 cs.AI cs.CV cs.MM
Structure-Token Evidence-Anchored Reasoning for Scientific Chart Understanding
University of Brasilia(巴西利亚大学)
针对科学图表理解,提出STEER方法,通过结构图编码、证据锚定推理和弱解析器对齐,在多个基准上超越现有模型,显著提升推理准确率。
2026-09-15 cs.CV
PlotEdit: Natural Language-Driven Accessible Chart Editing in PDFs via Multimodal LLM Agents
IGDTUW(英迪拉·甘地德里技术大学);Adobe Research(奥多比研究院)
PlotEdit提出一个五智能体多模态LLM框架,通过自反思协调实现PDF图表图像的自然语言驱动端到端编辑,在ChartCraft数据集上优于基线,提升无障碍性和新手效率。
2025-01-20 cs.CL cs.IR cs.MA
AskChart: Universal Chart Understanding through Textual Enhancement
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
AskChart 通过 MoE 架构融合图表文本与视觉线索,并利用 750 万样本的 ChartBank 数据集和三阶段训练策略,以 46 亿参数在多个图表理解任务上超越 130 亿参数的最先进模型。
2024-12-26 cs.AI cs.CV
Table2Charts: Recommending Charts by Learning Shared Table Representations
Microsoft Research(微软研究院);Peking University(北京大学);Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);New York University(纽约大学);Microsoft(微软)
人们通常会创建不同类型的图表来探索多维数据集(表)。然而,要推荐现实世界中常见的组合图表,应该考虑效率,不平衡数据和表上下文的挑战。在本文中,我们提出了Table2Charts框架,它可以从一个大型的(表,图表)对语料库中学习常见的模式。基于具有复制机制和启发式搜索的深度Q学习,Table2Charts可以进行表到序列生成,其中每个序列都遵循图表模板。在一个大型的电子表格语料库与165K表和266K图表,我们表明,表2Charts可以学习表字段的共享表示,使不同图表类型的推荐任务可以相互增强。表2 Charts在多类型任务(召回数R@3=0.61和R@1=0.43)和人类评估中均优于其他图表推荐系统。
2021-06-28 cs.CL cs.DB cs.HC
MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
提出MatCha预训练框架,通过图表解构和数值推理任务增强视觉语言模型在图表数据上的联合建模能力,在标准基准上提升近20%并验证了跨领域迁移效果。
2023-05-23 cs.AI cs.CL cs.CV
Locating Tables in Scanned Documents for Reconstructing and Republishing (ICIAfS14)
University of Peradeniya(佩拉德尼亚大学)
人类可用的知识库取决于学习资源的来源,这些资源可以从古代的印刷文件到现在的电子材料。如果我们要保持电子文件的格式和外观与印刷文件相同,就需要将传统图书馆的材料迅速转换为数字形式。大多数打印文档不仅包含字符及其格式,还包含一些相关的非文本对象,如表格,图表和图形对象。这是具有挑战性的检测它们,并专注于内容的格式保存,同时再现它们。为了解决这个问题,我们提出了一种算法,使用局部阈值的字间距和行高定位和提取所有类别的表格从扫描的文档图像。从298个文件进行的实验中,我们得出结论,我们的算法具有约75%的整体准确性,从扫描的文档图像中检测表。由于该算法不完全依赖于规则线,它可以检测到所有类别的表格在一系列扫描文件具有不同的字体类型,风格和大小,以提取其格式特征。此外,该算法可以应用于多列布局中的表的定位,在布局分析的小修改。以表格现有的格式特点处理表格将极大地有助于为重印和更新目的复制印刷文件。
2014-12-24 cs.CV
GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents
Surge AI
该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf,由专业人员编写问题-文档对,通过严格筛选保留问题,有详细评分标准和能力分类。评估七个前沿模型,发现多数错误源于特定模式,公开了完整基准测试。
2026-07-16 cs.CV
Bootstrapping Grounded Chain-of-Thought in Multimodal LLMs for Data-Efficient Model Adaptation
Hong Kong Baptist University(香港 Baptist 大学);Sichuan University(四川大学);Shanghai AI Lab(上海人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对多模态大语言模型难以在数据受限条件下适配图表等专门视觉任务的问题,本文提出GCoT方法,通过自举方式将边界框落地信息注入思维链数据以减少推理错误,并在五个专门视觉任务上验证其优于微调和蒸馏。
2025-07-03 cs.CV
Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries
Microsoft(微软)
针对现有表格问答研究忽视高级分析与模糊查询的问题,构建了包含2249个查询-结果对、347个表格的Text2Analysis基准,并评估五个先进模型,验证了其挑战性。
2023-12-21 cs.CL cs.LG
Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification
The University of Tokyo(东京大学);NII LLMC(日本信息处理学会LLMC);National Institute of Informatics(日本信息处理研究所);University of Göttingen(哥廷根大学);Inria, LS2N, Nantes Université(法国国家信息与自动化技术研究院(Inria)、LS2N实验室、南特大学)
通过分层线性探测和注意力分析,发现多模态大语言模型在科学声明验证中,图表信息被编码但未路由到预测位置,导致表格与图表表现差距。
2026-10-05 cs.CL
Self-Ensembling Vision-Language Models for Chart Data Extraction
Computational Health Informatics Program, Boston Children’s Hospital & Harvard Medical School(波士顿儿童医院计算健康信息学项目及哈佛医学院)
提出一种自集成方法,通过多次采样同一VLM的输出并聚合表格单元格,提升图表数据提取的准确性,并引入新基准WB-ChartExtract。
2026-05-26 cs.CL
Format Matters: The Robustness of Multimodal LLMs in Reviewing Evidence from Tables and Charts
本文针对多模态大模型跨格式核验科学论断的鲁棒性问题,改造现有数据集开展评测,发现模型更擅长处理表格证据、图表理解能力不足,为后续模型优化指明方向。
2025-11-13 cs.CL
DePlot: One-shot visual language reasoning by plot-to-table translation
Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学)
本文提出首个视觉语言推理一次性解决方案DePlot,通过将图表图像转换为线性化表格并利用LLM推理,在仅使用一次性提示的情况下,比微调SOTA模型提升了24.0%。
2023-05-23 cs.AI cs.CL cs.CV
PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data
Generative Expert Labs, Inc(生成专家实验室公司);Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
PlotGround构建了基于真实科学图形及其源数据的图表数字化基准,揭示多模态模型在精确恢复数值上的不足,并证明提供源表格可显著提升编码代理的准确率并降低成本。
2026-10-20 cs.CL cs.CV
ChartCards: A Chart-Metadata Generation Framework for Multi-Task Chart Understanding
提出ChartCards框架,通过合成图表元数据构建大规模数据集MetaChart,支持多任务图表理解,微调六个模型平均性能提升5%,检索和转换任务最高提升28%。
2025-10-07 cs.AI cs.CL
ChartCitor: Multi-Agent Framework for Fine-Grained Chart Visual Attribution
Adobe Research(奥多比研究院)
提出多智能体框架ChartCitor,通过协调LLM智能体执行图表提取、答案重构、证据检索与映射等步骤,为图表问答提供细粒度边界框引用,有效减少幻觉并提升用户信任与生产力。
2025-02-03 cs.AI cs.CL
ChartCheck: Explainable Fact-Checking over Real-World Chart Images
King’s College London(伦敦国王学院);University of Utah(犹他大学);University of Pennsylvania(宾夕法尼亚大学);TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
本文提出ChartCheck,一个包含1.7k图表和10.5k声明与解释的大规模数据集,用于真实世界图表的可解释事实核查,并基于视觉-语言和chart-to-table模型提供基线评估及图表推理挑战分析。
2024-02-16 cs.CL cs.CV
Aligned Multi-View Scripts for Universal Chart-to-Code Generation
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算机与信息学院)
本文提出Chart2NCode数据集和CharLuMA模型,通过多语言监督提升图表到代码生成的可执行性和视觉一致性,优于开源基线并具备竞争力。
2026-04-27 cs.AI cs.CL
When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学)
提出Scribe Finance基准,评估多模态模型在法语金融文档上的文本、表格、图表及多轮对话理解能力,发现模型在图表和多轮对话中表现脆弱。
2026-06-17 cs.CL
Which Source Wins? Task-Dependent Reliance in Vision-Language Models
University of South Florida(南佛罗里达大学)
该研究探究视觉-语言模型的模态依赖,通过构建算术与图表冲突基准,发现其依赖关系随任务、证据结构等变化,不同模型在对应基准中呈现相反的模态依赖模式。
2026-08-19 cs.CL cs.CV
Chart-based Reasoning: Transferring Capabilities from LLMs to VLMs
Google Research(谷歌研究院)
本文提出将大语言模型的推理能力迁移至视觉语言模型的方法,通过改进图表表示、扩大数据集及合成推理轨迹,使ChartPaLI-5B在ChartQA等基准上达到最先进性能,甚至超越更大模型。
2024-03-19 cs.CL
Enhancing Financial VQA in Vision Language Models using Intermediate Structured Representations
Synechron(森科龙(Synechron))
本文在 5 万张柱状图上微调 DEPLOT 以生成中间表格,并通过 RMS、RNSS 及 100 个问答样本证明结构化表示能显著提升 LLM 的金融图表问答能力。
2025-01-08 cs.AI cs.CL cs.CV
From Data to Insights: Exploring Program-of-Thoughts Prompting for Chart Summarization
Adelaide University(阿德莱德大学)
本文提出一种零样本学习方法,通过Python程序作为中介,利用程序化思维策略驱动轻量级视觉语言模型进行图表摘要,并引入图表到字典的辅助任务以提高灵活性和性能。
2026-05-25 cs.CL
ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
York University(约克大学);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
本文提出ChartInstruct,一种基于71K图表生成191K指令的图表专用指令微调数据集,并设计了端到端和流水线两种系统,在四个下游任务上取得最先进结果,提升了图表理解与推理的通用性。
2024-03-14 cs.CL
ReFocus: Visual Editing as a Chain of Thought for Structured Image Understanding
University of Pennsylvania(宾夕法尼亚大学);Virginia Tech(弗吉尼亚理工大学);Microsoft(微软公司)
本文提出 ReFocus 框架,让多模态 LLM 通过 Python 代码进行框选、高亮和遮蔽等视觉编辑形成视觉思维链,显著提升表格与图表理解,并证明其训练数据优于普通 VQA/CoT 监督。
2025-01-09 cs.CL cs.CV
CFBenchmark-MM: Chinese Financial Assistant Benchmark for Multimodal Large Language Model
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出中文多模态金融基准CFBenchmark-MM及分阶段评估体系,发现MLLMs处理多模态金融内容时效率与鲁棒性不足,指出其在金融领域有较大潜力待挖掘。
2025-06-16 cs.CL
Distill Visual Chart Reasoning Ability from LLMs to MLLMs
School of Computer Science, Fudan University(复旦大学计算机学院);Weixin Group, Tencent(腾讯Weixin部门);Shanghai Innovation Institute(上海创新研究院);Shanghai Key Lab of Intelligent Information Processing(上海智能信息处理重点实验室)
针对多模态大语言模型图表推理微调数据标注成本高、质量低的问题,提出以代码为中介的合成方法CIT,构建ReachQA数据集,有效提升模型的图表推理及通用推理能力。
2025-08-31 cs.CL
Are Large Vision Language Models up to the Challenge of Chart Comprehension and Reasoning? An Extensive Investigation into the Capabilities and Limitations of LVLMs
York University(约克大学);Islamic University of Technology(伊斯兰科技大学);University of Alberta(阿尔伯塔大学);Dialpad Inc.(Dialpad公司)
本文首次系统评估了GPT-4V和Gemini等大型视觉语言模型在图表问答、摘要、事实核查等任务上的表现,发现其能生成流畅的高层数据洞察,但存在幻觉、事实错误和数据偏见等问题。
2024-10-04 cs.CL
BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning
ServiceNow Research(ServiceNow研究院);York University(约克大学);Mila
针对视觉语言模型在图表理解中因数据质量差和仅依赖监督微调导致的局限性,提出BigCharts数据生成流水线,并结合监督微调与GRPO强化学习训练框架,利用新型奖励信号打造出在多个图表问答基准上超越更大规模模型的最先进图表推理模型BigCharts-R1。
2025-08-13 cs.CL
Consistency-Driven Co-Evolution for Self-Supervised Cross-Representation Learning
William & Mary(威廉玛丽学院);IBM(国际商业机器公司);Allen Institute for AI(艾伦人工智能研究所);Oak Ridge National Laboratory(橡树岭国家实验室);Northwestern University(西北大学)
针对图表、表格、代码跨表示学习的挑战,提出CoCoEvolve方法,通过定义一一对应关系、利用表示一致性优化模型,在4个基准的训练和测试场景中提升了性能。
2026-08-06 cs.AI cs.CL cs.LG
Sattiy at SemEval-2021 Task 9: An Ensemble Solution for Statement Verification and Evidence Finding with Tables
Ping An Life Insurance Co., Ltd.(平安人寿保险股份有限公司)
基于半结构化表格的问答可以看作是一个语义解析任务,对于拓展自然语言理解的边界具有重要的意义和实用价值。现有的研究主要集中在从非结构化证据中理解内容,例如,新闻、自然语言句子和文档。从结构化证据(如表格、图表和数据库)中进行验证的任务仍然较少探索。本文描述了SemEval-2021任务9:使用表格进行陈述验证和证据发现(SEM-TAB-FACT)中的Sattiy团队系统。该竞赛旨在验证陈述,从科学文章的表格中找到证据,并促进对周围文章的正确解释。在本文中,我们为任务A开发了表TaPas和TaBERT上的预训练语言模型的集成模型,并根据为任务B提取的一些规则调整结果。最后,在排行榜中,我们在任务A中获得了0.8496和0.7732的F1分数,分别用于双向和三向评估,以及任务B中的F1分数为0.4856。
2021-06-07 cs.AI cs.CL
TANQ: An open domain dataset of table answered questions
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);Universidad Nacional de Córdoba(科尔多瓦国立大学)
本文介绍了首个要求跨多源信息构建表格的开放域问答数据集TANQ,通过基准测试发现最佳模型Gemini Flash的F1分数落后人类12.3分,揭示了该任务的复杂性。
2025-04-05 cs.CL
Comparing informativeness of an NLG chatbot vs graphical app in diet-information domain
University of Aberdeen(阿伯丁大学)
图表和表格等数据的可视化表示对于读者来说可能很难理解。以前的工作表明,将可视化与文本相结合可以改善静态环境中的见解交流,但对交互式的了解甚少。在这项工作中,我们提出了一个NLG聊天机器人,处理自然语言查询,并通过图表和文本的组合提供见解。我们将其应用于营养,一个领域的沟通质量是至关重要的。通过众包评估,我们将聊天机器人的信息量与传统的静态饮食应用程序进行了比较。我们发现,对话上下文显着提高了用户对各种任务中饮食数据的理解,并且用户认为聊天机器人比传统应用程序更有用且使用更快。
2022-07-02 cs.AI cs.CL