BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Conceptual Metaphor Theory as a Prompting Paradigm for Large Language Models
Universität Oldenburg(奥尔登堡大学)
本文提出以概念隐喻理论作为提示范式,通过隐喻映射引导大语言模型进行结构化推理,实验表明该方法在推理准确性、清晰度和隐喻连贯性上均优于多个基线模型。
2025-02-04 cs.CL
MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs
Salesforce AI Research(Salesforce AI研究院);Singapore Management University(新加坡管理大学)
针对现有长上下文基准缺乏数学推理能力评估的问题,本文提出自动化基准MathHay,要求模型兼具长文本信息检索与复杂数学推理能力,实验显示8款顶尖LLMs在该基准上表现不佳,最优模型128K tokens下准确率仅51.26%。
2024-10-07 cs.CL
Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);Salesforce AI Research(赛富时人工智能研究院)
本文提出显式对齐模型的三种元能力(演绎、归纳和溯因)的三阶段流水线方法,通过自动生成任务和特定领域强化学习,显著提升了大型推理模型的性能上限与可靠性。
2025-05-27 cs.CL
PhysicsArena: The First Multimodal Physics Reasoning Benchmark Exploring Variable, Process, and Solution Dimensions
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Future Brain Education Technology Co., Ltd.(北京未来脑教育科技有限公司);The Hong Kong University of Science and Technology(香港科技大学)
针对现有物理基准忽略变量识别和过程构建的局限,本文提出首个多模态物理推理基准PhysicsArena,从变量识别、物理过程构建与求解推导三个维度全面评估多模态大语言模型的物理推理能力。
2025-05-22 cs.CL
Korean Canonical Legal Benchmark: Toward Knowledge-Independent Evaluation of LLMs' Legal Reasoning Capabilities
University of Seoul(首尔大学);LBOX
韩国规范法律基准通过问题级支持先例评估LLM法律推理能力,揭示领域知识依赖下的模型差距,展示推理专用模型的优越性。
2026-01-03 cs.CL
Garbage In, Reasoning Out? Why Benchmark Scores are Unreliable and What to Do About It
Masaryk University(马萨里克大学);Signals and Interactive Systems Lab, University of Trento(特伦托大学信号与交互系统实验室)
本文审计了三个推理基准,发现其项目设计和评估方法存在缺陷,导致模型分数提升源于表面措辞变化而非推理能力增强,并呼吁采用关注推理过程的评估协议。
2025-06-30 cs.CL
Can Large Language Models be Good Path Planners? A Benchmark and Investigation on Spatial-temporal Reasoning
George Mason University(乔治梅森大学)
本研究提出路径规划基准PPNL,评估LLMs时空推理能力,发现少样本GPT-4在空间推理上有潜力但时间推理不足,微调模型泛化能力有限。
2025-02-24 cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从元学习视角将推理轨迹视为伪梯度更新,形式化推理训练为元学习过程,实证验证了LLM推理与元学习的强关联,为改进模型提供实践见解。
2025-05-26 cs.AI cs.CL
LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出LOGICAL-COMMONSENSEQA基准,通过逻辑运算符评估常识推理,发现模型在否定类问题上表现下降,揭示了推理局限性。
2026-04-20 cs.AI cs.CL
A Critical Review of Causal Reasoning Benchmarks for Large Language Models
University of Oxford(牛津大学)
该综述梳理大语言模型因果推理基准的现状,指出多数基准可通过知识检索解答的问题,总结近期基准纳入干预/反事实推理的进展,提出有效基准应满足的标准,为基准设计与因果理解评估框架构建提供方向。
2024-07-10 cs.CL cs.LG
MultiNRC: A Challenging and Native Multilingual Reasoning Evaluation Benchmark for LLMs
Scale AI
本文提出 MultiNRC 原生多语言推理基准,含千余道法语、西班牙语和中文文化根植问题,并评估 14 个 LLM,揭示其原生推理与跨文化数学能力仍不足。
2025-07-23 cs.AI cs.CL
Think$^{2}$: Grounded Metacognitive Reasoning in Large Language Models
IIIT Hyderabad(IIIT海得拉尔)
Think$^{2}$通过引入基于心理理论的元认知框架,提升大语言模型的自我诊断与纠正能力,显著提高推理准确性和可信度。
2026-02-21 cs.AI cs.CL
Meta-Reasoning Improves Tool Use in Large Language Models
Imperial College London(伦敦帝国学院)
本文提出TECTON两阶段系统,通过先推理生成候选工具再进行元推理选择最终工具,显著提升大语言模型在数学推理任务中的工具使用效果。
2025-02-08 cs.AI cs.CL
Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出 Meta-CoT 框架,显式建模生成思维链背后的推理过程,并结合过程监督、合成数据、搜索轨迹指令微调和强化学习,为 LLM 实现类系统2推理提供路线图。
2025-01-08 cs.AI cs.CL
ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
Haverford College(哈弗福德学院)
研究针对多语言推理评估依赖翻译基准的问题,提出ADAGE语言无关管道,结合母语者策划与大语言模型辅助生成构建基准,通过为多种语言构建基准并评估模型,发现文化推理差距,还发布了相关内容。
2026-07-28 cs.AI cs.CL
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
本文提出ECG-Reasoning-Benchmark,通过6400个样本系统评估17种核心心电图诊断的逐步推理能力,发现现有多模态大语言模型在多步逻辑推理中存在严重缺陷,无法有效将心电图发现与实际信号证据关联。
2026-10-30 cs.AI cs.CL cs.LG
Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出QRData基准,用411个数据题和290个纯文本题评估大语言模型的统计与因果推理能力,发现GPT-4准确率仅58%,模型难以同时运用因果知识与数据。
2024-06-09 cs.AI cs.CL
Metaphors are a Source of Cross-Domain Misalignment of Large Reasoning Models
The University of New South Wales(新南威尔士大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61)
研究发现训练数据中的隐喻会导致大推理模型在推理输出中出现跨领域失调,通过隐喻干预可显著改变失调程度,并设计出高精度检测器。
2026-06-26 cs.AI cs.CL cs.LG
Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);EPFL(苏黎世联邦理工学院);Wuhan University(武汉大学)
提出元认知奖励(MaR)框架,利用元认知知识和调节信号作为过程奖励,提升LLM推理质量,在22个基准上平均提升7.7%。
2026-05-22 cs.AI cs.CL
Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
本文提出ReasoningMath-Plus基准,通过过程感知评估方法揭示大语言模型在结构性数学推理中的不足,引入HCRS评分函数和过程奖励模型,发现仅答案指标可能高估推理能力。
2026-02-26 cs.AI cs.CL
General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks
University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
本文提出General365基准,通过限制背景知识至K-12水平,评估大语言模型在通用推理任务中的表现,揭示当前模型在非专业领域推理能力的不足。
2026-04-13 cs.AI cs.CL
Ko-MuSR: A Multistep Soft Reasoning Benchmark for LLMs Capable of Understanding Korean
Seoul National University(首尔大学)
本研究提出首个面向韩语长篇叙事的多步软推理基准Ko-MuSR,经多模型评估发现多语言大模型韩语推理表现优于韩语专用模型,结合少样本等的提示策略可进一步提升准确率至接近人类水平,为韩语NLP发展提供评估基础。
2025-10-28 cs.AI cs.CL
GraCoRe: Benchmarking Graph Comprehension and Complex Reasoning in Large Language Models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
提出GraCoRe基准,通过三层分类法、19项任务和5,140个图系统评估LLMs的图理解与推理,发现o1模型表现突出,语义增强和节点排序影响性能。
2025-02-26 cs.AI cs.CL
DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);WeChat AI, Tencent(腾讯微信AI)
本文提出DivLogicEval基准,以反直觉自然句子评估LLM逻辑推理,并引入新指标减少偏差,实验比较了多种流行LLM的性能。
2025-09-26 cs.AI cs.CL cs.LG
IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出IsoSci基准,通过逻辑结构相同但领域知识不同的科学问题对,分离推理能力与领域知识检索,发现91.3%的推理增益依赖于知识而非结构,挑战了思维链推理提升科学问题解决的假设。
2026-07-03 cs.AI cs.CL
Mathematical Reasoning in Large Language Models: Benchmarks, Architectures, Evaluation, and Open Challenges
organization= School of Electrical Engineering;Computer Science, National University of Science;organization= School of Computing, Data;Mathematical Sciences, Western Sydney University, Indonesia;organization= Department of Communication, Quality Management;Information Systems, Mid Sweden University, Östersund Campus, Sweden
本文综述了大型语言模型在数学推理方面的最新进展,通过分析数据集、架构、训练策略和评估协议,探讨了数学推理的基准测试、架构设计、评估方法以及未来的研究挑战。
2026-07-09 cs.AI cs.CL
Plausibly Problematic Questions in Multiple-Choice Benchmarks for Commonsense Reasoning
University of Maryland(马里兰大学);Allen Institute for AI (AI2)(艾伦人工智能研究所)
针对常识推理多项选择基准要求单一答案而忽略其他合理选项的问题,本文通过收集5000个合理性判断,发现超20%题目的最合理选项与黄金答案不符,且LLM在此类题目上表现较差,提出合理性标准以识别更可靠的基准题目。
2024-10-06 cs.AI cs.CL
Socratic-PRMBench: Benchmarking Process Reward Models with Systematic Reasoning Patterns
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Tongyi Lab, Alibaba Group(阿里云实验室)
本文提出Socratic-PRMBench基准,通过六种推理模式系统评估Process Reward Models,揭示现有模型在多模式推理步骤评估中的缺陷。
2025-05-29 cs.AI cs.CL
ArgGYM: A Procedural, Engine-Verified Benchmark for Structured Defeasible Reasoning
Graduate School of Informatics(信息学研究生院);Middle East Technical University(中东技术大学)
ArgGYM是一个程序化、引擎验证的基准,用于结构化可废止推理,包含1,440个实例和十五种课程配置,支持RLVR训练,揭示了模型在复杂推理任务中的性能差异。
2026-10-01 cs.AI cs.CL
Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
该研究针对现有谜题基准的局限性,提出主动探测基准(APB),评估模型多轮主动探测推理能力,发现多数开源推理模型表现逊于标准指令模型,为交互式知识推理提供了可扩展基准生成流程。
2026-10-14 cs.AI cs.CL
LongReasonArena: A Long Reasoning Benchmark for Large Language Models
IAIR, Xi’an Jiaotong University(IAIR,西安交通大学)
本文提出 LongReasonArena 基准,通过可扩展至百万 token 的多步算法任务评估大语言模型的长推理能力,实验显示现有模型准确率随推理步数对数线性下降,挑战显著。
2026-11-13 cs.AI cs.CL
MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);Tsinghua University(清华大学);Pengcheng Laboratory(鹏城实验室)
在本文中,我们提出了一个全面的基准来研究模型在复杂的现实生活场景中的逻辑推理能力。当前的解释数据集通常采用具有简单推理结构的合成数据。因此,它不能表达更复杂的推理过程,如对推理步骤的反驳和证据的确定程度。为此,我们提出了一种综合逻辑推理的解释形式。基于多跳推理链,解释形式包括三个主要部分:(1)推理节点可被质疑的反驳条件;(2)揭示推理节点内在结构的逻辑公式;(3)以确定度表示的推理强度。细粒度的结构符合真实的逻辑推理场景,更好地拟合人类的认知过程,但同时,对当前的模型更具挑战性。在这种新的解释形式下,我们评估了目前最好的模型的性能。实验结果表明,生成推理图仍然是一个具有挑战性的任务,目前的模型,即使在巨大的预训练语言模型的帮助下。
2022-10-22 cs.AI cs.CL cs.LO
Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models
The Pennsylvania State University(宾夕法尼亚州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对现有图推理基准的局限,提出半自动框架构建含202个任务的统一多维度基准,评估LLM在不同推理模式下的表现,揭示模型局限并提供实证指导。
2026-08-14 cs.AI cs.CL cs.LG
WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms
研究大语言模型对数字波形的时间推理能力,提出开源问答基准WaveformQA,含360个不同难度问题,波形由开源设计生成。评估发现模型在简单查询有准确率,但复杂问题上因窗口限制等性能下降,JSON表示可提高准确率,框架支持扩展实验。
2026-07-24 cs.AI cs.AR cs.CL
Benchmarking Multi-Image Understanding in Vision and Language Models: Perception, Knowledge, Reasoning, and Multi-Hop Reasoning
University of Edinburgh(爱丁堡大学);Tongji University(同济大学)
针对现有视觉语言模型基准多聚焦单图像、忽略多图像理解的问题,本文提出涵盖四类任务的多图像关系基准MIRB,测试发现开源模型与GPT-4V在多图像推理上均有明显不足,该基准可支撑下一代多模态模型研发。
2024-06-18 cs.AI cs.CL cs.CV
The Measurement Gap in the Automation of EU Law: Benchmarking Doctrinal Legal Reasoning under the EU AI Act
Chair of Law and Artificial Intelligence and Director, CZS Institute for Artificial Intelligence and Law, University of Tübingen(法律与人工智能教授、人工智能与法律研究所主任,图宾根大学)
针对当前缺乏评估大型语言模型进行教义性法律推理的基准,提出该能力对满足欧盟AI法案中“适当准确性”要求至关重要。
2026-06-17 cs.AI cs.CL cs.CY
PetriBench: Benchmarking LLM Reasoning over Dynamic State Spaces
ETH Zürich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
针对现有基准的局限,提出PetriBench,利用Petri网在动态状态空间上评估LLM推理,通过四个任务族和三级难度,发现准确率随难度下降,并揭示测试时计算与任务间的不同交互,为推理能力提供统一可扩展的评测框架。
2026-09-18 cs.AI cs.CL cs.LO
NPHardEval: Dynamic Benchmark on Reasoning Ability of Large Language Models via Complexity Classes
School of Information, University of Michigan(密歇根大学信息学院);Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
研究提出NPHardEval基准,通过900道覆盖至NP-Hard复杂度类别的算法问题动态评估LLMs推理能力,采用每月更新机制防止过拟合,为模型推理能力提供严格客观的评估。
2024-02-12 cs.AI cs.CC cs.CL
Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation and Enhancement Using the StepGame Benchmark
University of Leeds(利兹大学);Alan Turing Institute(艾伦·图灵研究所)
本研究改进了StepGame基准以准确评估大型语言模型的空间推理能力,发现GPT在多跳推理上存在局限,并通过结合模板映射与逻辑推理及CoT/ToT提示策略显著提升了其准确性。
2024-01-08 cs.AI cs.CL cs.DB
PhySense: Principle-Based Physics Reasoning Benchmarking for Large Language Models
UCLA(加州大学洛杉矶分校);Caltech(加州理工学院);UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
本文提出基于原理的物理推理基准PhySense,发现当前大语言模型缺乏简洁的原理优先推理能力,为开发高效、稳健且可解释的科学推理AI系统提供了见解。
2025-05-30 cs.AI cs.CL cs.LG
Meta Reasoning over Knowledge Graphs
IBM Research(IBM研究院);University of California, Santa Barbara(加州大学圣巴巴拉分校)
对所学知识进行推理的能力是人类与生俱来的能力,人类只需几次演示就可以轻松掌握新的推理规则。针对现有知识图(KG)推理研究中假设训练样本足够多的问题,本文在元学习范式下研究了Few-Shot知识图谱推理这一具有挑战性和实用性的问题。我们提出了一个新的Meta学习框架,有效地利用特定于任务的Meta信息,如本地图邻居和推理路径在KG。具体来说,我们设计了一个元编码器,编码的Meta信息到任务特定的初始化参数为不同的任务。这使得我们的推理模块在学习对不同关系进行推理时具有不同的起点,这有望更好地适应目标任务。在两个Few-Shot知识库完成基准测试中,我们表明增强的特定于任务的元编码器比MAML产生更好的初始点,并且优于几个少样本学习基线。
2019-08-13 cs.CL
OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
本文提出OCR-MetaReasoning基准,将演绎、归纳、溯因作为不同推理方向,分离答案正确性与推理合规性,实验发现现有MLLMs的OCR元推理能力远未饱和。
2026-09-01 cs.CL
Your Reasoning Benchmark May Not Test Reasoning: Revealing Perception Bottleneck in Abstract Reasoning Benchmarks
研究发现抽象推理基准中的性能差距主要源于视觉感知限制,而非推理能力不足,需设计分离感知与推理的评估方法。
2026-01-09 cs.CL
MetaXCR: Reinforcement-Based Meta-Transfer Learning for Cross-Lingual Commonsense Reasoning
University of Edinburgh(爱丁堡大学);Tianjin University(天津大学)
本文提出MetaXCR框架,通过多源元学习、强化采样策略和跨语言元适应方法,在低资源条件下利用英语常识推理数据集提升跨语言目标任务的性能。
2025-03-09 cs.CL
OpenExempt: A Diagnostic Benchmark for Legal Reasoning and a Framework for Creating Custom Benchmarks on Demand
Northwestern University(西北大学);Adobe Research(Adobe研究);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
OpenExempt通过动态生成法律推理任务和解决方案,提供一个用于诊断评估的基准和框架,揭示模型在复杂推理中的性能差异。
2026-01-19 cs.CL
MR-Align: Meta-Reasoning Informed Factuality Alignment for Large Reasoning Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Zhongguancun Academy(中关村学院);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
MR-ALIGN通过元推理引导的对齐框架提升大型推理模型的事实准确性,通过优化推理过程中的状态转移概率来增强事实性。
2026-01-04 cs.CL
EQUATE: A Benchmark Evaluation Framework for Quantitative Reasoning in Natural Language Inference
Carnegie Mellon University(卡内基梅隆大学)
定量推理是一种高阶推理技能,任何智能自然语言理解系统都可以合理地处理。我们提出了EQUATE(Evaluating Quantitative Understanding Aptitude in Textual Entailment),一个新的文本蕴涵定量推理框架。我们对9个已发表的NLI模型在EQUATE上的性能进行了基准测试,发现平均而言,最先进的方法并没有在大多数类基线上实现绝对的改进,这表明它们并没有隐式地学习用数量进行推理。我们建立了一个新的基线Q-REAS,象征性地操纵数量。与表现最好的NLI模型相比,它在数字推理测试中取得了成功(+24.2%),但语言推理能力有限(-8.1%)。我们希望我们的评估框架将支持语言理解中定量推理模型的发展。
2019-10-27 cs.CL
LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有长上下文推理基准覆盖不足的问题,本文提出通过上下文扩展构建的合成基准LongReason,对21个大语言模型评估后发现多数模型随上下文变长性能显著下降,该基准已开源。
2025-11-17 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
The Ouroboros of Benchmarking: Reasoning Evaluation in an Era of Saturation
Department of Cognitive Science(认知科学系);Graduate School of Informatics(信息科学研究生院);Middle East Technical University(中东部技术大学)
本文针对大型推理模型评估结果饱和问题,分析了OpenAI、Anthropic和Google模型家族在不同基准测试上的推理能力演变与性能趋势,为未来推理评估与模型开发研究提供全面参考。
2025-11-03 cs.CL
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University(约克大学);Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
图表在分析数据方面非常受欢迎。在探索图表时,人们经常会问各种复杂的推理问题,涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而,大多数现有的数据集并不关注这样复杂的推理问题,因为它们的问题是基于模板的,答案来自固定的词汇表。在这项工作中,我们提出了一个大规模的基准测试,涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战,我们提出了两个基于transformer的模型,它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果,但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Who Benchmarks the Benchmarks? Towards Comprehensive Evaluation of Commonsense Reasoning Benchmarks
Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学);PleIAs
针对常识推理基准测试的有效性问题,以HellaSwag为例揭示其存在语法错误、误导提示等缺陷,导致68%的模型预测不受问题影响,并提出基准有效性分析工具BenCheck以审计此类基准。
2026-09-15 cs.CL