TTT-Bench: A Benchmark for Evaluating Reasoning Ability with Simple and Novel Tic-Tac-Toe-style Games
Advanced Micro Devices, Inc. (AMD)(超威半导体公司(AMD))
本研究推出TTT-Bench基准,通过四款简单井字棋类游戏评估大型推理模型的策略、空间与逻辑推理能力,发现擅长数学难题的模型常在此类任务中失利,且多数模型在长期策略推理上存在短板。
2025-06-11 cs.AI cs.CL
RobustLR: Evaluating Robustness to Logical Perturbation in Deductive Reasoning
University of Southern California(南加州大学)
Transformers已经被证明能够在包含用英语自然语言编写的规则和语句的逻辑规则库上执行演绎推理。虽然进展是有希望的,但目前还不清楚这些模型是否确实通过理解语言中的底层逻辑语义来执行逻辑推理。为此,我们提出了RobustLR,一套评估数据集,评估这些模型的鲁棒性,以最小的逻辑编辑规则库和一些标准的逻辑等价条件。在我们对RoBERTa和T5的实验中,我们发现在以前的工作中训练的模型在RobustLR中的不同扰动上表现不一致,因此表明模型对所提出的逻辑扰动不鲁棒。此外,我们发现模型发现学习逻辑否定和析取运算符特别困难。总的来说,使用我们的评估集,我们证明了一些基于演绎推理的语言模型的缺点,这最终可以帮助设计更好的模型,逻辑推理超过自然语言。所有数据集和代码库都已公开。
2022-11-08 cs.CL cs.LG cs.LO
CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
University of Toronto(多伦多大学)
CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力,揭示现有模型在因果推理和事实生成上的不足。
2026-05-13 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
CRaFT: An Explanation-Based Framework for Evaluating Cultural Reasoning in Multilingual Language Models
CRaFT是一个基于解释的多语言评估框架,通过文化流畅度等四个指标评估LLM跨文化推理,发现文化意识依赖语言框架而非固有。
2025-10-15 cs.CL
How do we get there? Evaluating transformer neural networks as cognitive models for English past tense inflection
The Graduate Center, CUNY(纽约市立大学研究生中心);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本研究训练多种Transformer模型,评估其在英语过去式屈折任务上的表现,发现模型能部分学习规则性抽象类别,但与人类行为相关性弱,不适合作为认知模型。
2023-05-13 cs.CL
EconNLI: Evaluating Large Language Models on Economics Reasoning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出经济事件自然语言推理数据集EconNLI,从因果分类和事件生成两方面系统评估大语言模型的经济推理能力,实验发现现有模型表现不足且易产生幻觉答案,揭示了其在经济决策场景中的局限性。
2024-07-01 cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
针对LLMs在现实交互任务中表现不佳的问题,本文提出含确定性评分机制的多轮谜题基准,评估模型的交互式推理等能力,揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL
Evaluating the Ability of Large Language Models to Reason about Cardinal Directions, Revisited
School of Computer Science, University of Leeds, UK(利兹大学计算机科学学院);Alan Turing Institute, London, UK(艾伦·图灵研究所)
本文通过模板生成基准评估28个LLMs的基本方位推理能力,发现即使大型推理模型也无法可靠确定所有问题的正确方位,并扩展了COSIT-24的先前工作。
2025-11-10 cs.CL
EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning
Georgia Institute of Technology(佐治亚理工学院)
本文提出EconLogicQA基准,通过要求模型识别和排列多事件序列,评估大语言模型在经济学、商业和供应链管理领域的复杂序列推理能力。
2024-09-22 cs.CL
ReTraceQA: Evaluating Reasoning Traces of Small Language Models in Commonsense Question Answering
Sapienza NLP Group(萨皮恩扎大学自然语言处理小组);Sapienza University of Rome(罗马萨皮恩扎大学)
ReTraceQA通过引入过程级评估,揭示小语言模型在常识推理中存在大量推理过程错误,但最终答案正确的情况,表明现有评价方法高估了模型能力。
2026-04-20 cs.CL
CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models
Rutgers University(罗格斯大学);Case Western Reserve University(凯斯西储大学)
本文提出CounterBench基准数据集,评估大型语言模型在反事实推理中的表现,并提出CoIn方法提升其能力。
2026-04-11 cs.CL
MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of California, San Francisco(旧金山大学)
针对现有医学基准仅评估最终答案、忽略推理质量的问题,研究团队推出含14489个病例的MedCaseReasoning数据集,用于评估大语言模型的临床推理对齐能力,发现现有模型表现不佳,且基于该数据集微调可显著提升诊断准确率和推理召回率。
2025-05-20 cs.CL
Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文提出合成基准Test of Time,通过多样化问题类型系统评估LLM的时间推理能力,揭示其优势与不足,并开源数据集与评估框架。
2024-06-13 cs.CL
CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge
The Hong Kong University of Science and Technology(香港科技大学)
本文提出CLR-Fact基准,系统评估LLMs在通用与生物医学知识图谱上的复杂逻辑推理能力,发现思维链提示可显著提升性能,且模型擅长并集运算但交集推理薄弱。
2024-07-30 cs.CL
OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
本文提出OCR-MetaReasoning基准,将演绎、归纳、溯因作为不同推理方向,分离答案正确性与推理合规性,实验发现现有MLLMs的OCR元推理能力远未饱和。
2026-09-01 cs.CL
GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models
针对LLMs在简单任务中意外出错的问题,该研究聚焦组合式与条件式推理,提出词汇多样的基准GroundCocoa(关联机票预订任务),发现最先进LLMs性能差异显著,GPT-4 Turbo准确率未超67%。
2025-02-13 cs.CL
TextBandit: Evaluating Probabilistic Reasoning in LLMs Through Language-Only Decision Tasks
UC Merced(加州大学默塞德分校);UC Berkeley(加州大学伯克利分校);Algoverse
本文提出TextBandit基准,通过纯文本反馈的多臂老虎机任务评估LLM概率推理,发现Qwen3-4B以89.2%最佳臂选择率超越更大模型和传统算法,证明概率推理可从语言中涌现。
2025-10-13 cs.CL
Piecing Together Clues: A Benchmark for Evaluating the Detective Skills of Large Language Models
Fudan University(复旦大学);Xiaohongshu Inc.(小红书科技有限公司)
研究提出DetectBench数据集评估大型语言模型在复杂信息下的关键信息检测与多跳推理能力,并设计Detective Thinking Framework方法,通过鼓励模型在推理前识别所有线索,有效缓解了现有模型在这两方面表现不佳的问题。
2024-03-20 cs.CL
HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
该研究提出HellaSwag-Pro双语基准,通过七种问题变体评估41个LLM的常识推理鲁棒性,发现其远非鲁棒且受语言影响。
2025-05-26 cs.CL
AutoLogi: Automated Generation of Logic Puzzles for Evaluating Reasoning Abilities of Large Language Models
Alibaba Group(阿里巴巴集团);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海市智能信息处理重点实验室)
提出自动生成开放式逻辑谜题的方法AutoLogi,通过程序验证和难度控制构建双语基准,更准确评估LLM推理能力,性能范围35%-73%优于多项选择的21%-37%,并可生成训练数据增强推理。
2025-02-24 cs.CL
MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Multi-hop Hate Speech Explanation
University of Southern California(南加州大学);São Paulo State University(圣保罗州立大学);Saarland University(萨尔兰大学);University of Melbourne(墨尔本大学);Howard University(霍华德大学);Portland State University(波特兰州立大学);Leiden University(莱顿大学)
本文提出多语言基准数据集MFTCXplain,基于道德基础理论通过多跳仇恨言论解释评估LLMs的道德推理,发现模型在仇恨言论检测上表现良好但道德情感预测能力弱,且在代表性不足的语言中理由一致性有限。
2025-10-12 cs.CL
PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts
Qwen Team, Alibaba Group(阿里集团Qwen团队);Shanghai Jiao Tong University(上海交通大学)
本文提出涵盖18种语言和4个难度级别的多语言数学推理基准PolyMath,评估发现先进LLM在多语言推理中存在表现差异大、输入输出语言一致性低及思考长度不同等挑战,并指出控制输出语言可影响推理性能。
2025-11-02 cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company(朝日新闻公司);National Institute of Informatics(国立信息学研究所)
本文构建了一个包含3,003个子问题的数据集,用于评估语言模型对逻辑阅读理解中批判性推理理由的理解,实验发现现有大模型即使能答对主问题,也难以解释为何排除错误选项,从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
Evaluating Theory of Mind in Question Answering
DeepMind(深度思维);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
我们提出了一个新的数据集评估问答模型的能力,原因的信念。我们的任务受到心理理论实验的启发,这些实验考察儿童是否能够推理他人的信念,特别是当这些信念与现实不同时。我们评估了一些最近的神经模型与记忆增强。我们发现,所有的失败在我们的任务,这需要保持跟踪不一致的状态的世界;此外,模型的准确性显着下降时,随机句子被引入到测试任务。
2018-08-28 cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
Shanghai Jiao Tong University(上海交通大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The Hong Kong Polytechnic University(香港理工大学)
本文提出模糊推理基准FRoG,通过含广义量词的真实数学应用题评估大语言模型,发现模糊推理仍具挑战性,现有推理增强方法效果不一致,且存在逆向缩放效应。
2024-07-03 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
GameArena: Evaluating LLM Reasoning through Live Computer Games
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Snowflake(雪花公司)
本文提出动态基准 GameArena,通过三款人机交互游戏细粒度评估 LLM 的演绎、归纳等推理能力,并基于 2000 多个会话和 100 人用户研究验证其评估效果与参与度。
2025-02-15 cs.AI cs.CL
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University(南开大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Johns Hopkins University(约翰霍普金斯大学);Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学)
本文提出InMind评估框架,通过社交推理游戏中的策略轨迹与赛后反思,检验大语言模型捕捉和应用个体化推理风格的能力,发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
CHBench: A Cognitive Hierarchy Benchmark for Evaluating Strategic Reasoning Capability of LLMs
Gaoling School of Artificial Intelligence(北京语言大学人工智能学院);Renmin University of China(中国人民大学)
本文提出受行为经济学认知层级模型启发的CHBench基准,通过三阶段框架评估六个LLMs在十五个标准式博弈中的战略推理能力,验证了框架稳健性,并发现对话机制削弱而记忆机制增强战略推理。
2025-08-16 cs.AI cs.CL cs.HC
The Interspeech 2026 Audio Reasoning Challenge: Evaluating Reasoning Process Quality for Audio Reasoning Models and Agents
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Queen Mary University of London(伦敦大学Queen Mary);NVIDIA(NVIDIA公司);Carnegie Mellon University(卡内基梅隆大学);Qwen Team, Alibaba Group(通义实验室,阿里巴巴集团);Microsoft Corporation(微软公司)
Interspeech 2026音频推理挑战通过评估推理过程质量,探讨了音频推理模型和代理在事实性和逻辑性方面的表现及改进方向。
2026-02-15 cs.CL cs.MM cs.SD
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
BabyReasoningBench: Generating Developmentally-Inspired Reasoning Tasks for Evaluating Baby Language Models
本文提出BabyReasoningBench,基于发展心理学经典范式,设计19个推理任务,评估婴儿语言模型在因果推理、信念归因等任务上的表现,揭示不同任务对模型能力的影响。
2026-03-16 cs.AI cs.CL
IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出IsoSci基准,通过逻辑结构相同但领域知识不同的科学问题对,分离推理能力与领域知识检索,发现91.3%的推理增益依赖于知识而非结构,挑战了思维链推理提升科学问题解决的假设。
2026-07-03 cs.AI cs.CL
Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出过滤推理得分,用于评估模型推理质量,区分相似准确率的模型,并提高对输入提示和生成配置变化的鲁棒性。
2026-08-05 cs.AI cs.CL
Evaluating the Capabilities of Multi-modal Reasoning Models with Synthetic Task Data
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出基于高分辨率文本到图像生成的多模态推理评估数据合成框架,构建上下文相关异常检测数据集,并揭示SOTA VQA模型在该任务上显著弱于标准VQA。
2023-06-01 cs.CL cs.LG
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
University of Ottawa(渥太华大学);OpenText(OpenText公司)
针对LLM漏洞分析缺乏结构与语义推理评估的问题,提出SV-TrustEval-C基准,从结构推理和语义推理两维度评测,发现现有模型依赖模式匹配,推理能力不足。
2025-05-27 cs.CL cs.SE
Possible Stories: Evaluating Situated Commonsense Reasoning under Multiple Possible Scenarios
Tokyo Metropolitan University(东京都立大学);Yahoo Japan Corporation(雅虎日本公司);National Institute of Informatics(国立信息学研究所)
同一背景下可能产生的后果可能因我们所指的情况而异。然而,目前自然语言处理的研究并没有集中在多个可能的场景下的情境常识推理。本研究通过提出多个问题来构建这个任务,这些问题具有相同的可能结局作为候选答案,给定一个短篇小说文本。我们得到的数据集,可能的故事,包括超过4.5K的问题超过1.3K的故事文本的英语。我们发现,即使是目前强大的预训练语言模型也很难始终如一地回答这些问题,这表明在无监督环境中的最高准确率(60.2%)远远落后于人类的准确率(92.5%)。通过与现有数据集的比较,我们观察到我们数据集中的问题在答案选项中包含最小的注释工件。此外,我们的数据集包括需要反事实推理的例子,以及那些需要读者的反应和虚构的信息,这表明我们的数据集可以作为一个具有挑战性的测试平台,为未来的研究现场常识推理。
2022-09-16 cs.AI cs.CL
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University(浙江大学);HKUST(香港科技大学);University of Edinburgh(爱丁堡大学)
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力,并提出Abstraction-of-Thought(AoT)提示方法,通过概念抽象将对抗样本恢复为正常样本,显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change
Arizona State University(亚利桑那州立大学);Colorado State University(科罗拉多州立大学)
提出可扩展基准PlanBench,基于自动化规划领域测试LLMs在规划与变化推理上的能力,发现即使SOTA模型在计划生成等关键能力上表现仍不足,可作为衡量进展的标志。
2023-11-26 cs.AI cs.CL
Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
本文提出ReasoningMath-Plus基准,通过过程感知评估方法揭示大语言模型在结构性数学推理中的不足,引入HCRS评分函数和过程奖励模型,发现仅答案指标可能高估推理能力。
2026-02-26 cs.AI cs.CL
How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(教育部知识驱动人机智能工程研究中心);International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
提出OCR-Robust基准,通过5种扰动类型和3种严重程度评估18个VLM在OCR推理任务上的鲁棒性,发现高干净精度不保证强鲁棒性,图表比文档更脆弱。
2026-06-25 cs.CL cs.CV
Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Wright State University(威斯汀豪斯州立大学)
本文研究了LLM在反事实场景下的推理能力,提出FaR方法以增强模型的元认知,减少逻辑与知识冲突带来的性能下降。
2026-03-24 cs.CL cs.LG
CARL-GT: Evaluating Causal Reasoning Capabilities of Large Language Models
KTH Royal Institute of Technology(皇家理工学院);Qlik(Qlik公司);Microsoft Research(微软研究院);Meta
研究提出CARL-GT基准,利用图和表格数据从因果图推理、知识发现和决策制定评估LLM的因果推理能力,发现LLM在该能力上仍较弱,且不同类别任务间表现相关性更强。
2024-12-23 cs.CL cs.LG stat.ME
HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning in Large Language Models
University of Michigan(密歇根大学);Westlake University(西湖大学)
本文探索大型语言模型的高阶心智理论推理,提出HI-TOM基准,发现模型在高阶任务上性能下降,并分析失败案例以揭示当前局限及对NLP未来的启示。
2023-10-25 cs.AI cs.CL
MMLU-Pro+: Evaluating Higher-Order Reasoning and Shortcut Learning in LLMs
Autodesk AI Research(欧特克人工智能研究院)
本文提出增强型基准MMLU-Pro+,通过包含多正确答案的问题评估大型语言模型的捷径学习与高阶推理能力,并引入新指标揭示模型在推理与偏差易感性上的显著差异。
2024-10-15 cs.CL cs.LG
ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出ReCEval框架,从正确性和信息量两个维度评估多步推理链,通过自然语言推理模型和V-Information设计度量指标,在多个数据集上验证其能有效识别错误并提升下游任务性能。
2023-11-30 cs.AI cs.CL cs.LG
LLAMADRS: Evaluating Open-Source LLMs on Real Clinical Interviews--To Reason or Not to Reason?
Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机学院);University of Kansas, Department of Psychology(堪萨斯大学心理学系);McLean Hospital, Harvard Medical School(麦肯纳医院哈佛医学院)
本文通过LLAMADRS基准测试,评估了25种开源大语言模型在结构化临床评估中的表现,发现理性推理模型在误差控制上并不总是更优,提示提示设计对模型性能有关键影响。
2026-04-22 cs.CL cs.HC