Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
本文提出SAVeR框架,通过在行动承诺前验证内部信念状态,提升LLM代理的推理忠实性,实验表明其在保持任务性能的同时提升了推理可靠性。
2026-04-09 cs.AI cs.CL
Audit-of-Understanding: Posterior-Constrained Inference for Mathematical Reasoning in Language Models
Texas A&M University(德克萨斯大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出 AoU 后验约束推理框架,通过分解、审计并仅采用已验证假设来抑制数学推理幻觉,并给出理论保证、风险界与显著基准提升。
2025-10-18 cs.AI cs.CL
Evaluating Step-by-step Reasoning Traces: A Survey
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了LLM逐步推理轨迹的评估方法,提出涵盖事实性、有效性、连贯性和实用性的分类体系,并回顾相关数据集、评估器及研究发现,为未来研究提供方向。
2025-09-20 cs.CL
The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing
Workday Inc.(Workday公司)
本研究通过引入有界指令分解框架,揭示了基于大语言模型的指令遵循审计中判决稳定性与推理稳定性之间的矛盾,提出需严格限定自动化评估协议以提升可靠性。
2026-01-16 cs.CL cs.SE
AuditoryBench++: Can Language Models Understand Auditory Knowledge without Hearing?
Pohang University of Science and Technology(坡山科学技术大学);HJ AILAB;Korea Advanced Institute of Science and Technology(韩国高级科学技术研究院)
AuditoryBench++通过AIR-CoT方法提升语言模型在听觉知识推理中的表现。
2026-01-28 cs.AI cs.CL cs.LG
From Hidden States to Confessions: Auditing Deception in Reasoning Models
Zhejiang University(浙江大学);Griffith University(格里菲斯大学)
提出STATEWITNESS,一种通过解码目标模型隐藏状态来生成自然语言查询答案和结构化报告的激活解释器,在欺骗检测中平均AUROC达0.916,优于现有方法。
2026-11-10 cs.AI cs.CL
CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
University of Toronto(多伦多大学)
CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力,揭示现有模型在因果推理和事实生成上的不足。
2026-05-13 cs.CL
Evaluating Counterfactual Strategic Reasoning in Large Language Models
National Technical University of Athens(希腊雅典国家技术大学)
通过引入反事实变体(改变收益结构和行动标签)的囚徒困境和石头剪刀布博弈,评估大型语言模型的策略表现是否基于真正的推理而非记忆模式,并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。
2026-05-22 cs.CL
DelistBench: Evaluating Search-Enabled LLMs for Auditable Corporate-Event Database Completion
Asian Institute of Digital Finance, National University of Singapore(新加坡国立大学亚洲数字金融研究院)
该研究提出Search-to-Record任务与DelistBench基准,评估支持搜索的LLM在公司事件数据库补全中的表现,发现网络检索可显著提升准确率,低成本系统也能接近最优效果,并给出部署指导。
2026-09-11 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Metaphors We Compute By: A Computational Audit of Cultural Translation vs. Thinking in LLMs
本文通过创造性写作任务研究LLM的文化包容性,发现模型在特定文化情境下存在刻板隐喻使用和西方默认倾向,表明单纯提示文化身份无法保证文化思维。
2026-04-06 cs.AI cs.CL
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
Does CoT-Pass@k Really Check the CoT? A Multilingual Mathematical Audit
本研究首次审计了 CoT-Pass@k 的裁判验证步骤,发现三个 LLM 裁判均无法可靠检测推理链错误,且该指标在跨语言数学基准上的有效性存疑。
2026-09-29 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL
Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
Sungkyunkwan University(成均馆大学)
研究通过量级多样性评估大语言模型的语用推理能力,发现不同模型和任务结构下语用行为差异显著,评价方法无法单一确定模型能力。
2026-05-09 cs.CL
Beyond Final Accuracy: Auditing Communication in LLM Multi-Agent Systems
University of Southern California(南加州大学)
提出ICR框架,通过固定初始推理并对比无消息修订,审计LLM多智能体通信,发现相似准确率下修订行为差异大,通信质量非通道固有属性。
2026-10-02 cs.AI cs.CL
Trace Integrity for LLM Data Agents: Auditing Structured-Data Computation Beyond Answer Accuracy in Real-World Systems
WAI USA Research Labs(WAI美国研究实验室)
本文针对LLM数据智能体提出追踪完整性标准,结合执行契约实现,通过CAIT率实验表明需同时评估答案准确率与可审计计算,为现实系统的LLM数据智能体提供评估方案。
2026-10-27 cs.AI cs.CL
MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing
Tongji University(同济大学)
MAVEN通过显式角色解耦将LLM转化为有意识的推理者,采用对抗性Skeptic-Researcher-Judge循环,生成可验证的模块化推理轨迹,提升多任务推理质量。
2026-05-08 cs.AI cs.CL cs.LG
FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation
University of Toronto(多伦多大学)
FairFund-Bench基准通过调整审计格式等特征,发现LLM资源分配的偏差受审计类型影响,且因果框架效应强于人口统计效应,可用于评估LLM的分配偏差。
2026-09-15 cs.AI cs.CL cs.CY
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution
研究大语言模型思维链前提依赖性问题,提出介入式基础审计方法,通过谓词替换干预前提并重新运行模型,在ProntoQA基准测试中检测前提依赖性表现优异,还发现了“正确答案,错误推理”信号。
2026-07-16 cs.AI cs.CL cs.LO
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
Shanghai Jiao Tong University(上海交通大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The Hong Kong Polytechnic University(香港理工大学)
本文提出模糊推理基准FRoG,通过含广义量词的真实数学应用题评估大语言模型,发现模糊推理仍具挑战性,现有推理增强方法效果不一致,且存在逆向缩放效应。
2024-07-03 cs.AI cs.CL
Token Inflation: How Dishonest Providers Can Overcharge for Large Language Model Usage
University of Tennessee, Knoxville(田纳西大学,基洛纳分校);University of California, Los Angeles(加州大学洛杉矶分校)
研究揭示了基于每token计费的大型语言模型商业服务中,提供商利用审计信任悖论系统性地虚报token数量,导致用户费用大幅增加的问题。
2026-11-10 cs.AI cs.CL cs.CR
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University(庆应义塾大学)
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力,发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
本文提出利用听觉大语言模型进行自动语音质量评估,通过任务特定提示微调模型预测MOS、SIM和A/B测试结果,并生成自然语言描述,实验表明其在多项指标上取得竞争力表现。
2025-04-01 cs.CL cs.SD eess.AS
MS-Exam-Gen: An Automatic Benchmark Construction Toolkit for Evaluating LLMs on Multiple Sclerosis-MRI Imaging Knowledge
New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
MS-Exam-Gen提出一个可复现框架,从66个来源构建含3,058个多选题的MS-MRI知识基准,通过自动审计评估12个LLM,准确率范围46.9%-89.7%,支持项目级和主题级评估。
2026-10-14 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
GameArena: Evaluating LLM Reasoning through Live Computer Games
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Snowflake(雪花公司)
本文提出动态基准 GameArena,通过三款人机交互游戏细粒度评估 LLM 的演绎、归纳等推理能力,并基于 2000 多个会话和 100 人用户研究验证其评估效果与参与度。
2025-02-15 cs.AI cs.CL
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文综述了超越准确率指标的大语言模型推理行为评估研究,指出LLMs主要依赖表层模式而非深层推理,并呼吁进一步区分人类与模型推理差异。
2024-08-06 cs.AI cs.CL
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University(南开大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Johns Hopkins University(约翰霍普金斯大学);Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学)
本文提出InMind评估框架,通过社交推理游戏中的策略轨迹与赛后反思,检验大语言模型捕捉和应用个体化推理风格的能力,发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models
Arizona State University(亚利桑那州立大学)
针对现有逻辑推理基准规则有限、缺非单调推理评估的问题,提出覆盖三类逻辑、多规则多深度的Multi-LogiEval数据集,评估发现LLM性能随推理深度显著下降,为相关研究提供支撑。
2024-10-07 cs.AI cs.CL
Beyond Words: A Latent Memory Approach to Internal Reasoning in LLMs
本文提出将隐式心理表征(隐式记忆模块)融入LLM内部推理,实验显示训练损失降低35%-57%,兼顾效率与可扩展性。
2025-02-28 cs.AI cs.CL
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains
Yale University(耶鲁大学);Harvard University(哈佛大学);NVIDIA(英伟达公司);Salesforce Research(Salesforce研究院)
提出P-FOLIO人工标注数据集,通过单步推理规则分类评估并利用多样本提示与微调显著提升LLM逻辑推理能力,在域外数据集上性能提升超10%。
2024-10-11 cs.AI cs.CL
CHBench: A Cognitive Hierarchy Benchmark for Evaluating Strategic Reasoning Capability of LLMs
Gaoling School of Artificial Intelligence(北京语言大学人工智能学院);Renmin University of China(中国人民大学)
本文提出受行为经济学认知层级模型启发的CHBench基准,通过三阶段框架评估六个LLMs在十五个标准式博弈中的战略推理能力,验证了框架稳健性,并发现对话机制削弱而记忆机制增强战略推理。
2025-08-16 cs.AI cs.CL cs.HC
Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
本文通过构造分布内与分布外程序并评估10个最新LLM,发现早期模型偏向模式匹配,而最新模型在代码推理上具备强泛化能力。
2025-04-07 cs.CL cs.LG cs.SE
CARL-GT: Evaluating Causal Reasoning Capabilities of Large Language Models
KTH Royal Institute of Technology(皇家理工学院);Qlik(Qlik公司);Microsoft Research(微软研究院);Meta
研究提出CARL-GT基准,利用图和表格数据从因果图推理、知识发现和决策制定评估LLM的因果推理能力,发现LLM在该能力上仍较弱,且不同类别任务间表现相关性更强。
2024-12-23 cs.CL cs.LG stat.ME
JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models
College of Computing \& Data Science, Nanyang Technological University, Singapore
本文提出合成演绎推理基准JustLogic,通过高复杂度、消除先验知识干扰和深入错误分析,严格评估LLMs演绎推理能力,发现SOTA推理模型优于人类平均但远低于人类上限。
2025-05-09 cs.AI cs.CL cs.LG
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
针对大语言模型逻辑推理能力难以直接评估的问题,提出基于命题与谓词逻辑原子技能的LogicAsker评估增强方法,发现模型推理缺陷并构建数据将GPT-4o推理能力最高提升5%,相关资源已公开。
2024-10-08 cs.AI cs.CL cs.LO
What Does MMLU Actually Measure? A Psychometric Audit of Difficulty Structure in Aggregate Benchmark Scores
Stanford University(斯坦福大学)
本文通过心理测量学审计证明 MMLU 聚合分数主要衡量事实检索而非推理能力,提出确定性框架并建议分项报告。
2026-09-10 cs.CL
Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages
Indian Institute of Information Technology, Raichur(印度信息技术学院赖丘尔分校)
本文通过将MathVista、ScienceQA和MMMU的980道题翻译成印度语言,评估了8种VLM在七种语言中的表现,发现切换至印度语言时准确率下降9.8-25个百分点,且达罗毗荼语比印欧语下降更多,链式推理反而降低了部分语言的性能。
2026-03-23 cs.CL cs.LG
Physics-R1: An Audited Olympiad Corpus and Released Verifiers for Visual Physics Reasoning
Independent Researcher(独立研究者)
本文通过审计多模态物理评估流程,揭示了训练-评估污染、翻译漂移和MCQ饱和等三个问题,并提出PhysR1配方,基于Qwen3-VL-8B-Thinking,提升了多个基准测试的性能。
2026-09-01 cs.CL
A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory
Institute of Science Tokyo(东京科学大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);AIST(产业技术综合研究所);NII(国立信息学研究所)
本文基于归因理论,构建了新的日本基准JUBAKU-v2,用于评估推理中对内群体和外群体行为归因的偏见,通过固定结论来检测模型在文化偏见上的性能差异。
2026-04-01 cs.CL
STAIR: Spatial-Temporal Reasoning with Auditable Intermediate Results for Video Question Answering
Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
针对视频问答模型在长视频时序推理上性能下降的问题,提出神经模块网络STAIR,通过分层子任务分解与可审计中间输出提升性能与可解释性。
2024-01-08 cs.CL cs.CV