大模型推理能力

SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning

SAHM：阿拉伯语金融与伊斯兰合规推理的基准

Rania Elbadry, Sarfraz Ahmad, Ahmed Heakl, Dani Bouch, Momina Ahsan, Muhra AlMahri, Marwa Elsaid khalil, Yuxia Wang, Salem Lahlou, Sophia Ananiadou, Veselin Stoyanov, Jimin Huang, Xueqing Peng, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI ； INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学"圣克莱门特·欧赫里迪斯"） ； The University of Manchester（曼彻斯特大学） ； The Fin AI（Fin AI） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SAHM基准，涵盖七个任务，包含14380个专家验证实例，评估20个LLM发现阿拉伯语流畅性不等于金融推理能力，特别是在事件因果推理上存在显著差距。

Comments 29 page

Journal ref ACL 2026

Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning

通用转换器需要记忆：自适应递归推理中的深度-状态权衡

Grigory Sapunov

机构 * Intento 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现通用转换器在解决数独难题时需依赖记忆token，通过实验确定内存token数量的阈值及影响因素，揭示ACT初始化陷阱及递归深度中注意力头的功能分化。

Comments 12 pages, 7 figures, 8 tables. Code: https://github.com/che-shr-cat/utm-jax

ThermoQA: A Three-Tier Benchmark for Evaluating Thermodynamic Reasoning in Large Language Models

ThermoQA：一个用于评估大语言模型热力学推理能力的三级基准测试

Kemal Düzkar

机构 * Olivenet Kyrenia, Cyprus（奥利文特基尔尼亚，塞浦路斯） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ThermoQA通过293个热力学问题测试大语言模型的热力学推理能力，揭示记忆属性与推理能力的差异，提供开放源代码的评估工具。

Comments 17 pages, 8 figures, open-source dataset and code

Input-Time Scaling: Adding Noise and Irrelevance into Less-Is-More Drastically Improves Reasoning Performance and Efficiency

输入时间扩展：添加噪声和无关信息显著提升推理性能和效率

Rapheal Huang, Weilong Guo

机构 * Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过引入噪声和无关信息，输入时间扩展方法在推理性能和效率上取得突破，无需额外设计即可提升效果，适用于更广泛场景。

GeoRC: A Benchmark for Geolocation Reasoning Chains

GeoRC：地理定位推理链基准测试

Mohit Talreja, Joshua Diao, Jim Thannikary James, Radu Casapu, Tejas Santanam, Ethan Mendes, Alan Ritter, Wei Xu, James Hays

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GeoRC基准，通过Champion级GeoGuessr专家生成的800条真实推理链，评估VLM生成推理链的准确性，发现大模型在生成可审计推理链上仍逊于人类专家，而小型模型表现更差。

Comments Accepted to ACL 2026

Reasoning-Based Refinement of Unsupervised Text Clusters with LLMs

基于推理的无监督文本聚类细化方法

Tunazzina Islam

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用大语言模型作为语义评判者，对无监督聚类结果进行推理细化，通过三个阶段提升聚类的连贯性与可解释性，实验证明其在社交媒体数据中优于传统方法。

Comments Accepted to the Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026). Camera-ready

BOP-ASK: Object-Interaction Reasoning for Vision-Language Models

BOP-ASK：面向视觉-语言模型的对象交互推理

Vineet Bhat, Sungsu Kim, Valts Blukis, Greg Heinrich, Prashanth Krishnamurthy, Ramesh Karri, Stan Birchfield, Farshad Khorrami, Jonathan Tremblay

机构 * New York University（纽约大学） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 本文提出BOP-ASK数据集，用于训练和评估视觉-语言模型的对象交互推理能力，包含15万张图像和3300万对问题答案，涵盖六个任务，验证了模型在复杂环境中的空间推理能力。

Comments Accepted at CVPR 2026. Code, Datasets & Benchmark available at https://bop-ask.github.io/

DiningBench: A Hierarchical Multi-view Benchmark for Perception and Reasoning in the Dietary Domain

DiningBench：面向饮食领域的分层多视角基准测试平台

Song Jin, Juntian Zhang, Xun Zhang, Zeying Tian, Fei Jiang, Guojun Yin, Wei Lin, Yong Liu, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Meituan（美团） ； Wuhan University（武汉大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本文提出DiningBench，一个分层多视角基准，用于评估视觉语言模型在饮食领域感知与推理能力，包含3021种不同菜品，通过多视角输入和链式推理方法，揭示了当前VLM在细粒度视觉识别和营养推理上的不足。

Comments ACL 2026 Main

Orion-Lite: Distilling LLM Reasoning into Efficient Vision-Only Driving Models

Orion-Lite：将LLM推理能力蒸馏到高效视觉-only驾驶模型

Jing Gu, Niccolò Cavagnero, Gijs Dubbelman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 本文提出Orion-Lite，通过潜特征蒸馏和真实轨迹监督，在闭环评估中实现高效视觉-only驾驶模型，超越大规模VLA模型ORION，达到Bench2Drive基准的80.6 Driving Score。

The Stepwise Informativeness Assumption: Why are Entropy Dynamics and Reasoning Correlated in LLMs?

逐步信息性假设：为什么在大语言模型中熵动态与推理相关？

Mar Gonzàlez I Català, Haitz Sáez de Ocáriz Borde, George D. Montañez, Pietro Liò

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； Harvey Mudd College（哈维穆德学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了大语言模型中熵动态与推理正确性相关的原因，提出逐步信息性假设，并通过实验验证其在多个基准和模型中的有效性。

Comments 21 pages, 5 figures, 3 tables

LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches

LiveMathematicianBench: 一个用于数学家级推理的实时基准

Linyang He, Qiyao Yu, Hanze Dong, Baohao Liao, Xinxing Xu, Micah Goldblum, Jiang Bian, Nima Mesgarani

机构 * Columbia University（哥伦比亚大学） ； Microsoft Research（微软研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LiveMathematicianBench，一个基于近期arXiv论文的动态多选基准，用于评估大语言模型的数学推理能力，通过证明草图指导的干扰项生成机制，提升对真实理解的检测。

Comments Project page: https://livemathematicianbench.github.io/

Adaptive Reinforcement for Open-ended Medical Reasoning via Semantic-Guided Reward Collapse Mitigation

通过语义引导的奖励崩溃缓解实现自适应的开放性医疗推理

Yizhou Liu, Dingkang Yang, Zizhi Chen, Minghao Han, Xukun Zhang, Keliang Liu, Jingwei Wei, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（菲斯克智能科技有限公司（菲斯克AI）） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本文提出ARMed框架，通过监督微调和强化优化提升开放性医疗VQA的推理一致性和事实准确性，实验表明其在六个医疗VQA基准上显著提升准确性和泛化能力。

Comments Accept to 2026 CVPR Findings

LEXam: Benchmarking Legal Reasoning on 340 Law Exams

LEXam：基于340法律考试的法律推理基准测试

Yu Fan, Jingwei Ni, Jakob Merane, Yang Tian, Yoan Hermstrüwer, Yinya Huang, Mubashara Akhtar, Etienne Salimbeni, Florian Geering, Oliver Dreyer, Daniel Brunner, Markus Leippold, Mrinmaya Sachan, Alexander Stremitzer, Christoph Engel, Elliott Ash, Joel Niklaus

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Zurich（苏黎世大学） ； University of Lausanne（洛桑大学） ； Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体物品研究所） ； Omnilex ； University of St. Gallen（圣加仑大学） ； Swiss Federal Supreme Court（瑞士联邦最高法院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LEXam基准测试通过340法律考试数据，包含7537道英语和德语法律考试题目，涵盖多种法律课程和学位级别，旨在评估大语言模型在长文本法律推理中的挑战与性能。

Comments Accepted to ICLR 2026

Reasoning-Driven Synthetic Data Generation and Evaluation

基于推理的合成数据生成与评估

Tim R. Davidson, Benoit Seguin, Enrico Bacis, Cesar Ilharco, Hamza Harkous

机构 * EPFL（瑞士联邦理工学院洛桑） ； Google（谷歌） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Simula框架，通过无种子、代理化方法生成大规模合成数据，提供可解释且可控的生成流程，验证了其在多种数据集上的有效性，为合成数据机制设计和大规模生成评估提供指导。

Comments Accepted to TMLR 2026, J2C Certification

Audio Language Model for Deepfake Detection Grounded in Acoustic Chain-of-Thought

基于声学推理的深度伪造检测音频语言模型

Runkun Chen, Yixiong Fang, Pengyu Chang, Yuante Li, Massa Baali, Bhiksha Raj

机构 * Carnegie Mellon University, USA（卡内基梅隆大学，美国） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；reasoning(abstract)

AI总结 本文提出CoLMbo-DF，通过整合深度伪造检测与显式的声学推理，利用结构化文本表示提升检测准确性，实验表明其在解释性深度伪造语音检测中取得显著进展。

Reliable Reasoning in SVG-LLMs via Multi-Task Multi-Reward Reinforcement Learning

通过多任务多奖励强化学习实现SVG-LLMs的可靠推理

Haomin Wang, Qi Wei, Qianli Ma, Shengyuan Ding, Jinhui Yin, Kai Chen, Hongjie Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本文提出CTRL-S框架，通过多任务多奖励优化提升SVG生成的结构连贯性和视觉保真度，实验表明其在任务成功率和SVG代码质量上优于现有方法。

EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning

EmotionThinker: 基于语调感知的强化学习用于可解释的语音情绪推理

Dingdong Wang, Shujie Liu, Tianhua Zhang, Youjun Chen, Jinyu Li, Helen Meng

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本文提出EmotionThinker，通过强化学习将语音情绪识别转化为深度推理问题，利用细粒度声学线索生成可解释的情绪预测，改进了语音大语言模型的语调感知能力。

Comments ICLR 2026 (Oral). Project page: https://github.com/dingdongwang/EmotionThinker

LongVidSearch: An Agentic Benchmark for Multi-hop Evidence Retrieval Planning in Long Videos

LongVidSearch: 一种多跳证据检索规划的代理基准

Rongyi Yu, Chenyuan Duan, Wentao Zhang

专题命中 推理评测 ：planning(title,abstract)；reasoning(abstract)

AI总结 LongVidSearch 是一个评估长视频中多跳证据检索规划的基准，通过标准化接口强制多跳检索，包含3000个问题，涵盖四种推理类别，测试代理在相同访问条件下检索规划的准确性与效率。

Comments 12 pages, 2 figures, appendix included

ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation

ECG-Reasoning-Benchmark: 一个用于评估心电图解读中临床推理能力的基准

Jungwoo Oh, Hyunseung Chung, Junhee Lee, Min-Gyu Kim, Hangyul Yoon, Ki Seong Lee, Youngchae Lee, Muhan Yeo, Edward Choi

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ECG-Reasoning-Benchmark，通过6400个样本系统评估17种核心心电图诊断的逐步推理能力，发现现有多模态大语言模型在多步逻辑推理中存在严重缺陷，无法有效将心电图发现与实际信号证据关联。

Comments Preprint. 9 pages for main text, 2 pages for references, 19 pages for supplementary materials (appendix)

Probing the Reliability of Driving VLMs: From Inconsistent Responses to Grounded Temporal Reasoning

探测驾驶视觉语言模型的可靠性：从不一致响应到基于现实的时序推理

Chun-Peng Chang, Chen-Yu Wang, Holger Caesar, Alain Pagani

机构 * DFKI Augmented Vision（DFKI增强视觉实验室） ； TU Delft（代尔夫特理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)

AI总结 本文研究了驾驶视觉语言模型的可靠性问题，通过引入FutureVQA数据集和自监督微调方法，提升模型在时序推理和一致性上的表现。

Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO

逐步引导策略优化：在GRPO中着色你的错误推理

Peter Chen, Xiaopeng Li, Ziniu Li, Xi Chen, Tianyi Lin

机构 * Department of Industrial Engineering and Operations Research（工业工程与运营管理系） ； Department of Mathematics（数学系） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Stern School of Business, New York University（纽约大学斯特恩商学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SGPO通过引入组内响应多样性，解决GRPO在所有负样本组时无法更新策略的问题，提升推理模型性能。

Comments Accepted by TMLR; 47 pages

MMTU: A Massive Multi-Task Table Understanding and Reasoning Benchmark

MMTU: 一个大规模多任务表格理解和推理基准

Junjie Xing, Yeye He, Mengyu Zhou, Haoyu Dong, Shi Han, Lingjiao Chen, Dongmei Zhang, Surajit Chaudhuri, H. V. Jagadish

机构 * University of Michigan（密歇根大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MMTU是一个大规模多任务表格理解和推理基准，旨在评估模型在专家级别处理真实表格的能力，揭示了当前模型在表格理解、推理和编码方面的挑战。

Comments Full version of a paper accepted at NeurIPS 2025; Code and data available at https://github.com/MMTU-Benchmark/MMTU and https://huggingface.co/datasets/MMTU-benchmark/MMTU

BeyondBench: Contamination-Resistant Evaluation of Reasoning in Language Models

超越基准：语言模型推理能力的抗污染评估

Gaurav Srivastava, Aafiya Hussain, Zhenyu Bi, Swastik Roy, Priya Pitre, Meng Lu, Morteza Ziyadi, Xuan Wang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 BeyondBench通过算法问题生成提供抗污染的推理评估，揭示语言模型在复杂任务中的推理缺陷。

Comments Accepted to ICLR 2026 Conference

From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning

从静态基准到动态协议：面向评估LLM推理能力的代理中心文本异常检测

Seungdong Yoa, Sanghyu Yoon, Suhee Yoon, Dongmin Kim, Ye Seul Sim, Junhyun Lee, Woohyung Lim

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种动态协议，通过代理中心文本异常检测评估LLM推理能力，以克服静态数据集的局限性。

Comments Accepted to ICLR 2026

SenTSR-Bench: Thinking with Injected Knowledge for Time-Series Reasoning

SenTSR-Bench: 带注入知识的思考以实现时间序列推理

Zelin He, Boran Han, Xiyuan Zhang, Shuai Zhang, Haotian Lin, Qi Zhu, Haoyang Fang, Danielle C. Maddix, Abdul Fatir Ansari, Akash Chandrayan, Abhinav Pradhan, Bernie Wang, Matthew Reimherr

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； AWS AI Labs（AWS人工智能实验室） ； Amazon RME Project（亚马逊RME项目） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SenTSR-Bench通过注入领域知识提升时间序列推理能力，结合强化学习方法实现高效的知识注入，方法在多个数据集上显著优于现有模型。

Comments Accepted by the 29th International Conference on Artificial Intelligence and Statistics (AISTATS 2026)

Perception-to-Pursuit: Track-Centric Temporal Reasoning for Open-World Drone Detection and Autonomous Chasing

感知到追捕：面向开放世界的无人机检测与自主追捕的以轨迹为中心的时序推理

Venkatakrishna Reddy Oruganti

机构 * Sithara Inc.（Sithara公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 P2P通过轨迹为中心的时序推理框架，提升了无人机轨迹预测精度和追捕可行性，实现了准确的预测与可操作的追捕规划。

Comments 7 pages, 2 figures, 3 tables, 15 references. Intended for submission to ICCV 2027

When Models Ignore Definitions: Measuring Semantic Override Hallucinations in LLM Reasoning

当模型忽略定义：在LLM推理中测量语义覆盖幻觉

Yogeswar Reddy Thota, Setareh Rafatirad, Homayoun Houman, Tooraj Nikoubin

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)

AI总结 本研究探讨了LLM在局部语义重新定义时的失败模式，发现模型常回归预训练默认解释，提出微基准测试以评估其语义合规性。

Evaluating Few-Shot Temporal Reasoning of LLMs for Human Activity Prediction in Smart Environments

评估LLM在智能环境中的少样本时间推理用于人类活动预测

Maral Doctorarastoo, Katherine A. Flanigan, Mario Bergés, Christopher McComb

机构 * organization= Department of Civil \& Environmental Engineering, Carnegie Mellon University , addressline= 5000 Forbes Ave , city= Pittsburgh , state= PA , postcode= 15213 , country= USA ； organization= Department of Mechanical Engineering, Carnegie Mellon University , addressline= 5000 Forbes Ave , city= Pittsburgh , state= PA , postcode= 15213 , country= USA 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了预训练语言模型在智能环境中的少样本时间推理能力，通过评估其在人类活动预测中的表现，发现其在低数据环境下具备强大的时间理解能力。

Logical Structure as Knowledge: Enhancing LLM Reasoning via Structured Logical Knowledge Density Estimation

逻辑结构作为知识：通过结构化逻辑知识密度估计增强LLM推理

Zhen Bi, Zhenlin Hu, Xueshu Chen, Mingyang Chen, Cheng Deng, Yida Xue, Zhen Wang, Qing Shen, Ningyu Zhang, Jungang Lou

机构 * Huzhou University（湖州大学） ； Zhejiang Key Laboratory of Intelligent Education Technology and Application（浙江智能教育技术与应用重点实验室） ； Banbu AI Foundation（Banbu AI基金会） ； Baichuan Inc（白川公司） ； University of Edinburgh（爱丁堡大学） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过结构化逻辑知识密度估计提升LLM推理能力，通过增强逻辑密度而非扩大数据量来提高模型认知潜力。

FinMTM: A Multi-Turn Multimodal Benchmark for Financial Reasoning and Agent Evaluation

FinMTM：面向金融推理和智能体评估的多轮多模态基准

Chenxi Zhang, Ziliang Gan, Liyun Zhu, Youwei Pang, Qing Zhang, Rongjunchen Zhang

机构 * HiThink Research（HiThink研究机构） ； Wuhan University（武汉大学） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Institute of Technology（上海理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)

AI总结 FinMTM提出一个多轮多模态基准，用于评估金融推理和智能体任务，通过多样化数据和任务设计，揭示了VLMs在视觉感知、推理和复杂工作流中的局限性。