大模型推理能力

RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation

RusFinChain：面向金融领域可验证思维链推理的俄语基准与模糊对齐评估

Mullosharaf K. Arabov

机构 * Kazan Federal University（喀山联邦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出首个俄语金融可验证思维链推理基准RusFinChain，包含5280个参数化示例和模糊对齐评估指标，揭示模型在步骤对齐与最终答案正确性之间存在显著差距。

Comments Preprint

ReactBench: A Benchmark for Topological Reasoning in MLLMs on Chemical Reaction Diagrams

ReactBench: 一种用于在化学反应图上进行拓扑推理的MLLMs基准测试

Qiang Xu, Shengyuan Bai, Yu Wang, He Cao, Leqing Chen, Yuanyuan Liu, Bin Feng, Zijing Liu, Yu Li

机构 * International Digital Economy Academy（国际数字经济学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；logical reasoning(title)；分类 cs.AI

AI总结 ReactBench通过化学反应图揭示MLLMs在拓扑推理中的局限性，包含1618个专家标注的问答对，评估17种MLLMs显示锚定任务与整体结构推理任务存在超过30%的性能差距。

Comments Accepted to EMNLP 2026 (Main Conference)

Aging of Prompt Engineering Techniques Across LLM Versions

提示工程技术在大语言模型版本间的老化现象

Anastasiia Rudyk, Julian Oertel, Regina Hebig

专题命中 推理评测 ：chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)；reasoning(abstract)

AI总结 本研究通过评估三类模型对的五种提示技术，发现提示工程效果随LLM代际以模型家族特定方式老化，需针对性调整而非照搬。

Comments Accepted at ICSME 2026

TRACE: An Evidence-Grounded Benchmark for Safety Evaluation of Large Reasoning Models

TRACE：用于大型推理模型安全评估的基于证据的基准

Zhenyu Wu, Siyuan Chen, Changchun Yang, Jiaqi Dong, Min Zhou, Ali Almadan, Talal Hammad, Faisal Wahbo, Aminullah Tora, Mona Alshahrani, Xin Gao

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究推出基于证据的安全评估基准TRACE，覆盖大型推理模型的完整推理流程，评估发现现有防护栏模型对推理轨迹的安全判断难度大，且难以准确提取支撑证据，凸显了改进防护栏模型的必要性。

Comments EMNLP 2026 Main

EMRB: A Multi-Level Benchmark for Evaluating LLM Reasoning over Raw Electromagnetic Signals

EMRB：用于评估大型语言模型对原始电磁信号推理能力的多级基准

Mingxu Zhang, Ying Sun, Yuhan Li, Yang Ji, Dazhong Shen, Ke Zhang, Shan Huang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The 63rd Research Institute, National University of Defense Technology（国防科技大学第六十三研究所） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究提出EMRB基准评估LLMs对原始电磁信号的推理能力，针对14个LLMs的实验显示其表现存在差距，提出的ReconPilot方法可显著提升LLMs的相关任务得分。

Counter with Evidence! A Multi-Agent Memory Efficient Reasoning Framework for Hate Category Informed Counterspeech Generation

结合证据的回应！用于仇恨类别感知反仇恨言论生成的多智能体内存高效推理框架

Sujoy Nath, Aswini Kumar, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（印度德里理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 该研究针对现有反仇恨言论生成未区分仇恨言论类别的问题，提出多智能体框架FIRE并构建数据集FactualCS，实验显示FIRE效果优于基线且毒性更低。

Comments Accepted at EMNLP 2026 Main Conference

Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models

Omanic：迈向大语言模型多跳推理的逐步评估

Xiaojie Gu, Sherry T. Tong, Aosong Feng, Sophia Simeng Han, Jinghui Lu, Yingjian Chen, Yusuke Iwasawa, Yutaka Matsuo, Chanjun Park, Rex Ying, Irene Li

机构 * The University of Tokyo（东京大学） ； Yale University（耶鲁大学） ； Stanford University（斯坦福大学） ； Xiaomi EV（小米EV） ； Soongsil University（顺天大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型在多跳问答中中间步骤推理失败难以诊断的问题，提出Omanic基准，通过分解为单跳子问题并分析步骤级错误，揭示后期跳数瓶颈、事实知识下限和错误传播，微调后提升多个推理基准性能。

Comments EMNLP 2026 Findings

A Modular Multitask Reasoning Framework Integrating Spatio-temporal Models and LLMs

整合时空模型与大语言模型（LLMs）的模块化多任务推理框架

Kethmi Hirushini Hettige, Jiahao Ji, Cheng Long, Shili Xiang, Gao Cong, Jingyuan Wang

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院） ； Institute for Infocomm Research, A*STAR, Singapore（资讯通信研究院） ； School of Computer Science and Engineering, Beihang University, China（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出整合时空模型与LLMs的STReason框架，通过上下文学习分解查询生成解释，在时空推理任务中显著优于LLM基线，可抑制幻觉并减少专家工作量。

BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification

BenchBench-Protocol：评估真实世界湿实验室方案的推理与修改能力

Aditya Sivakumar, Ashu Singhal, Nicholas Larus-Stone, Nithin Parsan

机构 * Benchling（本奇林公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究推出BenchBench-Protocol基准测试，包含149个源自真实实验修改的湿实验室方案推理与修改任务，评估9个模型后发现Claude Opus 5得分最高，该基准测试可用于评估模型在生命科学常规任务中的表现。

Comments 21 pages, 15 figures

EviPathBench: Benchmarking Evidence Acquisition and Reasoning in Vision-Language Models for Whole-Slide Pathology

PathAgentBench：在全切片病理图像上对寻求证据的视觉语言模型进行基准测试

Dankai Liao, Tianyi Zhang, Yufeng Wu, Xinyue Zhang, Qiaochu Xue, Zeyu Liu, Dachun Zhao, Linghan Cai, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； PuzzleLogic Pte Ltd（拼图逻辑私人有限公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区） ； Peking Union Medical College Hospital（北京协和医院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究针对全切片病理图像诊断中证据获取与整合问题，引入PathAgentBench基准，评估视觉语言模型的四项互补能力，包含多模型评估结果，揭示了证据推理与获取间的差距，为改进病理模型提供统一框架。

VizAnchor: Decoding Manipulation Intent from Tampering Visualizations via Dual-Anchor Reasoning

VizAnchor：通过双锚推理从篡改可视化中解码操纵意图

Xiaotian Zhang, Huayuan Ye, Haiyang Zhang, Chenhui Li, Changbo Wang, Sicheng Song

机构 * School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） ； Division of Emerging Interdisciplinary Areas, The Hong Kong University of Science and Technology（香港科技大学新兴跨学科领域分部） ； School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出VizAnchor框架，通过双锚构建与VLM推理实现可视化操纵理解，含三个专用智能体，构建相关数据集，可准确定位篡改并生成忠实解释。

Comments 39 pages

DoublesEval: Diagnosing Multi-Agent Tactical Reasoning in Vision-Language Models via Professional Doubles Badminton

DoublesEval：通过专业双打羽毛球诊断视觉语言模型的多智能体战术推理能力

Jintao Cheng, Weibin Li

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； University of Macau（澳门大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本研究提出DoublesEval框架，以专业双打羽毛球为测试平台评估VLMs的多智能体战术推理能力，发现现有模型存在明显瓶颈，所提TacticCheck可提升模型表现但仍有差距，强调需改进VLMs的评估范式。

Comments Accepted by BMVC2026

Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

空间-DisE：评估视觉语言模型空间推理能力的统一基准

Xinmiao Huang, Qisong He, Zhenglin Huang, Boxuan Wang, Zhuoyun Li, Guangliang Cheng, Yi Dong, Xiaowei Huang

机构 * School of Computer Science & informatics, University of Liverpool（计算机科学与信息学系，利物浦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出Spatial-DISE基准，用于评估视觉语言模型的空间推理能力，通过四个象限分类和大规模数据集，揭示当前模型在多步骤多视角推理上的不足。

Comments ICLR 2026 Accepted Project Page: this https URL (https://shinmohuang.github.io/spatialdise_page/)

Neurosymbolic Alignment for Physiologically-Safe Clinical Language Models

面向生理安全临床语言模型的神经符号对齐

Abdulhady Abas Abdullah, Erik Cambria, Milena Zivkovic

机构 * University of Kurdistan Hewlêr（库尔德斯坦大学） ； Nanyang Technological University（南洋理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Kragujevac（克拉古耶瓦茨大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 提出神经符号对齐框架，耦合临床LLM与HGNN生理世界模型，在CSB基准上显著提升临床LLM的生理安全性能，优于ORPO、GPT-4等方法，为临床LLM安全对齐提供新路径。

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

On-policy Distillation with Verifiable Reward

结合可验证奖励的在线蒸馏

Wenze Lin, Jiale Zhao, Xitai Jiang, Songde Rao, Yining Li, Shenzhi Wang, Bingxiang He, Gao Huang

机构 * LeapLab, Tsinghua University（清华大学LeapLab） ； Beihang University（北京航空航天大学） ； SMS, Peking University（北京大学SMS） ； NLPLab, Tsinghua University（清华大学NLPLab） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出OPDVR方法，无缝结合OPD与RLVR且不增加超参数，经六个推理基准实验验证其性能优于标准OPD。

FARCA: Fact-Aligned Reliability-Aware Credit Assignment for Reinforcement Learning with Factual Supervision

FARCA：面向具备事实监督的强化学习的事实对齐可靠性感知信用分配

Qiming Xie, Wenjie Zheng, Xiangqing Shen, Rui Xia

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 FARCA是一种面向具备事实监督的强化学习的策略优化框架，通过对齐事实验证与策略更新的粒度、引入反事实证据归因计算可靠性权重，提升模型事实性并保留通用推理能力。

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

EstLLM：通过持续预训练和后训练增强多语言大语言模型中的爱沙尼亚能力

Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

机构 * Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究院） ； Department of Software Science, Tallinn University of Technology（塔林技术大学软件科学系） ； Institute of the Estonian Language, Tallinn, Estonia（爱沙尼亚语言研究院） ； School of Humanities, Tallinn University（塔林大学人文学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力，增强语言和推理表现。

Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation

量化对大型语言模型孟加拉语理解能力的影响：一项系统评估

Ismail Hossain, Nafi Ullah Shafin, Mohammad Abdullah Al Mumin

机构 * Institute of Information and Communication Technology (IICT)（信息与通信技术研究所） ； Shahjalal University of Science and Technology (SUST)（沙赫贾拉勒科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究首次系统评估了三种量化格式对Qwen-2.5-7B等三个模型家族在五个孟加拉语NLU基准上的影响，发现架构和量化方法比位宽更关键，量化可用于孟加拉语部署。

Comments 8 pages, 1 table, 1 appendix

EviDx: Evidence-Aware Active Diagnosis with Scaffolded LLM Agents

Lihang Zeng, Shaoting Zhang, Xiaofan Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents

PeakBench：面向大语言模型智能体的资源感知工具调用基准测试

Zhi-Kai Chen, Xu-Xiang Zhong, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Nanjing University（南京大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 PeakBench是面向LLM智能体的资源感知工具调用基准，通过两部分评估框架解耦逻辑规划与物理调度，实验表明资源信息可减少溢出、提升利用率，为相关研究提供测试平台。

Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight

用于语音智能体评估的LLM评判基准：可靠性、校准与人工监督

Anupam Purwar, Shashank Singh, Kritika Srivastava

机构 * Sprinklr AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究对比人工与GPT-4.1、GPT-5对电信和零售语音智能体对话的评估，发现LLM评估可靠性依赖指标与配置，可作为规模化评估组成部分，支持混合评估 pipeline。

Comments Extends LLM-as-a-Judge to voice agents across telecom and retail, testing GPT-4.1 and GPT-5 against human raters across 10 safety and efficiency metrics. A correlation-based calibration analysis reveals domain-dependent reliability and identifies Recovery Turn Count and safety-recall metrics as unreliable for fully automated judging

RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges

RecurSE：面向LLM规则评判器的有界递归自评估

Kaiyuan Liu, Ziyuan Zhuang, Rongxiang Weng, Jieping Ye

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Meituan LongCat Team（美团龙猫团队） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出RecurSE，一种无需外部监督的LLM规则评判器优化方法，通过同步评判器与检查器的协同演化、接口解耦及PAV监控，在多基准上实现泛化提升，可增强下游策略对齐。

TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis

TrustDABench：面向结构化数据分析的大语言模型可靠性与鲁棒性基准

Boshen Shi, Yize Liu, Chen Zhao, Ce Chi, Zhendong Wang, Xing Wang, Junlan Feng

机构 * Jiutian（九天） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出TrustDABench基准，评估8种LLM在结构化数据分析中的可靠性与鲁棒性，发现现有模型在检测冲突证据、应对扰动等方面存在不足，需提升证据边界识别与不变性推理能力。

Comments Code&Data: this https URL (https://github.com/Skyorca/TrustDABench)

Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments

Android GUI智能体对运行时异常是否具备鲁棒性？AnTrap：在动态对抗环境中评估智能体

Guo Gan, Yilun Zhao, Cong Chen, Jinbiao Wei, Tingyu Song, Zheyuan Yang, Lin Fu, Hong Zhou

机构 * Zhejiang University（浙江大学） ； Yale University（耶鲁大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tongji University（同济大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究针对Android GUI智能体抗运行时异常鲁棒性不足的问题，提出AnTrap基准评估框架，发现16款领先GUI模型普遍受动态异常影响，且深度上下文陷阱暴露模型内在局限性。

When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs

当视觉不再足够：评估大视觉语言模型（LVLMs）中的交互式视觉定位

Zhengxiang Wang, Owen Rambow

机构 * Stony Brook University（石溪大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对大视觉语言模型（LVLMs）提出交互式视觉定位的受控评估框架，发现当前LVLMs表现低于人类基线，主动提问式定位困难且校准不佳，该任务仍具挑战性。

Comments EMNLP 2026 Main

Inter-dimension Dependence for Multi-Dimensional Evaluation of Open-Ended Text

面向开放文本多维度评估的维度间依赖关系

Haoyuan Li, Snigdha Chaturvedi

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 推理评测 ：CoT(abstract_cn)；分类 cs.CL

AI总结 本文针对开放文本多维度评估中LLM评判者的维度间依赖问题，提出CorrGap度量该依赖关系，进而提出DimCheck方法缓解该问题，在多任务多模型上优于基线且推理成本低。

EXAM$^2$: $\underline{Ex}tending$ $\underline{A}udio$ $Understanding$ $in$ $\underline{M}ultilingual$ $and$ $\underline{M}ultimodal$ $Analysis$

EXAM²：扩展多语言与多模态分析中的音频理解能力

Jiawen Wang, Xiaoxue Gao, Zi Haur Pang, Nancy F. Chen

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出多语言多模态音频理解基准EXAM²，评估现有模型发现其存在多语言跨模态理解差距，微调的Gemma3n-EXAM²性能显著提升，推动相关研究发展。

Comments 8 pages, 2 figures

The Shadow Price of Intelligence: Quality Degradation in LLM Inference as a Supply Chain Problem

智能的影子价格：作为供应链问题的大语言模型推理质量退化

Elioth Sanabria

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文将LLM推理质量退化视为供应链问题，建模拥塞下的服务分配，揭示节流的反直觉影响，提出影子价格可毫秒级计算最优策略，证明拥塞时节流是需求杠杆而非成本杠杆。

Comments 40 pages, 12 figures. Numerical instances calibrated to public benchmark data for five LLM providers

Massive-STEPS: Massive Semantic Trajectories for Understanding POI Check-ins -- Dataset and Benchmarks

Massive-STEPS: 用于理解POI签到的大量语义轨迹 -- 数据集和基准测试

Wilson Wongso, Hao Xue, Flora D. Salim

机构 * University of New South Wales（新南威尔士大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.LG

AI总结 Massive-STEPS通过提供大规模、公开的POI签到数据集和基准测试，推动人类移动性和POI轨迹建模的可重复研究。

Comments Accepted to SIGSPATIAL 2026