大模型推理能力

Reasoning Structure of Large Language Models

大型语言模型的推理结构

Frédéric Berdoz, Luca A. Lanzendörfer, Fabian Farestam, Roger Wattenhofer

机构 * ETH Zurich, Switzerland（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对大型推理模型评估中隐藏不同推理结构的问题，提出基于逻辑谜题的基准测试和将非结构化轨迹转化为可验证推理图的方法，并定义推理效率指标，以量化分析推理拓扑结构。

Comments Accepted at ICML 2026 and presented at the ICLR 2026 workshop on LLM reasoning

AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following

AnyAudio-Judge：基于动态评分标准的音频指令跟随基准与评估器

Haitao Li, Tian Tan, Yuguang Yang, Shan Yang, Xie Chen

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan（腾讯文脉） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 针对指令引导音频生成中复杂指令解耦困难、评估缺乏可解释性和细粒度属性匹配的问题，提出基于动态评分标准的评估范式，通过自适应分解音频描述为可验证的二元评分项，并构建包含7920个样本的双语基准和105K训练语料，结合SFT与GRPO训练专用评估器，在零样本对齐检测和下游强化学习指令对齐中取得显著提升。

Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning

Hedge-Bench：在金融推理相关的困难、现实任务上对智能体进行基准测试

Eric Cho, Shawn Huang, Alice Lu, Andy Lyu

机构 * Trata ； Brigham Young University 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出Hedge-Bench基准，包含102个基于对冲基金分析师实际工作推理轨迹的任务，用于评估AI智能体在开放金融推理问题上的表现，前沿模型得分低于16%。

Comments Dataset and evaluation harness available at github.com/Trata-Inc/trata-hedge-bench

TSQAgent: Rating Time Series Data Quality via Dedicated Agentic Reasoning

TSQAgent: 通过专用智能体推理评估时间序列数据质量

Shunyu Wu, Dan Li, Haozheng Ye, Weibin Feng, Jian Lou, Bo Zhang, Wenjie Feng, Chenjuan Guo, See-Kiong Ng

机构 * Sun Yat-sen University（中山大学） ； China University of Mining Technology（中国矿业大学） ； University of Science and Technology of China（中国科学技术大学） ； East China Normal University（华东师范大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出TSQAgent框架，通过三个协作智能体（感知器、检查员、裁决者）识别相关质量维度并进行定量比较，显著提升LLM在时间序列数据质量评估中的表现。

Perceive Before Reasoning: A Pre-Reasoning Perception Framework for Efficient and Reliable Proactive Mobile Agents

先感知后推理：一种用于高效可靠主动移动代理的预推理感知框架

Zhijie Ding, Weinan Hong, Zicheng Zhu, Lei Li, Dezhi Kong, Hao Wang, Peng Zhou, Xuchu Jiang, Jiaming Xu

机构 * HyperAI Team, Xiaomi Corporation（HyperAI团队，小米公司） ； Zhongnan University of Economics and Law（中南财经政法大学） ； Jilin University（吉林大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出预推理感知框架（PRPF），通过轻量级多模态主动感知器（MPP）进行干预门控和上下文压缩，仅在需要时激活主动代理推理器（PAR），以解决主动移动代理中干预时机与方式决策的目标错位和冗余推理问题。

CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection

CORE: 面向冲突的通用多模态篡改检测推理

Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出CORE框架，通过构建冲突归因语料库和面向冲突的推理，增强多模态大语言模型的冲突捕捉能力，实现鲁棒且泛化的多模态篡改检测。

Comments Accepted by ICML 2026

Plan2Map: A Multimodal Benchmark for Document-Grounded Geospatial Boundary Reconstruction from Planning Records

Plan2Map: 基于规划记录的文档驱动地理空间边界重建的多模态基准

Fabian Degen, Oishi Deb, Jindong Gu, Junchi Yu, Samuele Marro, Philip Torr, Jialin Yu

专题命中 推理评测 ：planning(title,abstract)；分类 cs.AI

AI总结 提出Plan2Map基准和GeoPlanAgent系统，通过文档证据提取、定位、地图配准、边界分割等步骤，从英国规划记录中重建地理空间边界，显著优于直接VLM方法。

Comments Project page: https://odeb1.github.io/Plan2Map_Project_Page/. Fabian Degen and Oishi Deb Contributed Equally

Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning

跨厂商Sola ISPM基准测试：评估面向联邦身份安全推理的智能体AI

Eden Yavin, Gal Engelberg, Konstantin Koutsyi, Leon Goldberg, Gal Baron

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对多云和SaaS平台中跨厂商身份安全配置错误与权限提升路径的评估缺失，提出包含50个数据驱动任务的跨厂商Sola ISPM基准测试，并构建评估框架，实验表明结构化关系上下文将答案正确性相对提升约34%，探索查询减少约70%。

Comments 22 pages, 4 figures, 8 tables, 2 appendices

SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding

SEA-NLI：将自然语言推理作为理解东南亚文化的透镜

Peerawat Chomphooyod, Jian Gang Ngui, Yosephine Susanto, Attapol T. Rutherford, Alham Fikri Aji, Sarana Nutanong, Can Udomcharoenchaikit, Peerat Limkonchotiwat

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL

AI总结 提出SEA-NLI基准，通过自然语言推理评估模型对东南亚文化的理解，发现现有模型表现不佳，文化适应和提示可提升性能。

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

读取微调先验：通过对比解码差异进行逐字内容恢复

Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

机构 * Samsung AI Center（三星人工智能中心） ； University of Turin（都灵大学） ； University of Warsaw（华沙大学） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出对比解码差异（CDD）方法，仅基于输出层logit分布，无需权重或内部访问，即可从微调模型中逐字恢复植入事实，并在多种架构和场景下优于白盒方法。

OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs

OVO-S-Bench：多模态大语言模型中流式空间智能的分层基准

Yifei Li, Pengyiang Liu, Yuhang Zang, Zhongyue Shi, Qi Fu, Hongye Hao, Jiwen Lu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 提出OVO-S-Bench，一个完全人工标注的流式空间智能基准，包含1680个问题，涵盖四个抽象层次，评估38个MLLM，发现Gemini-3.1-Pro落后人类专家27分，流式空间微调MLLM表现不如其骨干模型。

Comments 48 pages, 12 figures, 15 tables. Project page: https://internlm.github.io/OVO-S-Bench/

Enginuity: A Dataset and Benchmark for Vision-Language Understanding of Engineering Diagrams

Enginuity：工程图纸视觉语言理解的数据集与基准

Abhishek Kumar, Isha Motiyani, Tilak Kasturi, Ethan Seefried, Prahitha Movva, Tirthankar Ghosal

机构 * Predii ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 针对工程图纸领域缺乏公开基准的问题，提出首个开放数据集Enginuity，通过结构化零件表提取和自由形式视觉问答两项任务评估前沿VLM，揭示零件识别与描述保真度之间的系统性差距。

Decomposing and Measuring Evaluation Awareness

分解与度量评估意识

Changling Li, Terry Jingchen Zhang, Jie Zhang, Zhijing Jin, Sahar Abdelnabi, Maksym Andriushchenko

机构 * ETH Zürich（苏黎世联邦理工学院） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究院） ； Tübingen AI Center（图宾根人工智能中心） ； University of Toronto & Vector Institute（多伦多大学及向量研究所） ； EuroSafeAI（欧洲安全人工智能） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究借鉴社会心理学，将评估意识分解为环境与模型两部分，通过EvalAwareBench基准测试发现识别率取决于模型与基准的配对，且识别很少导致行为改变，安全评估比能力评估更易受影响。

SAGE: A Quantitative Evaluation of Socialized Evolution in Agent Ecosystems

SAGE: 智能体生态中社会化演化的定量评估

Linyue Pan, Yaoming Zhu, Lin Qiu, Xuezhi Cao, Xunliang Cai

机构 * Tsinghua University, China（清华大学, 中国） ； Meituan, China（美团, 中国） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 提出SAGE框架，通过对比社会演化（SocialEvo）与自我演化（SelfEvo）两种计算条件，在三个领域评估共享经验对智能体性能的影响，发现群体历史并非普遍放大器，但能帮助陷入停滞的智能体取得突破，且社会收益依赖于抽象能力而非暴露量。

Comments 13 pages, 5 figures

Evaluating LLMs' Effectiveness on Real-World Consumer Device Repair Questions

评估大语言模型在真实世界消费设备维修问题上的有效性

Atm Mizanur Rahman, Md Arid Hasan, Syed Ishtiaque Ahmed, Sharifa Sultana

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过引入包含991个真实维修问题的基准测试，评估六种大语言模型在英语和孟加拉语上的正确性、完整性、实用性和安全性，发现模型虽能提供有用帮助，但在高风险维修任务中仍不可靠。

Rethinking Molecular Text Representations for LLMs: An Empirical Study

重新思考用于大语言模型的分子文本表示：一项实证研究

Arun Raja, Garrett M. Morris, Kian Ming A. Chai

机构 * University of Oxford（牛津大学） ； DSO National Laboratories（DSO国家实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 通过系统基准测试，评估了9种分子表示和8种化学任务下16个LLM的性能，发现表示选择强烈影响结果，结构化文本表示（CML、MolJSON）在结构任务中占优，IUPAC在语义任务中占优，而SMILES很少最优。

Comments 25 pages, 11 figures, 20 tables

IdiomX A Multilingual Benchmark for Idiom Understanding, Retrieval, and Interpretation

IdiomX：习语理解、检索和解释的多语言基准

Ayman Ali Sharara

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出IdiomX，一个大规模多语言习语基准，通过可复现的多阶段流水线构建，涵盖190K+上下文示例和12K+习语，定义四项任务（检测、上下文-习语检索、阿拉伯语-英语习语检索、习语解释），实验表明上下文Transformer模型提升检测，混合检索重排序增强单语和跨语言检索，习语解释可建模为语义检索任务。

Comments 12 pages, 21 figures. Includes dataset and code. Resources available on HuggingFace, Kaggle, and GitHub

AgentCL: Toward Rigorous Evaluation of Continual Learning in Language Agents

AGENTCL：面向语言代理持续学习的严格评估

Yiheng Shu, Bernal Jiménez Gutiérrez, Saisri Padmaja Jonnalagedda, Yuguang Yao, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Intuit AI Research（Intuit AI研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出AGENTCL评估框架，通过可控任务流和迁移增益指标，严格评估语言代理的持续学习能力，并开发MemProbe探针方法诊断记忆设计的影响。

Comments 10 pages in the main text, 26 pages in total

ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation

ProEval：生成式AI评估的主动故障发现与高效性能估计

Yizheng Huang, Wenjun Zeng, Aditi Kumaresan, Zi Wang

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出ProEval框架，利用预训练高斯过程进行贝叶斯积分和超水平集采样，实现高效性能估计和主动故障发现，在推理、安全对齐和分类基准上以8-65倍更少样本达到1%误差内估计。

Comments Our open-sourced code and data can be found at https://github.com/google-deepmind/proeval

Journal ref International Conference on Machine Learning, 2026

Towards a Science of AI Agent Reliability

迈向AI代理可靠性的科学

Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, Arvind Narayanan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出十二个具体指标，从一致性、鲁棒性、可预测性和安全性四个维度分解AI代理的可靠性，并通过实验揭示能力提升仅带来可靠性小幅改进。

Comments Accepted at ICML 2026. Interactive dashboard available at: https://hal.cs.princeton.edu/reliability

AdapShot: Adaptive Many-Shot In-Context Learning with Semantic-Aware KV Cache Reuse

AdapShot: 自适应多示例上下文学习与语义感知的KV缓存重用

Jie Ou, Jinyu Guo, Shiyao Guo, Yuang Li, Ruiqi Wu, Zhaokun Wang, Wenyi Li, Wenhong Tian

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AdapShot方法，通过基于熵的探针机制动态优化示例数量，并结合语义感知的KV缓存重用策略，实现高效的多示例上下文学习，性能提升约10%，速度提升4.64倍。

Does Language Shift Break Medical Vision-Language Models? Indonesian Radiology Visual Question Answering Case Study

语言转换会破坏医学视觉语言模型吗？印度尼西亚放射学视觉问答案例研究

Pieter Christy Yan Yudhistira, Dzaki Rafif Malik, Novanto Yudistira

机构 * Intelligent System Laboratory, Faculty of Computer Science Brawijaya University（智能系统实验室，计算机科学学院布拉维亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过构建印尼语放射学VQA数据集IndoRad-VQA，评估医学视觉语言模型在非英语临床语言下的鲁棒性，发现英语与印尼语设置间存在8-25%的性能差距，表明需要更包容的多语言评估。

Comments accepted to MMFM-BIOMED Workshop @ CVPR 2026

DMT-CBT: Longitudinal Therapeutic State Modeling for CBT Counseling

DMT-CBT：面向CBT咨询的纵向治疗状态建模

Chang Liu, Shuyi Zhang, Changsheng Ma, Yongfeng Tao, Minqiang Yang, Bin Hu

机构 * School of Information Science and Engineering, Lanzhou University（信息科学与工程学院，兰州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出DMT-CBT框架，通过跨会话结构化治疗状态、多模态行为基础与工具增强干预，解决现有方法将CBT咨询简化为局部回复生成的问题，实现纵向治疗状态动态建模。

KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators

KForge：面向AI加速器的LLM驱动跨平台内核生成

Taras Sereda, Burak Bartan, Ankita Nayak, Tom St. John, Natalie Serrino, Zain Asgar

机构 * Gimlet Labs Inc（Gimlet实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出KForge框架，通过两个协作的LLM代理（生成代理和性能分析代理）迭代优化，自动生成跨平台高性能内核，在NVIDIA B200和Intel Arc B580上分别实现2.12%的吞吐量提升和5.13倍的几何平均加速。

Comments Accepted at ISCA 2026 Workshop MLArchSys

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former：在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。

From Moderation to Mediation: Can LLMs Serve as Mediators in Online Flame Wars?

从审核到调解：LLMs能否充当在线论战中的调解员？

Dawei Li, Abdullah Alnaibari, Arslan Bisharat, Manuel Sandoval, Deborah Hall, Yasin Silva, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究探索大型语言模型（LLMs）能否超越内容审核，作为调解员通过判断对话公平性和情感动态并生成共情缓和信息来化解在线冲突，实验表明API模型在推理和干预一致性上优于开源模型。

Comments Accepted by PAKDD 2026 special session on Data Science: Foundations and Applications

PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios

PieArena：在真实谈判场景中对语言智能体进行排名与画像

Chris Zhu, Sasha Cui, Will Sanok Dufallo, Runzhi Jin, Zhen Xu, Linjun Zhang, Daylian Cain

机构 * Yale University（耶鲁大学） ； UC Berkeley（加州大学伯克利分校） ； BloomBerg（摩根大通） ； Rutgers University（罗格斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出PieArena基准，通过多智能体交互评估LLM的谈判能力，并开发排名模型与行为画像，发现联合意图框架对中低端模型提升显著，前沿模型（如GPT-5）在谈判中达到或超过人类基线。

DyaPlex: Full-Duplex Speech-Motion Model for Dyadic Interaction

DyaPlex: 用于二元交互的全双工语音-运动模型

Koki Nagano, Hongyu Liu, Seonwook Park, Tianye Li, Amrita Mazumdar, Christian Jacobsen, Shengze Wang, Michael Stengel, Rajarshi Roy, Ka Chun Cheung, Simon See, Shalini De Mello

机构 * NVIDIA ； HKUST（香港科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出DyaPlex，一种流式全双工语音-运动模型，通过双塔Transformer架构和统一二元令牌交织机制，实现同步多模态交互，在单体和二元交互基准上达到最优性能。

Comments Project page: https://research.nvidia.com/labs/amri/projects/DyaPlex

Multiple faults diagnosis using causal graph

基于因果图的多故障诊断

Imtiez Fliss, Moncef Tagina

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出一种基于模型的多故障诊断工具，利用因果图技术进行检测与定位，并通过键合图建模描述变量间的因果关系，实验对比了因果图方法与经典AI和FDI方法的性能。

Journal ref In the proceedings of The 6th IEEE International Multi- Conference On Systems, Signals Devices- SSD'09, Djerba, Tunisia, 23-26 Mars 2009