大模型推理能力

Collider-Bench: Benchmarking AI Agents with Particle Physics Analysis Reproduction

Collider-Bench：通过粒子物理分析复现评估AI代理

Darius A. Faroughy, Sofia Palacios Schweitzer, Ian Pang, Siddharth Mishra-Sharma, David Shih

机构 * New High Energy Theory Center（新高能理论中心） ； Department of Physics & Astronomy（物理与天文学系） ； Rutgers University（罗格斯大学） ； Faculty of Computing & Data Sciences（计算与数据科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Collider-Bench，评估AI代理能否仅通过公开论文和开源软件复现LHC实验分析，强调物理推理和领域知识的重要性，结果显示无代理能超越物理学家在环解决方案。

Comments 23 pages | 9 figures | 4 tables | Code: https://github.com/dfaroughy/Collider-Bench | Task Corpus: https://huggingface.co/datasets/Dariusfar/ColliderBench

GraphBit: A Graph-based Agentic Framework for Non-Linear Agent Orchestration

GraphBit：一种基于图的代理框架用于非线性代理编排

Yeahia Sarker, Md Rahmat Ullah, Musa Molla, Shafiq Joty

机构 * MTSU ； InfinitiBit GmbH ； Salesforce Research 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 GraphBit通过显式定义DAG流程提高代理编排的可重复性和可审计性，在多个基准任务中表现优于现有框架，实现高准确率、低延迟和高吞吐量。

Comments 12 pages, 5 figures, 4 tables. Submitted to arXiv, under review

MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory

MemEye：一种以视觉为中心的多模态代理记忆评估框架

Minghao Guo, Qingyue Jiao, Zeru Shi, Yihao Quan, Boxuan Zhang, Danrui Li, Liwei Che, Wujiang Xu, Shilong Liu, Zirui Liu, Mubbasir Kapadia, Vladimir Pavlovic, Jiang Liu, Mengdi Wang, Yiyu Shi, Dimitris N. Metaxas, Ruixiang Tang

机构 * Rutgers（罗格斯大学） ； Notre Dame（圣母大学） ； Princeton（普林斯顿大学） ； UMN（明尼苏达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 MemEye框架从视觉证据的粒度和证据使用的复杂性两个维度评估多模态代理记忆，通过8个生活场景任务构建新基准，验证记忆方法在细粒度视觉细节保留和时间状态推理上的不足。

Comments 46 pages, 15 figures

SciPaths: Forecasting Pathways to Scientific Discovery

SciPaths: 预测科学发现的路径

Eric Chamoun, Yizhou Chi, Yulong Chen, Rui Cao, Zifeng Ding, Michalis Korakakis, Andreas Vlachos

机构 * University of Cambridge（剑桥大学） ； The Alan Turing Institute（艾伦·图灵研究所） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出SciPaths基准，通过专家标注的262条金路径和2444条银路径，评估科学发现路径预测任务，发现核心方法依赖最难恢复，需改进分解质量以提升端到端路径恢复能力。

Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining

牛市交易：一种多智能体基准，用于评估大语言模型在战略推理、对抗互动和资源约束下的表现

Robert Müller, Clemens Müller

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Cattle Trade基准，用于评估大语言模型在多智能体经济游戏中整合战略推理、对抗互动和资源分配的能力，揭示了智能体在资源管理与对抗策略中的表现差异。

Comments malgai workshop at iclr 2026

Good to Go: The LOOP Skill Engine That Hits 99% Success and Slashes Token Usage by 99% via One-Shot Recording and Deterministic Replay

Good to Go：LOOP技能引擎：通过一次录制和确定性重放实现99%的成功率并减少99%的token使用

Xiaohua Wang, Kai Yu, XuXiao Liang, Liang Wang, Chao Han

机构 * Artificial Intelligence Research Center, Bengbu Medical University（蚌埠医科大学人工智能研究中心） ； CHARMMIRAEL Biotech Co., Ltd（CHARMMIRAEL生物科技有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LOOP技能引擎通过一次录制和确定性重放，实现99%的成功率和99%的token减少，解决重复周期性任务中大语言模型的不确定性与高成本问题。

Comments 8 pages, 5 tables

CausalReasoningBenchmark: A Real-World Benchmark for Disentangled Evaluation of Causal Identification and Estimation

因果推理基准：用于解耦评估因果识别和估计的现实世界基准

Ayush Sawarni, Jiyuan Tan, Vasilis Syrgkanis

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CausalReasoningBenchmark，通过173个查询和132个现实数据集评估因果识别与估计，揭示模型在研究设计细节上的瓶颈。

Descriptor: Distance-Annotated Traffic Perception Question Answering (DTPQA)

描述：距离标注的交通感知问答（DTPQA）

Nikos Theodoridis, Tim Brophy, Reenu Mohandas, Ganesh Sistu, Fiachra Collins, Anthony Scanlan, Ciaran Eising

机构 * Department of Electronic and Computer Engineering, University of Limerick（利默尼克大学电子与计算机工程系） ； Data Driven Computer Engineering Research Centre, University of Limerick（利默尼克大学数据驱动计算机工程研究中心） ； Lero, The Irish Software Research Centre, University of Limerick（利默尼克大学Lero爱尔兰软件研究中心） ； Valeo Vision Systems（瓦莱奥视觉系统） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出DTPQA基准，用于评估视觉语言模型在交通场景中的感知能力，包含合成和真实数据集，通过距离标注分析模型在远距离下的表现。

Journal ref IEEE Data Descriptions, 2026

GeoLaux: A Benchmark for Evaluating MLLMs' Geometry Performance on Long-Step Problems Requiring Auxiliary Lines

GeoLaux：一个评估多模态大语言模型在需要辅助线的长步骤问题上几何性能的基准

Yumeng Fu, Jiayin Zhu, Lingling Zhang, Wenjun Wu, Bo Zhao, Shaoxuan Ma, Yushun Zhang, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； Ministry of Education Key Laboratory of Intelligent Networks and Network Security, China（教育部智能网络与网络安全重点实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China（陕西省大数据知识工程重点实验室） ； School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 GeoLaux通过2186道计算与证明题，评估23个领先MLLMs在长步骤推理和辅助线构造上的表现，揭示模型在长步骤问题上性能显著下降，强调提升辅助线理解的重要性，并发现有限答案提示能提高过程正确性。

Comments 26 pages, 24 figures

Revisiting Model Inversion Evaluation: From Misleading Standards to Reliable Privacy Assessment

重新审视模型反向评估：从误导性标准到可靠的隐私评估

Sy-Tuyen Ho, Koh Jun Hao, Ngoc-Bao Nguyen, Alexander Binder, Ngai-Man Cheung

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； University of Maryland College Park（马里兰大学学院公园分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文重新审视模型反向攻击的评估框架，揭示其存在虚假正例问题，并提出基于大规模语言模型的新评估方法以提升隐私评估的可靠性。

Comments Accepted to CVPR Findings 2026

LLMs Know When They Know, but Do Not Act on It: A Metacognitive Harness for Test-time Scaling

Qi Cao, Yufan Wang, Peijia Qin, Shuhao Zhang, Pengtao Xie

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 大型语言模型（LLMs）在解决问题前后能够产生自我监控信号，如对自身能否成功解决问题的预判以及对答案正确性的后验判断，但这些信号通常未被用于控制推理过程。本文提出一种元认知控制框架，基于认知心理学中的纳尔逊-纳雷恩斯理论，将监控与推理分离，使模型在推理过程中根据预判和后验判断动态决定是否信任当前结果、是否重试或汇总多轮结果。实验表明，该框架无需参数更新或特定任务微调，即可显著提升基础模型在文本、代码和多模态任务中的表现。

Unsteady Metrics and Benchmarking Cultures of AI Model Builders

不稳定的度量标准与AI模型构建者的基准文化

Stefan Baack, Christo Buschek, Maty Bohacek

机构 * Independent Researcher（独立研究者） ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究探讨了AI模型构建者如何通过选择和突出特定基准来定义技术现状，揭示了基准选择的碎片化和跨模型比较的局限性，提出统一的分类框架以解决术语冲突。

PolitNuggets: Benchmarking Agentic Discovery of Long-Tail Political Facts

PolitNuggets: 评估代理发现长尾政治事实

Yifei Zhu

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 PolitNuggets通过构建400位全球精英的政治传记，涵盖10000多个政治事实，评估代理信息合成能力，发现当前系统在细节处理和效率上存在显著差异。

Comments 24 pages, 7 figues, accpeted in The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

跨容量层级的程序技能SFT：一种W形的预SFT轨迹和 regime-不对称机制在0.8B-4B Qwen3.5模型上

Igor Strozzi

机构 * Applied Mathematics Department（应用数学系） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.LG

AI总结 本文研究了不同规模Qwen3.5模型在程序技能SFT上的贡献，发现预SFT轨迹呈W形，且SFT效果在不同模型容量上呈现不对称性，通过实验验证了这一机制。

Multi-Agentic Approach for History Matching of Oil Reservoirs

多智能体方法用于油藏历史匹配

Linar Samigullin, Sergei Shumilin, Evgeny Burnaev

专题命中 推理评测 ：planning(abstract)

AI总结 本文提出PetroGraph多智能体框架，通过分解工作流实现智能油藏历史匹配，降低复杂模拟工作流的操作门槛，提升历史匹配精度。

MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models

MemLens：大型视觉-语言模型多模态长期记忆的基准测试

Xiyu Ren, Zhaowei Wang, Yiming Du, Zhongwei Xie, Chi Liu, Xinlin Yang, Haoyue Feng, Wenjun Pan, Tianshi Zheng, Baixuan Xu, Zhengnan Li, Yangqiu Song, Ginny Wong, Simon See

机构 * CSE Deparment, HKUST（香港科技大学计算机科学与工程系） ； CUHK（香港大学） ； OmniMemory (Shenzhen) Intelligent Technology Co., Ltd.（深圳奥米克记忆科技有限公司） ； NVIDIA AI Technology Center (NVAITC), NVIDIA, Santa Clara, USA（英伟达AI技术中心（NVAITC），英伟达，美国圣克拉拉） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 MemLens基准测试评估大型视觉-语言模型在多模态多会话对话中的长期记忆能力，通过789个问题测试五种记忆能力，揭示长上下文模型和记忆增强代理的优缺点，推动混合架构发展。

Comments Work in progress

Think When Needed: Adaptive Reasoning-Driven Multimodal Embeddings with a Dual-LoRA Architecture

需要时思考：基于双LoRA架构的自适应推理驱动多模态嵌入

Longxiang Zhang, Weilong Dai, Guanghao Zhang, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出TWN框架，通过双LoRA架构和自适应推理机制，提升多模态嵌入效率与质量，在78个任务中达到SOTA水平，参数更少，推理成本更低。

Comments 30 pages, preprint

Case-Based Calibration of Adaptive Reasoning and Execution for LLM Tool Use

基于案例的自适应推理与执行校准：大型语言模型工具使用

Renning Pang, Tian Lan, Leyuan Liu, Piao Tong, Sheng Cao, Xiaosong Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CAST框架，通过历史执行轨迹作为结构化案例，提取复杂性和失败特征以优化推理策略，提升工具使用准确性并减少冗余推理。

Teaching Large Language Models When Not to Know: Learning Temporal Critique for Ex-Ante Reasoning

教大语言模型何时不知：学习事前推理的临时批评

Chenlu Ding, Jiancan Wu, Yanchen Luo, Zheyuan Liu, Yancheng Yuan, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 其他推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文研究大语言模型在时间截止下的推理失败，提出TCFT框架通过训练模型识别时间泄漏并判断响应的可接受性，实验表明其在减少时间泄漏方面优于提示和监督微调方法。

EARL: Towards a Unified Analysis-Guided Reinforcement Learning Framework for Egocentric Interaction Reasoning and Pixel Grounding

EARL：一种统一的分析引导强化学习框架，用于第一人称交互推理与像素定位

Yuejiao Su, Xinshen Zhang, Zhen Ye, Lei Yao, Lap-Pui Chau, Yi Wang

机构 * Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University, Hong Kong SAR（香港理工大学电子与电气工程系） ； Division of Emerging Interdisciplinary Areas (EMIA), The Hong Kong University of Science and Technology, Hong Kong SAR（香港理工大学新兴跨学科领域研究中心） 纠错

专题命中 其他推理 ：reasoning(title,abstract)

AI总结 本文提出EARL框架，通过分析引导特征合成器提升第一人称交互推理与像素定位的准确性，实验显示在Ego-IRGBench上像素定位达到65.48% cIoU，优于现有方法。

Comments Accepted at ICML 2026. Project page: https://github.com/yuggiehk/EARL

ToolMol: Evolutionary Agentic Framework for Multi-objective Drug Discovery

ToolMol：多目标药物发现的进化代理框架

Andrew Y. Zhou, Sharvaree Vadgama, Sumanth Varambally, Peter Eckmann, Michael K. Gilson, Rose Yu

机构 * Department of Computer Science（计算机科学系） ； Skaggs School of Pharmacy（斯卡格斯药学院） ； Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 ToolMol结合多目标遗传算法与代理LLM操作符，通过迭代更新配体群体，实现多目标属性优化，发现具有更强预测结合亲和力的药物候选物。

Comments 9 pages, 5 figures

Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy

消除行动瓶颈：由令牌级能量指导的代理强化学习

Langzhou He, Junyou Zhu, Yue Zhou, Zhengyao Gu, Junhua Liu, Wei-Chieh Huang, Henry Peng Zou, David Wipf, Philip S. Yu, Qitian Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所） ； Technical University of Berlin（柏林技术大学） ； University of Southern California（南加州大学） ； University of Hong Kong（香港大学） ； Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ActFocus方法，通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题，显著提升性能。

Comments Preprint

LLMs Should Express Uncertainty Explicitly

大型语言模型应显式表达不确定性

Junyu Guo, Shangding Gu, Ming Jin, Costas Spanos, Javad Lavaei

机构 * University of California, Berkeley（加州大学伯克利分校） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究通过训练使模型在回答时显式表达不确定性，以减少过度自信的错误，提升回答质量，并通过检索增强生成技术改进最终响应。

Improving Multi-turn Dialogue Consistency with Self-Recall Thinking

通过自回忆思考提升多轮对话一致性

Renning Pang, Tian Lan, Leyuan Liu, Xiaoming Huang, Piao Tong, Xiaosong Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出自回忆思考框架，解决多轮对话中长距离上下文依赖和稀疏信息问题，通过自动生成回忆链和优化推理过程，提升F1分数并降低延迟。

Learning, Fast and Slow: Towards LLMs That Adapt Continually

学习，快速与缓慢：迈向能够持续适应的LLM

Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

机构 * UC Berkeley（加州大学伯克利分校） ； Mila（蒙特利尔大学人工智能研究所） ； UT Austin（得克萨斯大学奥斯汀分校） ； Eragon Periodic Labs ； Mirendil Video 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种快速-缓慢学习框架，通过将模型参数作为缓慢权重和优化上下文作为快速权重，提升LLM在连续学习中的样本效率和性能，减少灾难性遗忘。

Comments 29 pages, 14 figures, including appendix; Blog post: https://gepa-ai.github.io/gepa/blog/2026/05/11/learning-fast-and-slow/

Why Retrieval-Augmented Generation Fails: A Graph Perspective

为何检索增强生成失败：一种图视角

Kai Guo, Xinnan Dai, Zhibo Zhang, Nuohan Lin, Shenglai Zeng, Jie Ren, Haoyu Han, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文从图视角分析检索增强生成失败原因，发现正确回答具有更深层推理路径和更分布的证据流，而失败回答则表现出碎片化和集中化的证据流。

EVA: Editing for Versatile Alignment against Jailbreaks

EVA：针对对抗性攻击的多功能对齐编辑

Yi Wang, Hongye Qiu, Yue Xu, Sibei Yang, Zhan Qin, Minlie Huang, Wenjie Wang

机构 * ShanghaiTech University（上海科技大学） ； Sun Yat-sen University（中山大学） ； State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Tsinghua University（清华大学） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出EVA框架，通过直接模型编辑提升安全对齐，有效中和有害行为，实验显示其在LLMs和VLMs中对抗攻击效果优于现有方法。

Comments IEEE TPAMI 2026

Contestable Multi-Agent Debate with Arena-based Argumentative Computation for Multimedia Verification

可争议的多智能体辩论与基于竞技场的论证计算用于多媒体验证

Truong Thanh Hung Nguyen, Vo Thanh Khang Nguyen, Hoang-Loc Cao, Phuc Ho, Van Pham, Hung Cao

机构 * University of New Brunswick（新 Brunswick大学） ； University of Science, VNU-HCM（越南国家大学科学学院（VNU-HCM）） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出一种可争议的多智能体框架，结合多模态大语言模型、外部验证工具和基于竞技场的定量双极论证，以解决多媒体验证的透明性和可争议性问题。

Comments ACM ICMR 2026 Grand Challenge on Multimedia Verification

LEMON: Learning Executable Multi-Agent Orchestration via Counterfactual Reinforcement Learning

LEMON：通过反事实强化学习学习可执行多智能体编排

Xudong Chen, Yixin Liu, Hua Wei, Kaize Ding

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 LEMON通过反事实强化学习生成可执行的多智能体编排规范，整合任务特定角色、定制职责、容量级别和依赖结构，提升多智能体系统解决方案质量和执行效率。

Comments Submitted to Neurips 2026

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance

OmniDrop：通过查询引导的分层令牌剪枝实现多模态大语言模型

Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

机构 * Samsung Research（三星研究院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出OmniDrop，通过查询引导的分层令牌剪枝方法，提升多模态大语言模型的效率与性能，实验表明其在多个音频视频基准测试中表现优异，减少预填充延迟和内存使用。