大模型推理能力

SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models

SpatiaLQA: 一个评估视觉-语言模型空间逻辑推理能力的基准

Yuechen Xie, Xiaoyan Zhang, Yicheng Shan, Hao Zhu, Rui Tang, Rong Wei, Mingli Song, Yuanyu Wan, Jie Song

机构 * Zhejiang University（浙江大学） ； The University of Sydney（悉尼大学） ； ManyCore ； State Key Laboratory of Blockchain and Security, Zhejiang University（浙江大学区块链与安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.LG

AI总结 SpatiaLQA提出了一种评估视觉-语言模型空间逻辑推理能力的基准，通过递归场景图辅助推理方法提升模型在复杂场景中的推理能力。

Comments Accepted by CVPR 2026

Diagnosing Causal Reasoning in Vision-Language Models via Structured Relevance Graphs

通过结构化相关性图诊断视觉-语言模型中的因果推理

Dhita Putri Pratama, Soyeon Caren Han, Yihao Ding

机构 * University of Melbourne（墨尔本大学） ； The University of Western Australia（西澳大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出ViLCaR基准，通过结构化相关性图评估视觉-语言模型的因果推理能力，发现其局限性源于结构指导不足而非推理能力不足。

UDVideoQA: A Traffic Video Question Answering Dataset for Multi-Object Spatio-Temporal Reasoning in Urban Dynamics

UDVideoQA: 一个用于城市动态多对象时空推理的交通视频问答数据集

Joseph Raj Vishal, Nagasiri Poluri, Katha Naik, Rutuja Patil, Kashyap Hegde Kota, Krishna Vinod, Prithvi Jai Ramesh, Mohammad Farhadi, Yezhou Yang, Bharatesh Chakravarthi

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 UDVideoQA是一个用于城市动态多对象时空推理的交通视频问答数据集，通过统一标注流程生成28K问题-答案对，评估视觉定位和因果推理能力。

De-rendering, Reasoning, and Repairing Charts with Vision-Language Models

图表去渲染、推理与修复：基于视觉-语言模型

Valentin Bonas, Martin Sinnona, Viviana Siless, Emmanuel Iarussi

机构 * Universidad Torcuato Di Tella（托克托迪特拉大学） ； Consejo Nacional de Investigaciones Científicas y Técnicas（国家科学与技术研究理事会） ； Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires（布宜诺斯艾利斯大学科学与自然学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出了一种结合图表去渲染、自动分析和迭代改进的框架，利用视觉-语言模型提供基于原则的可视化设计反馈，提升可视化质量和素养。

Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

空间-DisE：评估视觉语言模型空间推理能力的统一基准

Xinmiao Huang, Qisong He, Zhenglin Huang, Boxuan Wang, Zhuoyun Li, Guangliang Cheng, Yi Dong, Xiaowei Huang

机构 * School of Computer Science & informatics, University of Liverpool（计算机科学与信息学系，利物浦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出Spatial-DISE基准，用于评估视觉语言模型的空间推理能力，通过四个象限分类和大规模数据集，揭示当前模型在多步骤多视角推理上的不足。

Comments ICLR 2026 Accepted Project Page: https://shinmohuang.github.io/spatialdise_page/

From Perception to Action: An Interactive Benchmark for Vision Reasoning

从感知到行动：一个交互式基准测试用于视觉推理

Yuhao Wu, Maojia Song, Yihuai Lan, Lei Wang, Zhiqiang Hu, Yao Xiao, Heng Zhou, Weihua Zheng, Dylan Raharja, Soujanya Poria, Roy Ka-Wei Lee

机构 * Singapore University of Technology（新加坡科技设计大学） ； Singapore Management University (SMU), Singapore（新加坡管理学院） ； Nanyang Technological University (NTU), Singapore（南洋理工大学） ； University of Science（科学大学） 纠错

专题命中 推理评测 ：reasoning(title)

AI总结 CHAIN基准测试通过交互式3D物理驱动环境，评估模型在动态环境中理解、规划和执行基于物理约束的结构化动作序列的能力。

Comments Work in processing. Website: https://social-ai-studio.github.io/CHAIN/

BrowseComp-$V^3$: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents

BrowseComp-$V^3$：一种视觉、垂直和可验证的多模态浏览代理基准测试

Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Shan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui

机构 * PKU（北京大学） ； HKUST(GZ)（香港科技大学） ； OUC（华侨大学） ； CASIA（中国科学院自动化研究所） ； HITSZ（哈尔滨工业大学） ； THU（清华大学） ； Huawei Cloud BU（华为云业务部） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 BrowseComp-$V^3$提出了一种多模态浏览代理基准测试，通过300个跨模态问题评估深度搜索能力，揭示多模态信息整合的瓶颈。

A Benchmark for Deep Information Synthesis

深度信息合成的基准测试

Debjit Paul, Daniel Murphy, Milan Gritta, Ronald Cardenas, Victor Prokhorov, Lena Sophia Bolliger, Aysim Toker, Roy Miles, Andreea-Maria Oncescu, Jasivan Alex Sivakumar, Philipp Borchert, Ismail Elezi, Meiru Zhang, Ka Yiu Lee, Guchun Zhang, Jun Wang, Gerasimos Lampouras

机构 * Huawei Noah’s Ark Lab, UK（华为诺亚实验室，英国） ； Imperial College London（伦敦帝国理工学院） ； UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心） ； University of Zurich（苏黎世大学） ； University of Sheffield（谢菲尔德大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DEEPSYNTH是一个评估智能体在复杂任务中信息合成与推理能力的新基准测试，通过多阶段数据收集流程和120个跨7个领域的任务，评估LLM在现实问题中的表现。

Comments Accepted at ICLR 2026

Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

通过幽默和谜语数据增强语言模型的横向思维以完成BRAINTEASER任务

Mina Ghashami, Soumya Smruti Mishra

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过引入幽默和谜语数据增强语言模型，提升其在BRAINTEASER任务中的横向推理能力，提高句子谜题和词语谜题的准确率。

Comments Accepted at SemEval 2024 (Colocated with NAACL 2024)

Journal ref Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)

Benchmarking Distilled Language Models: Performance and Efficiency in Resource-Constrained Settings

评估压缩语言模型：在资源受限环境中的性能与效率

Sachin Gopal Wani, Eric Page, Ajay Dholakia, David Ellison

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过对比蒸馏模型与原始模型，验证了蒸馏在资源受限环境下提升性能与效率的优越性。

Comments 16 pages, 5 figures, accepted at the the 2025 TPCTC Conference

Talking to Yourself: Defying Forgetting in Large Language Models

与自己对话：在大型语言模型中克服遗忘

Yutao Sun, Mingshuai Chen, Tiancheng Zhao, Phillip Miao, Zilun Zhang, Haozhan Shen, Ruizhe Zhu, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； Om AI Research（奥姆人工智能研究） ； Stanford University（斯坦福大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SA-SFT方法，通过让LLM生成自我对话来缓解微调过程中的灾难性遗忘，提升领域性能并优于现有基线方法。

Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents

打破代理骨干：评估AI代理中骨干LLM的安全性

Julia Bazinska, Max Mathys, Francesco Casucci, Mateo Rojas-Carulla, Xander Davies, Alexandra Souly, Niklas Pfister

机构 * Lakera AI ； ETH Zürich（苏黎世联邦理工学院） ； UK AI Security Institute（英国人工智能安全研究所） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出威胁快照框架，用于评估AI代理中LLM骨干的安全性，通过构建$b^3$基准测试揭示LLM安全性的关键影响因素。

Comments Julia Bazinska and Max Mathys contributed equally

Language Models use Lookbacks to Track Beliefs

语言模型使用回溯来跟踪信念

Nikhil Prakash, Natalie Shapira, Arnab Sen Sharma, Christoph Riedl, Yonatan Belinkov, Tamar Rott Shaham, David Bau, Atticus Geiger

机构 * Northeastern University（东北大学） ； Technion（技术学院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Goodfire ； Pr(Ai) 2 R Group（Pr(Ai) 2 R集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究揭示语言模型通过回溯机制跟踪角色信念的算法模式，通过构建CausalToM数据集，分析LM在因果中介和抽象中的推理能力，并探讨可见性对信念更新的影响。

Comments 38 pages, 50 figures. Code and data at https://belief.baulab.info/

Implicit Intelligence -- Evaluating Agents on What Users Don't Say

隐式智能 -- 评估代理在用户未言明之事上的能力

Ved Sirdeshmukh, Marc Wetter

机构 * Applied Machine Learning Research（应用机器学习研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 隐式智能框架评估AI代理在未明示约束下的推理能力，通过交互式世界模拟发现代理在复杂情境下的表现有限，揭示了改进空间。

DMCD: Semantic-Statistical Framework for Causal Discovery

DMCD：基于语义-统计的因果发现框架

Samarth KaPatel, Sofia Nikiforova, Giacinto Paolo Saggese, Paul Smith

机构 * Causify AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 DMCD通过结合语义引导的先验和统计验证，实现了在因果发现任务中的高性能表现。

ContextPilot: Fast Long-Context Inference via Context Reuse

ContextPilot: 通过上下文重用实现快速长上下文推断

Yinsicheng Jiang, Yeqi Huang, Liang Cheng, Cheng Deng, Xuan Sun, Luo Mai

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 ContextPilot通过引入上下文重用机制，显著提升长上下文推断效率，减少延迟并保持推理质量。

AgentDR: Dynamic Recommendation with Implicit Item-Item Relations via LLM-based Agents

AgentDR: 通过基于LLM的代理进行动态推荐：利用隐式物品-物品关系

Mingdai Yang, Nurendra Choudhary, Jiangshu Du, Edward W. Huang, Philip S. Yu, Karthik Subbian, Danai Koutra

机构 * Amazon（亚马逊） ； University of Michigan（密歇根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AgentDR通过基于LLM的代理利用隐式物品-物品关系，结合记忆机制和提示策略，提升动态推荐的全排名性能和相关性。

Comments 12 pages, accepted by WWW'26 as long paper

Hearing the Order: Investigating Position Bias in Large Audio-Language Models

听序：探究大型音频-语言模型中的位置偏差

Yu-Xiang Lin, Chen-An Li, Sheng-Lun Wei, Po-Chun Chen, Hsin-Hsi Chen, Hung-yi Lee

机构 * National Taiwan University（台湾大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文首次系统研究了大型音频-语言模型中位置偏差问题，通过实验发现答案选项顺序影响模型性能，提出基于排列的策略可缓解偏差。

Comments The first two authors contributed equally. Submitted to Interspeech 2026

Towards Trustworthy GUI Agents: A Survey

迈向可信的GUI代理：综述

Yucheng Shi, Wenhao Yu, Jingyuan Huang, Wenlin Yao, Wenhu Chen, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Seattle Lab（腾讯AI西雅图实验室） ； Microsoft Research（微软研究院） ； University of Waterloo（滑铁卢大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文综述了GUI代理的可信度挑战，提出信任分类法并分析了信任评估与安全可靠部署的开放问题。

Comments 14 pages, work in process

Turning Semantics into Topology: LLM-Driven Attribute Augmentation for Collaborative Filtering

将语义转化为拓扑：基于LLM的属性增强协同过滤

Junjie Meng, Ranxu zhang, Wei Wu, Rui Zhang, Chuan Qin, Qi Zhang, Qi Liu, Hui Xiong, Chao Wang

专题命中 推理评测 ：reasoning(abstract)

AI总结 基于LLM的属性增强协同过滤框架，通过拓扑连接性转换语义知识，提升协同过滤效果。

Understanding Human-AI Collaboration in Cybersecurity Competitions

理解网络安全竞赛中的人机协作

Tingxuan Tang, Nicolas Janis, Kalyn Asher Montague, Kevin Eykholt, Dhilung Kirat, Youngja Park, Jiyong Jang, Adwait Nadkarni, Yue Xiao

专题命中 推理评测 ：reasoning(abstract)

AI总结 研究探讨了网络安全竞赛中人类与AI协作的有效性，发现AI代理在自主引导提示和工具使用时能超越多数人类团队。