大模型推理能力

Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

更多智能体有帮助吗？LLM智能体工作流的受控与协议对齐评估

Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Tao Lin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Duke Kunshan University（杜克大学昆山分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出BenchAgent框架，在统一协议下比较单智能体、固定多智能体和演化多智能体工作流，发现大多数多智能体系统在准确率上未超越单智能体基线，但运行时生成的工作流在GAIA上表现优异。

Comments https://github.com/LINs-lab/MASArena/tree/BenchAgent

Safe Embodied AI for Long-horizon Tasks: A Cross-layer Analysis of Robotic Manipulation

面向长时域任务的安全具身AI：机器人操作跨层分析

Dabin Kim, Daemin Park, Sangyub Lee, Jinsik Kim, Yeongtak Oh, Jongho Shin, Sungroh Yoon

机构 * UNIST InnoCORE AI-Space Solar Initiative（UNIST创新核心人工智能空间太阳能计划） ； Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院） ； Automation and Systems Research Institute（自动化与系统研究所） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目） ； LG Electronics（LG电子） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文从具身AI视角，系统综述长时域机器人操作中的安全问题，按干预时机（规划时、策略时、执行时）组织文献，分析证据强度，并指出当前安全保证的不足与未来方向。

Comments 63 pages, 6 figures

Exploring LLMs for South Asian Music Understanding and Generation

探索大语言模型对南亚音乐的理解与生成

Faria Binte Kader, Mohtasim Hadi Rafi, Shah Wasif Sajjad, Santu Karmaker

机构 * University of Central Florida（佛罗里达中央大学） ； Auburn University（阿伯伯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文系统评估大语言模型在基于拉格和塔拉的南亚古典音乐理解与生成任务中的表现，发现前沿模型在理解任务上准确率达85-90%，但生成任务中风格忠实度仅40%。

Comments 19 pages, 7 figures

LEVANTE-bench: Multi-Scale Comparison of VLMs to Children Using Cognitive Tasks (or, "Is Your VLM Smarter Than a 5th Grader?")

LEVANTE-bench: 使用认知任务对VLM与儿童进行多尺度比较（或者，“你的VLM比五年级学生聪明吗？”）

Alvin Wei Ming Tan, David Cardinal, Tania Lorido-Botran, Laura Bravo-Sanchez, Sunny Yu, Michael C. Frank

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出LEVANTE-bench基准，基于儿童认知任务数据，从多个尺度系统评估视觉语言模型与5-12岁儿童在六项任务上的对齐程度，发现模型与人类认知仅部分对齐。

Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation

深度研究代理中的搜索时污染：衡量公开基准评估中的性能膨胀

Yongjie Wang, Xinyue Zhang, Kunhong Yao, Zhiwei Zeng, Kaisong Song, Jun Lin, Zhiqi Shen

机构 * Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里-NTU全球可持续性科技公司实验室（ANGEL）） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究深度研究代理在推理过程中通过网页搜索检索公开基准元数据、问题上下文甚至真实答案导致的搜索时污染（STC），定义三种污染类型并开发检测算法，实验表明STC可导致性能膨胀高达4%。

Comments Under Review

Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing

面向沉浸式视频角色扮演的奖励分解强化学习

Miao Wang, Yuling Shi, Yijiang Li, Yeheng Chen, Xiaodong Gu, Bin Li, Bo Gao, Jun Wang, Zengxin Han, Jingtong Wu, Yaduan Ruan

机构 * Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； School of Information Engineering, Beijing Institute of Graphic Communication（北京印刷学院信息工程学院） ； Ant International, Ant Group（蚂蚁集团国际部） ； Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出EBM-RL框架，通过奖励分解的强化学习优化视频角色扮演中的视觉感知、推理与生成过程，提升场景一致性与角色真实性。

MAviS: A Multimodal Conversational Assistant For Avian Species

MAviS：一种用于鸟类物种的多模态对话助手

Yevheniia Kryklyvets, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jinxing Zhou, Fahad Shabzan Khan, Rao Anwer, Salman Khan, Hisham Cholakkal

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出MAviS数据集和MAviS-Chat模型，通过整合图像、音频和文本信息，提升对鸟类物种的细粒度理解与多模态问答能力，并展示了在生态应用中领域适应的多模态大语言模型的重要性。

Comments EMNLP 2025

Beyond Code Pairs: Dialogue-Based Data Generation for LLM Code Translation

超越代码对：基于对话的数据生成用于LLM代码翻译

Le Chen, Nuo Xu, Winson Chen, Bin Lei, Pei-Hung Lin, Dunzhi Zhou, Rajeev Thakur, Caiwen Ding, Ali Jannesari, Chunhua Liao

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Minnesota（明尼苏达大学） ； Iowa State University（爱荷华州立大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种基于对话的数据生成方法，通过双LLM架构生成验证的翻译和多轮对话，以提升LLM在低资源编程领域中的代码翻译能力。

CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence

CTIConnect：一种用于异构网络威胁情报的检索增强大语言模型基准

Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

机构 * Virginia Tech Department of Computer Science（弗吉尼亚理工大学计算机科学系） ； University of California, Berkeley Department of Computer Science（加州大学伯克利分校计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CTIConnect基准，用于评估检索增强型大语言模型在网络威胁情报任务中的表现，通过整合五个异构数据源构建了1860个专家验证的问答对，揭示了不同任务类别中跨源语义差距的差异以及检索策略和性能瓶颈的变化，展示了领域特定策略在提升性能上的优势。

Comments Accepted to KDD 2026

IDRBench: Understanding the Capability of Large Language Models on Interdisciplinary Research

IDRBench: 理解大型语言模型在跨学科研究中的能力

Yuanhao Shen, Daniel Xavier de Sousa, Ricardo Marçal, Hongyu Guo, Xiaodan Zhu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型在跨学科研究中的能力，提出IDRBench框架，通过三个任务评估不同模型的跨学科知识整合能力，并为未来研究建立基准。

Caliper: Probing Lexical Anchors versus Causal Structure in LLMs

Caliper: 探究LLM中的词汇锚点与因果结构

Zhenyu Yu, Shuigeng Zhou

机构 * Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 通过词汇匿名化扰动，揭示大语言模型在因果推理基准上的表现主要依赖词汇模式匹配而非结构因果推理。

Revisiting Vul-RAG: Reproducibility and Replicability of RAG-based Vulnerability Detection with Open-Weight Models

重新审视Vul-RAG：基于RAG的漏洞检测的可复现性与可复制性——使用开放权重模型

Sabrina Kaniewski, Fabian Schmidt, Tobias Heer

机构 * Institute for Secure Networked Systems, Esslingen University（安全网络系统研究所，埃斯林根大学） ； Institute for Intelligent Systems, Esslingen University（智能系统研究所，埃斯林根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过本地部署和多种开放权重模型，复现并扩展了Vul-RAG框架，发现其性能存在约0.30成对准确率的上限，且模型能力提升无法显著改善性能。

Comments Accepted at AI&CCPS 2026 workshop, co-located with the 21st International Conference on Availability, Reliability and Security (ARES 2026). This is the authors' preprint version

SMADE-IE: Sparse Multi-Agent Framework with Evidence-Driven Debate for Zero-Shot Information Extraction

SMADE-IE: 基于证据驱动辩论的稀疏多智能体框架用于零样本信息抽取

Kenfeng Huang, Yi Cai, Xin Wu, Zikun Deng, Li Yuan

机构 * School of Software Engineering, South China University of Technology（华南理工大学软件学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SMADE-IE稀疏多智能体框架，通过自适应模式选择器和证据驱动辩论机制，在零样本信息抽取中减少冗余交互并提升性能。

Comments 21 pages, 9 figures

Synthetic Personalities: How Well Can LLMs Mimic Individual Respondents Using Socio-Economic Microdata?

合成人格：LLM 如何使用社会经济微观数据模仿个体受访者？

Leonard Kinzinger, Jochen Hartmann

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究利用德国社会经济面板数据构建个体级数字孪生，通过评估不同构建方法（模型、信息深度、嵌入方式、推理模式）对200万以上孪生响应的准确性，发现信息深度在75%熵分位数达到成本效益帕累托点，最佳单元准确率达78.8%。

The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents

饱和陷阱与干预时机的主观性：为什么基于情感的触发器和LLM评判者无法在自主智能体上把握干预时机

Manvendra Modgil

机构 * manvendramodgil.ai 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过18维情感动力学引擎HEART诊断自主智能体干预时机问题，发现状态饱和陷阱、LLM评判者的能力与上下文门槛，以及人类标注者之间极低的干预时机一致性，表明干预时机是一个低可靠性构念。

Comments 11 pages, 5 tables. Code and data:https://github.com/2025eb1100268-tech/intervention-timing-saturation-trap

SMAC-Talk: A Natural Language Extension of the StarCraft Multi-Agent Challenge for Large Language Models

SMAC-Talk: 面向大型语言模型的星际争霸多智能体挑战的自然语言扩展

Joel Sol, Homayoun Najjaran

机构 * Faculty of Engineering and Computer Science（工程与计算机科学学院） ； University of Victoria（维多利亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出SMAC-Talk环境，通过自然语言通信通道评估LLM智能体在合作多智能体场景中的协调与信任，并构建含欺骗性通信者的评估场景。

Comments 8 pages, 1 figure

CADET: A Modular Platform for Evaluating Distributed Cooperative Autonomy in Connected Autonomous Vehicles

CADET：用于评估网联自动驾驶车辆中分布式协作自主性的模块化平台

Pragya Sharma, Brian Wang, Mani Srivastava

机构 * UCLA ； Amazon Scholar（亚马逊学者） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.LG

AI总结 提出CADET模块化平台，通过解耦自动驾驶堆栈并集成网络与工作负载仿真，系统评估分布式协作自主系统在真实部署条件下的安全性与性能。

Journal ref ICRA 2026

The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench

感知-物理悖论：用TC-Bench探究科学对齐

Dingling Yao, Andrea Polesello, Adeel Pervez, Caroline Muller, Francesco Locatello

机构 * ETH Zurich（苏黎世联邦理工学院） ； DeepMind ； University of Cambridge（剑桥大学） ； University of Amsterdam（阿姆斯特丹大学） ； University of Toronto（多伦多大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出科学对齐概念，通过结构同构性构建层次化必要条件，并发布TC-Bench基准数据集，揭示视觉基础模型在极端条件下依赖视觉捷径而非科学推理。

Comments Accepted at ICML 2026

Aligning Deep Implicit Preferences by Learning to Reason Defensively

通过防御性推理对齐深度隐式偏好

Peiming Li, Zhiyuan Hu, Yang Tang, Shiyu Li, Xi Chen

机构 * Basic Algorithm Center, PCG, Tencent（腾讯基本算法中心） ； School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出基于批判驱动推理对齐（CDRA）的方法，通过DeepPref基准和个性化生成过程奖励模型（Pers-GenPRM），将偏好对齐转化为结构化推理过程，以推断用户深层隐式偏好并实现防御性推理。

Journal ref ICLR 2026 Conference

REFLEX: Self-Refining Explainable Fact-Checking via Verdict-Anchored Style Control

REFLEX: 通过裁决锚定风格控制实现自我精炼的可解释事实核查

Chuyi Kong, Wei Gao, Jing Ma, Hongzhan Lin, Yuxi Sun

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Singapore Management University（新加坡 Management 大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出REFLEX方法，利用自我分歧的真实性信号构建引导向量，以裁决锚定风格控制实现自我精炼的事实核查，仅需465个样本即达最优性能。

Comments 29 pages

Journal ref ACL 2026 Main Conference

Adaptive Minds: Empowering Agents with LoRA-as-Tools

自适应心智：将LoRA作为工具赋予智能体能力

Pavan C Shekar, Aswanth Krishnan

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出将LoRA适配器作为可调用工具的框架，通过路由和智能体推理聚合多个专业适配器的优势，在30个适配器库中达到98.3%路由准确率，并在九类任务上显著提升性能。

Comments 13 pages, 3 figures, 9 tables. ICML 2026 CompLearn Workshop camera-ready (non-archival). Code: https://github.com/qpiai/adaptive-minds

AdapShot: Adaptive Many-Shot In-Context Learning with Semantic-Aware KV Cache Reuse

AdapShot: 自适应多示例上下文学习与语义感知的KV缓存重用

Jie Ou, Jinyu Guo, Shiyao Guo, Yuang Li, Ruiqi Wu, Zhaokun Wang, Wenyi Li, Wenhong Tian

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AdapShot方法，通过基于熵的探针机制动态优化示例数量，并结合语义感知的KV缓存重用策略，实现高效的多示例上下文学习，性能提升约10%，速度提升4.64倍。

Does Language Shift Break Medical Vision-Language Models? Indonesian Radiology Visual Question Answering Case Study

语言转换会破坏医学视觉语言模型吗？印度尼西亚放射学视觉问答案例研究

Pieter Christy Yan Yudhistira, Dzaki Rafif Malik, Novanto Yudistira

机构 * Intelligent System Laboratory, Faculty of Computer Science Brawijaya University（智能系统实验室，计算机科学学院布拉维亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过构建印尼语放射学VQA数据集IndoRad-VQA，评估医学视觉语言模型在非英语临床语言下的鲁棒性，发现英语与印尼语设置间存在8-25%的性能差距，表明需要更包容的多语言评估。

Comments accepted to MMFM-BIOMED Workshop @ CVPR 2026

DMT-CBT: Longitudinal Therapeutic State Modeling for CBT Counseling

DMT-CBT：面向CBT咨询的纵向治疗状态建模

Chang Liu, Shuyi Zhang, Changsheng Ma, Yongfeng Tao, Minqiang Yang, Bin Hu

机构 * School of Information Science and Engineering, Lanzhou University（信息科学与工程学院，兰州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出DMT-CBT框架，通过跨会话结构化治疗状态、多模态行为基础与工具增强干预，解决现有方法将CBT咨询简化为局部回复生成的问题，实现纵向治疗状态动态建模。

KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators

KForge：面向AI加速器的LLM驱动跨平台内核生成

Taras Sereda, Burak Bartan, Ankita Nayak, Tom St. John, Natalie Serrino, Zain Asgar

机构 * Gimlet Labs Inc（Gimlet实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出KForge框架，通过两个协作的LLM代理（生成代理和性能分析代理）迭代优化，自动生成跨平台高性能内核，在NVIDIA B200和Intel Arc B580上分别实现2.12%的吞吐量提升和5.13倍的几何平均加速。

Comments Accepted at ISCA 2026 Workshop MLArchSys

WildRoadBench: A Wild Aerial Road-Damage Grounding Benchmark for Vision-Language Models and Autonomous Agents

WildRoadBench: 面向视觉语言模型与自主智能体的野外航拍道路损伤定位基准

Bingnan Liu, Chenhang Cui, Rui Huang, Jiani Luo, Zhirong Shen, Tinghao Wang, Xiande Huang, Lingbei Meng, Fei Shen, An Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； National University of Singapore（新加坡国立大学） ； De Artificial Intelligence Lab（德人工智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出WildRoadBench基准，通过VLM直接定位和LLM驱动智能体自主研究两种协议，评估模型在航拍道路损伤定位上的性能，发现现有方法在野外场景下仍不可靠。

Comments Preprint. Under review. 4 figures, 6 tables

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former：在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。

From Moderation to Mediation: Can LLMs Serve as Mediators in Online Flame Wars?

从审核到调解：LLMs能否充当在线论战中的调解员？

Dawei Li, Abdullah Alnaibari, Arslan Bisharat, Manuel Sandoval, Deborah Hall, Yasin Silva, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究探索大型语言模型（LLMs）能否超越内容审核，作为调解员通过判断对话公平性和情感动态并生成共情缓和信息来化解在线冲突，实验表明API模型在推理和干预一致性上优于开源模型。

Comments Accepted by PAKDD 2026 special session on Data Science: Foundations and Applications

PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios

PieArena：在真实谈判场景中对语言智能体进行排名与画像

Chris Zhu, Sasha Cui, Will Sanok Dufallo, Runzhi Jin, Zhen Xu, Linjun Zhang, Daylian Cain

机构 * Yale University（耶鲁大学） ； UC Berkeley（加州大学伯克利分校） ； BloomBerg（摩根大通） ； Rutgers University（罗格斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出PieArena基准，通过多智能体交互评估LLM的谈判能力，并开发排名模型与行为画像，发现联合意图框架对中低端模型提升显著，前沿模型（如GPT-5）在谈判中达到或超过人类基线。

Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling

通过感知扰动和奖励建模减轻多模态大语言模型作为评判者中的感知判断偏差

Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim

机构 * University of California, Berkeley（加州大学伯克利分校） ； KAIST（韩国科学技术院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过构建感知扰动数据集和结合GRPO奖励与批排序目标的统一训练框架，解决了多模态大语言模型作为评判者时因视觉证据与文本线索冲突而产生的感知判断偏差问题，显著提升了感知忠实度和与人类评价的一致性。

Comments ICML 2026