大模型推理能力

WADE: A Reasoning-Annotated Benchmark for Multi-Instance Floating-Waste Grounding with Compact Vision-Language Models

WADE：面向紧凑视觉-语言模型的多实例漂浮垃圾定位推理标注基准

Md. Asaduzzaman Shuvo, Ahsan Farabi, Md. Abdul Ahad Minhaz, Mahedi Hasan, Israt Khandaker, Ibrahim Khalil Shanto, Muhammad Nomani Kabir

机构 * United International University（联合国际大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 针对内陆漂浮垃圾监测需求，研究推出WADE基准并评估6种VLMs，微调Qwen3-VL-2B可提升性能但仍有大量实例未被检测，为紧凑VLMs的漂浮垃圾定位提供挑战基准。

UR$^{2}$-MLLM: Uncertainty-aware Revisit Reasoning in Multimodal Large Language Models for Radiology Report Generation

UR²-MLLM：面向放射科报告生成的多模态大语言模型中基于不确定性感知的重访推理

Yucheng Chen, Yang Yu, Jiazhou Zhou, Yufei Shi, Yongying Lan, Yichi Zhang, Liyi Li, Si Yong Yeo

机构 * MedVisAI Lab（MedVisAI实验室） ； Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李光前医学院） ； Centre of AI in Medicine, Singapore（新加坡医学人工智能中心） ； AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）AI方向） ； Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究针对放射科报告生成任务，提出UR²-MLLM框架，通过动态重访不确定区域的机制实现最优性能，提升报告的可靠性与临床适配性。

Comments EMNLP 2026 Findings

Structural Inference in Undocumented Mobile Databases: A Reproducible Benchmark for Evaluating Agentic Reasoning in Digital Forensics

无文档移动数据库中的结构推断：用于评估数字取证中智能体推理能力的可复现基准

Jeel Piyushkumar Khatiwala, Divyangkumar Patel, Weifeng Xu

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本研究构建了可复现基准，评估智能体对无文档移动数据库的结构推断能力，发现其在规则模式下可靠，模式模糊时性能骤降，需额外验证以确保推断关系可作为可靠取证证据。

Comments 10 pages, 2 figures. Published in Proc. 50th IEEE Annual Computers, Software, and Applications Conference (COMPSAC), Madrid, Spain, July 2026

Journal ref Proc. 50th IEEE Annual Computers, Software, and Applications Conference (COMPSAC), Madrid, Spain, 2026

Cultural Moment Benchmark: Evaluating Video Cultural Reasoning and Grounding in Southeast Asia

文化时刻基准：评估东南亚视频文化推理与定位

Burak Satar, Zhixin Ma, Cheng Yu-Tong, Huy Hoang Tran, Phuong Anh Nguyen, Chong-Wah Ngo

机构 * Singapore Management University（新加坡管理大学） ； VNU-HCM（胡志明市国家大学） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL、cs.AI

AI总结 该研究推出东南亚文化时刻基准CMB，通过三阶段评估视觉-语言模型的文化理解能力，发现模型跨阶段能力未完全级联，音频在非拉丁文字国家多为干扰，专家对邻国概念的识别也不及随机水平。

Comments Accepted to EMNLP 2026 Main Conference, https://culturalmoment-benchmark.github.io/

Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal reference

基于精确贝叶斯最优标准测量语言模型的上下文内算法推理能力

Luan Ozelim, Hector Zenil

机构 * Oxford Immune Algorithmics（牛津免疫算法学公司） ； Oxford University Innovation（牛津大学创新公司） ； London Institute for Healthcare Engineering（伦敦医疗工程研究所） ； King’s College London（伦敦国王学院） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 本研究提出F-ICL基准，以精确贝叶斯最优标准测量语言模型的上下文内算法推理能力，发现多数模型分布与最优标准存在差距，该差距与准确率无关且不受模型规模缩小，基准已开放。

Sample-Efficient Post-Training for LEGO Spatial-Physics Reasoning

面向LEGO空间物理推理的样本高效后训练

Yuhuan Yuan, Zhouliang Yu, Minghao Liu, Weiyang Liu, Ge Lin Kan

机构 * HKUST(GZ)（香港科技大学（广州）） ； CUHK（香港中文大学） ； ZODA 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 针对LLM生成LEGO组装时出现的物理有效但几何语义错位问题，提出基于模型的数据选择方法和样本高效强化学习PVPO，结合体素空间几何奖励，提升结构、语义对齐和物理有效性。

Comments Technical Report V2, 20 pages, 7 figures, 9 tables

How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions

你能做到多小？面向金融交易中商户信息抽取的 270M-8B 模型 LoRA 微调

Donghao Huang, Tomas Drietomsky, Benjamin Barrett, Zhaoxia Wang

机构 * Singapore Management University（新加坡管理大学） ； Mastercard（万事达卡） ； A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 针对金融交易中从嘈杂银行字符串提取结构化商户信息的生产需求，系统评估 24 种模型变体，发现 Qwen 3.5 4B 在参数量减半下 F1 仅低 0.35 点，0.8B 模型匹配 2.5-4 倍大模型性能，且思维链微调提升有限。

Comments 10 pages, 5 figures, 6 tables. Accepted for publication at the IEEE International Conference on Data Mining (ICDM) 2026

NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration

NetConfArena：面向闭环网络配置的LLM智能体可执行基准

Chang Liu, Xiaohui Xie, Xinyi Chen, Yong Cui

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出NetConfArena基准，在仿真多设备网络中评估LLM智能体的闭环网络配置能力，发现其失败不限于命令错误，还存在规范遵守等缺陷，为相关研究指明改进方向。

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律，通过定量金融领域的实验，比较了基于logit和LoRA的蒸馏方法，并引入混合思维链监督损失，揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

SlideGen: Collaborative Multimodal Agents for Scientific Slide Generation

SlideGen：用于科学幻灯片生成的协作多模态智能体

Xin Liang, Zhilin Zhang, Xiang Zhang, Haoran Su, Yiwei Xu, Siqi Sun, Chenyu You

机构 * Stony Brook University（石溪大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 SlideGen通过协作多模态智能体实现科学论文到高质量幻灯片的生成，提升视觉质量和内容忠实度。

What LLMs explain is not what they believe: Evaluating explanation sufficiency under models' own input beliefs

LLM 解释的内容并非其信念：基于模型自身输入信念评估解释充分性

Nhi Nguyen, Shauli Ravfogel, Rajesh Ranganath

机构 * New York University（纽约大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自洽充分性（SCSuff）指标，利用 LLM 自身生成替代输入来评估自由文本解释的充分性，发现 LLM 解释通常不充分且与模型大小、准确率等弱相关。

Comments 26 pages, 9 figures, 13 tables, Forty-Third International Conference on Machine Learning (ICML 2026)

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

SocraticPO: Policy Optimization via Interactive Guidance

SocraticPO: 通过交互式指导进行策略优化

Zirui Liu, Tingyue Pan, Jie Ouyang, Qi Liu, Xianquan Wang, Jiayu Liu, Qingchuan Li, Jing Sha, Zhenya Huang, Shijin Wang, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd（iFLYTEK中央中国AI研究院，iFLYTEK公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SocraticPO框架，在强化学习中使用自然语言指导辅助推理，并通过奖励衰减防止模型依赖教师帮助，提升科学推理任务性能。

DialToM: A Theory of Mind Benchmark for Forecasting State-Driven Dialogue Trajectories

DialToM：用于预测状态驱动对话轨迹的心智理论基准

Neemesh Yadav, Palakorn Achananuparp, Jing Jiang, Ee-Peng Lim

机构 * Singapore Management University（新加坡管理大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DialToM基准，通过多选评估框架从自然对话中构建，揭示LLMs在推断心理状态（字面ToM）与利用其进行社会预测（功能ToM）之间的系统性推理不对称性，并证明领域专家与AI之间存在显著能力差距。

Comments Accepted to EMNLP 2026

AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

AI University：一款面向工程领域的大语言模型驱动学习助手——以有限元法案例研究为例

Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Manas Vardhan, Dangli Cao, Willie Neiswanger, Krishna Garikipati

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出AI-U框架，结合微调LLM、RAG与推理合成模型，以FEM课程为案例开发学习助手，经多维度评估其对齐度优于基础模型，可推广至STEM领域。

Comments 14 pages, 3 figures

A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges

Zongxia Li, Xiyang Wu, Hongyang Du, Fuxiao Liu, Huy Nghiem, Guangyao Shi

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 26 pages, 4 figures

Journal ref Navigating the Future: Ensuring Trustworthiness in Multi-Modal Open-World Intelligence @ CVPR, 2025

GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI

GuardianBench：面向具身智能中潜在上下文风险的同场景指令对比基准

Zhesheng Zhang, Jiahao Lu, Wei Liu, Cong Pan, Jianhua Yang, Yixiang Chen, Hongyuan Yu, Mengqi Zhang, Kailin Lyu, Zhumin Chen, Keji He

机构 * Shandong University（山东大学） ； National University of Singapore（新加坡国立大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiaomi Corporation（小米公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出基于国际安全标准的同场景指令对比基准GuardianBench，发现VLMs对指令不敏感，用轻量级目标VLOS可提升其安全推理性能。

Comments 21 pages, 4 figures

Sycophants in the Courtroom: Are LLMs Fragile to Juridical Authority and Evolving Legal Standards?

法庭中的谄媚者：大型语言模型（LLMs）是否对司法权威与演变的法律标准脆弱？

Lorenzo Molfetta, Alessio Cocchieri, Luca Ragazzi, Ilaria Bartolini, Marco Patella, Gianluca Moro

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过比较诊断框架对比LLMs在法律与医学领域的表现，发现法律LLMs对司法权威扰动更脆弱，过度信任权威虚假信息，模型规模会放大该问题。

Comments Please cite the definitive, peer-reviewed version of this article published in the Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), edited by Maria Liakata et al., Association for Computational Linguistics, pp. 10865-10886, 2026. DOI: https://doi.org/10.18653/v1/2026.acl-long.497

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), San Diego, California, United States, Association for Computational Linguistics, 2026, pp. 10865-10886

Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example Pilot

将医疗大语言模型（LLM）基于因果知识图谱：框架、指标与心血管试点研究

Ummara Mumtaz, Aimen Noor, Awais Ahmed

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出以因果知识图谱为核心的医疗LLM评估框架，在心血管试点中验证其有效性，发现集成条件C4在因果推理相关指标上表现最优，未基于图的C1原始干预准确性最高但缺乏因果与证据基础。

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. 18 pages. Added links to the GitHub repository and ModelScope Studio below the title; technical content and results remain unchanged. Code: https://github.com/AI9Stars/RSMeM. Demo: https://modelscope.cn/studios/wbx929/RSMeM

Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain

电信-GAIA：电信领域智能体的双语基准测试

Dmitrii Khizbullin, Zaid Alyafeai, Abdelrahman Eldesokey, Nourah AlSultan, Raghad Alshalan, Bernard Ghanem, David R. Pugh

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； stc（沙特电信公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍电信-GAIA双语多模态基准测试，含100个人工验证问答任务，需多跳推理，跨越多种异构源。以沙盒化Docker环境提供，通过规范化精确字符串匹配评分。评估发现其具有挑战性，为企业智能体提供测试平台和构建基准测试的模板。

One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders

一个被污染的页面就够了：评估生成式推荐系统中的网页内容污染

Minghao Luo, Liang Chen

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出FORGE基准，评估搜索增强LLM在检索结果被污染时推荐虚假产品的脆弱性，发现单个污染页面即可导致高达27%的推荐错误率，且推理能力无法缓解此问题。

Comments EMNLP 2026 Findings

Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective

从对比视角重新审视基于可验证奖励的强化学习

Feng Zhang, Xinhong Ma, Ziqiang Dong, Xi Leng, Jianfei Zhao, Xin Sun, Yang Yang, Guanjun Jiang

机构 * Beijing Institute of Technology（北京理工大学） ； Qwen Business Unit of Alibaba（阿里巴巴Qwen业务部） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ConSPO方法，通过对比序列级策略优化，解决GRPO在目标函数上的似然错配和信用分配不敏感问题，在推理任务上超越强基线。

LLM-Specific Utility for Retrieval-Augmented Generation

针对大语言模型的特定效用：检索增强生成的新视角

Hengran Zhang, Keping Bi, Jiafeng Guo, Jiaming Zhang, Shuaiqiang Wang, Dawei Yin, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Baidu Inc（百度公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LLM特定效用的概念，指出不同大语言模型对证据的需求不同，提出构建基准以研究这种效用，并推动生成器定制的证据选择方法改进RAG。

Comments Accepted to CIKM 2026

Histoires Morales: A French Dataset for Assessing Moral Alignment

Thibaud Leteno, Irina Proskurina, Antoine Gourru, Julien Velcin, Charlotte Laclau, Guillaume Metzler, Christophe Gravier

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025

Interpretable AI with Local Distillation

基于局部蒸馏的可解释人工智能

Erin Craig, Yiling Huang, Snigdha Panigrahi

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出局部蒸馏方法，以黑箱教师模型指导正则化线性学生模型，在17个基准数据集上近匹配教师模型准确性，还能识别癌症患者基因表达异质性。

EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

EarthVerse：面向动态地球系统与自然灾害的科学智能体基准测试

Zhiqing Cui, Xinxiang Yin, Yihong Tang, Xinglang Zhang, Yuanzhe Hu, Siru Zhong, Weidong Tang, Yuxuan Liang, Weijia Li, Ming Jin, Shirui Pan, Yuhao Kang, Dingyi Zhuang, Jinhua Zhao

机构 * NUIST（南京信息工程大学） ； HKU（香港大学） ； McGill（麦吉尔大学） ； HKUST(GZ)（香港科技大学（广州）） ； Georgia Tech（佐治亚理工学院） ； NUS（新加坡国立大学） ； Tsinghua（清华大学） ； Griffith（格里菲斯大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； MIT（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 EarthVerse是面向动态地球系统与自然灾害的科学智能体基准，含405项任务，评估25个智能体系统，发现其存在跨环节一致性不足问题，为科学可靠性测量提供可复现基础。

LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications

基于大语言模型（LLM）的预测与决策智能体：方法、训练、评估及应用

Xiaogang Xu, Jiaqi Tang, Jianmin Chen, Yingying Yan, Zhenchao Tang, Xiangxin Zhou, Xiaobin Hu, Wei Wei, Jinfeng Wu, Qifeng Chen, Lu Zhou, Jiafei Wu, Zhe Liu, Jianwei Yin, Weimin Zheng

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文综述基于LLM的预测智能体的架构、训练与评估方法，分析其局限并介绍多领域应用，指出未来需解决分布偏移校准等问题。

HERO: Human-profile Enhanced Retrieval Optimization Framework for Long-term Agent Memory

HERO：面向智能体长期记忆的人像增强检索优化框架

Yuanhua Lin, Yile Li, Zhiyuan Zhao, Jing Shang, Jian Sun

机构 * China Mobile Information Technology Co., Ltd.（中国移动信息技术有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究提出HERO框架，通过异构记忆图保留原始对话文本，结合人像优化检索，在两个基准数据集上提升了智能体的事实与个性化推理性能。

MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models

MRMAD：用于评估大型音频语言模型中声学降级感知的多轮多音频基准

Yize Li, Ningyuan Yang, Sile Yin, Sindhuja Thogarrati, Sung-En Chang, Andrew C. Singer, Xue Lin, Chuan-Che Huang, Shuo Zhang

机构 * Northeastern University（东北大学） ； Bose Corporation（博士公司） ； Stony Brook University（石溪大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 该研究提出MRMAD多轮多音频基准，评估18种LALMs的音频降级感知，发现现有模型难可靠推理降级，为构建鲁棒LALMs提供基础。

Comments EMNLP 2026

ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation

ChemDIRT：面向稳健化学大语言模型评估的多样化指令、表示与任务基准

Eric Inae, Tim Gunn, Chris Bond, Meng Jiang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本研究针对现有化学LLM评估基准的局限性，提出ChemDIRT基准，涵盖八大类化学任务，评估模型在指令和分子表示变化下的准确性与一致性，测试发现LLM存在提示敏感性、表示依赖及任务间性能不均问题。