大模型推理能力

Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding

Yuanhan Zhang, Yunice Chew, Yuhao Dong, Aria Leo, Bo Hu, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 推理评测 ：reasoning(title)

Comments ICCV 2025; Project page: https://zhangyuanhan-ai.github.io/video-tt/

SVLA: A Unified Speech-Vision-Language Assistant with Multimodal Reasoning and Speech Generation

Ngoc Dung Huynh, Mohamed Reda Bouadjenek, Imran Razzak, Hakim Hacid, Sunil Aryal

专题命中 推理评测 ：reasoning(title)

Comments 21 pages

Boosting Virtual Agent Learning and Reasoning: A Step-Wise, Multi-Dimensional, and Generalist Reward Model with Benchmark

Bingchen Miao, Yang Wu, Minghe Gao, Qifan Yu, Wendong Bu, Wenqiao Zhang, Yunfei Li, Siliang Tang, Tat-Seng Chua, Juncheng Li

机构 * Zhejiang University, Hangzhou, China（浙江大学） ； National University of Singapore, Kent Ridge, Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title)

Comments Home page is available at https://dcd-ant-similar.github.io

PathMMU: A Massive Multimodal Expert-Level Benchmark for Understanding and Reasoning in Pathology

Yuxuan Sun, Hao Wu, Chenglu Zhu, Sunyi Zheng, Qizi Chen, Kai Zhang, Yunlong Zhang, Dan Wan, Xiaoxiao Lan, Mengyue Zheng, Jingxiong Li, Xinheng Lyu, Tao Lin, Lin Yang

专题命中 推理评测 ：reasoning(title)

Comments 27 pages, 12 figures

ST(OR)2: Spatio-Temporal Object Level Reasoning for Activity Recognition in the Operating Room

Idris Hamoud, Muhammad Abdullah Jamal, Vinkle Srivastav, Didier Mutter, Nicolas Padoy, Omid Mohareri

专题命中 推理评测 ：reasoning(title)

Leveraging Future Relationship Reasoning for Vehicle Trajectory Prediction

Daehee Park, Hobin Ryu, Yunseo Yang, Jegyeong Cho, Jiwon Kim, Kuk-Jin Yoon

专题命中 推理评测 ：reasoning(title)

Comments ICLR 2023

RuleBert: Teaching Soft Rules to Pre-trained Language Models

Mohammed Saeed, Naser Ahmadi, Preslav Nakov, Paolo Papotti

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.CL、cs.AI、cs.LG；logical reasoning(comments)

Comments Logical reasoning, soft Horn rules, Transformers, pre-trained language models, combining symbolic and probabilistic methods, BERT

Journal ref EMNLP-2021

Neurosymbolic Alignment for Physiologically-Safe Clinical Language Models

面向生理安全临床语言模型的神经符号对齐

Abdulhady Abas Abdullah, Erik Cambria, Milena Zivkovic

机构 * University of Kurdistan Hewlêr（库尔德斯坦大学） ； Nanyang Technological University（南洋理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Kragujevac（克拉古耶瓦茨大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 提出神经符号对齐框架，耦合临床LLM与HGNN生理世界模型，在CSB基准上显著提升临床LLM的生理安全性能，优于ORPO、GPT-4等方法，为临床LLM安全对齐提供新路径。

ReXSonoVQA: A Video QA Benchmark for Procedure-Centric Ultrasound Understanding

ReXSonoVQA：面向以过程为中心的超声理解的视频问答基准

Xucheng Wang, Xiaoman Zhang, Sung Eun Kim, Ankit Pal, Pranav Rajpurkar

机构 * Harvard Medical School（哈佛医学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 ReXSonoVQA是一个包含514个视频片段和514个问题的视频问答基准，旨在评估动作-目标推理、artifact解决与优化及过程上下文与规划能力，测试VLMs在动态过程理解中的表现。

Journal ref Proceedings of the 7th Conference on Health, Inference, and Learning, PMLR 333:427-447, 2026

Seeing vs. Believing: Evaluating the Language Bias of Open-Source MLLMs in Counter-Intuitive Scenes

看见 vs. 相信：评估开源多模态大模型在反直觉场景中的语言偏见

Chen Ling, Tongwei Zhang, Hanqian Li, Nai Ding

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 为评估多模态大模型处理反直觉动作场景的能力，提出CAIT基准（400个高保真合成场景），发现开源模型因语言先验而忽视视觉证据，性能接近随机水平，而链式思维推理虽提升准确率但导致过度思考拒绝视觉内容，通过微调和结构化提示可缓解此偏见。

NetConfArena: An Executable Benchmark for LLM Agents in Closed-Loop Network Configuration

NetConfArena：面向闭环网络配置的LLM智能体可执行基准

Chang Liu, Xiaohui Xie, Xinyi Chen, Yong Cui

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出NetConfArena基准，在仿真多设备网络中评估LLM智能体的闭环网络配置能力，发现其失败不限于命令错误，还存在规范遵守等缺陷，为相关研究指明改进方向。

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律，通过定量金融领域的实验，比较了基于logit和LoRA的蒸馏方法，并引入混合思维链监督损失，揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

SlideGen: Collaborative Multimodal Agents for Scientific Slide Generation

SlideGen：用于科学幻灯片生成的协作多模态智能体

Xin Liang, Zhilin Zhang, Xiang Zhang, Haoran Su, Yiwei Xu, Siqi Sun, Chenyu You

机构 * Stony Brook University（石溪大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 SlideGen通过协作多模态智能体实现科学论文到高质量幻灯片的生成，提升视觉质量和内容忠实度。

A Modular Agent for Reliable and Auditable Spatial Relation Verification in CT Scans

用于CT扫描中可靠且可审计的空间关系验证的模块化智能体

Simon Vincent Abel, Heiko Hillenhagen, Michael Götz, Timo Ropinski, Ayhan Can Erdur, Daniel Santak Wolf

机构 * Ulm University（乌尔姆大学） ； Ulm University Hospital（乌尔姆大学医院） ； Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） ； TUM University Hospital（慕尼黑工业大学医院） ； Department of Radiation Oncology, TUM University Hospital（慕尼黑工业大学医院放射肿瘤科） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 针对医学视觉-语言模型空间推理薄弱的问题，提出模块化医学影像智能体，通过分阶段处理实现CT扫描空间关系验证，性能优于端到端基线，可作为未来医学影像智能体的构建块。

Journal ref Published at the MICCAI 2026 Agentic AI for Medicine Workshop

No Judgment Without a Reason: Counterfactual Receipts for Versioned AI Evaluators

无理由不判断：面向版本化AI评估器的反事实收据

Ye Chen, Weining Zhang

机构 * Alibaba Group（阿里巴巴集团） ； Cheung Kong Graduate School of Business（长江商学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 该研究针对AI评估器的推理问责问题，提出反事实收据方法与ReasonBench基准，发现模型标准准确率掩盖鲁棒性缺陷，需解耦预测与认证以实现可信审计。

Comments 26 pages, 11 tables, 7 figures

The Lifecycle of LLM-as-a-Judge for Large-Scale Recommendation Explanations

用于大规模推荐解释的LLM评判模型的生命周期

Emma Yanyang Kong, JJ Tan, Ishan Gupta, Lars Olds, Claire Campbell, David Fagnan, Ratna Kavuri, Veli Balin, Rohan Gosain, Louis Garcia, Minsu Jang

机构 * Netflix（网飞公司） 纠错

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出用于Netflix大规模推荐解释评估的LLM评判模型生命周期框架，经五周A/B测试证实，其对齐的解释可提升会员对新颖内容的观看及浏览到播放会话量。

Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

评估大语言模型的投资逻辑：面向个性化金融智能体的真实世界基准

Yuanhong Jiang, Jingjie Zou, Rui Jiang, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究推出原生过程基准InvestLogicBench，含151位真实投资者的201247项决策，评估发现金融LLMs逻辑合理性高但事件接地性低，指出需以P→E→R→D→O轨迹评估个性化决策智能体。

CACSurv: Concordance-Aligned Comparative Learning with Large Language Models for Cancer Survival Prediction

CACSurv：基于大型语言模型的一致性对齐比较学习用于癌症生存预测

Tianqi Xiang, Qixiang Zhang, Xinpeng Ding, Yi Li, Xiaomeng Li

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 该研究针对癌症生存预测中LLM时间回归的公式与监督不匹配问题，提出CACSurv框架，构建TCGA-SurvReport基准，在6个TCGA癌症队列上的平均C指数达0.722，显著优于现有模型与基线。

Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

通过小型语言模型（SLMs）与边缘计算增强虚拟智能体：对思考与记忆过程的探索性评估

Aimilios Hadjiliasi, Louis Nisiotis

机构 * University of Central Lancashire（中央兰开夏大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文探索利用SLMs与边缘计算支持CEAA的“思考”“记忆”组件，在NVIDIA Jetson Orin NX上用Qwen2.5模型开发边缘虚拟智能体网关，经模拟实验验证其可高效运行部分CEAA过程，助力沉浸式虚拟世界具身智能体开发。

MedUP: Awakening Unified Understanding and Perception in Medical Vision-Language Models

MedUP：唤醒医学视觉-语言模型中的统一理解与感知能力

Yuan Wang, Hualiang Wang, Yixin Chen, Songtao Jiang, Shujian Gao, Jiaming Lin, Siming Fu, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出MedUP模型，通过UniMedTok分词器在共享token空间统一医学视觉-语言模型的感知与理解，构建相关训练语料库和评估基准，在多医学任务上性能优于现有模型。

Comments 10 pages, 6 figures

OmnilingualGAIA2: Evaluating the Multilingual Gap in Frontier AI Agents

OmnilingualGAIA2：评估前沿AI智能体的多语言差距

Andrea Caciolai, Pere-Lluís Huguet Cabot, Chierh Cheng, Albert Ventayol-Boada, Gabriel Mejia Gonzalez, Christophe Ropers, Lucas Bandarkar, Sebastian Ruder, Darlene Sakakihara, Elliot Yun, Pierre Andrews, Grégoire Mialon, Romain Froger, Marta R. Costa-jussà

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 研究人员推出OmnilingualGAIA2基准，发现前沿AI智能体存在8.8-18.4分的跨语言差距，提出多语言评估应成为全球部署智能体的标准评估环节。

PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

PROSLEX：印度司法领域专家标注的法律条文预测新型数据集

Subinay Adhikary, Upal Bhattacharya, Vivek Kumar Singh, Anurag Sharma, Shubham Kumar Nigam, Suvasis Das, Shouvik Kumar Guha, Koustav Rudra, Kripabandhu Ghosh

机构 * IISER Kolkata（印度科学教育与研究学院加尔各答分校） ； Utrecht University（乌得勒支大学） ； IIT Kharagpur（印度理工学院克勒格布尔分校） ； University of Birmingham Dubai（伯明翰大学迪拜分校） ； WBNUJS（西孟加拉邦国家法律大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文针对法律条文预测研究中缺乏可解释性的问题，构建印度司法领域专家标注的PROSLEX数据集，评估多种提示策略，为可解释法律AI提供基准。

Who Verifies the Benchmark? Decentralizing Trust in Large Language Model Evaluation

谁来验证基准？去中心化大语言模型评估中的信任问题

Sahil Pardasani, Madhusudan Singh

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 针对LLM基准测试的信任问题，该研究分析7种验证模型的身份感知偏差，提出基于区块链的提交-披露协议以实现去中心化、可验证的LLM评估。

Comments Accepted to International Conference on Quantum Enhanced AI and Secure Computing (QASC2026)

ActiveFly-Bench: Aligning Embodied Question Answering with Vision-Language-Action for Aerial Embodied Perception

ActiveFly-Bench：将具身问答与视觉-语言-动作对齐用于空中具身感知

Weichen Zhang, Shiquan Yu, Yinan Zhu, Peizhi Tang, Shilong Ji, Zhiyuan Deng, Tianyi Lyu, Haoyang Wang, Xin Zeng, Chen Gao, Yong Li, Xinlei Chen

机构 * Tsinghua University（清华大学） ； Manifold AI（流形人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 介绍用于无人机具身感知的ActiveFly-Bench基准测试，它分解主动感知为三个层次任务，收集数据集，开发集成视觉语言推理与细粒度控制的ActiveFly智能体，实验表明当前无人机智能体有困难，该基准成为具身空中智能新测试平台。

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract_cn)；分类 cs.AI

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

语言模型作为任务特定知识库：一种可解释性分析

Amit Elhelo, Amir Globerson, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） ； Google Research（谷歌研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 通过行为和机制分析，发现语言模型以任务特定方式编码知识，不同任务对同一事实的查询结果不一致，且参数定位实验揭示了不同任务涉及不同参数子集。

Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings

并非双关：基于对比学习与音义嵌入的多智能体文字游戏翻译

Russell Taylor, Benjamin Herbert, Michael Sana

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究结合大型语言模型与语言约束，提出三种双关语翻译方法，其多智能体系统在CLEF JOKER 2025竞赛中获专家评估第一，可改善文字游戏翻译效果。

CITBench: A Comprehensive Benchmark for Interactive Tabular Data Processing with LLMs

CITBench：面向大语言模型的交互式表格数据处理综合基准

Zihan Nan, Yang Gu, Wei Liu, Xi Yan, Zhou Liu, Hao Liang, Wentao Zhang

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出 CITBench 交互式表格数据处理基准，评估发现现有 LLM 在简单表格任务表现良好，但在复杂多轮交互场景下的理解、规划与表格结构感知仍存在显著挑战。

A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization

面向对话摘要的大规模多维度LLM实证研究

Weixiao Zhou, Gengyao Li, Junnan Zhu, Xianfu Cheng, Feifei Zhai, Zhoujun Li

机构 * CCSE, Beihang University（北京航空航天大学CCSE） ； MAIS, CASIA（中国科学院自动化研究所MAIS） ； Fanyu AI Laboratory（帆禹AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 提出OmniCSEval基准，包含1800个跨六场景的对话，评估28个LLM在对话摘要中的完整性、简洁性和忠实性，揭示推理能力与模型规模的影响。

Comments 21 pages, 18 figures

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

当LLM停止遵循步骤：语言模型中程序执行的诊断研究

Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

机构 * Indian Institute of Technology Gandhinagar（印度理工学院冈丁加尔） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.CL

AI总结 本研究通过构建受控诊断基准，评估大型语言模型在程序执行任务中的忠实性，发现随着步骤增加准确率从63%降至20%，并揭示了缺失答案、过早答案、自我修正和执行不完整等失败模式。

Comments 24 pages, 19 figures, 4 Tables