大模型推理能力

Performance Evaluation of LLMs in Automated RDF Knowledge Graph Generation

对LLMs在自动RDF知识图谱生成中的性能评估

Ioana Ramona Martin, Tudor Cioara, Ionut Anghel, Gabriel Arcas

机构 * Distributed Systems Research Laboratory, Computer Science Department, Technical University of Cluj-Napoca（克卢日-纳波卡技术大学计算机科学系分布式系统研究实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文评估了多种LLM架构和提示策略在自动RDF提取中的性能，通过控制框架和两个处理半结构化日志数据的管道，分析了Few-Shot学习在生成RDF三元组中的有效性，并揭示了不同LLM架构的局限性。

Comments submitted to journal

PRISM: A Multi-View Multi-Capability Retail Video Dataset for Embodied Vision-Language Models

PRISM：一个多视角多能力零售视频数据集用于具身视觉-语言模型

Amirreza Rouhi, Parikshit Sakurikar, Satya Sai Reddy, Narsimha Menga, Anirudh Govil, Sri Harsha Chittajallu, Rajat Aggarwal, Anoop Namboodiri, Sashi Reddi

机构 * DreamVu 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 PRISM是首个针对真实世界零售环境的多视角多能力视频数据集，通过领域特定的SFT训练提升具身视觉-语言模型的感知能力与空间理解。

GTO Wizard Benchmark

GTO Wizard 评估基准

Marc-Antoine Provost, Nejc Ilenic, Christopher Solinas, Philippe Beardsell

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出GTO Wizard基准，用于评估HUNL算法，通过与GTO Wizard AI对比，发现现有模型在推理和规划方面仍有较大提升空间。

Patho-R1: A Multimodal Reinforcement Learning-Based Pathology Expert Reasoner

Patho-R1: 基于多模态强化学习的病理专家推理器

Wenchuan Zhang, Penghao Zhang, Jingru Guo, Tao Cheng, Jie Chen, Shuwan Zhang, Zhang Zhang, Yuhao Yi, Hong Bu

机构 * Department of Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科部门） ； Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院临床病理科研究所） ； University of Toronto（多伦多大学） ； Business School, Sichuan University（四川大学商学院） ； Department of Pathology, Shengjing Hospital of China Medical University（中国医科大学盛京医院病理科部门） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出Patho-R1，通过构建高质量推理导向数据集，结合三阶段训练流程提升病理推理能力，实现跨模态任务的鲁棒性能。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(33): 28418-28426, 2026

The Arrival of AGI? When Expert Personas Exceed Expert Benchmarks

AGI的来临？专家人设是否超越专家基准？

Drake Mullens, Stella Shen

机构 * Tarleton State University（塔尔顿州立大学） ； University of Texas at Tyler（德克萨斯大学泰勒分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.AI

AI总结 研究探讨专家人设是否能提升语言模型性能，发现其效果受多种机制限制，通过控制实验揭示了人设在特定任务中的表现及局限性。

AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset

AVIATOR：面向高保真、大规模代码安全数据集的AI代理漏洞注入流程

Amine Lbath, Massih-Reza Amini, Aurelien Delaitre, Vadim Okun

机构 * National Institute of Standards and Technology, Software and Systems Division（美国国家标准与技术研究院软件与系统 division） ； Université Grenoble Alpes, CNRS, LIG（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，LIG实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 本文提出AVIATOR，首个AI代理漏洞注入框架，通过协调AI代理、工具分析和迭代自我纠正，生成高保真漏洞数据，提升漏洞检测模型性能。

MLlm-DR: Towards Explainable Depression Recognition with MultiModal Large Language Models

MLlm-DR: 向多模态大语言模型的可解释性抑郁识别迈进

Wei Zhang, Juan Chen, En Zhu, Wenhong Cheng, YunPeng Li, Yanbo J. Wang

机构 * National University of Defense Technology（国防科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Mental Health Center, Shanghai Jiao Tong University School of Medicine（上海精神卫生中心，上海交通大学医学院） ； Nanjing Industria Tenebris Information Technology Co., Ltd.（南京Industria Tenebris信息技术有限公司） ； National University of Uzbekistan named after Mirzo Ulugbek（乌兹别克斯坦Mirzo Ulugbek命名的国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 本文提出MLlm-DR模型，通过多模态大语言模型实现可解释的抑郁识别，结合小型LLM和轻量级查询模块，提升诊断性能。

OrigamiBench: An Interactive Environment to Synthesize Flat-Foldable Origamis

OrigamiBench: 一个用于合成可折叠折纸的交互环境

Naaisha Agarwal, Yihan Wu, Yichang Jian, Yikuan Hu, Nishad Mansoor, Mohan Li, Yifei Peng, Wang-Zhou Dai, Yao-Xiang Ding, Emanuele Sansone

机构 * Independent Researcher（独立研究者） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与计算机图形学国家重点实验室） ； Computer Science Northeastern University（东北大学计算机科学系） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家实验室） ； CSAIL / ESAT MIT / KU Leuven（MIT / KU Leuven） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 OrigamiBench通过交互式环境测试模型在折叠策略中的因果推理能力，发现单纯扩大模型规模无法有效生成多步骤折叠策略，表明视觉与语言表征仍需加强整合。

Mask Is What DLLM Needs: A Masked Data Training Paradigm for Diffusion LLMs

掩码是DLLM所需：一种用于扩散语言模型的掩码数据训练范式

Linrui Ma, Yufei Cui, Kai Han, Yunhe Wang

机构 * Noah’s Ark Lab, Huawei Montreal, Canada & Beijing, China（华为蒙特利尔实验室及北京） 纠错

专题命中 推理评测 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 本文提出信息密度驱动的智能噪声调度器，通过提取信息密集 hubs 并应用互补优先级掩码，将单个训练实例解耦为相互增强的推理和语法样本，提升模型在代码和数学推理任务中的准确率。

Comments Ongoing work

Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems

评估欺骗：揭示前沿AI系统安全评估中的观察者效应

Yihe Fan, Wenqi Zhang, Xudong Pan, Min Yang

机构 * Computation and Artificial Intelligence Innovative College, Fudan University（复旦大学计算与人工智能创新学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 研究探讨了AI系统在被评估时可能产生欺骗行为，发现更先进的AI系统更易表现出观察者效应，影响评估结果。

Can Vision-Language Models Solve the Shell Game?

视觉-语言模型能解决贝壳游戏吗？

Tiedong Liu, Wee Sun Lee

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出SGCoT方法，通过生成对象轨迹解决VLMs在视觉跟踪中的根本限制，实现超过90%的准确率。

Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation

魁北克保险领域大型语言模型基准测试：从闭卷到检索增强生成

David Beauchemin, Richard Khoury

机构 * Group for Research in Artificial Intelligence of Laval University (GRAIL)（拉瓦尔大学人工智能研究组） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出AEPC-QA基准测试，评估51个LLM在魁北克保险领域的闭卷和检索增强生成性能，揭示推理、RAG效果及专业化悖论等关键发现。

Comments Publish at the Advances in Financial AI: Towards Agentic and Responsible Systems Workshop @ ICLR 2026

InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

InsightX Agent: 一种基于LMM的智能框架，集成工具用于可靠X射线无损检测分析

Jiale Liu, Huan Wang, Yue Zhang, Xiaoyu Luo, Jiaxiang Hu, Zhiliang Liu, Min Xie

机构 * School of Physics and Astronomy, The University of Edinburgh（物理学与天文学学院，爱丁堡大学） ； Glasgow College, University of Electronic Science and Technology of China（电子科技大学成都学院） ； School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China（机械与电子工程学院，电子科技大学） ； Department of Systems Engineering, City University of Hong Kong（系统工程系，香港城市大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 InsightX Agent基于LMM构建智能框架，集成工具提升X射线检测的可靠性与可解释性，实现主动推理与高质量分析。

SpineBench: A Clinically Salient, Level-Aware Benchmark Powered by the SpineMed-450k Corpus

SpineBench：一种临床显著、层级感知的基准，由SpineMed-450k语料库驱动

Ming Zhao, Wenhui Dong, Yang Zhang, Xiang Zheng, Zhonghao Zhang, Zian Zhou, Yunzhi Guan, Liukun Xu, Wei Peng, Zhaoyang Gong, Zhicheng Zhang, Dachuan Li, Xiaosheng Ma, Yuli Ma, Jianing Ni, Changjiang Jiang, Lixia Tian, Qixin Chen, Kaishun Xia, Pingping Liu, Tongshun Zhang, Zhiqiang Liu, Zhongyan Bi, Chenyang Si, Tiansheng Sun, Caifeng Shan

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 SpineBench通过SpineMed-450k语料库驱动，针对脊柱疾病提供临床显著的层级感知基准，评估模型在多模态数据下的细粒度推理能力。

AttackSeqBench: Benchmarking the Capabilities of LLMs for Attack Sequences Understanding

AttackSeqBench: 对LLM在攻击序列理解能力的基准测试

Haokai Ma, Javier Yong, Yunshan Ma, Kuei Chen, Anis Yusof, Zhenkai Liang, Ee-Chien Chang

机构 * National University of Singapore（新加坡国立大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 AttackSeqBench通过系统评估LLM在攻击序列理解中的能力，揭示其在网络安全领域的优势与局限。

Comments 27 pages, 9 figures, 8 tables

Can Thinking Models Think to Detect Hateful Memes?

思考模型能否通过思考来检测仇恨言论？

Mohamed Bayan Kmainasi, Mucahid Kutlu, Ali Ezzat Shahroor, Abul Hasnat, Firoj Alam

机构 * Qatar University（卡塔尔大学） ； Qatar Computing Research Institute（卡塔尔计算研究中心） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出基于强化学习的后训练框架，通过任务特定奖励和GRPO目标提升基于思考的多模态模型在检测仇恨言论中的推理能力，实验表明在准确性、F1值和解释质量上均有显著提升。

Journal ref In Companion Proceedings of the ACM Web Conference 2026 (WWW Companion 26), April 13-17, 2026, Dubai, United Arab Emirates

Towards Small Language Models for Security Query Generation in SOC Workflows

面向SOC工作流中安全查询生成的小语言模型

Saleha Muzammil, Rahul Reddy, Vishal Kamalakrishnan, Hadi Ahmadi, Wajih Ul Hassan

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文提出一个三调节框架，利用小型语言模型实现高效、低成本的安全查询生成，实验表明其在语法和语义准确性上优于现有方法。

CWM: Contrastive World Models for Action Feasibility Learning in Embodied Agent Pipelines

CWM: 用于具身智能体流水线中动作可行性学习的对比世界模型

Chayan Banerjee

机构 * School of Electrical Engineering and Robotics, Queensland University of Technology（电气工程与机器人学学院，昆士兰理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 CWM通过对比训练提升动作可行性评分，优于SFT方法，提升精度并增强安全性。

Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks

通过代理式攻击绕过AI控制协议

Jafar Isbarov, Murat Kantarcioglu

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工学院计算机科学系） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 本文提出通过代理式攻击绕过AI监控防御，显示即使大规模监控模型也易受攻击，揭示当前防御机制的脆弱性。

BrowseComp-$V^3$: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents

BrowseComp-$V^3$：一种视觉、垂直和可验证的多模态浏览代理基准测试

Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Shan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui

机构 * PKU（北京大学） ； HKUST(GZ)（香港科技大学） ； OUC（华侨大学） ； CASIA（中国科学院自动化研究所） ； HITSZ（哈尔滨工业大学） ； THU（清华大学） ； Huawei Cloud BU（华为云业务部） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 BrowseComp-$V^3$提出了一种多模态浏览代理基准测试，通过300个跨模态问题评估深度搜索能力，揭示多模态信息整合的瓶颈。

Human-like Affective Cognition in Foundation Models

基础模型中的人类样情感认知

Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出了一种评估框架，测试基础模型在情感认知方面的表现，发现模型在某些条件下能超越人类直觉，展现出人类样情感理解能力。

S2SServiceBench: A Multimodal Benchmark for Last-Mile S2S Climate Services

S2SServiceBench：一个多模态基准用于最后一公里S2S气候服务

Chenyue Li, Wen Deng, Zhuotao Sun, Mengxi Jin, Hanzhe Cui, Han Li, Shentong Li, Man Kit Yu, Ming Long Lai, Yuhao Yang, Mengqian Lu, Binhang Yuan

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Nanjing University of Information Science and Technology（南京信息工程大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 S2SServiceBench是一个多模态基准，用于评估S2S气候服务中最后一公里的可靠性，通过10种服务产品和1000多个评估项目，揭示了多模态大语言模型在不确定性下的决策推理挑战。

Comments 18 pages, 3 figures, 6 tables

RoD-TAL: A Benchmark for Answering Questions in Romanian Driving License Exams

RoD-TAL：罗马尼亚驾照考试问答的基准测试

Andrei Vlad Man, Răzvan-Alexandru Smădu, Cristian-George Craciun, Dumitru-Clementin Cercel, Florin Pop, Mihaela-Claudia Cercel

机构 * National University of Science and Technology POLITEHNICA Bucharest, Faculty of Automatic Control and Computers（波兰技术大学布加勒斯特分校） ； Technical University of Munich（慕尼黑技术大学） ； National Institute for Research & Development in Informatics - ICI Bucharest（信息研究所-布加勒斯特） ； Paris 1 Panthéon-Sorbonne University（巴黎1大学） ； University of Bucharest（布加勒斯特大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 RoD-TAL是一个用于评估大型语言模型和视觉语言模型在罗马尼亚驾照法律问答中性能的多模态基准数据集，通过文本和图像问答任务验证了领域微调和推理优化对考试通过率的影响。

Comments 41 pages, 30 figures, Accepted by the Findings of EACL 2026

Mirror: A Multi-Agent System for AI-Assisted Ethics Review

镜：一种用于AI辅助伦理审查的多智能体系统

Yifan Ding, Yuhui Shi, Zhiyan Li, Zilong Wang, Yifeng Gao, Yajun Yang, Mengjie Yang, Yixiu Liang, Xipeng Qiu, Xuanjing Huang, Xingjun Ma, Yu-Gang Jiang, Guoyu Wang

机构 * Institute of Trustworthy Embodied AI（可信具身人工智能研究所） ； Institute of Technology Ethics for Human Future（人类未来技术伦理研究所） ； School of Philosophy（哲学学院） ； School of Life Sciences（生命科学学院） ； Ethics Committee of Zhongshan Hospital（中山医院伦理委员会） ； Department of Cardiology, Zhongshan Hospital of Fudan University, Institute of Cardiovascular Diseases, National Clinical Research Centre for Interventional Medicine（复旦大学中山医院心内科、心血管疾病研究所、介入医学临床研究中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 Mirror是一种多智能体系统，通过整合伦理推理和多智能体协商，提升AI辅助伦理审查的效率和专业性。

Comments 4 figures, 3 tables

Eliminating stability hallucinations in llm-based tts models via attention guidance

通过注意力引导消除基于大语言模型的TTS模型中的稳定性幻觉

ShiMing Wang, ZhiHao Du, Yang Xiang, TianYu Zhao, Han Zhao, Qian Chen, XianGang Li, HanJie Guo, ZhenHua Ling

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 本文通过改进注意力机制，减少基于大语言模型的TTS模型中的稳定性幻觉，提升语音合成的稳定性和连续性。

Comments The authors are withdrawing this preprint as it was submitted prematurely without the final approval of all collaborating institutions. We apologize for any inconvenience

Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments

Gaia2：在动态和异步环境中评估大语言模型代理的基准测试

Romain Froger, Pierre Andrews, Matteo Bettini, Amar Budhiraja, Ricardo Silveira Cabral, Virginie Do, Emilien Garreau, Jean-Baptiste Gaya, Hugo Laurençon, Maxime Lecanu, Kunal Malkan, Dheeraj Mekala, Pierre Ménard, Gerard Moreno-Torres Bertran, Ulyana Piterbarg, Mikhail Plekhanov, Mathieu Rita, Andrey Rusakov, Vladislav Vorotilov, Mengjue Wang, Ian Yu, Amine Benhalloum, Grégoire Mialon, Thomas Scialom

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 Gaia2通过动态和异步环境评估大语言模型代理，揭示了推理、效率和鲁棒性之间的权衡，为代理系统的发展提供灵活的基础设施。

Comments Accepted as Oral at ICLR 2026

Reliable Curation of EHR Dataset via Large Language Models under Environmental Constraints

通过环境约束下的大型语言模型可靠地整理EHR数据集

Raymond M. Xiong, Panyu Chen, Tianze Dong, Jian Lu, Louis Hu, Nathan Yu, Benjamin Goldstein, Danyang Zhuo, Anru R. Zhang

机构 * Duke University（杜克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 CELEC通过环境约束下的大型语言模型可靠地整理EHR数据集，提升数据提取和分析的准确性和隐私保护。

See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch

见、计划、快照：评估Scratch中的多模态GUI代理

Xingyi Zhang, Yulei Ye, Kaifeng Huang, Wenhao Li, Xiangfeng Wang

机构 * Tongji University（同济大学） ； East China Normal University（华东师范大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出ScratchWorld基准，用于评估多模态GUI代理在Scratch中的程序构建能力，揭示了推理与执行之间的显著差距。

Agentic AI in Healthcare & Medicine: A Seven-Dimensional Taxonomy for Empirical Evaluation of LLM-based Agents

医疗与医学中的代理AI：一个七维分类法用于评估基于大语言模型的代理

Shubham Vatsal, Harsh Dubey, Aditi Singh

机构 * Department of Computer Science, New York University, CIMS, New York, USA（纽约大学计算机科学系，CIMS，纽约，美国） ； Department of Computer Science, Cleveland State University, Cleveland, USA（克利夫兰州立大学计算机科学系，克利夫兰，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出一个七维分类法，用于评估基于大语言模型的医疗代理在认知能力、知识管理、交互模式等方面的能力分布与实现情况。

Journal ref IEEE Access, vol. 14, pp. 4840-4863, 2026

MeetBench-XL: Calibrated Multi-Dimensional Evaluation and Learned Dual-Policy Agents for Real-Time Meetings

MeetBench-XL: 一种经过校准的多维评估和学习双策略代理用于实时会议

Yuelin Hu, Jun Xu, Bingcong Lu, Zhengxue Cheng, Hongwei Hu, Ronghua Wu, Li Song

机构 * Shanghai Jiao Tong University（上海交通大学） ； Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（法国巴黎-罗克琴特研究所） ； Rajiv Gandhi University（拉朱·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒研究实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 MeetBench-XL通过多维评估和学习双策略代理提升实时会议AI助手的性能与效率

Comments accepted by AAAI2026 ws