大模型推理能力

Mary, the Cheeseburger-Eating Vegetarian: Do LLMs Recognize Incoherence in Narratives?

玛丽，吃汉堡的素食者：LLMs能否识别叙述中的不一致？

Karin de Langis, Püren Öncel, Ryan Peters, Andrew Elfenbein, Laura Kristen Allen, Andreas Schramm, Dongyeop Kang

机构 * Department of Computer Science and Engineering, University of Minnesota（计算机科学与工程系，明尼苏达大学） ； Department of Educational Psychology, University of Minnesota（教育心理学系，明尼苏达大学） ； Department of Linguistics, Hamline University（语言学系，哈姆林大学） ； Department of English, University of Minnesota（英语系，明尼苏达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究发现LLMs在识别叙述不一致时存在不足，尤其在处理设定冲突和角色特征冲突时表现不一致，表明其对叙事一致性理解不完整。

START: Spatial and Textual Learning for Chart Understanding

START: 空间与文本学习用于图表理解

Zhuoming Liu, Xiaofeng Gao, Feiyang Niu, Qiaozi Gao, Liu Liu, Robinson Piramuthu

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Amazon AGI（亚马逊人工智能实验室） ； MIT（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 START通过空间与文本学习提升图表理解能力，引入图表元素定位和图表到代码生成，增强多模态大语言模型对图表结构和数据细节的理解。

Comments WACV2026 Camera Ready

Do Large Language Models Truly Understand Cross-cultural Differences?

大型语言模型真的能理解跨文化差异吗？

Shiwei Guo, Sihang Jiang, Qianxi He, Yanghua Xiao, Jiaqing Liang, Bi Yude, Minggui He, Shimin Tao, Li Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出SAGE基准，通过跨文化核心概念对齐和生成任务设计，评估LLMs的跨文化理解和推理能力，揭示其在跨文化推理中的系统性限制。

Replicating TEMPEST at Scale: Multi-Turn Adversarial Attacks Against Trillion-Parameter Frontier Models

在大规模上复制TEMPEST：针对万亿参数前沿模型的多轮对抗攻击

Richard Young

机构 * University of Nevada Las Vegas（内华达大学拉斯维加斯分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过TEMPEST框架评估了十种前沿模型对多轮对抗攻击的鲁棒性，发现模型规模不影响鲁棒性，而思考模式能提升安全性。

Comments 30 pages, 11 figures, 5 tables. Code and data: https://github.com/ricyoung/tempest-replication

AgriGPT-VL: Agricultural Vision-Language Understanding Suite

AgriGPT-VL：农业视觉-语言理解套件

Bo Yang, Yunkui Chen, Lanfei Feng, Yu Zhang, Xiao Xu, Jianyu Zhang, Nueraili Aierken, Runhe Huang, Hongjian Lin, Yibin Ying, Shijian Li

机构 * Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 AgriGPT-VL通过构建农业专用的视觉-语言模型和评估套件，提升了农业领域的多模态理解和推理能力。

BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs

BEDI：一种用于无人机上具身智能体评估的综合基准

Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 BEDI提出了一种标准化的无人机具身智能体评估基准，通过动态任务范式和混合测试平台，全面评估UAV-EAs的六个核心技能，并揭示现有VLMs在具身任务中的局限性。

PrivLLMSwarm: Privacy-Preserving LLM-Driven UAV Swarms for Secure IoT Surveillance

PrivLLMSwarm: 用于安全物联网监控的隐私保护大语言模型驱动的无人机群

Jifar Wakuma Ayana, Huang Qiming

机构 * Department of Information and Communication Engineering, School of Computer and Communication Engineering, University of Science and Technology Beijing（信息与通信工程系，计算机与通信工程学院，北京科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 PrivLLMSwarm通过安全多方计算实现隐私保护的大语言模型驱动无人机群，实现高准确性和低延迟的加密推理，适用于隐私敏感的物联网应用。

Stochasticity in Agentic Evaluations: Quantifying Inconsistency with Intraclass Correlation

代理评估中的随机性：通过组内相关系数量化不一致性

Zairah Mustahsan, Abel Lim, Megna Anand, Saahil Jain, Bryan McCann

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出通过组内相关系数量化代理评估中的不一致性，以提高评估可靠性，建议在基准测试中报告ICC和查询内方差。

PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory

PersonaMem-v2：通过学习隐式用户人设和代理记忆实现个性化智能

Bowen Jiang, Yuan Yuan, Maohao Shen, Zhuoqun Hao, Zhangchen Xu, Zichen Chen, Ziyi Liu, Anvesh Rao Vijjini, Jiashu He, Hanchao Yu, Radha Poovendran, Gregory Wornell, Lyle Ungar, Dan Roth, Sihao Chen, Camillo Jose Taylor

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） ； University of California Santa Barbara（加州大学圣巴巴拉分校） ； Meta ； University of Southern California（南加州大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft Corporation（微软公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 PersonaMem-v2通过学习隐式用户人设和代理记忆提升LLM个性化能力，实验显示强化微调使模型在隐式个性化任务中准确率达53%。

Comments Data is available at https://huggingface.co/datasets/bowen-upenn/PersonaMem-v2

AgenticCyber: A GenAI-Powered Multi-Agent System for Multimodal Threat Detection and Adaptive Response in Cybersecurity

AgenticCyber: 一种基于生成式AI的多智能体系统，用于多模态威胁检测与自适应响应在网络安全中

Shovan Roy

机构 * TNTech 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AgenticCyber通过生成式AI驱动的多智能体系统，实现多模态威胁检测与自适应响应，提升网络安全性能和态势感知能力。

Comments 6 pages for IEEE conference

The SAM2-to-SAM3 Gap in the Segment Anything Model Family: Why Prompt-Based Expertise Fails in Concept-Driven Image Segmentation

在Segment Anything模型家族中SAM2到SAM3之间的鸿沟：基于提示的专家知识为何在概念驱动的图像分割中失效

Ranjan Sapkota, Konstantinos I. Roumeliotis, Manoj Karkee

机构 * Cornell University（康奈尔大学） ； University of the Peloponnese（希腊皮洛斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文分析了SAM2到SAM3在分割模型中的断层，指出基于提示的分割方法在概念驱动分割中失效的原因，并探讨了SAM3的多模态架构与评估方法。

Video Models Start to Solve Chess, Maze, Sudoku, Mental Rotation, and Raven' Matrices

视频模型开始解决国际象棋、迷宫、数独、心理旋转和雷文矩阵任务

Hokin Deng

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 视频模型通过强化学习提升推理能力，在多项任务上达到60%的成功率。

Comments See $\href{https://grow-ai-like-a-child.com/video-reason/}{results}$ and $\href{https://github.com/hokindeng/VMEvalKit}{code}$

2K-Characters-10K-Stories: A Quality-Gated Stylized Narrative Dataset with Disentangled Control and Sequence Consistency

2K角色-10K故事：一个具有解耦控制和序列一致性的质量门控风格化叙事数据集

Xingxi Yin, Yicheng Li, Gong Yan, Chenglin Li, Jian Zhao, Cong Huang, Yue Deng, Yin Zhang

机构 * Zhejiang University（浙江大学） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出2K-Characters-10K-Stories数据集，通过解耦控制和质量门控机制，实现高质量的风格化叙事生成。

Automated Identification of Incidentalomas Requiring Follow-Up: A Multi-Anatomy Evaluation of LLM-Based and Supervised Approaches

自动识别需要随访的偶发瘤：基于LLM和监督方法的多解剖评估

Namu Park, Farzad Ahmed, Zhaoyi Sun, Kevin Lybarger, Ethan Breinhorst, Julie Hu, Ozlem Uzuner, Martin Gunn, Meliha Yetisgen

机构 * Department of Biomedical Informatics and Medical Education, University of Washington, Seattle, WA, USA（生物医学信息学与医学教育系，华盛顿大学，西雅图，华盛顿州，美国） ； Department of Information Sciences and Technology, George Mason University, Fairfax, VA, USA（信息科学与技术系，乔治·马歇尔大学，弗吉尼亚州，美国） ； Department of Radiology, Te Whatu Ora Health New Zealand, Te Toka Tumai Auckland, Auckland, New Zealand（放射学系，新西兰Te Whatu Ora健康机构，奥克兰，新西兰） ； Department of Radiology, School of Medicine, University of Washington, Seattle, WA, USA（放射学系，医学院，华盛顿大学，西雅图，华盛顿州，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出了一种基于LLM和监督方法的多解剖评估，通过结构化病变标记和解剖学上下文提升偶发瘤检测性能，达到与人类专家相当的水平。

ChromouVQA: Benchmarking Vision-Language Models under Chromatic Camouflaged Images

ChromouVQA：在色度伪装图像下评估视觉-语言模型的基准测试

Yunfei Zhang, Yizhuo He, Yuanxun Shao, Zhengtao Yao, Haoyan Xu, Junhao Dong, Zhen Yao, Zhikang Dong

机构 * Amazon（亚马逊公司） ； Google（谷歌公司） ； MurcuryMind（MurcuryMind公司） ； University of Southern California（南加州大学） ； Nanyang Technological University（南洋理工大学） ； Lehigh University（莱斯大学） ； Stony Brook University（石溪大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 ChromouVQA通过色度伪装图像评估视觉-语言模型在复杂背景下的表现，提出对比度配方提升形状恢复能力。

V-CECE: Visual Counterfactual Explanations via Conceptual Edits

V-CECE：通过概念编辑生成视觉反事实解释

Nikolaos Spanos, Maria Lymperaiou, Giorgos Filandrianos, Konstantinos Thomas, Athanasios Voulodimos, Giorgos Stamou

机构 * National Technical University of Athens（国家技术大学雅典） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 V-CECE通过概念编辑生成反事实解释，无需训练即可产生人类水平的可解释性结果。

Comments Accepted in NeurIPS 2025

VERIRAG: A Post-Retrieval Auditing of Scientific Study Summaries

VERIRAG：一种科学研究摘要的后检索审计

Shubham Mohole, Hongjun Choi, Shusen Liu, Christine Klymko, Shashank Kushwaha, Derek Shi, Wesam Sakla, Sainyam Galhotra, Ruben Glatt

机构 * Cornell University（康奈尔大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Illinois Urbana‑Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 VERIRAG通过后检索审计框架检测科学摘要的方法学漏洞，提升宏F1值19个百分点，提供结构化审计轨迹支持负责任的科学实践。

Challenging the Abilities of Large Language Models in Italian: a Community Initiative

挑战大型语言模型在意大利语中的能力：一项社区倡议

Malvina Nissim, Danilo Croce, Viviana Patti, Pierpaolo Basile, Giuseppe Attanasio, Elio Musacchio, Matteo Rinaldi, Federico Borazio, Maria Francis, Jacopo Gili, Daniel Scalena, Begoña Altuna, Ekhi Azurmendi, Valerio Basile, Luisa Bentivogli, Arianna Bisazza, Marianna Bolognesi, Dominique Brunato, Tommaso Caselli, Silvia Casola, Maria Cassese, Mauro Cettolo, Claudia Collacciani, Leonardo De Cosmo, Maria Pia Di Buono, Andrea Esuli, Julen Etxaniz, Chiara Ferrando, Alessia Fidelangeli, Simona Frenda, Achille Fusco, Marco Gaido, Andrea Galassi, Federico Galli, Luca Giordano, Mattia Goffetti, Itziar Gonzalez-Dios, Lorenzo Gregori, Giulia Grundler, Sandro Iannaccone, Chunyang Jiang, Moreno La Quatra, Francesca Lagioia, Soda Marem Lo, Marco Madeddu, Bernardo Magnini, Raffaele Manna, Fabio Mercorio, Paola Merlo, Arianna Muti, Vivi Nastase, Matteo Negri, Dario Onorati, Elena Palmieri, Sara Papi, Lucia Passaro, Giulia Pensa, Andrea Piergentili, Daniele Potertì, Giovanni Puccetti, Federico Ranaldi, Leonardo Ranaldi, Andrea Amelio Ravelli, Martina Rosola, Elena Sofia Ruzzetti, Giuseppe Samo, Andrea Santilli, Piera Santin, Gabriele Sarti, Giovanni Sartor, Beatrice Savoldi, Antonio Serino, Andrea Seveso, Lucia Siciliani, Paolo Torroni, Rossella Varvara, Andrea Zaninello, Asya Zanollo, Fabio Massimo Zanzotto, Kamyar Zeinalipour, Andrea Zugarini

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 CALAMITA是一项针对意大利语的社区驱动基准测试项目，通过多样化任务和统一评估流程，系统评估大型语言模型的能力，为其他语言提供评估范例。

Measuring the Unspoken: A Disentanglement Model and Benchmark for Psychological Analysis in the Wild

测量未言之: 一种解耦模型和基准用于野外心理分析

Yigui Feng, Qinglin Wang, Haotian Mo, Yang Liu, Ke Liu, Gencheng Liu, Xinhai Chen, Siqi Shen, Songzhu Mei, Jie Liu

机构 * College of Computer Science, National University of Defense Technology（计算机科学学院，国防科技大学） ； Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（智能工程学院，华南理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出MIND模型和PRISM基准，通过解耦算法和专家标注数据提升野外对话心理分析的准确性与可靠性。

Multidimensional Rubric-oriented Reward Model Learning via Geometric Projection Reference Constraints

通过几何投影参考约束的多维评分导向奖励模型学习

Yongnan Jin, Xurui Li, Feng Cao, Liucun Gao, Juanjuan Yao

机构 * Shanghai Mingpin Medical Data Technology Co., Ltd.（上海明品医疗数据技术有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过几何投影参考约束的多维评分导向奖励模型学习，提升医疗领域大型语言模型的性能和对齐能力。

EvoEdit: Lifelong Free-Text Knowledge Editing through Latent Perturbation Augmentation and Knowledge-driven Parameter Fusion

EvoEdit: 通过潜在扰动增强和知识驱动参数融合实现终身自由文本知识编辑

Pengfei Cao, Zeao Ji, Daojian Zeng, Jun Zhao, Kang Liu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 EvoEdit通过潜在扰动增强和知识驱动参数融合，实现终身自由文本知识编辑，有效解决知识更新与遗忘问题。

ClusterFusion: Hybrid Clustering with Embedding Guidance and LLM Adaptation

ClusterFusion: 嵌入引导的混合聚类与LLM适应

Yiming Xu, Yuan Yuan, Vijay Viswanathan, Graham Neubig

机构 * Adobe（Adobe公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 ClusterFusion通过将LLM作为聚类核心，结合嵌入引导方法，实现领域知识与用户偏好的整合，提升文本聚类在标准任务和特定领域的性能。

Thinking with Programming Vision: Towards a Unified View for Thinking with Images

通过编程视觉思考：迈向图像思考的统一视角

Zirun Guo, Minjie Hong, Feng Zhang, Kai Jia, Tao Jin

机构 * Zhejiang University（浙江大学） ； ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 CodeVision提出一种灵活的代码作为工具框架，通过两阶段训练提升模型对图像变化和多工具推理的鲁棒性，实验显示显著提升性能并促进新兴能力。

Evaluating Hydro-Science and Engineering Knowledge of Large Language Models

评估大语言模型的水科学与工程知识

Shiruo Hu, Wenbo Shan, Yingjia Li, Zhiqi Wan, Xinpeng Yu, Yunjia Qi, Haotian Xia, Yang Xiao, Dingxiao Liu, Jiaru Wang, Chenxu Gong, Ruixi Zhang, Shuyue Wu, Shibo Cui, Chee Hui Lai, Wei Luo, Yubin He, Bin Xu, Jianshi Zhao

机构 * State Key Laboratory of Hydro-Science and Engineering, Department of Hydraulic Engineering（水利科学与工程国家重点实验室、水利学院） ； Department of Computer Science and Technology（计算机科学与技术系） ； Zhipu AI（智谱AI） ； CHN Energy Dadu River Big Data Services Co., Ltd.（中国能源大渡河大数据服务有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出Hydro-SE LLM评估基准，评估大语言模型在水科学与工程领域的知识和应用能力，揭示其优势与不足。

Comments Hydro-SE Bench sets a new benchmark for the evaluation of LLMs in the Hydro-Science and Engineering domain, with its code and data available at \url{https://github.com/sheishijun/Hydro-SE-Bench}

CryptoQA: A Large-scale Question-answering Dataset for AI-assisted Cryptography

CryptoQA: 一个大规模问答数据集，用于人工智能辅助密码学

Mayar Elfares, Pascal Reisert, Tilman Dietz, Manpa Barman, Ahmed Zaki, Ralf Küsters, Andreas Bulling

机构 * University of Stuttgart（斯图加特大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 CryptoQA是一个大规模问答数据集，旨在评估和训练LLMs在密码学任务中的能力，揭示LLMs在形式推理和数学知识上的不足，推动密码学研究的发展。

AutoSurvey2: Empowering Researchers with Next Level Automated Literature Surveys

AutoSurvey2：赋能研究人员的下一代自动化文献综述

Siyi Wu, Chiaxin Liang, Ziqian Bi, Leyi Zhao, Tianyang Wang, Junhao Song, Yichao Zhang, Keyu Chen, Benji Peng, Xinyuan Song

机构 * University of Texas at Arlington（德克萨斯理工大学） ； AI Agent Lab（人工智能代理实验室） ； Indiana University（印第安纳大学） ； Ohio State University（俄亥俄州立大学） ； Imperial College London（伦敦帝国理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Appcubic（Appcubic公司） ； Emory University（埃默里大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AutoSurvey2通过多阶段流程实现自动化文献综述生成，结合检索增强合成与结构化评估，提升综述的连贯性与相关性，为学术写作提供可扩展解决方案。

Comments TKDD 2025

TCC-Bench: Benchmarking the Traditional Chinese Culture Understanding Capabilities of MLLMs

TCC-Bench：评估多模态大语言模型对传统中国文化理解能力的基准测试

Pengju Xu, Yan Wang, Shuyuan Zhang, Xuan Zhou, Xin Li, Yue Yuan, Fengzhao Li, Shunyuan Zhou, Xingyu Wang, Yi Zhang, Haiying Zhao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 TCC-Bench通过双语视觉问答基准评估多模态大语言模型对传统中国文化理解能力，揭示其在文化相关视觉内容推理上的挑战。

Comments There are issues with the paper

Benchmarking LLM Agents for Wealth-Management Workflows

对财富管理流程的LLM代理进行基准测试

Rory Milsom

机构 * Rory Milsom（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过构建12个任务对的基准，评估通用LLM代理在财富管理任务中的准确性和经济性，发现其性能受自主性水平和工作流程可靠性影响显著。

Comments 56 pages, 8 figures, The University of Edinburgh

WearVQA: A Visual Question Answering Benchmark for Wearables in Egocentric Authentic Real-world scenarios

WearVQA: 一个用于评估智能眼镜等可穿戴设备上多模型AI助手视觉问答能力的基准测试

Eun Chang, Zhuangqun Huang, Yiwei Liao, Sagar Ravi Bhavsar, Amogh Param, Tammy Stark, Adel Ahmadyan, Xiao Yang, Jiaqi Wang, Ahsan Abdullah, Giang Nguyen, Akil Iyer, David Hall, Elissa Li, Shane Moon, Nicolas Scheffer, Kirmani Ahmed, Babak Damavandi, Rakesh Wanga, Anuj Kumar, Rohit Patel, Xin Luna Dong

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 WearVQA是一个评估可穿戴设备上多模型AI助手视觉问答能力的基准测试，通过真实场景下的图像-问题-答案三元组，评估其在复杂视觉输入和现实任务中的表现。

Comments 11 pages, 5 figures, NeurIPS 2025

Large Language Models Cannot Reliably Detect Vulnerabilities in JavaScript: The First Systematic Benchmark and Evaluation

大语言模型无法可靠地检测JavaScript中的漏洞：首个系统性基准和评估

Qingyuan Fei, Xin Liu, Song Li, Shujiang Wu, Jianwei Hou, Ping Chen, Zifeng Kang

机构 * Lanzhou University（兰州大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Technology Support Center of the Cyberspace Administration of China（国家互联网信息办公室技术支撑中心） ； Fudan University（复旦大学） ； Beijing University of Posts（北京邮电大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文首次提出FORGEJS框架，构建首个系统性JavaScript漏洞检测基准ARENAJS，并揭示LLM在漏洞检测中的局限性。