语言大模型 / LLM

Agentic Retrieval-Augmented Generation for Financial Document Question Answering

代理检索增强生成用于财务文档问答

Yang Shu, Yingmin Liu, Zequn Xie

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出FinAgent-RAG框架，通过迭代检索-推理循环和自我验证，提升金融文档问答的精度。引入对比金融检索器、程序化思维模块和自适应策略路由，实验表明在三个基准数据集上均取得显著效果，准确率提升5.62-9.32个百分点。

Comments This paper is withdrawn due to significant methodological errors in the experimental design that fundamentally affect the validity of the results. The errors are not correctable within the current framework, and the conclusions can no longer be supported. We apologize for any inconvenience caused to readers

Code Benchmarks Should Prioritize Rigor, Reliability, and Reproducibility

代码基准应优先考虑严谨性、可靠性和可重复性

Jialun Cao, Yuk-Kit Chan, Zixuan Ling, Wenxuan Wang, Shuqing Li, Mingwei Liu, Ruixi Qiao, Yuting Han, Chaozheng Wang, Boxi Yu, Pinjia He, Shuai Wang, Zibin Zheng, Michael R. Lyu, Shing-Chi Cheung

机构 * The Chinese University of Hong Kong（香港中文大学） ； Renmin University of China（中国人民大学） ； Sun Yat-Sen University（中山大学） ； Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究代码基准在评估大语言模型中的作用，指出其质量影响对模型能力的解读。通过对672个代码基准的调查发现实际与认知有差距，提出代码基准应在构建、评估和发布中分别注重严谨性、可靠性和可重复性，并给出准则。

Comments 66 pages

ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair

ContraFix：通过差分运行时证据和技能重用进行代理漏洞修复

Simiao Liu, Fang Liu, Peiding Wang, Taichuan Li, Yinghao Zhu, Xiaoli Lian, Li Zhang

机构 * Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ContraFix框架，通过差分运行时证据和可重用的修复技能，解决大型语言模型代理在自动漏洞修复中的语义误解问题，实现了在SEC-Bench和PatchEval上的高准确率。

Comments Code: https://figshare.com/s/f173c78e44bca88ebaea

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

MultiZebraLogic: A Multilingual Logical Reasoning Benchmark

MultiZebraLogic：多语言逻辑推理基准

Sofie Helene Bruun, Dan Saattrup Smart

机构 * The Alexandra Institute（亚历山大研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多语言逻辑推理基准MultiZebraLogic，包含九种语言的高质量斑马谜题数据集，通过调整谜题大小和添加无关线索控制难度，分析语言、文化敏感性和线索类型对模型性能的影响。

Comments Camera-ready version for RESOURCEFUL 2026 at LREC 2026

WebSP-Eval: Evaluating Web Agents on Website Security and Privacy Tasks

WebSP-Eval：在网站安全与隐私任务上评估网络代理

Guruprasad Viswanathan Ramesh, Asmit Nayak, Basieem Siddique, Kassem Fawaz

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WebSP-Eval框架，通过200个任务实例和自动化评估器，测试多模态大模型在网站安全与隐私任务上的表现，发现状态UI元素（如开关）导致超过45%的任务失败。

Comments Accepted at PETS 2026. Project Page: https://wiscprivacy.com/webspeval/

SorryDB: Can AI Provers Complete Real-World Lean Theorems?

SorryDB: AI证明者能完成现实世界的Lean定理吗？

Austin Letson, Leopoldo Sarra, Auguste Poiroux, Oliver Dressler, Paul Lezeau, Dhyan Aranha, Frederick Pu, Aaron Hill, Miguel Corredera Hidalgo, Julian Berman, George Tsoukalas, Lenny Taelman

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出动态更新的基准SorryDB，包含78个GitHub上的现实形式化项目，评估AI证明者在复杂依赖下的能力，发现当前方法互补，基于Gemini Flash的智能体方法表现最佳。

A Survey on Agentic Security: Applications, Threats and Defenses

关于智能体安全的综述：应用、威胁与防御

Asif Shahriar, Md Nafiu Rahman, Sadif Ahmed, Farig Sadeque, Md Rizwan Parvez

机构 * BRAC University（布拉克大学） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文首次全面综述智能体安全领域，围绕应用、威胁与防御三大支柱，分类260余篇论文，分析攻击入口、防御策略及生命周期覆盖，指出智能体系统默认结构脆弱，需全生命周期防御。

FlowState: Sampling-Rate-Equivariant Time-Series Forecasting

FlowState: 采样率等变的时间序列预测

Lars Graf, Thomas Ortner, Stanisław Woźniak, Angeliki Pantazi

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出FlowState架构，通过状态空间模型编码器和函数基解码器实现采样率等变预测，无需重新训练即可适应不同采样率和预测长度，在GIFT-Eval基准上取得最优结果。

Comments Proceedings of the 43 rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026. Copyright 2026 by the author(s)

"Do Not Mention This to the User": Detecting and Understanding Malicious Agent Skills in the Wild

“不要向用户提及此事”：检测与理解恶意代理技能

Yi Liu, Zhihao Chen, Yanjun Zhang, Gelei Deng, Yuekang Li, Jianting Ning, Leo Yu Zhang

机构 * Griffith University（格里菲斯大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Zhejiang Key Laboratory of Digital Fashion and Data Governance, Zhejiang Sci-Tech University（浙江数字时尚与数据治理重点实验室，浙江科技大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过对两个主要注册中心的98,380个技能进行系统安全分析，结合静态模式匹配和动态行为验证，识别出157个恶意技能，揭示了13种攻击技术中的632个不同漏洞，并发现攻击复杂性与隐藏投入相关。

Comments Accepted to the 35th USENIX Security Symposium (USENIX Security 2026)

Illusions of the Gold Standard: A Large-scale Analysis of Human Evaluation Protocols for Long-form Text Generation

黄金标准的幻觉：长文本生成中人类评估协议的大规模分析

Katelyn Xiaoying Mei, Yi-Li Hsu, Minjoon Choi, Zongwan Cao, Chenjun Xu, Bingbing Wen, Su Lin Blodgett, Lucy Lu Wang

机构 * University of Washington（华盛顿大学） ； National Tsing Hua University（国立清华大学） ； Seoul National University（首尔大学） ； Mila - Québec AI Institute（米拉-魁北克人工智能研究所） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过分析2023-2025年*CL会议论文中的人类评估协议，发现报告不透明和可重复性差的问题，并提出改进建议。

Comments Accepted to ACL 2026 Main

CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents

CUA-Gym：为计算机使用智能体扩展可验证的训练环境和任务

Bowen Wang, Dunjie Lu, Junli Wang, Tianyi Bai, Shixuan Liu, Zhipeng Zhang, Haiquan Wang, Hao Hu, Tianbao Xie, Shuai Bai, Dayiheng Liu, Que Shen, Junyang Lin, Tao Yu

机构 * The University of Hong Kong（香港大学） ； Qwen Team, Alibaba Inc.（阿里巴巴集团Qwen团队） ； University of California, San Diego（加州大学圣地亚哥分校） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CUA-Gym可扩展流水线，通过协同生成任务指令、环境状态和奖励函数，构建大规模可验证强化学习训练数据，并合成CUA-Gym-Hub模拟网络应用环境，训练出的智能体在OSWorld-Verified和WebArena上取得领先性能。

ConflictRAG: Detecting and Resolving Knowledge Conflicts in Retrieval Augmented Generation

ConflictRAG: 检测和解决检索增强生成中的知识冲突

Chenyu Wang, Yueyuan Li, Yingmin Liu, Yang Shu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出ConflictRAG框架，通过两阶段冲突检测模块、熵-TOPSIS框架和冲突感知RAG评分，有效检测和解决检索增强生成中的知识冲突，实验表明其在冲突检测F1和正确性方面优于现有方法。

Comments 6 pages, 6 figures, submitted to IEEE SMC 2026

CrossAlpha: An Annual-Report Benchmark for Cross-Market Factor Research (with LLM Agents)

CrossAlpha: 跨市场因子研究的年报基准

Qian Wang, Zhongyi Tong, Nuo Chen, Zhaomin Wu, Bingsheng He

专题命中 评测与基准 ：LLM(title)

AI总结 提出CrossAlpha基准，通过披露蒸馏、残差模式图构建和时序对齐评估，解决跨市场因子研究中披露到收益评估的挑战。

Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability

面向查询不可知的RAG评估：基于查询覆盖率与声明可验证性

Jeonghwan Choi, Taewon Yun, Minjeong Ban, Gyeonghun Sun, Jae-Gil Lee, Hwanjun Song

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Q-CARE框架，通过分解查询与答案实现RAG的细粒度评估，在8个数据集的基准测试中，其评估结果与人工判断的相关性优于现有4种RAG评估指标。

Comments Accepted to COLM 2026

SlidesGen-Bench: Evaluating Slides Generation via Computational and Quantitative Metrics

SlidesGen-Bench: 通过计算和定量指标评估幻灯片生成

Yunqiao Yang, Wenbo Li, Houxing Ren, Zimu Lu, Ke Wang, Zhiyuan Huang, Zhuofan Zong, Mingjie Zhan, Hongsheng Li

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SlidesGen-Bench通过计算和定量指标评估幻灯片生成，提出统一框架和可重复的量化指标，构建人类偏好对齐数据集，提升与人类判断的一致性。

Comments 37 pages, 34 figures, EMNLP 2026 Main Conference

GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval

GreekBarRetrieval：希腊成文法检索基准

Ernest Beta, Odysseas S. Chlapanis, Dimitrios Galanis, Ion Androutsopoulos

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究推出希腊成文法检索基准GreekBarRetrieval，通过实验发现基于大型语言模型的查询重表述可提升BM25检索效果，使其在多项指标上优于其他检索方法。

Comments Submitted to NLLP workshop 2026

ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis

ATBench：一个多样且现实的代理轨迹基准，用于安全评估与诊断

Yu Li, Haoyu Luo, Yuejin Xie, Yuqian Fu, Zhonghao Yang, Shuai Shao, Qihan Ren, Wanying Qu, Yanwei Fu, Yujiu Yang, Jing Shao, Xia Hu, Dongrui Liu

机构 * Shanghai AI Lab（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； KAUST（卡塔尔人工智能科学中心） ； East China Normal University（华东师范大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 ATBench通过多样化的轨迹和现实场景评估代理安全，包含1000条轨迹，挑战性强，支持跨基准比较和长周期故障诊断。

CanLegalRAGBench: Evaluating Retrieval-Augmented Generation on Canadian Case Law

CanLegalRAGBench：评估加拿大判例法上的检索增强生成

Ethan Zhao, Maksym Taranukhin, Wei Cui, Moira Aikenhead, Vered Shwartz

机构 * Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系） ； Vector Institute（向量研究所） ； CIFAR AI Chair Peter A. Allard School of Law, University of British Columbia（不列颠哥伦比亚大学彼得·A·艾尔德法学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对法律RAG系统中幻觉问题及加拿大法律评估不足，提出基于真实查询和专家标注的加拿大法律QA基准CanLegalRAGBench，发现检索性能受设计选择影响、开源嵌入模型与闭源模型竞争力相当，但自动评估存在局限且生成答案常偏离黄金标准。

Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

聚焦图像：用于胸部X光诊断与报告生成的注视监督多模态学习

Tanjim Islam Riju, Shuchismita Anwar, Saman Sarker Joy, Farig Sadeque, Swakkhar Shatabda

机构 * Department of Computer Science and Engineering, Brac University（计算机科学与工程系，布拉克大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究基于MIMIC-Eye数据集构建两阶段多模态框架，引入注视监督提升胸部X光诊断准确率与报告空间可解释性，为该领域提供了可复现的新基准。

Unaccountable Delegation, Fading Skills: Mapping the Risks of Workplace AI Agents

不可问责的授权与技能衰退：绘制职场AI智能体的风险图谱

Gabriele La Malfa, Lakmal Meegahapola, Edyta Bogucka, Jie M. Zhang, Michael Luck, Elizabeth Black, Daniele Quercia

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究开发了AI智能体多层框架，基于2078项工作任务生成风险场景并验证，扩展出15类职场AI风险分类法，揭示了不同部署模式的风险差异，为职场AI风险管控提供了分类工具与依据。

EvoScene-VLA: Evolving Scene Beliefs Inside the Action Decoder for Chunked Robot Control

EvoScene-VLA: 在动作解码器中进化场景信念用于分块机器人控制

Chushan Zhang, Ruihan Lu, Jinguang Tong, Xuesong Li, Yikai Wang, Hongdong Li

机构 * Australian National University（澳大利亚国立大学） ； The University of Queensland（昆士兰大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 评测与基准 ：language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出EvoScene-VLA，通过在动作解码器中维护更新的场景状态，改进分块机器人控制中的多步控制预测，提升了场景信念的持续性和准确性。

HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam

HLE-Verified: 人类最后考试的系统验证与结构化修订

Weiqi Zhai, Zhihai Wang, Jinghang Wang, Boyu Yang, Xiaogang Li, Xander Xu, Bohan Wang, Peng Wang, Xingzhe Wu, Anfeng Li, Qiyuan Feng, Yuhao Zhou, Taolin Han, Wenjie Luo, Yiyuan Li, Xiang Zheng, Yaxuan Wang, Ruixiang Luo, Guojie Lin, Peiyao Xiao, Chengliang Xu, Ben Wang, Zeyu Wang, Zichao Chen, Jianan Ye, Yijie Hu, Jialong Chen, Zongwen Shen, Yuliang Xu, An Yang, Bowen Yu, Dayiheng Liu, Junyang Lin, Hu Wei, Que Shen, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Qwen Team, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 HLE-Verified通过系统验证和结构化修订，减少噪声并提高模型评估的准确性。

Comments 14 pages, 10 figures

The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

日式儿童谜语作为机器洞察与元认知的基准

Masaharu Mizumoto, Dat Nguyen, Zhiheng Han, Xingfu Li, Yo Nakawake, Le Minh Nguyen

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究通过日本儿童谜语构建基准，揭示机器在洞察推理和元认知控制方面的不足，为提升AI的自我评估能力提供新方向。

Mawqif-XT: An Arabic Benchmark Dataset for Cross-Target Stance Detection

Mawqif-v2：面向跨目标立场检测的阿拉伯语基准数据集

Rasha Albalawi, Nuha Albadi, Hamzah Luqman, Maram Kurdi, Saad Ezzini, Asma Yamani, Ahmed Ashraf

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Mawqif-v2阿拉伯语基准数据集，含996条标注推文，用于评估跨目标立场检测的模型泛化能力，并建立基线结果以支持可复现评估。

Auditable Agents

可审计代理

Yi Nian, Aojie Yuan, Haiyue Zhang, Jiate Li, Li Li, Xiyang Hu, Hua Wei, Xiongye Xiao, Chaowei Xiao, Yue Zhao

机构 * FORTIS Lab, University of Southern California（南加州大学FORTIS实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文探讨了可审计代理系统的核心问题，提出五个可审计性维度和三种机制类别，通过实证证据证明代理系统需具备审计能力才能实现问责。

Comments 24 pages, 1 figure. Extended version. A condensed 4-page version appears in the Proceedings of the ACM AI Leadership Summit 2026 (Visionary Papers track)

SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang

SLAyiNG：一个经社群验证的多元酷儿俚语数据集

Leonor Veloso, Lea Hirlimann, Lucija Mihić Zidar, Philipp Wicke, Valentin Hofmann, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对酷儿语言处理偏差问题，本文提出首个经社群验证的英语酷儿俚语数据集Slaying，揭示语言模型对酷儿社群无表征偏差但存在语言偏差等发现，可提升酷儿用户NLP体验。

Comments Preprint

TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents

TongGuOCR：面向中文历史文献的布局感知与 token 增强 OCR 框架

Zhongheng Zhou, Yi Sun, Huiguo He, Yuyi Zhang, Peirong Zhang, Yulin Fang, Dezhi Peng, Minghui Liao, Lianwen Jin

机构 * School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对中文历史文献OCR的复杂布局、生僻字等挑战，提出TongGuOCR框架，通过布局感知预处理与token增强识别模块，在M5HisDoc等基准上取得优于同类模型的性能。

Patients With Personality: Realistic Patient Simulation through Controlled Diversity and Selective Disclosure

具有个性的患者：通过受控多样性与选择性披露实现逼真的患者模拟

Moritz Schlager, Friederike Jungmann, Samuel Schmidgall, Philipp Raffler, Franziska Hartl, Eva Wende, Paula Roßmüller, Conrad Ketzer, Avinatan Hassidim, Dale R. Webster, Yossi Matias, Yun Liu, Daniel Rueckert, Mike Schaekermann, Paul Hager

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； TUM University Hospital（慕尼黑技术大学医院） ； Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出PatientsWithPersonality框架，通过HEXACO人格参数化控制患者对话风格、合作性和信息披露，生成逼真且多样化的虚拟患者，在临床评估中接近真实演员表现。

Comments 22 pages, 11 figures

PinpointQA: A Benchmark for Small Object-Centric Spatial Understanding in Indoor Videos

PinpointQA: 一个用于室内视频中微小物体中心空间理解的数据集和基准

Zhiyu Zhou, Peilin Liu, Ruoxuan Zhang, Luyang Zhang, Cheng Zhang, Hongxia Xie, Wen-Huang Cheng

机构 * Jilin University（吉林大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PinpointQA数据集，用于评估多模态大语言模型在室内视频中对微小物体空间定位的精准理解能力，通过四个递进任务验证模型性能，并展示其作为诊断基准和训练数据集的效果。

Comments Accepted at the ECCV 2026 Workshop on Embodied Multimodal Reasoning in Physical Environments (EMR)