语言大模型 / LLM

Self-Evolving Human-Centered Framework for Explainable Depression Symptom Annotation

用于可解释抑郁症症状标注的自我进化以人为中心框架

Hoang-Loc Cao, Van Pham, Truong Thanh Hung Nguyen, Phuc Truong Loc Nguyen, Phuc Ho, Veronica Whitford, Hung Cao

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对抑郁症标注质量瓶颈，提出结合大语言模型辅助与专家验证的自我进化标注框架，分三阶段运行，采用双记忆架构，能提高标注一致性和可解释性，减少人工修订，还输出多种信息实现可审计性。

Comments Accepted at IEEE International Conference on Omni-Layer Intelligent Systems (COINS) 2026

Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video

视频语言模型真的在观看吗？诊断长视频中的角色跟踪失败

Mohammad Al-Ratrout, Shayla Sharmin, Aditya Raikwar, Roghayeh Leila Barmaki

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究视频语言模型在长视频中跟踪角色的能力，通过九条件诊断协议测试三个开源模型及Gemini，发现模型准确性非来自角色跟踪，存在性别线索利用问题，还发布诊断工具包揭示基准分数衡量的实际情况。

TTHE: Test-Time Harness Evolution

测试时工具演化

Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； University of Science and Technology of China（中国科学技术大学） ； Hong Kong Generative AI Research & Development Center, The Hong Kong University of Science and Technology（香港生成式人工智能研究与开发中心，香港科技大学） ； TCL Corporate Research (HK) Co., Ltd（TCL 企业研究（香港）有限公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 研究LLM智能体测试时工具优化问题，提出TTHE方法，通过维护候选工具种群，基于执行轨迹推理优化，无需黄金标签或特定任务监督，在多任务实验中改进基线工具，将测试时适应重塑为程序演化并确定代理可靠性挑战。

Comments 15 pages, 5 figures

Application of LLMs to Threat Assessment of Foreign Peacekeeping Missions

LLMs在外国维和任务威胁评估中的应用

Gerhard Backfried, Christian Schmidt, Diego Pilutti, Michael Suker

机构 * HENSOLDT Austria（海恩索尔特奥地利公司） ； Austrian Ministry of Defence（奥地利国防部） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出利用大语言模型（LLMs）结合风险模型和OSINT媒体数据，自动提取维和任务相关威胁，评估显示自动结果与人工判断高度一致。

Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions

用于开源情报和网络调查的智能与生成式人工智能：分类法、评估、挑战及未来方向

Eduardo Almeida Palmieri, Mohamed Chahine Ghanem, Dipo Dunsin, Zubair Baig, Ed de Quincey, Kim-Kwang Raymond Choo

机构 * School of Computer Science and Mathematics, Keele University（基尔大学计算机科学与数学学院） ； Cybersecurity Institute, University of Liverpool（利物浦大学网络安全研究所） ； Department of Applied Computing IICL, University of Wales Trinity Saint David（威尔士特里尼达大学应用计算系） ； Deakin Cyber Research and Innovation Hub, Deakin University（德金大学网络安全研究与创新中心） ； Department of Information Systems and Cyber Security, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系与网络安全系） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究指出公开数字信息增长使人工开源情报分析不足，大语言模型等成解决方案但评估框架滞后。通过综述74项研究，明确智能人工智能类别，找出幻觉验证差距，映射研究到情报生命周期并给出研究议程。

Comments 36 Pages

Bringing Agentic Search to Earth Observation Data Discovery

将智能搜索引入地球观测数据发现

Minghan Yu, Youran Sun, Chugang Yi, Yixin Wen, Haizhao Yang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一个基于智能搜索的系统，利用知识图谱和大型语言模型，从自然语言查询中返回匹配的地球科学数据集和工具，显著提升检索性能。

Comments 19 pages, 1 figure, 6 tables

ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents

ClawArena-Team: 语言模型智能体中子智能体编排与动态工作流的基准测试

Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ClawArena-Team基准，通过41个多轮多模态多目录场景，评估单个LLM作为管理者编排子智能体的能力，发现管理瓶颈在于权限授予而非感知，且成本与质量解耦。

Comments 24 pages, 10 figures, website: https://www.clawarena.cc/

Skills Are Not Islands: Measuring Dependency and Risk in Agent Skill Supply Chains

技能并非孤岛：衡量智能体技能供应链中的依赖性与风险

Changguo Jia, Tianqi Zhao, Runzhi He, Minghui Zhou

机构 * Peking University（北京大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出智能体技能供应链（ASSC）概念，设计SkillDepAnalyzer工具从自然语言中提取依赖关系，在超143万技能上揭示四种结构模式和安全风险，建议类型化依赖清单和风险预警审计。

SWE-Doctor: Guiding Software Engineering Agents with Runtime Diagnosis from Multi-Faceted Bug Reproduction Tests

SWE-Doctor: 通过多面缺陷复现测试的运行时诊断引导软件工程智能体

Yaoqi Guo, Yang Liu, Jie M. Zhang, Yun Ma, Yiling Lou, Zhenpeng Chen

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SWE-Doctor，通过生成多面缺陷复现测试并执行调试，构建运行时诊断记录，结合定位信息指导补丁生成，在SWE-bench Verified和Pro上平均解决率分别达75.7%和59.4%。

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

SWE-Router：多轮智能体软件工程任务中的路由

Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SWE-Router，一种基于价值的时间路由方法，通过让廉价模型探索几轮后根据部分轨迹决定是否升级到昂贵模型，在保持强模型大部分性能的同时大幅提升成本效率。

Comments The 5th Deep Learning for Code Workshop, ICML 2026

ATM: CID-Brokered Pre-Write Admission for Multi-Agent Code Co-Synthesis

ATM：基于CID的预写准入机制用于多智能体代码协同合成

Eagl Huang

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ATM框架，通过CID代理和适配器引导的原子化，解决多智能体LLM系统中并发写意图的准入、组合与序列化问题，支持可审计性和有限恢复能力。

Comments 40 pages, 8 figures. Source code and supplementary artifact links are described in the manuscript appendix

Quantifying the Affective Gap: A Zero-Shot Evaluation of LLMs on Fine-Grained Emotion Taxonomies

量化情感差距：大型语言模型在细粒度情感分类上的零样本评估

Lawrence Obiuwevwi, Krzysztof J. Rechowicz, Jessica M. Johnson, Vikas Ashok, Sachin Shetty, Sampath Jayarathna

机构 * Old Dominion University（欧道明大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究对Claude、ChatGPT和Gemini三种商业LLM进行零样本细粒度13类情感分类评估，发现最高准确率仅39.9%，模型在爱情、困惑等情感上表现差，且无显著差异，揭示当前前沿AI在零样本情感分类中的局限性。

Comments in Proc. 27th IEEE Int. Conf. (IRI'2026)

YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese

YOMI-Bench：评估日语大语言模型汉字读音与音韵理解的基准

Ryota Mibayashi, Hiroya Takamura, Hitomi Yanaka

机构 * Kobe University（神户大学） ； National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST）） ； The University of Tokyo（东京大学） ； RIKEN（理化学研究所） ； Tohoku University（东北大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出YOMI-Bench基准，通过四个任务评估大语言模型在日语汉字读音上的表现，发现专用模型和商业模型均表现不佳。

Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth

前沿大语言模型在阿拉伯文化与社会语言学知识上的基准测试：基于人类专家真实标注的交叉评估框架

Sajjad Abdoli, Ghassan Al-Sumaidaee, Ahmad ElShiekh, Clayton W. Taylor, Ahmed Rashad

机构 * Perle AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出一个交叉评估框架，通过人类专家标注的103个提示-评分标准对，评估前沿LLM在埃及和伊拉克阿拉伯语文化与社会语言学知识上的表现，发现GPT-5.4是最可靠的自动评判者，文化任务比语言任务更难评分，且模型在埃及提示上表现优于伊拉克提示。

JL1-CC&QA: Extending the JL1-CD Benchmark with Change Captioning and Question Answering

JL1-CC&QA：扩展JL1-CD基准，增加变化描述和问答

Ziyuan Liu, Ruifei Zhu, Ouqiao Ma, Yuantao Gu

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心） ； Chang Guang Satellite Technology Co., Ltd. (CGSTL)（长光卫星技术股份有限公司） ； College of Communications Engineering, Army Engineering University of PLA（中国人民解放军陆军工程大学通信工程学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出JL1-CC&QA多任务基准，通过变化描述和问答扩展JL1-CD，利用吉林一号卫星图像和三级标注流程，推动遥感变化理解。

Comments 10 pages, 8 figures

CSTrader: A Testbed for Language-Grounded Trading in a Community-Driven Virtual Asset Market

CSTrader: 社区驱动虚拟资产市场中基于语言的交易测试平台

Yao Shi, Kingfung Luo, Nan Tang, Yuyu Luo

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CSTrader多智能体框架，通过集成异构信号、技术分析、流动性、事件和反转情绪等智能体，在CS2皮肤市场实现语言到交易的映射，在波动期取得7.58%累计收益并控制风险。

AI-Generated PowerShell Malware: An Experimental Framework and Dataset

AI生成的PowerShell恶意软件：一个实验框架与数据集

Luciano Pianese, Vittorio Orbinato, Pietro Liguori, Roberto Natella

机构 * Gran Sasso Science Institute（格兰萨索科学研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一个评估LLM生成PowerShell恶意软件的实验框架，包含动态分析沙箱和人工标注的真实恶意软件数据集，发现LLM生成的恶意软件与真实样本在触发OS恶意事件上高度相似。

When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs

当校准排名反转：面向LLM公平比较的精度控制评估框架

Zhichao Yang, Caiqi Zhang, Ruihan Yang, Chengzu Li, Nigel Collier, Deqing Yang

机构 * Fudan University（复旦大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对全局校准指标因模型精度差异导致比较不公平的问题，提出ACE精度控制评估框架，通过实例对齐、分布对齐和候选对齐三种视角实现公平比较，发现原始指标下的优势在控制精度后大幅减弱，排名反转频繁。

OpenRCA 2.0: From Outcome Labels to Causal Process Supervision

OpenRCA 2.0：从结果标签到因果过程监督

Aoyang Fang, Yifan Yang, Jin'ao Shang, Qisheng Lu, Junjielung Xu, Rui Wang, Songhan Zhang, Yuzhong Zhang, Boxi Yu, Pinjia He

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对现有根因分析数据集仅标注结果而忽略因果传播路径的问题，提出PAVE协议重建因果路径，构建OpenRCA 2.0基准，发现LLM在根因定位中因果验证不足的缺陷。

Comments work in progress

The Signal-Coverage Matrix: Stratifying Type and Semantic Errors in Statement Autoformalization

信号-覆盖矩阵：对语句自动形式化中的类型错误和语义错误进行分层

Chengxiao Dai, Zhaokun Yan, Zhanhui Lin

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出信号-覆盖矩阵，将LLM自动形式化输出按类型正确性和语义等价性分为四类，揭示类型错误和语义错误的恢复模式，并预测总体正确率变化。

Agent-as-a-Router: Agentic Model Routing for Coding Tasks

Agent-as-a-Router: 面向编码任务的智能体模型路由

Pengfei Zhou, Zhiwei Tang, Yixing Ma, Jiasheng Tang, Yizeng Han, Zhenglin Wan, Fanqing Meng, Wei Wang, Bohan Zhuang, Wangbo Zhao, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； University of California, Berkeley（加州大学伯克利分校） ； The Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Agent-as-a-Router框架，通过C-A-F循环积累执行经验，实现编码任务的动态模型路由，ACRouter在分布内任务上取得最低累积遗憾并泛化到分布外任务。

Comments 39 pages, 21 figures, a living technical report with a living benchmark that continuously updates

Autoformalization of Agent Instructions into Policy-as-Code

智能体指令的自动形式化为策略即代码

Adam Mondl, Matthew Maisel, John H. Brock

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出自动形式化流水线，通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言，在MedAgentBench上比手工编码覆盖更多规范。

Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD), ICML 2026

MKG-RAG-Bench: Benchmarking Retrieval in Multimodal Knowledge Graph-Augmented Generation

MKG-RAG-Bench：多模态知识图谱增强生成中的检索基准

Xiaochen Wang, Bao Hoang, Han Liu, Ting Wang, Fenglong Ma

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Michigan State University（密歇根州立大学） ； Dalian University of Technology（大连理工大学） ； Stony Brook University（石溪大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MKG-RAG-Bench基准，通过构建跨领域多模态知识图谱和问答数据集，系统评估多模态知识图谱增强生成中的检索性能，揭示检索质量对生成结果的决定性作用。

Comments Accepted by KDD'26

CyberChainBench: Can AI Agents Secure Smart Contracts Against Real-World On-Chain Vulnerabilities?

CyberChainBench: AI代理能否保护智能合约免受真实链上漏洞的攻击？

Jintao Huang, Fengqing Jiang, Radha Poovendran, Zhiqiang Lin

机构 * The Ohio State University（俄亥俄州立大学） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出CyberChainBench基准，评估基于LLM的代理在智能合约安全中的漏洞检测、利用生成和补丁合成能力，基于541个真实链上攻击事件，发现最佳配置在检测、利用和修补上的得分分别为37.5%、43.7%和23.4%。

Detecting and Controlling Sycophancy with Cascading Linear Features

检测和控制级联线性特征中的谄媚行为

Maty Bohacek, Rishub Jain, Nicholas Dufour, Thomas Leung, Chris Bregler, Roma Patel

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出迭代数据生成管线，通过级联线性特征分离谄媚行为，实现更优的检测、评分和干预，性能匹配或超越基线方法。

Learning User Simulators with Turing Rewards

基于图灵奖励的学习用户模拟器

Yingshan Susan Wang, Cedegao E. Zhang, Linlu Qiu, Zexue He, Pengyuan Li, Alex Pentland, Roger P. Levy, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Turing-RL方法，利用基于图灵测试的强化学习训练用户模拟器，通过判别性图灵奖励使生成响应与真实用户不可区分，在对话和论坛讨论中优于基线方法。

RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments

RevengeBench: 从行为实验中逆向工程代码空间策略

Babak Rahmani, Sebastian Dziadzio, Joschka Strüber, Sergio Hernández-Gutiérrez, Matthias Bethge

机构 * Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 提出RevengeBench基准，通过行为轨迹和可控实验逆向工程LLM生成的策略代码，验证恢复质量在34-72%之间，并能提升下游对战胜率。

Comments 12 pages, 5 figures, 22 appendix pages

AI translation of literary texts is "fine", but readers still prefer human translations

AI 翻译文学作品“还行”，但读者仍偏好人工翻译

Yves Ferstler, Adam Podoxin, Ty Brassington, Roman Grundkiewicz, Maite Taboada, Marzena Karpinska

机构 * Simon Fraser University（西蒙菲莎大学） ； Université du Québec à Montréal（魁北克大学蒙特利尔分校） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过15位读者对15部法、波、日小说的人工翻译与AI翻译的比较实验，发现AI翻译虽可接受，但读者更偏好人工翻译的流畅性、清晰度和沉浸感，且无法可靠区分两者。

Comments 58 pages, including appendices

GUI agent: Guided Exploration of User-Sensitive Screens

GUI代理：用户敏感屏幕的引导探索

Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

机构 * Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑）） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一种探索代理，通过系统性地探索查询空间，识别在GUI环境中执行后会导致用户敏感状态的查询，以提升LLM代理的安全性和可靠性。

STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

STEB：用于评估超越翻译保真度的语音到语音翻译表现力基准

Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STEB基准，通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力，发现现有系统在语义保真度上表现良好但表现力保留不足。