语言大模型 / LLM

HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human-LLM Collaborative Writing

HarDBench: 面向安全人机协作写作的基于草稿的合著越狱攻击基准

Euntae Kim, Soomin Han, Buru Chang

机构 * Korea University（韩国大学） ； Sogang University（ソガン大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出HarDBench基准，评估大语言模型在协作写作中面对恶意草稿填充的越狱攻击的鲁棒性，并通过偏好优化实现安全-效用平衡的对齐方法。

Comments ACL 2026 Main

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 40785-40831 July 2-7, 2026

Auto-DSM Under the Lens: A Black-Box Evaluation Framework for LLM-Based DSM Generation

镜头下的自动DSM：基于大语言模型的DSM生成的黑盒评估框架

Niels Potters, Theo Hofman

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的DSM生成能力，提出黑盒评估框架，结合多种指标评估，在两个数据集实验，结果显示LLMs能生成合理DSM但对一些因素敏感，为审核自动DSM管道及集成相关方法到MBSE工作流奠定基础。

Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification

大规模安全测试LLM智能体：从风险发现到基于证据的验证

Yunhao Feng, Ruixiao Lin, Ming Wen, Qinqin He, Yanming Guo, Yifan Ding, Yutao Wu, Jialuo Chen, Zhuoer Xu, Xiaohu Du, Jianan Ma, Zixing Chen, Xingjun Ma, Yunhao Chen, Xinhao Deng

机构 * AntGroup（蚂蚁集团） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Alibaba Group（阿里巴巴集团） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） ； Deakin University（迪肯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Vera框架，通过文献驱动的风险发现、组合生成可执行安全用例和自适应执行与证据验证三阶段流水线，实现端到端自动化安全测试，在四个生产级智能体框架上发现严重漏洞，平均攻击成功率93.9%。

"Don't Say It!": Constraints, Compliance, and Communication when Language Models Play Taboo

“别说出来！”：语言模型玩禁忌游戏时的约束、合规与沟通

Sara Candussio, Francesca Padovani, Daniel Scalena, Malvina Nissim

机构 * Center for Language and Cognition (CLCG), University of Groningen（格罗宁根大学） ； University of Milano - Bicocca（米兰比可卡大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究语言模型在禁忌游戏中如何在严格词汇约束下生成有效描述，通过提示、生成时约束和内部表示操纵干预，评估合规性与沟通效果，发现模型在约束下表现弱于人类。

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

从整体评估到结构化标准：大语言模型演变中的评分准则

Hao Chen, Ziyu Han, Yukun Yan, Qingfu Zhu, Maosong Sun, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Department of Computer Science and Technology, Institute for AI（计算机科学与技术系，人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出评分准则作为统一框架，通过分解整体判断为可验证维度、提供过程级反馈和动态涌现自模型行为三个层次，连接人类意图与机器行为。

A Multi-Dataset Benchmark for Evaluating LLM Agents in Microservice Failure Diagnosis

用于评估微服务故障诊断中LLM智能体的多数据集基准

Yuanhong Cai, Xiaohui Nie, Kanglin Yin, Changhua Pei, Yongqian Sun, Shenglin Zhang, Haibin Liu, Guiyang Liu, Xidao Wen, Fang Situ, Dan Pei

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出基于推理过程评估的基准，包含两个大规模数据集（AIOps2025和RCA100），从定位、识别和原因三个维度评估智能体诊断能力，覆盖500多个专家标注的故障案例。

Comments 10 pages, 6 figures, 6 tables

Semantic Prompting: Agentic Incremental Narrative Refinement through Spatial Semantic Interaction

语义提示：通过空间语义交互实现代理增量叙事优化

Xuxin Tang, Ibrahim Tahmid, Eric Krokos, Kirsten Whitley, Xuan Wang, Chris North

机构 * Department of Defense（国防部） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出语义提示框架，通过感知语义交互、推理解释意图并执行定位修订，解决现有空间-文本生成中的交互修订不一致、人机意图不一致和定制粒度不足问题，提升空间精细化调整的精度和用户交互效率。

Comments 9 pages, 7 figures, accepted by ACM AVI 2026; has updated the appendix

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

CELEUS: 基于E-Process的可认证且高效的大语言模型评估

Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 提出Celeus框架，利用E-process构建任意有效的置信区间，通过不确定性引导采样和代理辅助近似减少评估样本，实现高效且统计严谨的LLM评估。

LLM-Based Examination of Eligibility Criteria from Securities Prospectuses at the German Central Bank

基于大语言模型的德国央行证券招股说明书资格标准审查

Serhii Hamotskyi, Akash Kumar Gautam, Christian Hänig

机构 * Anhalt University of Applied Sciences（安哈尔特应用科学大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于大语言模型的生成式信息提取流程，将任务分解为提取、规范化和解释，用于审查证券招股说明书中的资格标准，在文档级资格判断上达到91%的精确率。

Journal ref Proceedings of the 7th Financial Narrative Processing Workshop (FNP 2026) at LREC 2026, pp. 1-10, 2026

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

跨模态对抗扩散：文本、视觉与视觉-语言模型的攻击、防御与评估融合综述

Abrar Alotaibi, Moataz Ahmed

机构 * Information and Computer Science Department, King Fahd University of Petroleum & Minerals（国王法赫德石油矿物大学信息与计算机科学系） ； College of Computer Science and Information Technology, Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学计算机科学与信息科技学院） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum & Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油矿物大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文整合了文本、图像分类器和视觉-语言模型上的对抗攻击与防御研究，提出统一分类法和评估框架，并识别了当前文献中的五个常见弱点。

A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

多语言语言模型毒性检测与缓解策略综述

Soham Dan, Himanshu Beniwal, Thomas Hartvigsen

机构 * Scale AI ； Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 综述多语言大模型的毒性检测与缓解方法，包括威胁模型、检测方法（跨语言编码器、翻译流水线等）和缓解策略（数据过滤、偏好调优等），指出语言覆盖不均、文化依赖等挑战。

Comments Accepted to the Findings of ACL, 2026

Journal ref Findings of ACL, 2026

Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games

Agentic知识追踪：用于严肃游戏中金融素养隐形评估的多智能体大语言模型架构

Gabriel Santos, Rita Julia, Marcelo Nascimento

机构 * Federal University of Uberlândia Computer Science Faculty（伯南布哥联邦大学计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多智能体大语言模型架构Agentic BKT，通过四阶段流程从严肃游戏事件中隐形评估金融素养，实验表明其预测效度显著优于单智能体基线。

Comments 8 pages, 5 figures, IEEE CoG 2026

Debate2Create: Robot Co-design via Multi-Agent LLM Debate

Debate2Create: 通过多智能体大语言模型辩论实现机器人协同设计

Kevin Qiu, Marek Cygan

机构 * University of Warsaw（华沙大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 提出Debate2Create框架，利用多智能体LLM辩论和物理评估迭代优化机器人的形态与奖励函数，在MuJoCo基准上取得显著性能提升。

Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning

通过正-无标签学习量化与审计大语言模型评估

Zilong Zhang, Yi-Ting Hung, Lei Ding, Chi-Kuang Yeh

机构 * Department of Mathematics and Statistics（数学与统计学系） ； Georgia State University（佐治亚州立大学） ； Department of Statistics（统计学系） ； University of Manitoba（曼尼托巴大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型作为评估者存在的系统性偏差（如冗长偏好），提出基于部分最优传输的几何审计框架，利用少量人工验证正样本校正偏差，无需重训练即可提升与人类偏好的一致性。

SafeClawBench: Separating Semantic, Audit-Evidence, and Sandbox Harm in Tool-Using LLM Agents

SafeClawBench: 区分工具使用LLM代理中的语义、审计证据和沙箱危害

Yuchuan Tian, Mengyu Zheng, Haocheng Mei, Ye Yuan, Chao Xu, Xinghao Chen, Hanting Chen, Yu Wang

机构 * Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； SUIBE（上海外国语大学） ； Huawei（华为） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出SafeClawBench基准，通过三个独立端点（语义攻击接受、审计可见危害证据、沙箱观察危害）评估工具使用LLM代理的安全性，揭示不同失败模式并支持可复现比较。

Comments 32 pages, 5 figures

Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose

面向LLM智能体的组合技能路由：分解、检索与组合

Xueping Gao

机构 * Alibaba Cloud（阿里云） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SkillWeaver框架，通过迭代技能感知分解（SAD）将复杂查询分解为原子子任务，检索对应技能并组合为可执行计划，在CompSkillBench上验证了分解质量是主要瓶颈，SAD将分解准确率提升32.7%。

SEAGym: An Evaluation Environment for Self-Evolving LLM Agents

SEAGym: 自我进化LLM智能体的评估环境

Congjie Zheng, Chuanyi Xue, Bin Liang, Jun Yang, Changshui Zhang

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（北京信息科学与技术国家研究中心（BNRist），清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出SEAGym评估环境，通过训练、验证、测试、重放和成本记录多维度衡量智能体框架更新，揭示更新是否带来可复用改进、过拟合、成本增加或旧行为退化。

An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios

现实场景中工具使用LLM代理的数据泄露风险评估

Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij

机构 * Korea AI Safety Institute（韩国人工智能安全研究所） ； Singapore AI Safety Institute（新加坡人工智能安全研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 评估了12个非对抗性任务中AI代理的数据泄露风险，发现所有代理均存在数据安全意识不足、信息过度访问等问题，表明操作数据泄露是独立于对抗性窃取的一阶安全风险。

TimeVista: Exploring and Exploiting Vision-Language Models as Judges for Time Series Forecasting

TimeVista：探索和利用视觉语言模型作为时间序列预测的评判者

Zhi Chen, Yuxuan Wang, Jialong Wu, Yong Liu, Haoran Zhang, Xingjian Su, Jianmin Wang, Mingsheng Long

机构 * School of Software, BNRist, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 提出TimeVista框架，利用视觉语言模型（VLM）作为时间序列预测的评判者，通过微观和宏观判断结合上下文信息评估预测质量，实验表明VLM比传统指标更符合人类偏好。

AgentLeak: A Benchmark for Internal-Channel Privacy Leakage in Multi-Agent LLM Systems

AgentLeak：多智能体大语言模型系统中内部通道隐私泄露的基准测试

Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah

机构 * Polytechnique Montréal（蒙特利尔理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出AgentLeak基准，通过评估内部通道（如智能体间消息、共享内存）的隐私泄露，发现多智能体系统虽降低最终输出泄露，但内部通道使总暴露率达68.9%，远超输出审计的检测范围。

Comments 19 pages, 9 figures, 16 tables. Code and dataset available at https://github.com/Privatris/AgentLeak

Lung-R1: A Knowledge Graph-Guided LLM for Pulmonary Diagnostic Reasoning

Lung-R1：知识图谱引导的肺部诊断推理大语言模型

Haoyang Zeng, Yuanxi Fu, Rongzhen Li, Yuming Yang, Xiao Sun, Jingwang Huang, Gujie Shao, Guohui Xiang, Quan Lu, Dongfan Ye, Xuetao Chen, Jiang Zhong, Kaiwen Wei, Zhi Xu

机构 * School of Computer Science, Chongqing University（重庆大学计算机学院） ； AI Research Institution, Mashang Financial Institution（马上金融人工智能研究院） ； Department of Information, Third Military Medical University（陆军军医大学信息系） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LungKG知识图谱和Lung-R1模型，通过KG约束的推理链构建和强化学习，解决肺部知识到病例诊断的差距，在EMR诊断任务上达到SOTA。

Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark

视觉语言模型是看见还是猜测？通过措辞控制基准衡量和减少文本先验依赖

Pratham Singla, Shivank Garg, Vihan Singh, Paras Chopra

机构 * Lossfunk ； Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Raeth AI 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 本文构建了540张图像的基准，通过为同一图像生成四种措辞变体，衡量视觉语言模型对文本先验的依赖，发现所有模型在最难变体上性能下降，开放模型下降最严重，并通过无图像消融等分析证实了真正的图像依赖。

Comments 17 pages, 7 figures, Submitted to EMNLP 2026

ReflectiChain: Epistemic Grounding in LLM-Driven World Models for Supply Chain Resilience

ReflectiChain: 面向供应链韧性的LLM驱动世界模型中的认知基础

Jia Luo

机构 * School of Foreign Languages, Huazhong University of Science 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ReflectiChain框架，通过生成式供应链世界模型和双环学习分离认知不确定性与偶然不确定性，在半导体基准上提升推理一致性33.0%，并在对抗冲击下保持82.3%可操作性。

Mobility Anomaly Generation using LLM-Driven Behavior with Kinematic Constraints

基于大语言模型驱动行为与运动约束的移动异常生成

Yueyang Liu, Joon-Seok Kim, Andreas Züfle

机构 * Emory University, Atlanta, USA（埃默里大学，亚特兰大，美国） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出端到端生成框架，结合大语言模型注入语义异常与地图约束路由重建，合成带标注的真实轨迹异常数据集。

Order Matters: Unveiling the Hidden Impact of Macro Placement Sequences via Proxy-Guided LLM Evolution

顺序至关重要：通过代理引导的LLM进化揭示宏放置序列的隐藏影响

Shibing Mo, Jing Liu, Jianchu Xu, Ruilin Wu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出OrderPlace框架，利用代理引导的大语言模型进化自动发现宏放置顺序策略，在ISPD 2005基准上相比现有方法线长减少14.08%-34.04%。

Comments ICML2026

When Languages Disagree: Self-Evolving Multilingual LLM Judges

当语言不一致时：自我进化的多语言LLM评判者

Xiyan Fu, Wei Lu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SEMJ方法，利用多语言评判中的跨语言不一致性进行迭代自我反思与重新评估，在多个基准上优于投票和反思基线，提升准确性和跨语言一致性。

Extracting Recurring Vulnerabilities from Black-Box LLM-Generated Software

从黑盒LLM生成的软件中提取重复漏洞

Tomer Kordonsky, Amit LeVi, Maayan Yamin, Noam Benzimra, Avi Mendelson

机构 * Technion - Israel Institute of Technology（技术学院 - 以色列理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出特征-安全表（FSTab），通过黑盒攻击从前端特征预测后端漏洞，并量化模型跨程序、重述和领域的漏洞复现一致性，实验显示跨域攻击成功率高达94%。

Comments ICML 2026, Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD)

PerceptUI: LLM Agents as Human-Aligned Synthetic Users for UI/UX Evaluation

PerceptUI: 用于UI/UX评估的与人类对齐的合成用户的LLM智能体

Nicolas Bougie, Xiaotong Ye, Gian Maria Marconi, Narimasa Watanabe

机构 * Woven by Toyota（丰田 woven） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PerceptUI框架，通过对比反思微调和反思式提示进化，使多模态大语言模型能够模拟特定用户对界面问题的回答，实现与人类水平相当的UI/UX评估。

Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

更多智能体有帮助吗？LLM智能体工作流的受控与协议对齐评估

Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Tao Lin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； Duke Kunshan University（杜克大学昆山分校） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出BenchAgent框架，在统一协议下比较单智能体、固定多智能体和演化多智能体工作流，发现大多数多智能体系统在准确率上未超越单智能体基线，但运行时生成的工作流在GAIA上表现优异。

Comments https://github.com/LINs-lab/MASArena/tree/BenchAgent

Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

谁的对齐？比较不同组织决策情境下的大语言模型过程对齐

Niklas Weller, Emilio Barkett

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文提出一种决策策略捕获方法测量过程对齐，发现LLM在ECHR第6条决策中过程对齐与输出准确性高度相关，但在德国消费信贷决策中关系消失，揭示了多元对齐挑战。

Comments Accepted to Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea