语言大模型 / LLM

PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs

PRIME: 评估大语言模型在不兼容指令下的提示解决能力

Tehreem Javed, Shumaim Fatimah, Masooma Bakhtiari, Gibrail Islam, Mehwish Fatima

机构 * School of Electrical Engineering ； Computer Science (SEECS), National University of Sciences 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出PRIME框架，通过生成校准冲突（响应长度、输出格式、推理）并采用确定性行为分类法，分析大语言模型处理冲突指令的行为，发现冲突类型比模型规模对行为影响更大。

Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation

Rubric-as-Experts: 面向翻译质量评估的案例特定MQM评分标准

Weilu Xu, Yunzhi Shen, Xinye Wang, Ranfei Dang, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出案例特定动态评分标准框架，根据翻译实例自适应选择MQM子类型空间和评估粒度，在WMT跨度级QE基准上提升MCC并减少误报。

Comments 18 pages including appendix, 6 figures

One Goal, Many Commands: Characterizing Denylist Fragility in AI Agents

CmdNeedle: 衡量AI智能体命令黑名单的不完备性

Chuyang Chen, Zhiqiang Lin

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对终端AI智能体命令黑名单的脆弱性问题，提出LLM驱动的检测流水线CmdNeedle，发现69.0-98.6%的黑名单存在可绕过漏洞。

PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback

PsyScore: 一种心理测量感知的特质自适应作文评分与最近发展区支架反馈框架

Wei Xia, Jin Wu, Haoran Shi, Xiangyu Wang, Chanjin Zheng

机构 * Department of Educational Psychology, East China Normal University（华东师范大学教育心理学系） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海智能教育研究院） ； School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出PsyScore框架，通过共享潜在能力表示整合诊断评估与教学支架，包括特质自适应神经IRT评分器、ZPD支架反馈生成器和多视角反馈评估策略，在ASAP++数据集上实现竞争性评分性能并提供更符合教学法的反馈。

ScholarQuest: A Taxonomy-Guided Benchmark for Agentic Academic Paper Search in Open Literature Environments

ScholarQuest：开放文献环境中智能学术论文搜索的基于分类法的基准测试

Tingyue Pan, Mingyue Cheng, Daoyu Wang, Yitong Zhou, Jie Ouyang, Qi Liu, Enhong Chen

机构 * State Key Lab of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ScholarQuest基准，基于1000多个计算机科学主题和四种研究意图，构建可扩展的答案和共享检索后端，评估LLM智能体在开放文献环境中的学术论文搜索能力。

EARS: Explanatory Abstention for Reliable Sub-Agent Modeling in Large-scale Multi-Agent Systems

EARS：大规模多智能体系统中可靠子智能体建模的解释性弃权

Shuang Xie, Yunan Lu, Han Li, Lingyun Wang

机构 * Shopify ； Columbia University（哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对大规模多智能体系统中子智能体过度回答导致幻觉的问题，提出EARS框架，通过将弃权重构为智能体间通信协议，利用校准的LLM裁判模型生成结构化弃权标签和理由，微调子智能体以检测故障并返回理由，在电商助手系统中将响应通过率从68.5%提升至78.9%。

The Wrong Kind of Right: Quantifying and Localizing Misfired Alignment in LLMs

错误的正确：量化和定位大语言模型中的失调对齐

Naihao Deng, Yiming Feng, Chimaobi Okite, Kaijian Zou, Lu Wang, Rada Mihalcea, Yulong Chen

机构 * University of Michigan（密歇根大学） ； University of Cambridge（剑桥大学） ； University of Aberdeen（阿伯丁大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出VETO基准和失调对齐率（MAR）指标，发现所有LLM在刻板印象相关问题上均存在非平凡的失调对齐，且人类为0%，机制分析表明对齐诱导的线索会放大该现象。

RadSEM: A Finding-by-Finding Metric for Clinical Consistency in Radiology Reports

RadSEM：放射学报告中临床一致性的逐发现指标

Zhenhong Yang, Zhuoyun Liu, Jintao Fei, Wen Tang, Shichao Quan, Jun Zhao, Jun Xu

机构 * JDH Algo, JD Health International Inc., China ； Department of Big Data in Health Science, The First Affiliated Hospital of Wenzhou Medical University, China ； Zhejiang Engineering Research Center for Hospital Emergency ； Department of Intensive Care Unit, The First Affiliated Hospital of Wenzhou Medical University, Wenzhou, Zhejiang, China 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 提出RadSEM指标，通过约束LLM辅助将报告重写为原子发现句，进行矛盾感知的多对多匹配，并计算异常加权的F1分数，在SSREE测试中优于现有指标，实现高一致性评分。

Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning

闭环反馈：从经验提取到洞察治理在言语强化学习中的应用

Yanwei Cui, Xing Zhang, Yulong Zhang, Li Shao, Xiaofeng Shi, Guanghui Wang, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式人工智能创新中心） ； Amazon Web Services (AWS)（亚马逊网络服务（AWS）） ； BingX Group Limited（BingX集团有限公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对非平稳环境中LLM智能体的保留-遗忘困境，提出三层架构（规则、证据、技能）通过反馈驱动的策展循环实现洞察治理，在金融预测中验证了该方法能显著提升准确率和风险调整收益。

Comments Accepted to the ICML 2026 RLxF: Reinforcement Learning from World Feedback Workshop, RLxF@ICML 2026, Seoul, South Korea

Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement

通过认知权利评估大语言模型的二阶偏见

Ramaravind Kommiya Mothilal, Terry Jingchen Zhang, Raiyan Ahmed, Zhijing Jin, Shion Guha, Syed Ishtiaque Ahmed

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； EuroSafeAI ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所（德国图宾根）） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出基于认知权利理论的逻辑推理任务，评估LLM在判断偏见内容时表现出的二阶偏见，发现模型判断存在系统性偏差且能规避安全护栏。

Comments 20 pages, 13 tables, 2 figures

When Cognitive Graphs Meet LLMs: BDEI Cognitive Pathways for Panic Emotional Arousal Prediction

当认知图遇见大语言模型：恐慌情绪唤醒预测的BDEI认知路径

Mengzhu Liu, Long Qin, Chuan Ai, Zhengqiu Zhu, Hongru Liang, Chen Gao, Yong Li, Xin Lu, Quanjun Yin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出PanicCognitivePath框架，通过心理安全距离模型融合多域信号，引入显式情绪节点构建BDEI认知路径，将LLM限制于单步参数估计，实现恐慌情绪唤醒时间预测，准确率提升10.68%。

Understanding Scam Trends and Rail Paths from Reddit Self-Disclosure Narratives

理解 Reddit 自我披露叙事中的诈骗趋势和路径

Yangjun Zhang, Mirko Bottarelli, Mark Hooper, Carsten Maple

机构 * The Alan Turing Institute, London, UK（艾伦·图灵研究所，伦敦，英国） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 通过构建2023-2025年Reddit自我披露数据集，采用启发式标注和LLM辅助方法分析诈骗类型趋势、多阶段路径及社区支持行为，发现诈骗过程以多路径为主且随时间变化。

Comments 6 pages, International Conference on AI and the Digital Economy (CADE) 2026

FinBalance: A Multi-Document Accounting Reconciliation Benchmark

FinBalance：多文档会计对账基准

Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT Bhubaneswar（KIIT布巴内斯瓦尔） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出FinBalance基准，通过多行业源文档构建会计对账任务，评估LLM在生成资产负债表和检测不一致性上的表现，发现模型在文档绑定和一致性聚合上存在显著差距。

Comments 18 pages, 12 figures. Code and data: https://github.com/Devansh1105/finbalance

Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation

扩展项目反应理论以实现高效且有意义的多语言评估

Gili Lior, Tzviel Frostig, Gabriel Stanovsky, Matan Eyal

机构 * Google Research（谷歌研究） ； The Hebrew University of Jerusalem（特拉维夫大学） ； PhaseV Trials 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Multilingual-IRT框架，通过引入每语言难度偏差、分离内容与语言效应的区分度及每语言能力残差，解决多语言基准测试中的线性扩展、翻译错误和文化特定知识混淆问题，在MMLU-Pro-X上实现更优的预测和错误检测。

CoAgent: Concurrency Control for Multi-Agent Systems

CoAgent: 多智能体系统的并发控制

Hongtao Lyu, Dingyan Zhang, Mingyu Wu, Xingda Wei, Haibo Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对多智能体LLM系统并发访问共享状态时的冲突问题，提出MTPO协议，通过智能体自身判断冲突并修复计划，实现可串行化执行，在保持近串行正确率的同时提升速度。

Comments 14 pages, 7 figures. Submitted to ATC 2026

MiroBench: Benchmarking Realism in Agentic Simulation of Real-world Discussions

MiroBench：真实世界讨论的智能体模拟真实性基准测试

Yaoning Yu, Ye Yu, Haojing Luo, Haohan Wang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Starc.Institute（Starc研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出MiroBench基准，基于4292条真实Reddit帖子，通过统计测试评估LLM智能体模拟在重复性、叙事内容、毒性攻击和结构复杂度四个方面的分布匹配度，发现当前模拟器与真实讨论存在分布差异。

Evaluation of Alternative-Based Information Systems for Deliberative Polling using an Agentic Simulator

基于智能体模拟器的审议式投票中替代性信息系统评估

Rwaida Alssadi, Khulud Alawaji, Balaji Kasula, Muntaser Syed, Badria Alfurhood, Markus Zanker, Marius Silaghi

机构 * Florida Institute of Technology（佛罗里达理工学院） ； Princess Nourah Bint Abdulrahman（纳厄赫·阿卜杜勒拉赫曼公主） ； Free University of Bozen-Bozano（博兹诺-博萨诺自由大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出基于LLM的智能体双极论证模拟器（ABAS），通过覆盖率和语料多样性评估审议式投票中推荐机制的有效性，并测试了对抗性投票攻击下的鲁棒性。

Building Customer Support AI Agents at 100M-User Scale: An Evaluation-Driven Framework

构建面向1亿用户规模的客户支持AI代理：一种评估驱动的框架

Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

机构 * Nubank 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出一个统一框架，通过评估驱动开发、上下文工程、人工循环提示迭代和LLM评判一致性优化，在Nubank的100M+用户规模下实现客户支持AI代理的离线开发与在线效果桥接，并在五个生产部署中验证了离线指标与在线结果的高度相关性。

Comments 12 pages. Accepted to KDD '26 (32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining)

MedLatentDx: Latent Multi-Agent Communication for Cross-Hospital Rare-Disease Diagnosis

MedLatentDx：用于跨医院罕见病诊断的潜在多智能体通信

Ziqing Wang, Lili Zhao, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出MedLatentDx框架，通过潜在多智能体通信实现跨医院罕见病诊断，利用潜在KV块传输保护隐私，支持同骨干和跨家族LLM部署，在CrossRare-Bench上提升诊断性能并减少可重建临床内容。

SpheriCity: Designing Trustworthy Conversational AI for Sustainability Decision Support

SpheriCity：为可持续发展决策支持设计可信赖的对话式AI

Ahmed Qayyum, Madison Werner, Kathryn Youngblood, Jenna R. Jambeck, Tahiya Chowdhury

机构 * Department of Computer Science, Colby College（科里尔学院计算机科学系） ； Circularity Informatics Lab, University of Georgia（佐治亚大学循环信息实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SpheriCity，一种基于来源的对话式AI原型，通过结构化合成和交互支架，支持从城市循环性评估报告中可信地获取知识，解决大语言模型在可持续性高风险领域中的透明度与信任问题。

Comments Accepted to ACM SIGCAS/SIGCHI Conference on Computing and Sustainable Societies (COMPASS '26)

Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study

AI IDE中的规则分类与演化：挖掘与调查研究

Guangzong Cai, Ruiyin Li, Peng Liang, Zengyang Li, Mojtaba Shahin

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Central China Normal University（中央师范大学计算机学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过挖掘83个开源项目中的7310条规则和99份从业者调查，建立了包含5个主类和25个子类的规则分类法，发现开发者重视架构约束但实际配置多为低级工作流和代码格式规则，规则演化主要由建设性上下文扩展和丰富驱动，且更新规则可使工件合规率平均提升22.99%。

Comments 52 pages, 21 images, 8 tables, Manuscript submitted to a Journal (2026)

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

一次越狱，多种语言：学习语言无关的意图表示用于多语言越狱检测

Shuyu Jiang, Kaiyu Xu, Xingshu Chen, Hao Ren, Rui Tang, Yi Zhang, Tianwei Zhang, Hongwei Li

机构 * School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院） ； School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多语言LLM安全漏洞，提出MLJailDe框架，通过多语言回译数据增强和相对距离约束，实现跨语言越狱检测，F1达98.5%。

Frontier Coding Agents Use Metaprogramming to Adapt to Unfamiliar Programming Languages

前沿编码代理使用元编程适应不熟悉的编程语言

Aman Sharma, Sushrut Thorat, Paras Chopra

机构 * Lossfunk 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究评估LLM编码代理在陌生语言上的表现，发现强代理通过元编程（如用Python生成目标语言代码）适应，禁止此策略性能大幅下降，而弱代理无法从中受益。

Comments 43 pages, 8 figures

Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

答案从何而来？面向自动驾驶的多视角MLLMs中视角级视觉证据识别基准

Yimu Wang, Yee Man Choi, Barry Zhang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多视角自动驾驶场景，提出一个基准测试，评估多模态大模型在视觉问答中识别支持性相机视角的能力，包含122个冲突中心问题对，并区分视角选择与答案正确性。

ZIPP:Zero-shot Image Personalization from Personas

ZIPP：基于人物画像的零样本图像个性化生成

Harini SI, Somesh Singh, Yaman Kumar Singla, David Doermann, Rajiv Ratn Shah

机构 * Adobe Media and Data Science Research (MDSR)（Adobe媒体与数据科学研究（MDSR）） ； IIIT-Delhi（德里印度理工学院） ； SUNY at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ZIPP方法，利用自然语言人物画像通过LLM改写提示词实现零样本图像个性化生成，无需用户数据或微调；引入ZIPBench基准，在多个评测中取得13-20%的提升。

Auditable Graph-Guided Root Cause Analysis for Kubernetes Incidents

可审计的图引导的Kubernetes事件根因分析

Anastasiia Kuvshinova, Seungmin Jin

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Graph Traversal Agent，结合LLM推理与确定性图操作，通过类型化证据图、有界搜索和独立验证实现可审计的根因分析，在ITBench上F1从0.6087提升至0.9130。

Comments 8 pages, 1 figure. Preprint

Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

测试黑箱：面向消费者的健康大语言模型独立评估的结构性障碍

Rahul Gorijavolu, Kaushik Madapati, Pritika Vig, Rawan Abulibdeh, Nikhil Jaiswal, Mahri Kadyrova, Zeamanuel Hailu Tesfaye, Charles Senteio, Paula Maurutto, Leo Anthony Celi

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Berkeley（加州大学伯克利分校） ； Toronto General Hospital, University Health Network（多伦多综合医院，大学健康网络） ； McGill University（麦吉尔大学） ； University of Toronto（多伦多大学） ； Independent Researcher（独立研究者） ； Rutgers University（罗格斯大学） ； Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心） ； Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过模拟用户档案，测试面向消费者的健康大语言模型在响应变异和谄媚行为方面的表现，发现五大结构性障碍阻碍独立评估。

Comments 6 pages, 1 figure. Preprint submitted for review

Hiding in Plain Floats: Steganographic Carriers for Indirect Prompt and Content Injection

隐藏在普通浮点数中：用于间接提示和内容注入的隐写载体

Mudit Sinha, Sanika Chavan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究结构化浮点参数作为隐写载体绕过文本检测器实现LLM间接提示/内容注入，实验显示在最强防御下泄露ASR达94.3%。

Comments Accepted as a poster at FAGEN@ICML 2026. 14 pages, 3 figures

Closing the Sim-to-Real Gap: An Evaluation Framework for Autonomous Cyber Defense Configuration of Commercial EDR

弥合模拟到现实的差距：商业EDR自主网络防御配置评估框架

Kerri Prinos, Lilianne Brush

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个针对商业EDR自主防御智能体的评估框架，通过GOAD实验室与微软Defender XDR的实例化测试，揭示模拟和开源评估无法发现的三个关键差距。

Comments 12 pages including references

Support Vector Rubrics: Closing the Gap Between Self-Generated and Human Rubrics

支持向量评分准则：弥合自生成与人工评分准则之间的差距

Mengyuan Sun, Yu Li, Zhuohao Yu, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对自生成评分准则在困难实例上落后于人工标注的问题，提出SVR框架，将准则构建转化为偏好数据上的最大间隔边界学习，通过对比特征挖掘、提示条件选择器和迭代优化，显著缩小与人工准则的差距，并展现出广泛的奖励建模能力。