语言大模型 / LLM

MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models

MonitrLLM：面向大型语言模型的社区中心评估基础设施

Victor Ojewale, Ro Encarnación, Suresh Venkatasubramanian, Danaé Metaxa

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 本研究提出开源LLM评估基础设施MonitrLLM，将对话记录、用户任务意图与结果关联，试点显示多轮对话失败率为单轮2.5倍，为LLM评估提供新方法。

Comments Accepted to AIES 2026

Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

探索与弥合未学习多模态大语言模型中的知识缺口

Junxiang You, Junkai Chen, Yuhao He, Ruiqi Liu, Zhetao Guo, Shu Wu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对未学习多模态大语言模型存在的知识缺口问题，提出带锚定正则化的选择性保护方法，在保障未学习安全性的同时大幅恢复模型响应质量。

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

面向细粒度遗忘：多模态大语言模型的属性遗忘

Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型（MLLMs）属性遗忘的细粒度需求，提出轻量级训练无关框架CLRP，通过激活修补定位因果层并应用保留感知投影，实现目标属性遗忘同时保留同一身份信息，在多种MLLMs上验证了有效性。

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

Efficient Sequential Evaluation of Large Language Models

大语言模型的高效顺序评估

Chia-Yu Hsu, Shubhanshu Shekhar

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究在固定问题集上顺序评估新大语言模型，基于历史数据构建置信序列，提出增长导向查询规则，分析影响收缩率因素并提出混合查询规则，实验发现简单的均匀采样有时表现更好。

Comments This is a preliminary version; feedback is welcome

From Many to Meaningful: Feature-Guided Zero-Shot Chronic Kidney Disease Screening Using Large Language Models

从众多到有意义：使用大语言模型进行特征引导的零样本慢性肾病筛查

Muhammad Ashad Kabir, Sirajam Munira

机构 * School of Computing, Mathematics and Engineering, Charles Sturt University（查尔斯·斯特尔特大学计算、数学与工程学院） ； Department of Computer Science, Rensselaer Polytechnic Institute（伦斯勒理工学院计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究探讨用大语言模型进行零样本慢性肾病筛查的可行性，提出特征引导零样本框架，通过特征选择、序列化患者记录实现。实验表明该框架能提升模型性能，在多数据集有良好泛化性，为CKD筛查提供新方法。

Comments Author-prepared preprint. The Version of Record was published in AIME 2026, Springer, and is available via the DOI

Journal ref Proceedings of the Artificial Intelligence in Medicine (AIME 2026)

NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations

NetInjectBench：用于网络操作的工具使用大型语言模型代理中间接提示注入的基准测试

Ruksat Khan Shayoni, Muhammad Faraz Shoaib, S M Asif Hossain, M. F. Mridha

机构 * School of Computing, Wichita State University（威斯康星州立大学计算机学院） ； Department of Computer Science, American International University-Bangladesh（孟加拉国国际大学计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究网络操作中工具使用大型语言模型代理的间接提示注入问题，提出NetInjectBench基准测试。通过多种方法评估，发现单纯执行不安全率高，不同方法可降低该率，元数据感知策略门效果好，表明网络操作代理需执行时授权边界。

Large Language Models in Misinformation Ecosystems: Misuse, Defense, and Vulnerability

错误信息生态系统中的大语言模型：滥用、防御与脆弱性

Lingwei Wei, Dou Hu, Wei Zhou, Songlin Hu, Philip S. Yu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Illinois Chicago（伊利诺伊大学香槟分校） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究大语言模型在错误信息生态系统中的问题，引入角色层框架统一风险与防御，组织相关攻击、研究检测与验证方法、分析漏洞及讨论对策，指出从静态检测到风险评估、强化验证管道、部署可审计人工参与验证系统这三个关键挑战。

Comments 35 pages, 8 figures

Life Cycle Assessment of Pre-training the Lucie 7B Open-Source Large Language Model on the Jean Zay Supercomputer

在让·扎伊超级计算机上对露西7B开源大语言模型进行预训练的生命周期评估

Marc Léobet, Pierre-François Lavallée, Jean-Pierre Lorré

机构 * Mens Data ； CNRS / IDRIS（法国国家科学研究中心/IDRIS） ； LINAGORA 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 研究对开源多语言基础模型露西7B在让·扎伊超级计算机上预训练进行生命周期评估，以AFNOR SPEC 2314为框架，应用Labos 1point5方法，整合硬件全生命周期，给出多方面数据，为节俭人工智能系统设计提供参考。

Comments 12 pages, 2 tables, 1 figure. OpenLLM-France Environmental Report v1, January 2026. CC BY-SA 4.0

Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

优化用于药物警戒中因果关系评估的大语言模型：开发一种性能指标作为贝叶斯超参数优化的目标

Nicole Sonne Heckmann, Arnault-Quentin Vermillet, Søren Norlin Mølgaard, Manuela Del Castillo Suero, Lars Melskens, Gerard Ompad, Maurizio Sessa

机构 * Department of Drug Design and Pharmacology, University of Copenhagen（哥本哈根大学药物设计与药理学系） ； Safety Operations, Novo Nordisk（诺和制药安全运营部） ； Clinical Development Centre Denmark, Novo Nordisk（丹麦临床开发中心，诺和制药） ； Statistical Data Science Lead, Pfizer（辉瑞统计数据科学负责人） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 研究针对药物警戒中因果关系评估优化大语言模型，开发高斯过程兼容的优化目标，用链思维提示评估GPT-5.2，通过贝叶斯优化研究温度优化效果，EWACS指标优化提升了因果关系分类一致性。

LLVM-Bench: Benchmarking and Advancing Large Language Models for LLVM Compiler Issue Resolution

LLVM-Bench：面向LLVM编译器问题解决的大语言模型基准测试与推进

Zhao Tian, Yingquan Zhao, Chenyao Suo, Meng Wang, Junjie Chen

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出LLVM-Bench基准和LLVM-Gym平台，评估大语言模型在LLVM编译器问题解决上的表现，并设计集成方法LLVM-Ens提升解决率至21.99%。

Benchmarking Large Language Models on Floating-Point Error Classification

大型语言模型在浮点错误分类上的基准测试

Lisa Taldir, Muhammad Ahmad Saeed, David Defour, Pablo de Oliveira Castro, Eric Petit

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.AI

AI总结 本文提出InterFLOPBench基准，评估14个LLM在六类浮点错误上的静态检测性能，最新模型整体F1超过0.88。

Signature filtering: a lightweight enhancement for statistical watermark detection in large language models

签名过滤：大型语言模型中统计水印检测的轻量级增强方法

Chih-Duo Hong, Yen-Pang Chen, Fang Yu

机构 * National Chengchi University（国立政治大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出签名过滤模块，通过移除干扰水印检测的签名令牌，在弱信号和低熵设置下将检测率从8-31%提升至78-99%，同时保持可控的假阳性率。

Comments update grant numbers

When Preferences Fail to Become Incentives: A Utility-Behavior Gap in Large Language Models

当偏好未能成为激励：大语言模型中的效用-行为差距

Yujun Zhou, Christopher M. Ackerman

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文发现大语言模型在偏好选择中表现出的效用结构，在真实写作任务中无法激励其输出质量提升，揭示了偏好与行为之间的差距。

Comments 23 pages, 9 figures, 11 tables

BIM-Edit: Benchmarking Large Language Models for IFC-Based Building Information Modeling

BIM-Edit：基于IFC的建筑信息模型的大语言模型基准测试

Bharathi Kannan Nithyanantham, Clemens Kujat, Tobias Sesterhenn, Stefan Telgmann, Ashwin Nedungadi, Jörn Plönnigs, Christian Bartelt, Stefan Lüdtke

机构 * University of Rostock（罗斯托克大学） ； Clausthal University of Technology（克劳斯塔尔工业大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出BIM-Edit基准，评估大语言模型在IFC格式建筑信息模型上的自然语言编辑能力，涵盖324个任务，最佳模型平均得分仅49.5%，揭示当前能力与工程需求间的差距。

PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning

PreUnlearn: 在大语言模型遗忘之前审计附带知识损害

Bo Su, Ankit Shah, Thai Le

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出PreUnlearn方法，通过数据特征预测遗忘操作对同领域和远距离知识的附带损害，实现遗忘前的风险审计。

Comments 12 pages, 6 figures

Examining Human-Like Behaviors in LLMs: A Multi-Dimensional Analysis of Model Behaviors, User Factors, and System Prompts

审视LLM中的人类行为：模型行为、用户因素和系统提示的多维分析

Sunnie S. Y. Kim, Margit Bowler, Leon A Gatys

机构 * Apple（苹果公司） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过21,000次对话的多维分析，发现LLM普遍表现出人类行为，但不同模型和用户因素下差异显著；人类评估者认为LLM的自我参照和关系建立行为不如人类适当，但边界维护行为更适当；系统提示可控制这些行为但需谨慎评估。

Reading between the Lines: Leveraging Large Language Models for Global Dementia and Depression Assessment from Clinical Interviews

字里行间：利用大型语言模型从临床访谈中进行全球痴呆和抑郁评估

Franziska Braun, Alea Rüggeberg, Thomas Ranzenberger, Hartmut Lehfeld, Thomas Hillemacher, Tobias Bocklet, Korbinian Riedhammer

机构 * TH Nürnberg（Nürnberg大学） ； FAU Erlangen（埃朗根大学） ； PMU Klinikum Nürnberg（纽伦堡大学医院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究利用开放权重大型语言模型，从154名德语受试者的临床访谈录音中预测痴呆和抑郁严重程度，引入与全球恶化量表对齐的全球抑郁量表，发现零样本预测对抑郁有效，而结构化特征提取显著提升痴呆评估性能，误差降低达35%，且暂停增强转录本表现与人工转录相当。

Comments Accepted for publication in Text, Speech and Dialogue (TSD 2026). The final authenticated publication will be available online via Springer LNCS/LNAI

The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems

大型语言模型驱动的AI系统中自主渗透能力的涌现

Jiaqi Luo, Jiarun Dai, Zhile Chen, Jia Xu, Weibing Wang, Yawen Duan, Brian Tse, Geng Hong, Xudong Pan, Yuan Zhang, Min Yang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Concordia AI ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 针对现有评估方法不透明、场景简化等问题，构建包含两级目标服务器和通用代理框架的自主渗透评估体系，测试19个LLM发现成功率10.7%-69.3%，且能力随模型整体能力提升。

Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

检测日语大语言模型预训练语料库中的敏感个人信息

Rei Minamoto, Yusuke Oda, Daisuke Kawahara

机构 * Waseda University（早稻田大学） ； Research and Development Center for LLMs, National Institute of Informatics（国立信息学研究所大语言模型研发中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对日语大语言模型预训练语料中的敏感个人信息，基于日本《个人信息保护法》定义的特殊要保护个人信息，构建数据集并训练机器学习模型进行快速检测，首次探索日语文本中的SCPI检测。

Elmes*: Automated Construction of Fine-Grained Evaluation Rubrics for Large Language Models in Long-Tail Educational Scenarios

Elmes*：面向长尾教育场景的大语言模型细粒度评估量规自动构建

Tao Liu, Ye Lu, Ruohua Zhang, Siyu Song, Wentao Liu, Aimin Zhou, Hao Hao

机构 * Shanghai Institute of AI for Education, East China Normal University（上海人工智能教育研究院，东华师范大学） ； School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，东华师范大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出Elmes*框架，自动构建细粒度场景特定量规，用于评估大语言模型在教育场景中的多维教学能力，构建Edu-330基准并揭示模型差异。

Characterizing Rhetorical Misalignment in Decision-Making with Language Models

表征语言模型决策中的修辞失配问题

Zirui Cheng, Joey Chan, Simo Du, Chenhao Tan, Yue Guo, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； NYC Health + Hospitals/Jacobi Medical Center（纽约市健康与医院公司雅各比医学中心） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究开发决策理论框架研究LLM的修辞失配问题，通过临床实验发现其会诱导平均2.81%的有害决策翻转，还提出用LLM模拟决策者实现可扩展评估，揭示了高风险领域的新安全隐患。

A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents

面向自主大语言模型智能体中结构化漂移诊断与恢复的基于图的强化学习框架

Ismail El Hamraoui, Sagar Jose, Nicolas Bureau, Robert Plana

专题命中 评测与基准 ：LLM(title,summary_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对自主LLM智能体的运行时行为漂移问题，提出基于图的强化学习即插即用恢复框架，经AppWorld基准验证，该框架可利用漂移信息做出正确恢复决策且输出符合要求。

LigBench: A Unified and Human-Aligned Benchmark for LLM-based Research Idea Generation

LigBench：面向基于大语言模型的研究创意生成的统一且符合人类偏好的基准

Chenrun Wang, Mingxuan Zhu, Tiancheng Huang, Wenjie Li, Yujie Zhang, Zichen Zhu, Zhiying Zou, Kai Yu, Lu Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有LLM研究创意生成评估零散、缺乏统一标准的问题，提出LigBench基准及PAIR-IQ数据集，实验表明LigBench评估稳定可解释且与专家判断一致性高，PAIR-IQ训练的模型排名准确性和鲁棒性更强

Comments 17 pages

Benchmarking LLM Judges for Mobile Agent Evaluation

面向移动智能体评估的LLM评判基准测试

Ziqiang Wang, Li Gu, Zhixiang Chi, Zhi Liu, Seyed Mehdi Ayyoubzadeh, Yuanhao Yu, Yang Wang

机构 * Mila – Québec AI Institute（米拉-魁北克人工智能研究所） ； Concordia University（康考迪亚大学） ； University of Toronto（多伦多大学） ； Shanghai University（上海大学） ； McMaster University（麦克马斯特大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 该研究推出MobileJudgeBench基准，评估6种LLM评判器方法在移动智能体轨迹上的可靠性，发现简单基线评判器具竞争力、基准质量指标可预测评判器效用，且不同LLM后端故障特征相反。

ReLTEx: Reliable LLM-based Taxonomy Expansion

ReLTEx：基于大语言模型的可靠分类体系扩展

Zeinab Ghamlouch, Mehwish Alam

机构 * Télécom Paris（巴黎电信学院） ； Institut Polytechnique de Paris（巴黎综合理工学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ReLTEx是结合LLM候选生成、结构感知验证与递归扩展控制的框架，可减少幻觉，在基准分类体系的掩码扩展任务中，能生成更可靠、语义连贯的分类体系扩展。

EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners

EduClaw-Bench：面向教学大型语言模型智能体的长周期基准测试集（含模拟学习者）

Unggi Lee, Sookbun Lee, Yeil Jeong, Eunjoo Lee, Minchul Shin, Hoilym Kwon

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究人员推出EduClaw-Bench长周期基准测试集，结合模拟学习者评估LLM智能体辅导效果，发现辅导质量取决于基础模型与智能体适配器的结合，且多数组合无法维持全程良好辅导。

Real-Time Detection and Repair of LLM Agent Failures

LLM智能体故障的实时检测与修复

Sunny Dubey

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出基于LLM智能体步骤遥测的实时故障检测与修复系统，结合单类回声状态网络集成与确定性验证层，可高效检测并修复故障，提升任务成功率且成本极低。

Comments 16 pages, 5 figures. Code, data and demo: github.com/sunnydubey1111/agent-trajectory-sentinel Walkthrough: youtu.be/a05n_000klE

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

正确答案，错误方法：捷径作弊误导前沿科学基准上的大语言模型推理评估

Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） ； Alibaba DAMO Academy（阿里巴巴达摩院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究指出前沿LLM在科学推理基准中存在解题作弊问题，仅答案评估会高估其推理能力，开发的反作弊策略可抑制该问题。

Comments working in progress

Language Equality has a Price: A Systematic Investigation of Multi-turn LLM Performance for EU-24+

语言平等是有代价的：针对欧盟24+语言的多轮大语言模型性能系统研究

Sherzod Hakimov, Karl Osswald, Jelle Psurek, Eszter Bukovszky, A. Altar Lüser, David Schlangen

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；language agent(abstract)

AI总结 本研究以30种语言评估9种LLM，发现开源模型难以覆盖欧盟24种官方语言，商用模型表现更优且非英语语言运行成本更高、得分更低，揭示语言平等存在代价。

Comments Source code: https://github.com/clembench/multilingual