语言大模型 / LLM

LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks

LexRubric：面向开放式法律任务的基于评分指南的诊断基准

Yifan Chen, Haitao Li, Yiran Hu, Kaisong Song, Jun Lin, Yueyue Wu, Qingyao Ai, Min Zhang, Yiqun Liu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； University of Waterloo（滑铁卢大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LexRubric基准，包含649个中国法律咨询与司法考试实例及12,337条原子评分标准，通过六维框架评估LLM在开放式法律任务中的可靠性，发现当前模型仍面临挑战。

When to Review: Spaced Repetition for Continual Pre-Training of Language Models

何时复习：语言模型持续预训练的间隔重复方法

Alankar Atreya, Devesh Batra, Yoages Kumar Mantri, Geremy Bantug, Greig A Cowan, Raad Khraishi

机构 * University College London（伦敦大学学院） ； NatWest AI Research（国民西敏寺银行人工智能研究部） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出受认知科学启发的SRT框架，采用SM-2算法调度样本重放，可恢复大型语言模型持续预训练中5至37个百分点的旧知识准确率，同时保留或提升新知识获取能力。

KnowSim: Evaluating Information Calibration in LLM Assistants with User Simulators that Learn

KnowSim：用学习的用户模拟器评估大语言模型助手的信息校准

Yoonjoo Lee, Hyoungwook Jin, Tae Soo Kim, Shaoyang Zhang, Philippe Laban, Q. Vera Liao

机构 * University of Michigan（密歇根大学） ； KAIST（韩国科学技术院） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出KNOWSIM框架，通过带显式知识状态的用户模拟器评估LLMs的信息校准，验证后其性能优于基线，可揭示用户知识水平与LLMs的适配关系。

Comments 30 pages, 6 figures, 16 tables

Measuring Fairness in Large Audio Language Models via Semantic-Aware Bias Estimation

基于语义感知偏差估计的大音频语言模型公平性测量

Zhe Liu

机构 * Meta Platforms, Inc.（元平台公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对大音频语言模型公平性评估中语义与说话人混淆因素的问题，提出语义感知混合效应回归框架，经实验验证可减少虚假结论，得到更稳健的子群体性能差异估计。

Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

哪种模型表现最佳取决于你给的时间：大语言模型评估中依赖预算的排名

Rodrigo Guedes de Souza, Alison R. Panisson

机构 * Federal University of Santa Catarina (UFSC)（圣卡塔琳娜联邦大学（UFSC）） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过调整 token 生成预算评估 4 个大语言模型在 3 个推理基准的表现，发现模型排名随预算变化反转，提出需采用预算条件化的评估协议。

Comments 19 pages, 11 figures, 7 tables

Is This Your Final Answer? Cross-Contextual Consistency as a Measure of LLM Credibility

这是你的最终答案吗？跨上下文一致性作为大语言模型可信度的度量

Siyang Wu, Yibo Jiang, Bryon Aragam

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出用跨上下文一致性（C3）度量大语言模型可信度，通过对比26个模型在6个基准上的原始与扰动提示生成结果，发现C3可作为互补评估维度与基准有用性诊断工具。

Gaming Without an Attacker: Benchmark Fingerprinting in LLM-Driven Search Under Selection Pressure

无攻击者的博弈：选择压力下大语言模型驱动搜索中的基准指纹识别

Víctor Gallego

机构 * Komorebi AI Technologies（Komorebi人工智能技术公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本文研究发现，在带反馈的进化循环中，前沿LLM提出的GPU内核会对评估配置进行指纹识别，导致30%的分布内胜出案例无法迁移，进而给出失败分类与测量设计指导。

Comments Published as a conference paper at AI Measurement Science Workshop @ COLM 2026

Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark

易完成，难选择：探究大型语言模型在ProverbIT基准上的性能

Enrico Mensa, Lorenzo Zane, Calogero Jerik Scozzaro, Matteo Delsanto, Tommaso Milani, Daniele Paolo Radicioni

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了意大利谚语基准ProverbIT，评估13个前沿LLMs的谚语处理能力，发现LLMs虽能完成谚语任务，但在无正确答案的选择题中性能骤降，暴露其依赖记忆而非深层语义理解的局限。

Journal ref Proceedings of the Eleventh Italian Conference on Computational Linguistics (CLiC-it 2025), pages 722-734

Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

模拟还是估计？基础语言模型与后训练语言模型在观点模拟中的差异化优势

Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大型语言模型用于观点模拟的矛盾结果，区分了模拟与估计任务，发现基础模型更适合模拟、后训练模型更适合估计，为相关模型选择提供了依据。

Stuck on "A": Diagnosing and Repairing Interface Injury in Attention-to-KDA Linearization of a 0.6B Language Model

困在“A”上：诊断与修复0.6B语言模型的KDA线性化注意力中的接口损伤

Ronglong Bao

专题命中 评测与基准 ：language model(title)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本研究将Qwen3-0.6B-Base的21层注意力转为KDA线性注意力，发现模型存在标签执着的接口损伤，经格式针对性KL阶段修复后，C-Eval分数提升12.48分，相关成果已开源。

Comments Code and models: https://github.com/Sisyphbaous-DT-Project/open-qingyi ; https://huggingface.co/shiershuihesaixiliya/qingyi-kda-0.6b . A version of this preprint is archived on Zenodo (DOI: 10.5281/zenodo.21722356)

Beyond the Hivemind: Escaping LLM Homogeneity via Meta-Persona Anchoring and Sequential Temperature Scaling

超越群体思维：通过元角色锚定与顺序温度缩放规避大语言模型同质化

Tairan Fu, Javier Conde, Carlos Arriaga, Gonzalo Martínez, Pedro Reviriego, Javier Coronado-Blázquez

机构 * Politecnico di Milano（米兰理工大学） ； Information Processing and Telecommunications Center（信息处理与电信中心） ； Universidad Politécnica de Madrid（马德里理工大学） ； Banco de España（西班牙银行） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型的同质化问题，提出元角色锚定结合过滤式温度缩放的框架，在INFINITY-CHAT数据集的约200亿参数模型上，将平均成对余弦相似度从0.85降至0.65，缩小了人工模式坍缩与人类多样性的差距并开源了框架。

SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling

SCHEDBench：评估大语言模型在自然语言组合调度中约束忠实度的基准

Shrenil Shaun Sharma, Avi Sharma

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SCHEDBench基准针对13个LLMs的测试表明，模型对同一调度问题的语义等价表述缺乏不变性，约束重排序引发的敏感性最为突出。

Comments 19 Pages

Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations

通过LENS：视觉语言模型表示的局部几何分解

Shalom Kachko, Raz Lapid, Margarita Vald, Almog Dubin, Moshe Sipper

专题命中 评测与基准 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出LENS方法，将VLM激活分解为局部低秩高斯邻域，揭示LLaVA与Qwen3-VL的不同模态融合轨迹，该方法可实现因果生成干预并提升多模态检索性能。

CAST: Game Solvers as Turn-Level Teachers for LLM Agents

CAST：将游戏求解器作为大语言模型智能体的回合级教师

Yu Wang, Yi-Kai Zhang, Wentao Shi, Ziang Ye, Yuchun Miao, Yueqing Sun, Qi Gu, Xunliang Cai, Lan-Zhe Guo, Han-Jia Ye, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； Nanjing University（南京大学） ； Wuhan University（武汉大学） ； Meituan（美团） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究如何训练大语言模型在长期游戏中决策，提出CAST方法，利用游戏求解器状态值变化转化为求解器优势并注入RLVR，在多个游戏中优于基线，实现高平均零样本性能。

Tag Questions and the Generational Reversal of Sycophancy Across 45 Language Models

标签问题与45种语言模型中谄媚现象的代际反转

Tapan Parikh

机构 * Cornell Tech（康奈尔科技） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究在语言模型决策问题中附加标签的效应，通过特定实验设置在45个模型上测量，发现效应范围广且随代际反转，定位了抗性来源，表明标签极性更关键，工具能从模型行为读出反谄媚训练情况。

Comments 18 pages, 4 figures. Data, code, and raw model replies: https://github.com/tap2k/modelun. Interactive explorer: https://tap2k.github.io/modelun/suggestibility/

AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

AutoJourn：自动新闻中基于大语言模型生成的新闻的多视角摘要、偏差检测与偏差中和

Himel Ghosh, Ahmed Mosharafa, Georg Groh

机构 * Technical University of Munich（慕尼黑工业大学） ； Sapienza University of Rome（罗马第一大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 AutoJourn系统旨在应对自动新闻中多视角新闻生成及偏差问题，通过整合提示工程与检索增强等，产生多样视角集，经多视角摘要模块和偏差分析套件，实现不同视角提取、平衡摘要生成及偏差检测与中和，评估显示其优于基线且保持内容保真。

FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches

2026年国际足联世界杯作为语言模型预测代理的无污染基准：四个模型、一个博彩公司和104场比赛

Jiacheng Ding, Cong Guo, Jason Xu

机构 * University of Memphis（孟菲斯大学） ； QuantaInsight（量子洞察） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 介绍WC2026-Agents基准和数据集，用于评估大语言模型作为世界杯预测代理。四个前沿模型对104场比赛运行相同循环，与博彩市场数据配对。揭示模型预测虽有相同首选，但在决策质量等方面差异大，可衡量校准等方面。

Vision Foundation Models in Radiology: A Scoping Review of Data, Methodology, Evaluation and Clinical Translation

放射学中的视觉基础模型：数据、方法、评估和临床转化的范围综述

Alejandro Vergara-Richart, Xavier Rafael-Palou, Almudena Fuster-Matanzo, Ignacio Iborra Roncales, Ángel Alberich-Bayarri, Ana Jiménez-Pastor

机构 * Universitat Politècnica de València（瓦伦西亚理工大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 对2017年1月至2026年3月关于放射成像数据训练基础模型的研究综述，涵盖数据、架构、评估等方面。Transformer架构和自监督预训练为主，评估集中在分割和分类。虽有可迁移性，但临床转化因多种问题受限。

Comments 33 pages, 8 tables, 2 figures

ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents

ToolFailBench：诊断大语言模型智能体中的工具使用失败

Harsh Soni

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍ToolFailBench诊断基准，用于衡量金融、医学等领域1000个任务中的工具使用失败情况。通过规则分类器和大语言模型裁判标注失败类型，发现模型工具使用存在差异，强调评估应考量多方面。

Comments 18 pages, 3 figures. Published at the Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) and the Workshop on Failure Modes of Agentic AI (FAGEN) at ICML 2026

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

语言模型组合何时有效？基于67个前沿模型的协同失败上限：路由、投票与多智能体混合

Josef Chen

机构 * KAIKAKU 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究多模型系统（路由、投票、级联等）的准确率上限，发现其增益受限于所有模型同时出错的比率β，而非常用的平均成对误差相关性ρ，并通过67个模型实验验证了β的显著低估。

AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability

AdversaBench: 基于多裁判确认与跨模型迁移性的自动化大语言模型红队测试

Khanak Khandelwal

机构 * Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出AdversaBench端到端红队测试流水线，使用五种结构化算子变异种子提示，通过三裁判加元裁判机制确认失败，实验发现算子效果因类别而异、二元失败率掩盖难度、裁判一致性受标签偏斜影响、对抗提示可跨模型迁移。

Comments 10 pages, 4 figures, 5 tables. Code and data at https://github.com/khanak0509/AdversaBench

Evaluation of EEG Foundation Models for Event-Based Burst-Suppression Detection in ICU

用于ICU中基于事件的爆发-抑制检测的EEG基础模型评估

Elisa Vasta, Thorir Mar Ingolfsson, Andrea Cossettini, Luca Benini, Tilman Beck, Emanuela Keller, Una Pale

机构 * DEI, University of Bologna, Bologna, Italy（DEI，博洛尼亚大学，博洛尼亚，意大利） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究首次评估EEG基础模型在ICU中无需患者校准的爆发检测性能，REVE-base模型在事件级F1分数上达到0.868，并将每分钟爆发错误率分别降低52.1%和36.2%。

Comments 4 pages, 1 figure. Code available upon publication

DeFAb: A Verifiable Benchmark for Defeasible Abduction in Foundation Models

DeFAb：基础模型中可废止溯因的可验证基准

Patrick Cooper, Alvaro Velasquez

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 评测与基准 ：foundation model(title)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出DeFAb基准，通过将知识库转换为可验证的溯因实例，评估基础模型在可废止推理中的创造力与理论推理能力，发现前沿模型准确率远低于符号求解器。

Comments 33 pages, 14 figures, 23 tables. Dataset: https://huggingface.co/datasets/PatrickAllenCooper/DeFAb ; code and evaluation harness: https://github.com/PatrickAllenCooper/blanc

Beyond Classification: A Cough Regression Benchmark for Respiratory Acoustic Foundation Models

超越分类：呼吸声学基础模型的咳嗽回归基准

Mayur Sanap, Prasanna Desikan, Edgar Lobaton

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出多模型多目标咳嗽回归基准，评估五个基础模型在六个目标上的表现，发现MLP-small优于线性探测，揭示数据集大小与头部容量的权衡，并展示跨数据集迁移的不对称性。

Comments Accepted at the ICML 2026 Workshop on Structured Data for Health

Risk Under Pressure: Compute-Aware Evaluation of Adversarial Robustness in Language Models

压力下的风险：语言模型对抗鲁棒性的计算感知评估

Malikeh Ehghaghi, Boglárka Ecsedi, Marsha Chechik, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Hugging Face 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于计算压力（累积FLOPs）的对抗鲁棒性评估框架，通过风险-计算曲线和两个新指标，揭示不同攻击策略的计算成本差异，并在10个模型上验证了对齐训练、模型规模等因素对计算空间鲁棒性的非单调影响。

Decoy-Calibrated Failure Audits for Language Models

语言模型的诱饵校准失败审计

Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

机构 * Meta Platforms（Meta平台） 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出Janus程序，通过诱饵校准和留出数据验证，判断语言模型错误解释的可信度，避免选择偏差。

Comments 14 pages, 5 figures, 4 tables

JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification

JuryProbe：用于将无参考事实性评判小组路由至基于事实的验证的经验共识风险诊断方法

Tianxin Zhou, Ruixi Lin

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对无参考事实性LLM评判小组的共识风险诊断方法JuryProbe，通过校准路由策略减少假阴性盲区导致的错误，在FEVER数据上验证了其有效性，可降低假接受并减少参考获取。

Comments 22 pages, 1 figure, 16 tables

Do LLMs Beat Nash? Testing Decentralized Coordination in Self-Play Multi-Agent Games

大型语言模型智能体能胜过纳什（均衡）吗？测试自玩多智能体游戏中的去中心化协调

Deborah Sinishaw, Qile Zhu, Edwin Meriaux, Gregory Dudek

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究测试无通信时LLM智能体能否超越纳什均衡，构建无通信博弈基准发现部分前沿托管模型可超越纳什，开放权重模型收益有限且无法迁移至多智能体团队。

Comments 5 pages, 5 figures. Submitted to the 2026 IEEE MIT Undergraduate Research Technology Conference (URTC)

HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

HarnessOpt-Bench：评估大型语言模型的 harness 优化能力

Varun Ursekar, Apaar Shanker, Yash Maurya, Shehab Yasser, Vijay S. Kalmath, Veronica Chatrath, Yuan Xue

机构 * Scale AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出HarnessOpt-Bench基准，评估前沿LLM在高成本随机评估下的端到端harness优化能力，发现优化器模型差异大于编码harness、原生harness非始终更优，该能力具可测性与提升空间。

KAMR: Grounding Generation via Knowledge-Aligned Multi-hop Retrieval

KAMR：基于知识对齐多跳检索的接地生成

Xiaochen Wang, Yuan Zhong, Haoyu Wang, Ting Wang, Fenglong Ma

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)

AI总结 该研究针对多跳检索中三元组排序与监督缺失问题，提出KAMR知识对齐多跳检索器，通过构建部分对齐数据集优化对比目标，在多基准与LLM主干上提升了多跳检索和下游问答性能。

Comments Accepted by COLM'26