语言大模型 / LLM

ProbeLLM: Automating Principled Diagnosis of LLM Failures

ProbeLLM：自动化的大语言模型故障原则性诊断

Yue Huang, Zhengzhe Jiang, Yuchen Ma, Yu Jiang, Xiangqi Wang, Yujun Zhou, Yuexing Hao, Kehan Guo, Pin-Yu Chen, Stefan Feuerriegel, Xiangliang Zhang

机构 * University of Notre Dame（诺丁汉大学） ； LMU Munich（慕尼黑大学） ； Massachusetts Institute of Technology（麻省理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ProbeLLM框架，通过分层蒙特卡洛树搜索在全局探索与局部细化间分配预算，结合工具增强生成与验证，将故障发现从孤立案例提升为结构化故障模式，揭示更广泛、清晰、细粒度的故障景观。

Bittensor Agent Arenas as a Trajectory Primitive: Distilling a Shopping Agent from ShoppingBench Subnet Traces

Bittensor 智能体竞技场作为轨迹基元：从 ShoppingBench 子网轨迹中蒸馏购物智能体

Shardul Bansal, Seth Schilbe, Jarrod Barnes

机构 * ORO AI ； Dynamical Systems（动力系统） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对小模型后训练缺乏多轮轨迹数据的问题，利用 Bittensor 子网 SN15 的竞技机制生成激励对齐的轨迹，通过结构质量过滤提取智能体轨迹，后训练 Qwen3-4B 模型在 ShoppingBench 上达到 42.7% ASR，接近合成数据基线。

Comments 10 pages, 4 figures, Data and Models available at: https://huggingface.co/collections/oro-ai/shoppingbench-sn15-trajectory-primitive

Does Capability Transfer to Subjective Behavior -- and Would Our Instruments Tell Us? A Self-Evolving, Trust-by-Construction Evaluation Paradigm

让结果说话：LLM行为基准测试的复制优先范式

Yuming, Huang, Yao Liu, Pengjie Ding, Lei Wang, Junchen Wan

机构 * Cylingo team（Cylingo团队） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 提出复制优先范式，通过可靠性、跨仪器复制、历史足迹校准和预注册预测四个正交属性验证LLM行为评估工具，并在情感陪伴任务中测试，发现聚合分数掩盖的模型退化。

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

Falcon-X：面向异构多变量建模的时间序列基础模型

Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有时间序列基础模型在语义对齐和关系表达上的局限，提出Falcon-X，通过将变量映射到统一潜在原型空间，利用统一原型差分注意力机制对齐异构变量，并在共享空间中通过潜在实体注意力进行跨变量交互，实现零样本结构迁移，在GIFT-Eval和fev-bench基准上取得最先进预测性能。

PreAct-Bench: Benchmarking Predictive Monitoring in LLMs

PreAct-Bench：大语言模型中的预测性监控基准

Hainiu Xu, Italo Luis da Silva, Jiangnan Ye, Yuhao Wang, Wei Liu, Linyi Yang, Jonathan Richard Schwarz, Nicola Paoletti, Yulan He, Hanqi Yan

机构 * King’s College London（伦敦国王学院） ； National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学） ； Thomson Reuters Foundational Research（汤姆森路透基础研究） ； Imperial College London（伦敦帝国学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出预测性监控任务，在动作执行前判断是否会导致不道德行为，并构建PreActBench基准，评估多种模型发现该任务具有挑战性。

FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses

FailureScope: 语言模型弱点的跨机制行为诊断

Nicholas Saban

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出FailureScope方法，通过跨模型通过/失败模式聚类评估探针，在单轮基准、多轮对话和对抗性代理攻击三种机制下稳定生成可解释的失败分类，实现高效任务采样和跨模型失败预测。

Janus: A Benchmark for Goal-Conditioned Information Distortion in LLMs

Janus: 大语言模型中目标导向信息扭曲的基准测试

Polydoros Giannouris, Mohsinul Kabir, Sophia Ananiadou

机构 * The University of Manchester（曼彻斯特大学） ； Archimedes/Athena RC（阿基米德/雅典研究中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出JANUS基准，通过固定事实池对比中性/目标导向条件，测量LLM在事实输出中的选择性扭曲，揭示模型缺乏防误导通信的鲁棒性。

RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty

RankLLM: 通过量化问题难度对大型语言模型进行加权排名

Ziqian Zhang, Xingjian Hu, Yue Huang, Kai Zhang, Ruoxi Chen, Yixin Liu, Qingsong Wen, Kaidi Xu, Xiangliang Zhang, Neil Zhenqiang Gong, Lichao Sun

机构 * Lehigh University（莱维大学） ； University of Notre Dame（诺特大学） ； Zhejiang Wanli University（浙江万里大学） ； Squirrel Ai Learning ； City University of Hong Kong（香港城市大学） ； Duke University（杜克大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出RankLLM框架，通过量化问题难度和模型能力实现细粒度评估，在35550个问题上对30个模型进行评测，与人类判断一致性达90%。

Comments 32 pages, 9 figures. Accepted by ICLR 2026

Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs

条件 Vendi 分数：生成式 AI 模型和 LLM 的提示感知多样性评估

Mohammad Jalali, Azim Ospanov, Amin Gohari, Farzan Farnia

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） ； Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对文本提示引导的生成模型，提出条件 Vendi 和条件 RKE 分数，通过条件熵分离模型自身多样性，并证明收敛性及在多个任务中恢复真实多样性排序。

Frontier Coding Agents Use Metaprogramming to Adapt to Unfamiliar Programming Languages

前沿编码代理使用元编程适应不熟悉的编程语言

Aman Sharma, Sushrut Thorat, Paras Chopra

机构 * Lossfunk 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究评估LLM编码代理在陌生语言上的表现，发现强代理通过元编程（如用Python生成目标语言代码）适应，禁止此策略性能大幅下降，而弱代理无法从中受益。

Comments 43 pages, 8 figures

PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

PSEBench: 一个用于评估大语言模型在患者安全事件分类中的可控且可验证的基准

Keqi Han, Ryan Young, Annabel Strauss, Lindsey Hughes, Katharine M. Nesbitt, Nicole Schueler, Che Ngufor, Carl Yang, Yuan Xue, Zhijun Yin

机构 * Emory University（埃默里大学） ； Scale AI ； Mayo Clinic（梅奥诊所） ； Vanderbilt University Medical Center（范德比大学医学中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出基于政策条款卡的结构化构建方法，通过锚点驱动实例化和闭环验证生成带真实标签的叙事，并创建包含5074个案例的基准PSEBench，评估15个代表性LLM在患者安全事件分类中的能力。

Revisiting Metric Reliability for Fine-grained Evaluation of Machine Translation and Summarization in Indian Languages

重新审视印度语言机器翻译和摘要细粒度评估的度量可靠性

Amir Hossein Yari, Kalmit Kulkarni, Ahmad Raza Khan, Fajri Koto

机构 * Sharif University of Technology（谢里夫理工学院） ； Vellore Institute of Technology（韦洛雷理工学院） ； IIT Kharagpur（印度理工学院达卡分校） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对印度语言评估不足的问题，提出ITEM基准，系统评估29种自动度量与人工判断的对齐，发现基于LLM的评估器表现最佳，并揭示了异常值影响、任务差异及扰动鲁棒性等关键发现。

Comments 18 pages, 14 figures

PhantomBench: Benchmarking the Non-existential Threat of Language Models

PhantomBench: 对语言模型非存在性威胁的基准测试

Haeji Jung, Hila Gonen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Canada CIFAR AI Chair, Amii（加拿大CIFAR人工智能主席，阿米研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出PhantomBench，首个大规模非存在概念基准，包含6万多个虚构实体，评估21个模型，发现平均幻觉率高达86.7%，前沿模型也难以避免。

A Navigable Manifold of Hypothesized Consciousness-Spectrum States in Language Model Representations

语言模型表示中假设的意识谱状态的可导航流形

Sophie Zhao

机构 * School of Computer Science（计算机科学学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型嵌入空间中与意识谱相关的几何结构，发现嵌入形成可导航流形，高低层区域稳定，中间为过渡走廊，导航性为内在属性。

ECHO: Explainable Co-editing with Human-in-the-loop Operations for Presentation Refinement

ECHO: 基于人在环操作的可解释协同编辑用于演示文稿优化

Yu Fu, Yongqi Kang, Yujia Zhou, Yong Zhao

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；language model(abstract)；foundation model(abstract)

AI总结 针对演示文稿创作中用户缺乏细粒度控制的问题，提出ECHO系统，通过多模态意图理解和可解释操作计划，结合“自然语言+视觉选择”范式和解耦的“计划-确认-执行”循环，实现可控的局部编辑，显著降低认知负荷并提升意图映射与空间定位准确率。

GCA Framework: A GCC Countries-Grounded Dataset and Agentic Pipeline for Climate Decision Support

GCA框架：面向海湾合作委员会国家的数据集与气候决策支持智能体管道

Muhammad Umer Sheikh, Khawar Shehzad, Salman Khan, Fahad Shahbaz Khan, Muhammad Haris Khan

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德人工智能大学） ； University of Missouri（密苏里大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出GCA框架，包含GCC国家多模态数据集GCA-DS和工具增强型智能体GCA，通过领域微调和工具集成提升气候决策可靠性。

Towards Paradigm-General Suicide Risk Detection via Speech LLM

面向范式通用的语音自杀风险检测：基于语音大语言模型

Jialun Li, Weitao Jiang, Ziyun Cui, Yinan Duan, Diyang Qu, Chao Zhang, Runsen Chen, Chang Lei, Wen Wu

专题命中 评测与基准 ：LLM(title,abstract)

AI总结 提出基于语音大语言模型和混合DoRA专家的方法，统一多种语音诱发范式，在1223名参与者十种范式上优于特定范式及传统联合学习模型，并泛化至未见范式。

Spatial-Omni: Spatial Audio Understanding Integration in Multimodal LLMs via FOA Encoding

Spatial-Omni：通过FOA编码在多模态大语言模型中实现空间音频理解

Zhiyuan Zhu, Yixuan Chen, Yiwen Shao, Wenxiang Guo, Changhao Pan, Yu Zhang, Yuxiang Wang, Wei Liu, Houhua Zhang, Chengkuan Zeng, Wenbo Cheng, Yunxi Liu, Rui Yang, Steve Yves, Liefeng Bo, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文心） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Spatial-Omni，通过SO-Encoder将一阶Ambisonics空间音频注入现有全模态大语言模型，以轻量方式实现空间音频理解，并在构建的SO-Bench基准上超越现有模型。

BenSyc: Benchmarking Conversational Sycophancy and Human Alignment in LLMs for Bengali Contexts

BenSyc: 孟加拉语上下文中大语言模型对话谄媚与人类对齐的基准测试

Kazi Noshin, Sajib Acharjee Dip, Ranat Das Prangon, Fardin Hassan Tamim, Syed Ishtiaque Ahmed, Liqing Zhang, Sharifa Sultana

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Virginia Tech（弗吉尼亚理工大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； BRAC University（BRAC大学） ； University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出BenSyc基准，基于孟加拉语社交数据构建五级标注集，评估15+模型在对话对齐分类与生成任务上的表现，发现前沿模型在区分共情与强化性认可上仍存在困难。

T1-Bench: Benchmarking Multi-Scenario Agents in Real-World Domains

T1-Bench：真实世界领域中的多场景智能体基准测试

Genta Indra Winata, Amartya Chakraborty, Yuzhen Lin, Swasthi P Rao, Shikhhar Siingh, Houhan Lu, Nadia Bathaee, Sriharsha Hatwar, Paresh Dashore, Anmol Jain, Kshitij Tayal, Xiuzhu Lin, Anirban Das, Sambit Sahu, Shi-Xiong Zhang

机构 * Capital One（第一资本） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出T1-Bench，一个高保真、全面的基准，用于评估多领域真实客户场景中的智能体系统，通过交织的多轮交互任务提升复杂性和评估严谨性。

Comments Preprint

From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs

从上下文感知到冲突感知：泛化对比解码以应对LLMs中的知识冲突

Runze Jiang, Taiqiang Wu, Yan Wang, Bingyu Zhu, Longtao Huang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型生成时外部上下文与参数先验之间的知识冲突，提出冲突感知范式，通过动态分配先验与上下文的权重，并设计自适应机制解决不同冲突状态下的不对称问题。

Comments 27 pages, 9 figures

CANVAS: Captioning Art with Narrative Visual-Audio AI Systems

CANVAS: 用叙事视觉音频AI系统为艺术配文

Vignesh Nagarajan

机构 * BASIS Phoenix High School（BASIS凤凰高中） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种自动化工作流，利用大语言模型和文本转语音服务生成多感官艺术描述和同步音频解说，在20秒内以低于0.05美元的成本生成文本加音频输出，显著提高词汇多样性和叙事细节。

Comments 22 pages, 16 figures, 3 tables, 21 references

NOVA: Symbolic Regression Discovery of Interpretable Car-Following and Lane-Change Models with Driver Heterogeneity

NOVA: 可解释的跟驰与换道模型及驾驶员异质性的符号回归发现

Ishak Abassi, Nassim Ali Bouazzouni, Farah Ibelaiden, Nadir Farhi

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院（ENSIA）） ； Univ Gustave Eiffel（古斯塔夫·埃菲尔大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出NOVA符号回归框架，从原始轨迹数据自动发现可解释的跟驰与换道结构，在NGSIM数据集上优于基线，并揭示主导非线性项与心理物理理论关联。

Illusions of the Gold Standard: A Large-scale Analysis of Human Evaluation Protocols for Long-form Text Generation

黄金标准的幻觉：长文本生成中人类评估协议的大规模分析

Katelyn Xiaoying Mei, Yi-Li Hsu, Minjoon Choi, Zongwan Cao, Chenjun Xu, Bingbing Wen, Su Lin Blodgett, Lucy Lu Wang

机构 * University of Washington（华盛顿大学） ； National Tsing Hua University（国立清华大学） ； Seoul National University（首尔大学） ； Mila - Québec AI Institute（米拉-魁北克人工智能研究所） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过分析2023-2025年*CL会议论文中的人类评估协议，发现报告不透明和可重复性差的问题，并提出改进建议。

Comments Accepted to ACL 2026 Main

Are We Evaluating Knowledge or Phrasing? Mitigating MCQA Sensitivity with ParaEval

我们是在评估知识还是措辞？使用ParaEval减轻MCQA敏感性

João Maria Janeiro, Mathurin Videau, Andrea Caciolai, Benjamin Piwowarski, Patrick Gallinari, Loic Barrault

机构 * FAIR at Meta（Meta FAIR） ； Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学，法国国家科学研究中心，智能系统与机器人研究所，法国巴黎） ； Criteo AI Lab, Paris, France（Criteo AI实验室，法国巴黎） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多选题基准测试对答案措辞敏感的问题，提出ParaEval框架，通过对每个选项使用多种释义并选择最有利的评分，将虚假性能差距从2分以上降至1分以下，从而评估模型真实能力。

Improving Adversarial Transferability on Vision-Language Pre-training Models via Surrogate-Specific Bias Correction

通过代理特定偏差校正提高视觉-语言预训练模型上的对抗迁移性

Lijia Yu, Jiuxin Cao, Yuchen Qiang, Changhao Chen, Yifei Huang, Bo Liu

机构 * School of Cyber Science and Engineering, Southeast University（东南大学网络空间安全学院） ； Purple Mountain Laboratories（紫金山实验室） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DeBias-Attack方法，通过梯度校正消除代理特定偏差，提高对抗样本在VLP模型间的迁移性，实验验证其在多种模型和任务上的有效性。

Comments 17 pages, 7 figures, 10 tables

Assessing Automated Prompt Injection Attacks in Agentic Environments

评估智能体环境中的自动化提示注入攻击

David Hofer, Edoardo Debenedetti, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究在智能体环境中，黑盒优化方法（TAP）比梯度方法（GCG）更有效，且攻击效果依赖于攻击者模型，任务通用攻击可迁移但跨模型迁移受限。

A complementary study on PlanGPT: Evaluation with defined Performance Metrics and comparison with a planner

PlanGPT的补充研究：使用定义性能指标评估并与规划器比较

Youssef Abdelkader, Humbert Fiorino, Damien Pellier

机构 * Univ. Grenoble Alpes - LIG（格勒诺布尔阿尔卑斯大学 - 信息学实验室（LIG）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文对大型语言模型PlanGPT进行补充实验，使用规划成本和生成时间两个指标评估其性能，并与传统规划器比较，发现PlanGPT并不优于贪心搜索策略。

Comments 7 pages

STAGE-Claw: Automated State-based Agent Benchmarking for Realistic Scenarios

STAGE-Claw：面向真实场景的基于状态的智能体自动化基准测试

Sirui Liang, Bohan Yu, Peiyu Wang, Shiguang Guo, Wenxing Hu, Pengfei Cao, Jian Zhao, Cao Liu, Ke Zeng, Xunliang Cai, Kang Liu

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院） ； Chinese Academy of Sciences（中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Meituan（美团） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STAGE-Claw框架，自动构建基于状态的个人计算环境中的真实场景任务，通过最终系统状态而非文本响应评估智能体性能，创建40个挑战性任务并分析11个前沿模型。

DaLA: Danish Linguistic Acceptability Evaluation Guided by Real World Errors

DaLA：由现实世界错误引导的丹麦语言可接受性评估

Gianluca Barmina, Nathalie Carmen Hau Norman, Peter Schneider-Kamp, Lukas Galke Poech

机构 * University of Southern Denmark（南方丹麦大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一个增强的丹麦语言可接受性评估基准，通过分析常见错误并引入14种腐蚀函数生成错误句子，验证其有效性后用于评估大型语言模型的可接受性判断任务，结果显示该基准更广泛且更全面。

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026)