语言大模型 / LLM

IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages

IndicQE-APE：印度语言质量估计与自动后编辑基准

Diptesh Kanojia, Archchana Sindhujan, Sourabh Deoghare, Daria Sokova, Shenbin Qian, Girish Koushik, Tharindu Ranasinghe, Constantin Orăsan, Chrysoula Zerva, Ricardo Rei, Frédéric Blain, André F. T. Martins, Marco Turchi, Matteo Negri, Rajen Chatterjee, Anoop Kunchukuttan, Mitesh M. Khapra, Pushpak Bhattacharyya

机构 * IIT Bombay（印度理工学院孟买分校） ； University of Oslo（奥斯陆大学） ； Lancaster University（兰卡斯特大学） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico（高等技术学院） ； University of Lisbon（里斯本大学） ； Sword Health ； Tilburg University（蒂尔堡大学） ； Zoom Communications（Zoom通信公司） ； Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） ； Apple（苹果公司） ； Bodhan AI ； IIT Madras（印度理工学院马德拉斯分校） ； University of Surrey（萨里大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本研究构建了涵盖9个方向对的IndicQE-APE基准，对LLM、COMET指标及APE系统进行QE与APE基准测试，揭示质量信号冲突等因素对文本段排名的影响。

Comments Submitted to WMT 2026 for review

Walk Before You Run: The Importance of Data Exploration for Data Analysis Agents

先跑再走：数据探索对数据分析智能体的重要性

Yike Yuan, Virum Ranka, Tina Lasisi, Lin Ma

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究指出LLM数据分析工具存在忽视数据探索步骤的差距，引入两个基准评估数据集理解，发现强模型仍会遗漏逻辑结构，显式数据探索可提升下游任务性能。

Comments 9 pages, 6 figures. Accepted to VLDB 2026 Workshop: DASHSys: Systems for Data-centric Agents with Human-in-the-loop

Evaluating Agentic Code Repair Capabilities in Distributed Systems

评估分布式系统中智能体的代码修复能力

Yibo Yan, Huijuan Wang, Junzhou He, Yizhuo Liang, Shaoyu Wang, Huanchen Sun, Seo Jin Park

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究推出分布式系统代码修复基准DDBench，评估10个LLM的代码修复能力，发现调试上下文可提升准确率且对强弱模型影响不同，分布式调试能凸显单进程基准未体现的推理能力。

Comments Under submission

When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry

当智能体执行失败时：从遥测数据中检测和定位运行时故障

Chenkai Zhang, Yiran Li, Yifang Tian, Michalis Bachras, Hans-Arno Jacobsen

机构 * University of Toronto（多伦多大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究提出 AGENTCHAOSBENCH 基准，在智能体系统遥测数据中检测定位运行时故障，实验显示现有 LLM 基线对该任务的解决效果仍远未达标。

HarnessEval-W: Agentifying the Evaluation of Visual Worlds

HarnessEval-W：将视觉世界评估智能体化

Weiliang Chen, Haowen Sun, Jun Gao, Jiawei Chi, Hanyang Wang, Qiyu Dai, Yihao Li, Hao Li, Jingnan Gao, Yi-Hsin Hung, Xingzhuo Guo, Shangchen Miao, Zhiyuan Shi, Xiang Li, Fengrui Tian, Weihua Du, Ziqi Huang, Shenyuan Gao, Siqiao Huang, Mingyu Liu, Yifei Li, Shizun Wang, Xi Wang, Tianqi Zhang, Xue Luo, Xiyin Ren, Jinshan Ren, Xiaoyang Shen, Xiaobo Hu, Zhiyang Dou, Mingyu Ding, Yichao Yan, Xinchao Wang, Yizhou Wang, Shilong Liu, Wenzhao Zheng, Yueqi Duan, Yuan Gong, Ziwei Liu, Ming-Yu Liu, Jialong Wu, Jiangran Lyu, Fangfu Liu

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 该研究提出智能体化评估流程HarnessEval-W，将LLM生态的harness范式应用于世界模型基准测试，对18个世界模型的330个案例评估，其判断与人类偏好一致且提供可验证诊断，已开源并邀社区贡献。

Comments Project Page: https://mirros-lab.github.io/HarnessEval-W

SiMUSation: An Interactive Visitor Experience Simulation Framework to Support Museum Exhibition Design

SiMUSation：一种支持博物馆展览设计的交互式参观者体验模拟框架

Huanchen Wang, Qiuming Chen, Zhonghao Ji, Ruqi Sun, Zhichao Lu, Yuxin Ma

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 该研究提出SiMUSation交互式框架，通过LLM驱动的角色模拟，支持博物馆展览早期设计，经12人用户研究验证其可辅助设计反思优化。

Comments 15 pages, 7 figures, 3 tables, Accepted by ACM UIST 2026

Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains

基于发布者属性评估生成式搜索引擎的攻击面：政治领域的案例研究

Riku Mochizuki, Shusuke Komatsu, Souta Noguchi, Kazuto Ataka

专题命中 评测与基准 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本研究针对政治领域，提出评估框架与“内容注入屏障”指标，发现不同GSE攻击面有别、执政党攻击面更广、用户画像影响小，揭示了GSE的攻击面特征。

Comments Our full paper will be presented at ACM CIKM 2026

Diagnosing Dense Same-Class Attribute Misbinding in Large Vision-Language Models

诊断大视觉语言模型中的密集同类属性绑定错误

Yuanzhi Xu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Sixue Lin

机构 * Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）） ； China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司） ； Shenyang Aerospace University（沈阳航空航天大学） ； University of Nottingham Ningbo China（宁波诺丁汉大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究提出InstaBind-Lite基准，量化大视觉语言模型的密集同类属性绑定错误（DSCAM），发现其错误率被总准确率掩盖，多数转移来自相邻实例，该基准可评估模型对属性所属实例的认知。

ARENA: Automated Red-Teaming for Large Audio Language Models

ARENA：大型音频语言模型的自动化红队测试

Jiaming He, Zhicong Huang, Tian Jin, Zhen Sun, Cheng Hong, Yi Yu, Wenbo Jiang, Xudong Jiang

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出ARENA闭环框架，基于2000个文本-音频数据集训练控制器，在520个AdvBench目标上对多个LALMs实现高FDR/PSR，验证了其在音频红队测试中的有效性。

NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models

NumerosityVLM：一种受认知启发的、用于解释视觉-语言模型中数量表征的基准测试

Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

机构 * The University of Manchester（曼彻斯特大学） ； University of Michigan（密歇根大学） ； Sheffield Hallam University（谢菲尔德哈勒姆大学） ； Tufts University（塔夫茨大学） ； ENSTA, Institut Polytechnique de Paris（巴黎综合理工学院国立高等先进技术学校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 研究针对视觉-语言模型数量感知研究的基准缺陷，提出受认知启发的NumerosityVLM基准，评估7个模型发现架构对性能影响最大，数量信号出现在视觉编码器早期，差异主要来自语言模型组件。

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 19 pages, 11 tables

The Synthetic Web: Adversarially-Curated Mini-Internets for Diagnosing Epistemic Weaknesses of Language Agents

合成网络：用于诊断语言代理知识弱点的对抗性定制迷你互联网

Shrey Shah, Levent Ozgur

机构 * Microsoft（微软） 纠错

专题命中 评测与基准 ：language agent(title,abstract)；分类 cs.AI

AI总结 本研究提出合成网络基准测试，通过对抗性内容测试揭示语言代理在处理冲突信息时的弱点，为高风险领域中的可靠代理开发提供评估框架。

Comments This version includes a revised manuscript presentation and formatting, expanded methodological and experimental details, enhanced reproducibility documentation, and improved benchmark framing and evaluation descriptions

OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models

OODBench: 用于大型视觉-语言模型的分布外基准

Ling Lin, Yang Bai, Heng Su, Congcong Zhu, Yaoxing Wang, Yang Zhou, Huazhu Fu, Jingrun Chen

机构 * University of Science and Technology of China ； Suzhou Institute for Advanced Research, USTC ； Key Laboratory of the Ministry of Education for Mathematical Foundations ； Unmanned System Research Institute, Northwestern Polytechnical University 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 OODBench提出了一种自动化方法，用于构建评估大型视觉-语言模型处理分布外数据能力的基准，并展示了当前模型在面对此类数据时的性能下降。

Comments 54 pages, 21 figures

Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis

评估工具对人类和大语言模型（LLMs）是否测量相同的内容？潜在结构分析

Alona Strugatski, Licol Zeinfeld, Giora Alexandron

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过探索性因子分析等方法，发现高中化学和大学入学考试定量推理部分的评估，对人类与六个多模态LLMs测量的潜在结构存在系统性差异，质疑了此类评估用于推断AI能力的效度。

HarmProfile: Characterizing Harmful Distributions in Frontier LLMs

HarmProfile：刻画前沿大语言模型中的有害分布

Zhouyuan Ma, Yutao Wu, Hanxun Huang, Xiang Zheng, Xiao Liu, Yixin Cao, Zuxuan Wu, Xingjun Ma, Yu-Gang Jiang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出HarmProfile基准数据集，收集23个前沿LLMs的超8万条有害输出，发现其有害性与多样性随模型能力增长，潜藏对齐表面下的危险知识。

Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models

先见后答：面向视觉语言模型的无训练视觉层分析

Ruchen Liu, Yi Yang, Yiming Xu, Michael Ying Yang, Monika Sester, Bodo Rosenhahn

机构 * Leibniz Universität Hannover（汉诺威莱布尼茨大学） ； University of Bath（巴斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 该研究提出无需训练的视觉数据集熵（VDE）方法，可预测视觉语言模型的最优视觉层，缩小搜索范围，相比GW距离更具实用性。

Comments ECCVW'26 eXCV

SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation

SafeGesture：通过场景条件安全解释评估视觉语言模型的细粒度手势理解能力

Taegang Kim, Saleh Afroogh, Junfeng Jiao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 本文提出SafeGesture基准，评估5款视觉语言模型的细粒度手势安全理解能力，发现模型存在感知与推理脱节，瓶颈为场景条件安全推理而非手势识别。

Comments 14 pages, 22 tables, 2 figures. Code and benchmark resources available at https://github.com/The-Responsible-AI-Initiative/SafeGesture

CrossView: Can Vision-Language Models Reason Across Cameras?

CrossView：视觉-语言模型能否跨相机进行推理？

Sahil Shah, S P Sharan, Harsh Goel, Manvik Pasula, Adithya Hebbalae, Minkyu Choi, Sandeep P. Chinchali

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 本文提出CrossView多相机视频问答基准，评估发现GPT-5.2等模型跨相机推理准确率低，开源模型表现更差，该基准可用于测试模型联合处理多视角的能力。

Comments ECCV 2026

AlignJEPA: Predictive Vision-Language Alignment for Remote Sensing Foundation Models

AlignJEPA：面向遥感基础模型的预测性视觉-语言对齐

Md Aminur Hossain, Omkumar Vaghasiya, Rajeev Ranjan Dwivedi, Vinod Kurmi, Biplab Banerjee

机构 * Space Applications Centre, ISRO（印度空间研究组织空间应用中心） ； Indian Institute of Science Education and Research (IISER) Bhopal（印度科学教育与研究学院（博帕尔）） ； Indian Institute of Technology Bombay（印度理工学院孟买分校） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 该研究针对遥感基础模型与自然语言对齐不足的问题，提出受JEPA启发的AlignJEPA框架，采用轻量级预测对齐网络，结合语义预测与双向对比检索，实现了参数高效的视觉-语言对齐。

Comments 18 pages

SADP: Subgoal-Aware Diffusion Policy for Long-Horizon Manipulation Learned from Foundation Model Generated Demonstrations

SADP：基于基础模型生成示范的子目标感知扩散策略用于可解释机器人

Site Hu, Takato Horii

机构 * Department of Systems Innovation, Graduate School of Engineering Science, Osaka University（系统创新系，工学研究科，大阪大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文提出SADP，一种基于基础模型生成示范的子目标感知扩散策略，用于可解释机器人，通过自主生成子目标标注的示范数据，训练扩散策略，使机器人能够通过子目标结构和执行进度向用户解释决策过程，从而在长周期操作中实现更高的任务成功率和故障诊断能力。

Comments Revised manuscript with an updated title, evaluation protocol, and simulation results

A Versatile Foundation Model for AI-enabled Mammogram Interpretation

一种用于AI辅助乳腺X线摄影解读的通用基础模型

Fuxiang Huang, Jiayi Zhu, Yunfang Yu, Yu Xie, Yuan Guo, Qingcong Kong, Mingxiang Wu, Xinrui Jiang, Shu Yang, Jiabo Ma, Ziyi Liu, Zhe Xu, Zhixuan Chen, Yujie Tan, Zifan He, Luhui Mao, Xi Wang, Junlin Hou, Lei Zhang, Qiong Luo, Zhenhui Li, Herui Yao, Hao Chen

机构 * Guangdong Provincial Key Laboratory of Malignant Tumor Epigenetics and Gene Regulation, Guangdong-Hong Kong Joint Laboratory for RNA Medicine, Department of Medical Oncology, Breast Tumor Centre, Phase I Clinical Trial Centre（广东省恶性肿瘤表观遗传与基因调控重点实验室，粤港澳RNA医学联合实验室，医学肿瘤科，乳腺肿瘤中心，I期临床试验中心） ； Guangdong Provincial Key Laboratory of Cancer Pathogenesis and Precision Diagnosis and Treatment, AI Big Data Laboratory, Department of Medical Oncology（广东省肿瘤发生与精准诊断与治疗重点实验室，人工智能大数据实验室，医学肿瘤科） ； Chongqing Key Laboratory of Bio-perception（重庆生物感知重点实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 研究针对乳腺X线分析基础模型的临床转化缺陷，推出VersaMammo模型，构建含70余万张图像的多机构数据集，经两阶段预训练后在92项临床任务基准中表现顶尖，推动乳腺癌筛查诊断进展。

Comments 69 pages, 12 figures, 52 tables

Revisiting the Performance of Generative Artificial Intelligence on Introductory Object-Oriented Programming Assessments: Insights from 2026

重新审视生成式人工智能在面向对象编程入门评估中的表现：来自2026年的见解

Marina Lepp, Joosep Kaimre

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究评估ChatGPT-5.2等5种GenAI系统在OOP入门课程评估中的表现，发现其得分高于平均学生，在部分任务有优势但仍存在编译、高级OOP概念等问题，且较前一年有明显改进。

Augmenting Text to Increase Translation Difficulty

通过增强文本提升翻译难度

William Kalikman, Šimon Sukup, Michal Tešnar, Vilém Zouhar

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 针对机器翻译模型评估的饱和问题，提出对抗翻译优化（ATO）方法增强基准文本以提升翻译难度，生成了两个各含350篇英文文本的数据集，验证了其可有效降低翻译质量且无需额外成本。

Comments 18 pages, 8 figures, 10 tables. William Kalikman and Šimon Sukup contributed equally. Published in EAMT 2026. Code: https://github.com/BreakingMT/ATO. Data: https://huggingface.co/datasets/wskal/ATO-datasets

One Score, Two Decisions: Selective Prediction on the Rare-Disease Tail

一个分数，两个决策：针对罕见疾病尾部的选择性预测

Zhaoyang Jiang, Zhizhong Fu, Yunsoo Kim, Zicheng Li, Xuanqi Peng, Fei Teng, Jiacong Mi, Honghan Wu

机构 * School of Health & Wellbeing, University of Glasgow（格拉斯哥大学健康与福祉学院） ； Shanghai Sixth People’s Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属第六人民医院） ； School of Life Science and Technology, University of Electronic Science and Technology of China（电子科技大学生命科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 针对罕见疾病尾部的选择性预测，研究发现现有小型开放权重LLM在超罕见疾病上表现受限，前两位边际可提升部分病例选择性准确率，且仅未标记分数无法确定边际切换是否有益。

RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies

RoboLab：一种高保真模拟基准，用于分析任务通用策略

Jenai Xuning Yang, Rishit Dagli, Alex Zook, Hugo Hadfield, Ankit Goyal, Stan Birchfield, Fabio Ramos, Jonathan Tremblay

机构 * NVIDIA ； University of Toronto（多伦多大学） ； The University of Sydney（悉尼大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 RoboLab通过高保真模拟环境评估任务通用策略的真实泛化能力，提供120个任务的视觉、程序和关系能力测试，揭示当前最佳模型的性能差距。

Journal ref Robotics: Science and Systems XXII, Sydney, Australia, 2026

AI for pRedicting Exacerbations in KIDs with aSthma (AIRE-KIDS)

Hui-Lee Ooi, Nicholas Mitsakakis, Margerie Huet Dastarac, Roger Zemek, Amy C. Plint, Jeff Gilchrist, Khaled El Emam, Dhenuka Radhakrishnan

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Journal ref Ooi, HL., Mitsakakis, N., Dastarac, M.H. et al. AI for predicting exacerbations in KIDs with asthma (AIRE-KIDS). npj Digit. Med. (2026)

Toward Better Assessment of LLMs' Performance in Clinical Error Detection

面向更好评估大型语言模型（LLMs）在临床错误检测中的性能

Yifan Zhang, Rahmatollah Beheshti

机构 * University of Delaware（特拉华大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对LLMs临床错误检测评估的不足，通过多语言多模型实验发现多数LLMs配对判别能力差，提出用配对评估补充聚合指标的改进方案。

Comments Accepted at Machine Learning for Healthcare (MLHC) 2026; to appear in Proceedings of Machine Learning Research (PMLR), Vol. 340

BOCoDe: Engineering-Centered Benchmarking for Bayesian Optimization

BOCoDe：面向工程设计的贝叶斯优化基准测试

Rosen Ting-Ying Yu, Christophe Hatterer, Advaith Narayanan, Cyril Picard, Faez Ahmed

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；foundation model(abstract)

AI总结 该研究针对贝叶斯优化的基准测试与工程设计场景不匹配的问题，推出开源BOCoDe基准集，含307个黑盒优化问题，评估31种算法，发现标准基准排名无法迁移至工程任务，为BO方法开发提供支撑。

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

大型语言模型（LLMs）知道该问什么以及何时提问吗？评估多轮信息获取能力

Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

机构 * Harvard University（哈佛大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究构建MT-InfoSeek评估套件，从提问内容、时机及信息影响三方面评估LLMs的多轮信息获取能力，发现其存在低估信息需求等缺陷，且该能力未被现有评估覆盖。

A Survey of Advancing Audio Super-Resolution and Bandwidth Extension from Discriminative to Generative Models

音频超分辨率和带宽扩展从判别模型到生成模型的综述

Ningyuan Yang, Yize Li, Diego A. Cuji, Ryan M. Corey, Pu Zhao, Xue Lin, Andrew C. Singer

机构 * Discovery Partners Institute（发现伙伴研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文综述了音频超分辨率和带宽扩展领域，从判别模型向生成模型的转变，总结了早期判别模型的局限性以及生成模型在表示域、架构、条件机制等方面的改进，探讨了大语言模型和多模态基础模型等新兴方向，并指出了感知评估、相位建模和实际应用泛化等开放挑战。

Comments Under review