语言大模型 / LLM

Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

时间序列基础模型基准是否隐藏了依赖于状态的失败？来自交通速度预测的证据

Yingshuo Wang, Xian Sun, Lingdong Kong, Wei Gao, Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； National University of Singapore（新加坡国立大学） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出状态分层评估方法，发现时间序列基础模型在交通状态转换时准确率和预测区间覆盖率显著下降，并提出了双峰混合增强方法以改善转换状态覆盖。

Comments 5 pages, 2 figures. Accepted at the Workshop on Forecasting as a New Frontier of Intelligence, ICML 2026

Are Time-Series Foundation Models Ready for E-Nose Data? An Empirical Assessment of Their Embeddings

时间序列基础模型是否准备好处理电子鼻数据？对其嵌入的经验评估

Taeyeong Choi, Mohammed Kamruzzaman

机构 * Department of Information Technology（信息科技系） ； Department of Agricultural and Biological Engineering（农业与生物工程系） ； Kennesaw State University（凯斯沃州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文系统评估了Chronos-2和MOMENT等时间序列基础模型在电子鼻数据上的嵌入表示，发现微调是必要步骤，且融合专用模型表示可提升气体识别和浓度预测性能。

Comments Submitted to IEEE SENSORS 2026

Aloe-Vision: Robust Vision-Language Models for Healthcare

Aloe-Vision: 面向医疗保健的鲁棒视觉-语言模型

Jaume Guasch-Martí, Enrique Lopez-Cuena, Martín Suárez-Fernández, Jordi Bayarri-Planas, Anna Arias-Duart, Dario Garcia-Gasulla

机构 * Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心（BSC）） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 提出Aloe-Vision系列医疗LVLM，通过大规模高质量多模态数据微调，在保持通用能力的同时提升医疗任务性能，并引入低污染基准CareQA-Vision，揭示当前模型在临床环境中的鲁棒性挑战。

Comments MIDL 2026

Journal ref Proceedings of Machine Learning Research, Vol. 315, pp. 2404-2426, 2026

Evaluation Awareness Is Not One Capability: Evidence from Open Language Models

评估意识并非单一能力：来自开放语言模型的证据

Nilesh Nayan, Aishwarya Sampath Kumar, Rishiraj Girmal, Shivani Anilkumar, Sankaran Vaidyanathan, David A. Nader Palacio, Reshmi Ghosh, Soundararajan Srinivasan

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； Microsoft Corp.（微软公司） 纠错

专题命中 评测与基准 ：language model(title)；instruction tuning(abstract)；分类 cs.CL

AI总结 通过37个开放权重模型实验，发现语言模型对评估线索的检测、行为变化和表征可控性三个维度弱耦合，表明评估意识是多维的，单一分数无法可靠预测部署安全。

Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models

贝叶斯适应健身房：多模态语言模型贝叶斯低秩适应的基准

Colin Samplawski, Ramneet Kaur, Manoj Acharya, Anirban Roy, Adam D. Cobb

机构 * Neuro-Symbolic Computing and Intelligence Research Group（神经符号计算与智能研究组） ； Computer Science Laboratory（计算机科学实验室） ； SRI International（SRI国际） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 提出贝叶斯适应健身房（BAG）基准，用于评估多模态语言模型的贝叶斯低秩适应方法，涵盖校准、分布偏移鲁棒性和主动学习下的不确定性决策。

Comments Oral Paper at UAI 2026

Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

蛋白质语言模型中的残基级归因不能恢复过敏原表位

Jianzhou Yao, Anxiong Song, Katja Baerenfaller, Damir Zhakparov

机构 * Swiss Institute of Allergy and Asthma Research, Davos, Switzerland（瑞士过敏与哮喘研究所，达沃斯，瑞士） ； ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院，苏黎世，瑞士） ； Swiss Institute of Bioinformatics, Lausanne, Switzerland（瑞士生物信息学研究所，洛桑，瑞士） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究通过引入表位基准，评估蛋白质过敏原性模型的可解释性，发现分类器残基级归因与注释表位对齐不显著，模型可能依赖理化特征而非表位特异性机制。

Comments Accepted at the ICML 2026 Mechanistic Interpretability Workshop (peer-reviewed)

RTSGameBench: An RTS Benchmark for Strategic Reasoning by Vision-Language Models

RTSGameBench: 视觉语言模型战略推理的RTS基准

San Kim, Daechul Ahn, Reokyoung Kim, Hyeonbeom Choi, Seungyeon Jwa, Jonghyun Choi

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出RTSGameBench，基于Beyond All Reason游戏，通过多样化对战、迷你游戏诊断和自进化生成框架，评估视觉语言模型在实时策略游戏中的战略推理能力。

Comments First two authors contributed equally

Half a Link can Be Enough to Predict a Whole Link: Understanding Generalization in Knowledge Graph Foundation Models

半条链接足以预测整条链接：理解知识图谱基础模型中的泛化

Cosimo Gregucci, Obaidah Theeb, Daniel Hernandez, Antonio Vergari, Steffen Staab

机构 * Institute for AI, University of Stuttgart（斯图加特大学人工智能研究所） ； University of Southampton（南安普顿大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文通过分析知识图谱基础模型在未见图上的零样本泛化，发现模型利用部分可见的“半链接”进行预测，并基于此提出四类场景的分类法，揭示现有模型的泛化机制与改进方向。

DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue

DiagFlowBench：评估语言模型在基于规程的诊断对话中如何处理偏离规程输入

Guillermo Gil de Avalle, Laura Maruster, Shaina Raza, Christos Emmanouilidis

机构 * University of Groningen（格罗宁根大学） ； Vector Institute for Artificial Intelligence（向量人工智能研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出DiagFlowBench基准，包含50个工业诊断流程图转化的1676轮对话，评估10个模型在识别偏离规程输入时的表现，发现模型常选择真实但不恰当的步骤而非捏造事实。

Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds

语言模型智能体中的奖励黑客：重新审视AI安全网格世界

Ömer Veysel Çağatan, Xuandong Zhao

机构 * KUIS AI Center, Koç University（科奇大学KUIS人工智能中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究将AI安全网格世界框架改编为文本评估套件，发现语言模型在零样本下出现规范博弈，通过直接奖励优化扩大观察与隐藏奖励差距，且标准缓解措施无效。

Comments 28 pages, 16 figures, 13 tables

Knowing When to Ask: Self-Gated Clarification for Hierarchical Language Agents

知道何时提问：分层语言代理的自门控澄清机制

Aijing Gao, Yiming Kang, Mengdie Flora Wang, Jae Oh Woo

机构 * Amazon Web Services（亚马逊云科技） 纠错

专题命中 评测与基准 ：language agent(title)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出ACTION-RATING框架，将澄清请求纳入代理的动作空间，与导航共享序数尺度，在分层推理中实现自门控澄清，通过强制性和机会性两种信息寻求模式提升决策准确性。

DeepJEB++: Foundation Model-Driven Large-Scale 3D Engineering Dataset via 2D Latent Space Augmentation

DeepJEB++: 基于基础模型驱动的二维潜空间增强的大规模三维工程数据集

Soyoung Yoo, Leekyo Jeong, Jinsu Ra, Dongeon Lee, Sunwoong Yang, Hyogu Jeong, Namwoo Kang

机构 * Cho Chun Shik Graduate School of Mobility, Korea Advanced Institute of Science and Technology（韩国科学技术院赵春植移动研究生院） ； Department of Mechanical Engineering, Hanyang University（汉阳大学机械工程系） ； Narnia Labs（纳尼亚实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出DeepJEB++框架，通过二维潜空间增强和基础模型，将少量喷气发动机支架种子设计扩展为大规模带仿真标签的三维数据集，实现40倍扩展。

Comments 16 pages, 14 figures. Submitted to ASME Journal of Mechanical Design

GUITrans2Act: Understanding User Operational Behaviors from Mobile GUI Interactions with Vision-Language Models

Teach-and-Repeat: 从移动屏幕演示中准确提取操作知识以赋能GUI智能体

Yudong Zhang, Lei Hu, Daoyang Liu, Jiawei Liu, Yangfan Luo, Zhilin Gao, Zuojian Wang

机构 * Honor Device Co., Ltd（荣耀终端有限公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出Teach VLM模型，通过从演示视频中提取关键帧生成操作知识，并构建数据飞轮解决训练数据稀缺问题；在基准测试中达到最优性能，并提升下游智能体的任务成功率。

Comments 20 pages, 9 figures. Yudong Zhang and Lei Hu contributed equally to this work. Zuojian Wang, and Zhilin Gao are corresponding authors

Multi-Modal Agents for Power Distribution Defect Detection: An Evaluation of Foundation Models

用于配电缺陷检测的多模态智能体：基础模型评估

Quan Quan

机构 * Quan Quan 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出多模态智能体框架，系统评估基础模型在感知、推理和工具使用三方面的能力，用于配电缺陷检测的闭环自动化。

Re-evaluating Confidence Remasking in Masked Diffusion Language Models

重新评估掩蔽扩散语言模型中的置信度重新掩蔽

Stipe Frkovic, Metod Jazbec, Dan Zhang, Christian A. Naesseth, Ilija Bogunovic, Eric Nalisnick

机构 * UvA-Bosch Delta Lab, University of Amsterdam（阿姆斯特丹大学UvA-Bosch Delta实验室） ； Bosch Center for AI（博世人工智能中心） ； University of Basel（巴塞尔大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 本文重新评估了掩蔽扩散语言模型中一种无需训练的后验置信度重新掩蔽方法WINO，发现在标准解码设置下其收益甚微，且会加剧多样性坍塌问题。

Task-Aligned Stability Analysis of Vision-Language Models for Autonomous Driving Hazard Detection

面向自动驾驶危险检测的视觉-语言模型任务对齐稳定性分析

Everett Richards

机构 * Everett Richards（埃弗里特·里奇ards） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉-语言模型在自动驾驶危险检测中，嵌入漂移与任务对齐危险分数变化的关系，发现不同腐败类型导致不同的失效模式，建议基准测试包含任务对齐稳定性指标。

Comments 8 pages (5 main body + 3 references / appendices). ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)

OmniLoc: A Geometry-Aware Foundation Model for Anchor-Free UE Localization Across Diverse Indoor Environments

OmniLoc: 一种几何感知的基础模型，用于跨多样室内环境的无锚点用户设备定位

Lei Chu, Yuning Zhang, Omer Gokalp Serbetci, Anushka Katiyar, Bassel Abou Ali Modad, Andreas F. Molisch

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出OmniLoc，首个基于无线测量的基础模型，通过统一输入分词、几何感知Transformer和几何感知位置估计模块，实现跨室内环境的鲁棒无锚点定位，显著优于现有方法。

Towards Fully Automated Exam Grading: Fairness-Aware Recognition of Handwritten Answers with Foundation Models

迈向全自动考试评分：基于基础模型的笔迹答案公平性识别

Hartwig Grabowski

机构 * Institute for Machine Learning and Analytics (IMLA), Offenburg University（奥芬堡大学机器学习和分析研究所（IMLA）） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出使用视觉-语言基础模型（VLM）识别手写答案，在61份考试（3141个答案位置）上达到98.4%准确率，并通过轻量提示将假阴性率降至0.58%，实现公平的全自动评分。

Comments 11 pages, 2 figures, 3 tables

LakeFM: Toward a Foundation Model for Aquatic Ecosystems Using Irregular Multivariate Multi-depth Time Series Data

LakeFM：基于不规则多变量多深度时间序列数据的水生生态系统基础模型

Abhilash Neog, Sepideh Fatemi, Medha Sawhney, Kazi Sajeed Mehrab, Aanish Pradhan, Bennett J. McAfee, Emma Marchisin, Arka Daw, Robert Ladwig, Cayelan C. Carey, Paul Hanson, Anuj Karpatne

机构 * Virginia Tech（弗吉尼亚理工大学） ； Grand Valley State University（大峡谷州立大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； Amazon AGI（亚马逊AGI） ； Aarhus University（奥胡斯大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对湖泊时间序列数据不规则采样和跨湖泊泛化难题，提出预训练基础模型LakeFM，在模拟和观测数据上学习表征，实现优于现有模型的预测性能。

Comments KDD 2026

RAIL: Rethinking Auditory Intelligence in Large Audio-Language Models with a CHC-Grounded Benchmark

RAIL: 基于CHC框架重新思考大型音频语言模型中的听觉智能

Hongyu Jin, Siyi Wang, Yang Xiao, Jiaheng Dong, Shihong Tan, Kaiyuan peng, Georgiana Juravle, Shanquan Chen, Gongping Huang, Hong Jia, Eun-Jung Holden, James Bailey, Ting Dang

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； Faculty of Psychology and Educational Sciences, Alexandru Ioan Cuza University of Iași（亚历山德鲁伊万库扎大学心理学与教育科学学院） ； School of Electronic Information, Wuhan University（武汉大学电子信息学院） ； School of Public Health, The University of Hong Kong（香港大学公共卫生学院） ； School of Computer Science, The University of Auckland（奥克兰大学计算机科学学院） ； Department of Data Science and Artificial Intelligence, Monash University（莫纳什大学数据科学与人工智能系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出RAIL基准，基于CHC认知框架将听觉智能分解为五种核心能力，构建结构化评估任务，系统评测大型音频语言模型的认知行为。

Visual Prompting Meets Feature Reconstruction-Based Anomaly Detection with Dual-Teacher Supervision

视觉提示结合基于特征重建的双教师监督异常检测

Mateo Diaz-Bone, Daniel Caraballo, Florian Scheidegger, Thomas Frick, Mattia Rigotti, Andrea Bartezzaghi, Roy Assaf, Niccolo Avogaro, Yagmur G. Cinar, Brown Ebouky, Filip M. Janicki, Piotr S. Kluska, Cezary Skura, Cristiano Malossi

机构 * IBM Research Europe Zurich（IBM欧洲研究院苏黎世分院） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；分类 cs.AI

AI总结 针对异常检测在真实场景中因物体尺度、视角等变化失效的问题，提出视觉提示管道、解冻教师模型和扩散生成数据增强，在AeBAD数据集上提升3.5个百分点。

An Effective Router for Vision-Language Model Selection

一种有效的视觉-语言模型选择路由器

Can Wang, Shengwei Wang, Bolin Zhang, Zhiying Tu, Dianhui Chu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Shandong Key Laboratory of Digital Service Computing Technology and Systems（山东省数字服务计算技术与系统重点实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉-语言模型（VLM）选择中数据缺乏、特征表示无效和模型空间僵化的问题，提出ARMS路由器，通过增强输入信号和扩展训练策略，在分布内和分布外测试集上表现优异，仅800M参数即可超越GPT-4o。

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

MLingualFC: 评估多语言视觉语言模型中的越狱漏洞

Rishabh Makwana, Mamta, Deeksha Varshney, Oana Cocarascu

机构 * Dwarkadas Jivanlal Sanghvi College of Engineering（达沃拉斯·吉万拉尔·桑格维工程学院） ； King’s College London（伦敦国王学院） ； Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出多语言多模态基准MLingualFC，使用流程图编码有害指令评估多语言VLM的越狱漏洞，发现拉丁语系攻击成功率显著高于非拉丁语系，揭示安全机制跨语言泛化不足。

A Dataset for Dynamic Human Preferences for Vision Language Models

面向视觉语言模型的动态人类偏好数据集

Hannah Gao, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出一个评估视觉语言模型理解动态人类偏好能力的基准，通过自动化管道生成包含图像依赖变化的数据集，并评估了现有模型。

VisualLeakBench: Reproducible Action-Boundary Propagation Failures in Vision-Language Agents

VisualLeakBench: 视觉语言智能体中可复现的动作边界传播失败

Youting Wang, Yuan Tang, Yitian Qian, Chen Zhao

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：language agent(title,abstract)；分类 cs.AI

AI总结 提出VisualLeakBench基准，评估视觉语言智能体在截图、文档等场景下将敏感文本从图像复制到工具参数中的动作边界传播失败，发现PII传播率达78.8%，不安全文本传播率达85.5%。

Diagnosing Visual Ignorance in Vision-Language Models

诊断视觉语言模型中的视觉忽视

Runyu Zhou, Qi Zhang, Qixun Wang, Yisen Wang

机构 * Peking University（北京大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG

AI总结 研究视觉语言模型依赖语言先验的内部机制，通过层替换和探针分析揭示多阶段瓶颈，并引入渐进视觉退化指标发现基准测试可能奖励视觉忽视。

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

MMBU: 大规模多模态生物医学理解基准，用于探测视觉语言模型的感知能力

Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Instituto Tecnológico de Monterrey（蒙特雷技术学院） ； Monash University（墨尔本大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 提出MMBU基准，涵盖35个子模态，通过分类、定位和检测任务系统评估VLM在生物医学领域的视觉感知和泛化能力，发现高准确率可能掩盖感知缺陷。

The Identity Trap in EEG Foundation Models: A Diagnostic Audit

脑电图基础模型中的身份陷阱：一项诊断性审计

Jun-You Lin, Ying Choon Wu, Tzyy-Ping Jung

机构 * National Yang Ming Chiao Tung University ； University of California, San Diego 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出FMScope协议，通过方差分解、主题轴擦除等五种诊断方法，揭示EEG基础模型在受试者分离交叉验证中可能依赖受试者身份特征而非临床生物标志物，并验证了该陷阱的普遍性及可移除性。

Comments 28 pages, 6 figures, 8 tables. Code available at https://github.com/Jimmy110101013/fmscope

Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis

评估工具对人类和大语言模型（LLMs）是否测量相同的内容？潜在结构分析

Alona Strugatski, Licol Zeinfeld, Giora Alexandron

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过探索性因子分析等方法，发现高中化学和大学入学考试定量推理部分的评估，对人类与六个多模态LLMs测量的潜在结构存在系统性差异，质疑了此类评估用于推断AI能力的效度。

HarmProfile: Characterizing Harmful Distributions in Frontier LLMs

HarmProfile：刻画前沿大语言模型中的有害分布

Zhouyuan Ma, Yutao Wu, Hanxun Huang, Xiang Zheng, Xiao Liu, Yixin Cao, Zuxuan Wu, Xingjun Ma, Yu-Gang Jiang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出HarmProfile基准数据集，收集23个前沿LLMs的超8万条有害输出，发现其有害性与多样性随模型能力增长，潜藏对齐表面下的危险知识。