语言大模型 / LLM

On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression

大型视觉-语言模型在视觉标记压缩下的对抗鲁棒性研究

Xinwei Zhang, Hangcheng Liu, Li Bai, Hao Wang, Qingqing Ye, Tianwei Zhang, Haibo Hu

机构 * The Hong Kong Polytechnic University, Hong Kong（香港理工大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Chongqing University, Chongqing, China（重庆大学） ； Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU（未来智能系统中的隐私与安全技术研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉标记压缩对大型视觉-语言模型对抗鲁棒性的影响，提出CAGE攻击方法，通过优化与压缩推理对齐，揭示压缩机制下的鲁棒性漏洞。

Comments Accepted by ICML 2026

Structured Labeling Enables Faster Vision-Language Models for End-to-End Autonomous Driving

结构化标注加速面向端到端自动驾驶的视觉-语言模型

Hao Jiang, Chuan Hu, Yukang Shi, Yuan He, Ke Wang, Xi Zhang, Zhipeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； KargoBot 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出结构化标注的NuScenes-S数据集和紧凑型FastDrive模型，提升自动驾驶中决策任务的效率与准确性，实验显示在结构化数据集上性能优异，推理速度提升超10倍。

$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control

f-OPD: 通过新鲜度感知控制稳定长周期在线策略蒸馏

Xianwei Chen, Shimin Zhang, Jibin Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出f-OPD框架，通过引入样本级新鲜度评分来稳定长周期在线策略蒸馏，实现性能与效率的平衡，为大规模长周期智能体训练奠定基础。

Improving MLLM Training Efficiency via Stage-Aware Sparsity

通过阶段感知稀疏性提升MLLM训练效率

Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

机构 * Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于稀疏表示的高效训练框架STS，通过阶段感知设计适应不同训练阶段的冗余，采用视觉标记压缩器和层动态跳过器来减少计算开销，验证了其在多种MLLM架构上的有效性。

Vision Foundation Models as Generalist Tokenizers for Image Generation

视见过滤模型作为图像生成的通用标记器

Anlin Zheng, Qi Han, Xin Wen, Chuofan Ma, Lanxi Gong, Gang Yu, Xiangyu Zhang, Xiaojuan Qi

机构 * University of Hong Kong（香港大学） ； StepFun 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出了一种基于冻结视见过滤模型（VFM）的通用图像标记器VFMTok，通过区域自适应量化框架和语义重建目标，提升了图像生成的质量和效率，同时在离散和连续潜在空间中实现了高保真度的类别条件合成。

Comments 4 figures and 14 tables

Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models

声学干扰：利用声学潜在语义进行通用劫持的新范式，针对大型音频语言模型

Yanyun Wang, Yu Huang, Zi Liang, Xixin Wu, Li Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种新的声学干扰方法，通过利用声学潜在语义对大型音频语言模型进行通用劫持，揭示了安全对齐的脆弱性。

Comments 43rd International Conference on Machine Learning (ICML'26)

CAR-SAM: Cross-Attention Reconstruction for Post-Training Quantization of the Segment Anything Model

CAR-SAM：跨注意力重建用于Segment Anything模型的后训练量化

Houji Wen, Jiangyong Yu, Jun Li, Dawei Yang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Houmo AI 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 本文提出CAR-SAM，一种针对Segment Anything模型的统一量化框架，通过引入MatMul-Aware Compensation机制和Joint Cross-Attention Reconstruction策略，解决后训练量化中注意力耗散和重建振荡问题，实现4位精度下的高效量化。

Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement

语言模型作为定制环境多目标强化学习的高效奖励函数搜索器

Guanwen Xie, Jingzehua Xu, Yiyuan Yang, Yimian Ding, Shuai Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院，清华大学，中国） ； Department of Computer Science, University of Oxford, United Kingdom（英国牛津大学计算机科学系） ； Department of Data Science, New Jersey Institute of Technology, USA（美国新泽西理工学院数据科学系） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ERFSL，利用语言模型高效搜索奖励函数，通过生成奖励组件和使用奖励批评者修正代码，实现多目标强化学习任务中零样本学习的高效奖励函数设计。

Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization

非线性双极补偿：处理训练后量化中的异常值

Peilin Sun, Jianxin Wu

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 本文提出非线性双极补偿方法，通过引入非线性补偿减少异常值影响，设计双极对数变换压缩异常值，提升训练后量化的效率与鲁棒性。

AMR-SD: Asymmetric Meta-Reflective Self-Distillation for Token-Level Credit Assignment

AMR-SD：不对称元反射自蒸馏用于标记级信用分配

Zhenlin Wei, Pu Jian, Yingzhuo Deng, Xiaohan Wang, Jiajun Chai, Zhexin Hu, Wei Lin, Shanbin Zhang, Guojun Yin

机构 * Meituan Beijing, China（美团北京，中国） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出AMR-SD，一种不对称元反射自蒸馏方法，旨在解决大型语言模型在复杂推理中因统一序列奖励导致的信用分配瓶颈问题，通过引入反思瓶颈和因果信息增益机制，实现更精确的标记级优势调节。

Retrieval-Based Multi-Label Legal Annotation: Extensible, Data-Efficient and Hallucination-Free

基于检索的多标签法律标注：可扩展、数据高效且无幻觉

Li Zhang, Jaromir Savelka, Kevin Ashley

机构 * University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出了一种基于检索的多标签法律标注方法，该方法通过嵌入文档和标签描述，利用冻结的检索模型进行k近邻搜索，实现了高效的数据标注，同时避免了生成模型的幻觉问题，展示了在高基数和快速变化的法律标签空间中的实用性。

Comments 10 pages, 3 figures

Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

通过无训练的身份感知记忆推进叙事长视频生成

Jinzhuo Liu, Jiangning Zhang, Wencan Jiang, Yabiao Wang, Dingkang Liang, Zhucun Xue, Ran Yi, Yong Liu

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯云智实验室） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种无训练的身份感知记忆框架IAMFlow，通过显式建模和跟踪持久实体身份，实现一致的生成，同时引入NarraStream-Bench基准测试，在叙事流视频生成中取得最佳性能。

Comments Project page: https://eddie0521.github.io/projects/iamflow/ Code: https://github.com/Eddie0521/IAMFlow

FAM-HRI: Foundation-Model Assisted Multi-Modal Human-Robot Interaction Combining Gaze and Speech

FAM-HRI: 基于基础模型的多模态人机交互框架，结合目光和语音

Yuzhi Lai, Shenghai Yuan, Peizheng Li, Boya Zhang, Benjamin Kiefer, Tianchen Deng, Andreas Zell

机构 * University of Tuebingen（图宾根大学） ； Nanyang Technological University（南洋理工大学） ； Mercedes-Benz（梅赛德斯-奔驰） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出FAM-HRI，一种结合目光和语音的多模态人机交互框架，利用基础模型融合语言和目光输入，以提高任务执行的成功率和交互效率，为肢体障碍者提供实用解决方案。

Comments This work has been accepted for publication in IEEE Transactions on Automation Science and Engineering @ 2026 IEEE

HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents

HINT-SD：针对长 Horizon 智能体的定向 hindsight 自监督学习

Woongyeng Yeo, Yumin Choi, Taekyung Ki, Sung Ju Hwang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 HINT-SD，一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架，通过全轨迹 hindsight 选择失败相关的动作，并仅在目标动作跨度上应用反馈条件自监督学习，实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点，同时训练时间降低 2.26 倍。

OpenJarvis: Personal AI, On Personal Devices

OpenJarvis: 个人AI，本地设备上

Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini

机构 * OpenClaw ； Hermes Agent ； PinchBench ； GAIA 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OpenJarvis，一种分解的个人AI堆栈，通过在本地设备上优化五个基本组件（智能、引擎、代理、工具与记忆、学习）来缩小本地与云端之间的性能差距，同时保持本地模型的特性。

Comments Code: https://github.com/openjarvis/openjarvis Website: https://open-jarvis.github.io/OpenJarvis/

D$^2$Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning

D$^2$Evo: 双重难度感知的自进化方法用于数据高效的强化学习

Ru Zhang, Renda Li, Ziyu Ma, Weijie Qiu, Chongyang Tao, Yong Wang, Xiangxiang Chu

机构 * Zhejiang University（浙江大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出D$^2$Evo方法，通过双重难度感知的自进化机制，解决强化学习中有效数据稀缺和动态难度变化的问题，从而在数学推理基准上以少于2K真实数学样本实现优于现有方法的性能。

Comments Accepted by ICML 2026. First two authors contributed equally

Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation

通过在线策略自我蒸馏减少大语言模型安全对齐的安全部署税

Yu Fu, Longxuan Yu, Haz Sameen Shahgir, Zhipeng Wei, Hui Liu, N. Benjamin Erichson, Yue Dong

机构 * International Computer Science Institute（国际计算机科学研究所） ； Microsoft（微软） ； Berkeley Lab（伯克利实验室） 纠错

专题命中 效率与部署 ：LLM(title)；分类 cs.LG

AI总结 本文提出了一种名为OPSA的在线策略自我蒸馏方法，通过引入教师翻转率指标，有效减少大语言模型在安全对齐过程中因分布不匹配导致的安全税，实验显示其在不同模型规模上均优于传统方法。

Comments 20 pages, 5 figures

Causal Bias Detection in Generative Artificial Intelligence

生成人工智能中的因果偏见检测

Drago Plecko

机构 * Department of Statistics & Data Science（统计与数据科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了生成人工智能中的因果公平性问题，提出了新的因果分解结果，以量化不同因果路径和现实机制被生成模型替代对公平性的影响，并通过分析大型语言模型中的种族和性别偏见验证了方法的有效性。

FedSDR: Federated Self-Distillation with Rectification

FedSDR: 带校正的联邦自我蒸馏

Ziheng Ren, Zhanming Shen, Hao Wang, Ning Liu, You Song

机构 * Beijing University of Aeronautics（北京航空航天大学） ； Zhejiang University（浙江大学） ； Shandong University（山东大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FedSDR，一种改进的联邦自我蒸馏方法，通过引入双重流机制来解决联邦学习中数据分布不匹配和幻觉问题，提升模型的准确性和一致性。

Comments Accepted by ICML 2026

Predictive Prefetching for Retrieval-Augmented Generation

检索增强生成的预测预取

Wuyang Zhang, Shichao Pei

机构 * Department of Computer Science, University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种先进的异步检索框架，通过预测检索触发时机和所需信息，以减少延迟并提高生成效率，同时保持回答质量。

Comments Accepted by Forty-third International Conference on Machine Learning ICML 2026

Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training

Guard：用于大规模训练的可扩展的延迟检测和节点健康管理

Guanliang Liu, Abhinandan Patni, Congzhu Lin, Zoe Zeng, Jack Wittmayer, Josh Wu, Ashvin Nihalani, Binxuan Huang, Yinghong Liu, Rory Na, Anthony Ko, Alexander Zhipa, Cong Cheng, Mi Sun, Vijay Rajakumar, Rejith George Joseph, Parthasarathy Govindarajen

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Guard系统，通过在线性能监控和离线节点扫描机制，有效检测训练中的延迟节点并确保节点健康，从而提升大规模训练的效率和稳定性。

Comments Proceedings of the 9 th MLSys Conference, Bellevue, WA, USA, 2026

ADR: An Agentic Detection System for Enterprise Agentic AI Security

ADR：一种用于企业代理AI安全的代理检测系统

Chenning Li, Pan Hu, Justin Xu, Baris Ozbas, Olivia Liu, Caroline Van, Manxue Li, Wei Zhou, Mohammad Alizadeh, Pengyu Zhang, KK Sriramadhesikan, Ming Zhang

机构 * Uber 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出ADR系统，一种大规模、经过生产验证的企业框架，用于安全地管理通过模型上下文协议（MCP）运行的AI代理。该系统解决了三个关键问题：观测有限、鲁棒性不足和检测成本高，并通过三个组件实现了这些目标：ADR传感器、ADR探索器和ADR检测器。

Comments Accepted at MLSys 2026 (Industry Track)

An Information-Theoretic Criterion for Efficient Data Synthesis

一种信息论准则用于高效数据合成

Hanyu Li, Zhengqi Sun, Xiaotie Deng

机构 * CFCS, School of Computer Science, Peking University, Beijing, China（计算机科学系，北京大学，北京，中国） ； Department of Information Management, Peking University, Beijing, China（信息管理系，北京大学，北京，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出信息开放循环的准则，指出合成数据的有效性取决于外部信号注入任务相关信息，从而提升模型效率与泛化能力。

Comments 12 pages. Camera-ready version for ICML 2026

LoopQ: Quantization for Recursive Transformers

LoopQ: 递归变换器的量化

Rui Fang, Hsi-Wen Chen, Ming-Syan Chen

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LoopQ框架，针对递归变换器的量化挑战，通过激活缩放、选择性变换等方法提升模型精度与效率。

Phase Transitions in Driven Informational Systems: A Two-Field Perspective on Learning Theory and Non-Equilibrium Chemistry

驱动信息系统的相变：从学习理论和非平衡化学的角度看两种场视角

Truong Xuan Khanh

机构 * H&K Research Studio, Clevix LLC（H&K研究室，Clevix公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从学习理论和非平衡化学角度，提出驱动信息系统的两种场框架，引入对抗破裂阈值和自参照耦合阈值，探讨相变现象的普遍性类与可验证预测。

Comments 29 pages, 2 figures

ZeroSiam: An Efficient Asymmetry for Test-Time Entropy Optimization without Collapse

ZeroSiam: 一种高效的非对称方法用于测试时熵优化而不发生崩溃

Guohao Chen, Shuaicheng Niu, Deyu Chen, Jiahao Yang, Zitian Zhang, Mingkui Tan, Pengcheng Wu, Zhiqi Shen

机构 * Nanyang Technological University（南洋理工大学） ； Joint WeBank-NTU Research Institute on Fintech（金融科技联合研究机构） ； South China University of Technology（华南理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出ZeroSiam，一种针对测试时熵最小化的高效非对称架构，通过非对称发散对齐防止崩溃，并通过可学习预测器和stop-gradient操作符有效实现，实验和理论证明其能防止崩溃并正则化偏见学习信号，提升性能，尤其在易崩溃的小模型上表现稳定。

SEDD: Scalable and Efficient Dataset Deduplication with GPUs

SEDD: 一种基于GPU的可扩展且高效的去重数据集处理方法

Youngjun Son, Chaewon Kim, Jaejin Lee

机构 * Graduate School of Data Science（数据科学研究生院） ； Department of Computer Science（计算机科学系） ； Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SEDD，一种基于GPU的高效去重框架，通过引入计算高效且部分可重用的哈希函数、高度优化的GPU内核和硬件感知的自动参数选择机制，显著减少了通信瓶颈，提升了去重效率，同时保持了高去重精度。

Comments 13 pages, 7 figures

Safety Geometry Collapse in Multimodal LLMs and Adaptive Drift Correction

多模态大语言模型中的安全几何坍缩与自适应漂移修正

Jiahe Guo, Xiangran Guo, Jiaxuan Chen, Weixiang Zhao, Yanyan Zhao, Yutai Hou, Qianchao Wang, Dandan Tu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了多模态大语言模型在跨模态安全转移中的不足，提出安全几何坍缩现象，并通过自适应漂移修正方法提升模型安全性。

AutoVecCoder: Teaching LLMs to Generate Explicitly Vectorized Code

AutoVecCoder: 教授大语言模型生成显式向量化代码

Shangzhan Li, Xinyu Yin, Xuanyu Jin, Ye He, Yuxin Zhou, Yuxuan Li, Xu Han, Wanxiang Che, Qi Shi, Ting Liu, Maosong Sun

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Xiamen University（厦门大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出AutoVecCoder框架，通过VecPrompt和VecRL组件，使大语言模型能够自动进行显式向量化，从而在SimdBench的SSE和AVX子集上达到最先进的性能，超越传统自动向量化的方法。

Sometin Beta Pass Notin (SBPN): Improving Multilingual ASR for Nigerian Languages via Knowledge Distillation

Sometin Beta Pass Notin (SBPN): 通过知识蒸馏改进尼日利亚语言的多语言语音识别

Sewade Ogun

机构 * Nigerian Languages（尼日利亚语言） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 本文提出SBPN模型，通过两阶段知识蒸馏方法提升尼日利亚多种语言的语音识别性能，显著降低词错误率并优于现有多语言模型。

Comments 25 pages