语言大模型 / LLM

Locality Matters for Training-Free Audio Token Compression in Audio-Language Models

局部性对音频-语言模型中免训练音频令牌压缩的重要性

Jiale Luo, Xiaoyu Liang, Haoji Hu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 提出局部时间二分图合并（LTBM）方法，通过显式时间窗口约束合并相似邻近音频令牌，实现免训练的编码器空间压缩，并验证了局部性归纳偏置在音频令牌压缩中的任务依赖性优势。

Comments Preprint. 8 pages main text, 10 pages total

Relational Linear Properties in Language Models: An Empirical Investigation

语言模型中的关系线性性质：一项实证研究

Giovanni Valer, Luigi Gresele, Marco Bronzini, Emanuele Marconato

机构 * University of Copenhagen（哥本哈根大学） ； University of Trento（特伦托大学） ； University of Bologna（博洛尼亚大学） ； University of Pisa（比萨大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出基于KL散度的探针方法，实证检验语言模型中关系线性假设（即固定关系下对象解嵌入可由主体嵌入线性映射预测），发现其随模型、层和关系表述变化。

Frequency Matters: Fast Model-Agnostic Data Curation for Pruning and Quantization

频率至关重要：用于剪枝和量化的快速模型无关数据筛选

Francesco Pio Monaco, Elia Cunegatti, Flavio Vella, Giovanni Iacca

机构 * University of Trento（特伦托大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种基于Zipf幂律的模型无关数据筛选策略ZipCal，通过最大化词汇多样性来选择校准数据，在剪枝和量化中实现与依赖模型困惑度的最先进方法相当的性能，且速度快约240倍。

Comments Added statistical analysis, mechanistic analysis and a comparison with a generative baseline. 22 pages

HEAPr: Hessian-based Efficient Atomic Expert Pruning in Output Space

HEAPr: 基于Hessian的输出空间中高效原子专家剪枝

Ke Li, Zheng Yang, Zhongbin Zhou, Feng Xue, Zhonglin Jiang, Wenxiao Wang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； FABU Inc.（FABU公司） ； Hangzhou Kuaidi Science and Technology Co., Ltd.（杭州快的科学技术有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对MoE模型粗粒度专家剪枝导致精度下降的问题，提出HEAPr算法，通过将专家分解为原子专家并利用二阶信息（最优脑外科原理）评估重要性，在输出空间简化计算，实现高比例无损压缩。

Comments ICLR 2026

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

Mitigating Hallucinations in Large Vision-Language Models via Causal Route Gating

通过因果路由门控减轻大型视觉语言模型中的幻觉

Zhe Cheng, Wenyu Chen, Fode Zhang, Dehuan Shen

机构 * Center of Statistical Research, School of Statistics and Data Science, Southwestern University of Finance and Economics, Chengdu, China.（统计研究中心，统计与数据科学学院，西南财经大学，成都，中国） ； Department of Biomedical Engineering, College of Design and Engineering, National University of Singapore, Singapore（生物医学工程系，设计与工程学院，新加坡国立大学，新加坡） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 针对大型视觉语言模型中因文本路径主导导致幻觉的问题，提出一种无训练、决策对齐的干预方法，通过分解注意力头为视觉和文本路由并抑制文本路由，有效减少幻觉错误。

Comments Accepted as a Spotlight Paper at ICML 2026. 33 pages, 8 figures

Multi-Agent Coordination Adaptation via Structure-Guided Orchestration

基于结构引导编排的多智能体协调适应

Haoran Li, Shulun Chen, Shaoyuan Sun, Hanchen Wang

机构 * Nanjing University（南京大学） ； University of Technology Sydney（悉尼科技大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MACA框架，通过概率视角将多智能体协调视为结构与编排的联合后验推断，利用任务和预算条件结构先验指导策略编排，实现高效自适应协调，性能平均提升8.42%且令牌消耗减少43.19%。

Comments 21 pages

A Token/KV-Cache Communication Media Selection and Resource Allocation Strategy for Multi-Agent Collaboration

面向多智能体协作的令牌/KV缓存通信介质选择与资源分配策略

Lipeng Dai, Luping Xiang, Kun Yang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, 210008, China（新型软件技术国家重点实验室，南京大学，南京） ； Institute of Intelligent Networks and Communications (NINE), Nanjing University (Suzhou Campus), Suzhou, 215163, China（智能网络与通信研究院（NINE），南京大学（苏州校区），苏州） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体协作中异构交互介质带来的端到端延迟权衡问题，提出一种联合通信介质选择与无线资源分配的优化方法，并设计低复杂度算法以最小化延迟。

OPAL: Omnidirectional Path-efficient Aerial 3D expLoration

OPAL: 全方位路径高效空中三维探索

Yoga Satwik Chappidi, Avideh Zakhor

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出OPAL框架，通过在歧义分支点进行360度偏航旋转替代计算密集的全局路径规划，实现计算简单、路径短且覆盖率高的自主探索。

Comments Submitted to IEEE Robotics and Automation Letters (RA-L)

Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition

深度寄存器解锁 SwiGLU 上的 W4A4：一种读取器/生成器分解

Ziyang Liu

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过深度寄存器和铰链损失（DR+sink）训练时干预，将 SwiGLU 解码器语言模型的 W4A4 量化困惑度从 1727 降至 119，并分解出残差轴读取器主导误差，而生成器 w2 的双线性输入是剩余差距的主因。

Comments The authors have decided to withdraw this version following internal review regarding authorship and contribution agreements

False Fixed Points: Kantian Feedback, Stable Miscalibration, and Representational Compression in LLMs

虚假不动点：大语言模型中的康德反馈、稳定误校准与表征压缩

Akira Okutomi

机构 * ToppyMicroServices OÜ（ToppyMicroServices公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过康德承诺门控框架和线性反馈模型，研究大语言模型中高置信度错误作为局部稳定、内部一致且自信错误的虚假不动点现象，发现稳定性与正确性可分离，并探索高信噪比惯性和表征压缩作为稳定误校准的可能机制。

Comments 27 pages, 8 figures, v3.0

SkillOpt: Executive Strategy for Self-Evolving Agent Skills

SkillOpt: 自我进化智能体技能的执行策略

Yifan Yang, Ziyang Gong, Weiquan Huang, Qihao Yang, Ziwei Zhou, Zisu Huang, Yan Li, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Yuqing Yang, Dongdong Chen, Xue Yang, Chong Luo

机构 * Microsoft（微软公司） ； Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） ； Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出SkillOpt，一种系统性的可控文本空间优化器，通过分离的优化器模型对技能文档进行有界编辑，并仅在严格改善验证分数时接受编辑，从而稳定训练技能，在六个基准测试中全面优于现有方法。

Comments 27 pages, 4 figures, 6 tables

Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation

人工标注是否必要？用于机器翻译错误跨度检测的迭代MBR蒸馏

Boxuan Lyu, Haiyue Song, Zhi Qu

机构 * Institute of Science Tokyo（东京科学研究所） ； National Institute of Information and Communications Technology（信息与通信技术国家研究所） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架，利用现成大语言模型生成伪标签，无需人工标注即可在错误跨度检测任务上超越监督基线。

Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems

Agent Primitives: 面向多智能体系统的可复用潜在构建模块

Haibo Jin, Peng Kuang, Ye Yu, Xiaopeng Yuan, Haohan Wang

机构 * School of Information Sciences, University of Illinois at Urbana-Champaign, IL, USA（伊利诺伊大学厄巴纳-香槟分校信息科学学院） ； Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign, IL, USA（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Agent Primitives，一组可复用的潜在构建模块，通过KV缓存内部通信和自动组合，提升多智能体系统的鲁棒性、效率和跨任务复用性。

Comments 16 pages

ChunkLLM: A Lightweight Pluggable Framework for Accelerating LLMs Inference

ChunkLLM: 一种轻量级可插拔的LLM推理加速框架

Haojie Ouyang, Jianwei Lv, Lei Ren, Chen Wei, Xiaojie Wang, Fangxiang Feng

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学信息学院） 纠错

专题命中 效率与部署 ：LLM(title_cn)；分类 cs.CL、cs.AI

AI总结 针对Transformer自注意力二次复杂度导致的推理效率低下问题，提出ChunkLLM框架，通过QK适配器和块适配器实现块选择与压缩，在保持性能的同时显著加速推理。

Grammatically-Guided Sparse Attention for Efficient and Interpretable Transformers

语法引导的稀疏注意力：高效且可解释的Transformer

Spandan Pratyush

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出语法引导的稀疏注意力方法，通过词性标签动态生成注意力掩码，在保持精度的同时降低计算复杂度。

Comments 9 pages, 2 tables Code available at https://github.com/toughthinktank/grammatically_guided_attention#

EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs

EchoDistill：面向鲁棒音频大语言模型的噪声到干净自蒸馏对齐

Liang Lin, Chunxi Luo, Kaiwen Luo, Jie Zhang, Jin Wang, Yuanhe Zhang, Cai Yuchen, Qiankun Li, Gongli Xi, Zhenhong Zhou, Kun Wang, Junhao Dong

机构 * NTU（国立台湾大学） ； SHU（上海大学） ； ICT, CAS（中国科学院信息科技研究院） ； HDU（华中科技大学） ； BUPT（北京邮电大学） ； USTC（中国科学技术大学） ； SKL-NST, BUPT（北京邮电大学国家智能计算研究中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EchoDistill框架，通过冻结的干净音频教师模型指导噪声学生模型进行组相对策略优化，实现噪声到干净的自蒸馏对齐，提升音频大语言模型在复杂噪声下的语义可靠性和任务性能。

JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates

JacQuant: 通过学习的雅可比替代实现无STE的量化感知训练

Kai Yi, Vignesh Vivekraja, Harshit Khaitan, Steven Li

机构 * Meta AI 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出JacQuant框架，通过学习模型对参数变化的局部敏感性的轻量级替代，在不使用直通估计器的情况下稳定和加速量化感知训练，在低比特大语言模型上达到更高精度。

HyLaT: Efficient Multi-Agent Communication via Hybrid Latent-Text Protocol

HyLaT: 通过混合潜在-文本协议实现高效多智能体通信

Xinyi Mou, Siyuan Wang, Zejun Li, Yulan He, Zhongyu Wei

机构 * Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多智能体通信中的三元困境，提出混合潜在-文本协议HyLaT，通过潜在通道传输认知信号提升效率，自然语言表达关键信号保证可解释性，并设计两阶段训练框架，显著降低通信开销同时保持任务性能。

ScrapMem: A Bio-inspired Framework for On-device Personalized Agent Memory via Optical Forgetting

ScrapMem: 一种基于生物启发的光学遗忘机制用于设备端个性化智能体记忆

Jiale Chang, Yuxiang Ren

机构 * Nanjing Agricultural University（南京农业大学） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出ScrapMem框架，通过光学遗忘机制压缩旧记忆并构建情节记忆图，在资源受限设备上实现高效多模态长期记忆，在ATM-Bench上取得51.0% Joint@10新最优，存储降低93%，召回率提升至70.3%。

Comments 10 pages, 4 figures

MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation

MVR-cache：通过多向量检索和学习型提示分割优化语义缓存

Ali Noshad, Zishan Zheng, Yinjun Wu

机构 * School of Computer Science, Peking University, Beijing, China（北京大学计算机科学学院，北京，中国） ； School of Information, Renmin University of China, Beijing, China（中国人民大学信息学院，北京，中国） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出MVR-cache方法，利用多向量检索和学习型提示分割模型，通过强化学习优化缓存命中率，在保证正确性的前提下将缓存命中率提升高达37%。

Comments Published in ICML 2026

Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction

超越纯推理部署：比较基于权重的巩固与级联压缩

Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对大型语言模型纯推理部署中用户知识无法持久化的问题，提出通过夜间反射、合成和LoRA微调将交互知识巩固到模型权重中，实验表明该方法相比级联压缩知识保留率提升43.6个百分点。

Comments 15 pages

Advancing Graph Few-Shot Learning via In-Context Learning

通过上下文学习推进图少样本学习

Renchu Guan, Yajun Wang, Chunli Guo, Bowen Cao, Fausto Giunchiglia, Wei Pang, Yonghao Liu, Xiaoyue Feng

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； College of Software, Jilin University（吉林大学软件学院） ； Department of Computer Science and Technology, Yanbian University（延边大学计算机科学与技术系） ； Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） ； School of Mathematical and Computer Sciences, Heriot-Watt University（赫瑞斯泰大学数学与计算机科学学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出VISION模型，将图少样本学习重构为免微调的序列推理问题，利用无监督任务生成器从无标签数据中构建伪任务，通过上下文感知网络融合局部拓扑和全局任务依赖，实现高效推理。

Comments KDD26

ScaleAcross Explorer: Exploring Communication Optimization for Scale-Across AI Model Training

ScaleAcross Explorer：探索跨规模AI模型训练的通信优化

Minghao Li, Alicia Golden, Samuel Hsia, Michael Kuchnik, Adi Gangidi, Xu Zhang, Ashmitha Jeevaraj Shetty, Zachary DeVito, Weiwei Chu, Dong He, Haoci Zhang, Yuchen Hao, Ruoming Pang, James Hongyi Zeng, Ying Zhang, Minlan Yu, Carole-Jean Wu

机构 * Harvard University（哈佛大学） ； Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对跨数据中心大规模AI模型训练（scale-across）的复杂设计空间，提出ScaleAcross Explorer优化器，通过联合优化并行放置、并行调度和网络层技术，实现高达64.62%的训练加速。

Comments 28 pages, 27 figures

EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

EPPC-OASIS：面向安全消息中电子患者-提供者通信挖掘的本体感知适应与结构化推理精炼

Samah Fodeh, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Afshan Khan, Ganesh Puthiaraju, Linhai Ma, Srivani Talakokkul, Jordan Alpert, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland Clinic（克利夫兰医学中心勒纳医学院，克利夫兰医学中心） ； Medical Oncology, Yale School of Medicine（耶鲁医学院医学肿瘤学） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出EPPC-OASIS框架，通过本体感知的Wasserstein对齐目标增强微调，并结合推理精炼步骤，从安全消息中自动提取结构化EPPC编码，在多个语言模型上取得一致改进。

MGVQ: Synergizing Multi-dimensional Sensitivity-Aware and Gradient-Hessian Fusion for Vector Quantization

MGVQ：协同多维敏感度感知与梯度-海森融合的向量量化

Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

机构 * Bauman Moscow State Technical University（巴甫洛夫莫斯科国立技术大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出MGVQ框架，通过敏感度引导的结构化混合精度量化和梯度感知的二阶误差补偿，实现视觉-语言模型的超低位向量量化，在2-bit量化下最高提升4.9个点。

LT2: Linear-Time Looped Transformers

LT2: 线性时间循环Transformer

Chunyuan Deng, Yizhe Zhang, Rui-Jie Zhu, Yuanyuan Xu, Jiarui Liu, T. S. Eugene Ng, Hanjie Chen

机构 * Rice University（里士大学） ； Apple（苹果公司） ； UC Santa Cruz（圣克ruz大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 提出LT2系列架构，用次二次线性时间注意力替代二次softmax注意力，通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展，在召回、状态跟踪和语言建模任务上取得一致提升，并展示了混合变体在效率和性能上的优势。

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

RepetitionCurse：在DoS压力下测量和理解混合专家大语言模型中的路由器不平衡

Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

机构 * Ruixuan Huang（黄瑞轩） ； Qingyue Wang（王庆越） ； Hantao Huang（黄翰涛） ； Yudong Gao（高宇东） ； Dong Chen（陈东） ； Shuai Wang（王帅） ； Wei Wang（王伟） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对混合专家大语言模型在推理时缺乏显式负载均衡约束的问题，提出低成本的对抗性提示方法RepetitionCurse，利用重复令牌模式操纵路由策略，导致计算瓶颈和拒绝服务攻击，显著增加端到端推理延迟。

Comments Accepted by ICML 2026

PipeSD: An Efficient Cloud-Edge Collaborative Pipeline Inference Framework with Speculative Decoding

PipeSD：一种基于推测解码的高效云边协同流水线推理框架

Yunhe Han, Yunqi Gao, Bing Hu, Mahdi Boloursaz Mashhadi, Yitong Duan, Pei Xiao, Yanfeng Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出PipeSD框架，通过令牌批处理流水线调度和双阈值非自回归验证触发机制，解决云边协同推测解码中的资源利用率和验证灵活性瓶颈，实现1.16倍至2.16倍加速并降低14.3%-25.3%能耗。

Comments Accepted by ICML 2026. *Equal contribution. Yunhe Han and Yunqi Gao contributed equally to this work

CLIP-Guided SAM: Parameter-Efficient Semantic Conditioning for Promptable Segmentation

CLIP引导的SAM：用于可提示分割的参数高效语义条件

Shayan Jalilian, Abdul Bais

机构 * University of Regina, Regina, SK, Canada（里贾纳大学） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)

AI总结 提出CLIP-Guided SAM框架，通过轻量级多模态语义适配器将CLIP特征注入SAM图像编码器，实现内部语义条件化，在低标注数据下提升分割性能并支持手动和半自动两种模式。

De-Linearizing Agent Traces: Bayesian Inference of Latent Partial Orders for Efficient Execution

去线性化智能体轨迹：潜在偏序的贝叶斯推断以实现高效执行

Dongqing Li, Zheqiao Cheng, Geoff K. Nicholls, Quyu Kong

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出BPOP贝叶斯框架，从噪声线性化轨迹中推断潜在依赖偏序，通过可处理的边界-softmax似然实现高效MCMC推理，在云基础设施任务和科学工作流上显著减少令牌使用和执行时间。