语言大模型 / LLM

Resource-Efficient Pruning for Transformer via Low-Rank Importance Estimation

基于低秩重要性估计的Transformer资源高效剪枝

Peng Liu, Huibing Zeng, Yiqun Zhang, Yang Yi, Jigang Wu

机构 * School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院） ； College of Information and Artificial Intelligence, Yangzhou University（扬州大学信息与人工智能学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对Transformer模型部署的高资源消耗问题，提出基于LoRA低秩梯度的REP-LIE剪枝方法，结合稳定性分数迭代剪枝，在LLaMA-7B等模型上实现高效剪枝并保持竞争力性能。

Comments 15 pages, 9 figures

Journal ref IEEE Transactions on Emerging Topics in Computational Intelligence, 2026

Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models

用于视觉-语言-动作模型数据高效适配的分层技能检索

Haoran Hao, Shahram Najam Syed, Jeff Schneider, Jeffrey Ichnowski

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对视觉-语言-动作模型在有限演示下适配性能下降的问题，提出分层技能检索框架，结合子任务语言检索与行为特征重排序，在LIBERO基准及真实机器人任务上提升平均成功率10.3%和21.3%。

Comments Project Page: https://hoar012.github.io/HSR-Project

SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding

SAGE：面向中国古代文献理解的从直接回答到证据导向推理

Yuchuan Wu, Xuan Luo, Yinglian Zhu, Meng Fang, Xiangyang Xue, Bin Li

机构 * Fudan University（复旦大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有大型视觉语言模型（LVLMs）在古代文献理解中证据支撑不足的问题，本文提出SAGE多智能体框架，通过多阶段证据导向推理实现任务规划、证据获取与验证，在AncientDoc基准上优于基线，搭载Qwen3.5-9B的SAGE性能超更大单体模型。

MetaCaster: Meta-Harness-Optimized Agent for End-to-End Few-Shot Learning of Lightweight Time Series Forecasters

MetaCaster：用于轻量级时间序列预测器小样本端到端学习的元调控优化智能体

ChengAo Shen, Wenchao Yu, Fangyu Wu, Dongjin Song, Hanghang Tong, Dongsheng Luo, Wei Cheng, Haifeng Chen, Jingchao Ni

机构 * University of Houston（休斯顿大学） ； NEC Labs（NEC实验室） ； University of Waterloo（滑铁卢大学） ； University of Connecticut（康涅狄格大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对资源受限场景下轻量级时间序列预测器小样本学习的困境，提出MetaCaster多智能体框架，可高效训练专用预测器，在18个数据集等实验中兼顾数据、计算效率与预测性能。

Comments Accepted by EMNLP 2026

Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study

可设计为可缓存的？针对边缘内存带宽瓶颈训练混合专家模型路由器：一项带系统测量研究的预注册负面结果

Shriniwas Ramesh Suram

机构 * University of Cumberlands（坎伯兰大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对边缘部署MoE模型的内存带宽瓶颈，通过系统测量与预注册实验发现，训练路由器提升缓存性的方案无法满足预注册的困惑度阈值，仅结合无训练重路由可实现高效缺失减少。

Comments Pre-registered negative result plus a systems measurement study. Code, router-telemetry tool (llama-moe-trace), traces, data manifests, and the frozen pre-registration: https://github.com/Shriniwas410/cacheable-by-design

Token Optimization and Context Window Management in Multi-Agent AI Workflows

多智能体AI工作流中的令牌优化与上下文窗口管理

Dvir Shamay

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出多智能体AI工作流的令牌优化与上下文窗口管理框架，含六种模式，可缩短延迟、减少令牌用量；经2420次试验发现相关性对比上下文可提升模型准确率，为模型研究与生产实践提供可重复方法。

Comments 29 pages (main paper + technical appendix), 3 figures. Also archived on Zenodo: 10.5281/zenodo.21924612

Trust Is Not Enough: Influence Calibration for On-Policy Self-Distillation in Agentic RL

信任并不足够：智能体强化学习中策略内自蒸馏的影响校准

Qizhen Lan, Xi Xiao, Xiangchen Guan, Mengchen Fan, Moule Lin, Jung Im Choi, Lijing Zhu

专题命中 效率与部署 ：language agent(abstract)；分类 cs.CL、cs.AI

AI总结 针对策略内自蒸馏的信任-效用不匹配问题，提出ICSD方法，在多基准任务上提升语言智能体性能，降低反向令牌的教师支持占比并提高梯度兼容性。

Tail-Aware Top-$k$ On-Policy Distillation

感知长尾的Top-k在线策略蒸馏

Huipeng Huang, Hongxin Wei

机构 * Southern University of Science and Technology（南方科技大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有Top-k在线策略蒸馏丢弃长尾概率信号的问题，提出TA-OPD方法，通过引入携带长尾概率的长尾词优化，在常见基准上使Avg@8最高提升8.05个百分点。

Training-Free Knowledge Transfer Across Model Scales through Activation-Guided Pruning

通过激活引导剪枝实现跨模型规模的无训练知识迁移

Jiahe Fan, Si Chen, Yinghao Hou, Aiyuan Zhang, Hong Xie

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出激活剪枝融合框架APM，通过激活引导选择源模型的显著组件并注入目标模型，无需训练和显式语义对齐，在16个基准上将3B目标模型平均准确率从55.5%提升至60.6%。

Comments 9 pages, 3 figures, and 7 tables

The Sleeping Agent: What Gist-Based Context Compression Loses and Why

休眠智能体：基于主旨的上下文压缩会丢失什么以及为什么

Nicholas E. Kyrkewood

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究以SWC为工具，发现主旨压缩对多跳推理等任务表现优于截断，但会损害时间相关问题的性能，通过修改提示可提升时间问题的评判准确率。

Comments 7 pages, 5 tables, appendices. Code and results at https://github.com/kyrkewood/sleeping-agent

Forecasting Side Effects of Activation Steering

预测激活引导的副作用

Chong Yong Ong, Alson Wei Jie Sim, Peixin Zhang, Jun Sun

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对激活引导易产生意外副作用的问题，构建交叉效应矩阵揭示副作用的系统性与可预测性，为激活引导的安全部署提供支持。

Comments 24 pages, 5 figures, 13 tables

TACTICL: Task-Aware Compression of Tabular ICL Models

TACTICL：面向表格上下文学习模型的任务感知压缩框架

Mykhailo Koshil, Matthias Feurer, Katharina Eggensperger

机构 * TU Dortmund University（多特蒙德工业大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对表格基础模型推理成本高、蒸馏后损失上下文适应性的问题，提出TACTICL框架，剪枝Transformer层并替换为轻量适配器，在47个基准数据集上可替换85%层且性能无显著下降，对数据偏移鲁棒。

Comments Accepted for publication at AutoML2026

Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation

匹配监督与学生学习能力：一种用于在线自蒸馏的统一框架

Yongkang Yang, Zhezheng Hao, Hong Zhang, Yi Liu, Xiankun Lin, Wence Ji, Fanjunduo Wei, Jiarui Yu, Qiang Lin, Xiaoyun Liang, Hande Dong

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文针对在线自蒸馏的次优问题，提出统一在线自蒸馏（USD）框架，该框架通过耦合学习难度预算与师生 divergence，在多模型规模及推理基准上均优于基线方法。

TEMPER: Tensorized Efficient Manifold-constrained Parameterization for Expressive Residual Routing

TEMPER：用于表达性残差路由的张量化高效流形约束参数化

Yuxuan Gu, Wuyang Zhou, Huijun Xing, Danilo Mandic

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对残差路由方法参数随流增长过快的问题，提出TEMPER方法，用张量网络参数化生成器，在语言建模等任务上性能相当或更优，参数效率显著提升。

Shape Mutating Expert Compression:LorExperts and BTExperts

形状变异专家压缩：LorExperts与BTExperts

Inesh Chakrabarti, Sourjya Roy, Bowen Bao, Thiago Crepaldi, Spandan Tiwari, Ashish Sirasao

机构 * Advanced Micro Devices（超威半导体公司） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对混合专家（MoE）语言模型的专家权重压缩问题，提出LorExperts与BTExperts方法，在保留所有专家与原始路由的前提下实现约50%专家压缩，性能优于基线且随专家数量增长优势更显著。

FedVAR: Prototype-Aligned Federated Framework for Video Anomaly Recognition

FedVAR：用于视频异常识别的原型对齐联邦框架

Ghani Haider, Majid Kundroo, Boyun Eom, Dong Hwan Park, Chen Chen, Taehong Kim

机构 * Chungbuk National University（忠北国立大学） ； Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对联邦视频异常识别中的语义错位问题，本文提出FedVAR框架，通过视觉语言模型的原型对齐机制缓解错位，实验显示其性能优于现有联邦基线。

Faster-WAM: Do World Action Models Need Deep Action Modules?

Faster-WAM：世界动作模型需要深度动作模块吗？

Liheng Ma, Rui Heng Yang, Zhanguang Zhang, Mateo Clemente, Ziwen Hu, Tongtong Cao, Yingxue Zhang

机构 * Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； Huawei Celia Team（华为Celia团队） ； Labs（2012实验室） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有WAMs动作模块深度绑定视频骨干网络导致延迟高的问题，提出以视频为中心的DoT架构，构建Faster-WAM，实现低延迟、高性能与强泛化，较Fast-WAM提速3.2倍。

QR-Erase: Efficient Subspace-Based Machine Unlearning with Layer Localization

QR-Erase：基于子空间的高效机器遗忘方法，结合层定位技术

Tyler Lizzo, Larry Heck

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出QR-Erase框架，结合层定位技术实现高效机器遗忘，在多类遗忘任务中取得优于优化方法的权衡效果，为基础模型提供了SVD的高效替代方案。

An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models

硬约束循环物理信息模型中柯尔莫哥洛夫-阿诺德网络的嵌入式RISC-V评估

Enzo Nicolas Spotorno, Josafat Leal Filho

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文在RISC-V嵌入式平台上评估硬约束循环物理信息模型的KAN残差分支，发现其部署时延迟和能耗高于MLP，量化后可靠性更差，不适合作为默认选择。

Comments 6 pages, submitted to SBESC 2026 as an extension to the ICLR Workshop Paper https://openreview.net/forum?id=iHpbQn99RB

Abstention as an Action Can Kill Both the Reward Gradient and the KL Anchor: Collapse Law and Repair for Error-Penalized Reinforcement Learning

弃权作为一种动作会同时破坏奖励梯度和KL锚点：错误惩罚强化学习的崩溃规律与修复方案

Xujun Che, Yuchen Yuan, Weida Zhao, Chenyang Yu

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对错误惩罚强化学习中弃权动作导致的奖励梯度与KL锚点同时失效的问题，提出通过训练强制置信度报告的结构性修复方案，实验验证了机制并提升了语言模型的相关性能。

When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning

基于值函数的模仿学习中，何时在线交互是有帮助的？表示权衡研究

Luca Viano, Antoine Moulin, Audrey Huang, Volkan Cevher, Philip Amortila, Dylan J. Foster

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对基于值函数的模仿学习，提出交互式在线算法OVI，发现专家交互可降低学习者的表示要求，且OVI在多数场景下性能优于现有方法。

PARALLEL: A Prefrontal-Aligned Reinforcement inspired Approach for Language-Model Learning under Explicit Limits

PARALLEL：显式约束下语言模型学习的前额叶对齐强化启发式方法

Namkyung Yoon, Sanghong Kim, Hwangnam Kim

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 PARALLEL是一种前额叶对齐的强化启发式语言模型学习方法，通过分配样本相关更新强度提升适配效率，在多任务上保留高性能且适配轨迹更稳定，支持高效稳定的部署后流式适配。

Comments 8 pages, 3 figures, and 5 tables

DraftExpert: Expansion-Aware Self-Speculative Decoding for End-Device MoE Inference

DraftExpert：用于终端设备混合专家推理的扩展感知自推测解码

Dengke Han

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对终端设备MoE推理中自推测解码的新瓶颈，提出DraftExpert框架，通过自蒸馏训练轻量级草稿专家，在不同卸载场景下，该框架有效提高了解码吞吐量、草稿接受率和预取命中率。

Comments 9 pages, 6 figures

MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention

MXAttention：用于MXFP4注意力的数据无关最优缩放和预归一化量化

Jianlin Yu, Jing Lin, Linghui Kong, Aiyue Chen, Weiyi Sun, Chenyu Zeng, Wangli Lan, Jinxi Li, Zhuo Zheng, Ziyang Yue, Danning Ke, Fei Yi, Tianchi Hu, Yuan Ding, Yiwu Yao, Junsong Wang

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对基于扩散的视频生成模型中注意力二次成本的瓶颈，提出MXAttention框架，通过引入通用最优缩放和预归一化量化组件，缩小了MXFP4与FP16的成像质量差距，提升了帧级相似度，且性能与强大基线竞争。

Test-Time Coverage: Test-Conditioned Data Curation for Deployment-Aware Learning

测试时覆盖：用于部署感知学习的测试条件数据管理

Nadine Chang, Maying Shen, Shizhe Diao, Jialiang Wang, Jingde Chen, Thomas Breuel, Pavlo Molchanov, Rafid Mahmood, Jose M. Alvarez

机构 * NVIDIA（英伟达） ； University of Ottawa（渥太华大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对部署的AI系统训练需数据管理的问题，提出TTCov方法，通过构建任务图谱和知识图谱分别表示覆盖与分布，选择预算训练集，应用于自动驾驶时能提升数据质量及性能，实现对新领域的无缝适应。

Ordered Action Tokens for Visuomotor Policy Learning

用于视觉运动策略学习的有序动作令牌

Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对动作令牌化存在的问题，提出有序动作令牌化（OAT）方法，利用带特定机制的变换器将动作块离散化，满足高压缩率等三个需求，在多种策略和任务中验证，能提升策略性能并增强推理灵活性。

The Hard Decision Layer: Evidence for Committed Inference in Transformers

硬决策层：Transformer中确定推理的证据

Ashwath Vaithinathan Aravindan, Mayank Kejriwal

机构 * University of Southern California（南加州大学） ； Information Sciences Institute（信息科学研究所） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于Transformer的语言模型在多选型问答中做预测的位置与方式，识别出硬决策层，经多模型和数据集验证其在无学习路由策略时一致出现且对微调不变，HDL处准确率显著提升，为Transformer推理提供见解与机会。

HiMe: Real-Time Self-Hosted Personal Agent Platform for Health Insights with Wearable Devices

HiMe：用于健康洞察的实时自托管个人代理平台与可穿戴设备

Wei Liu, Siya Qi, Linhai Zhang, Lorainne Tudor Car, Yulan He

机构 * King’s College London（伦敦国王学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 针对传统可穿戴健康信号分析的局限，HiMe提出本地可部署、隐私至上的代理平台，遵循数据库为一等组件等原则，能与多种可穿戴设备实时健康数据生态系统兼容，实现个人持续、个性化健康监测以提升幸福感。

Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches

编解码器规范：为Transformer KV缓存学习压缩友好型规范

Yitao Jiang, Yaoqing Yang, Luyang Zhao, Muhao Chen, Devin Balkcom

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对Transformer KV缓存压缩问题，提出Codec-Gauge方法，通过训练后缓存坐标层学习正交通道变换，结合频率分布目标优化。实验表明该方法能有效降低散度、提升量化质量，确立缓存坐标几何为提高压缩保真度的实用训练后变量。

Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing

谱局部敏感哈希：通过Krylov投影局部敏感哈希实现次二次方的提示压缩

Ali Mahdavi, Azaseh Zamanifar, Amirfarhad Farhadi, Omid Kashefi

机构 * Islamic Azad University（伊斯兰阿扎德大学） ； Iran University of Science and Technology（伊朗科技大学） ； Meta 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长提示推理成本高的问题，提出谱局部敏感哈希方法，通过Krylov子空间方法等近似注意力核算子，应用SimHash分组聚合令牌，实验揭示压缩率相变及不同压缩率下方法优势，自适应后端可兼顾不同情况。