语言大模型 / LLM

HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation

HEED：基于密度加权残差对齐的混合视觉-语言模型蒸馏

Yihao Liang, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出HEED方法，通过密度加权残差对齐改进混合视觉-语言模型蒸馏，提升在OCR和文档任务中的性能，同时在不同教师模型和混合架构上实现高效推理。

A Foundation Model for Instruction-Conditioned In-Context Time Series Tasks

为上下文条件时间序列任务构建一个基础模型

Anish Saha, Konstantin Shmakov

机构 * Walmart（沃尔玛） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 本文提出iAmTime模型，通过指令条件化的元学习实现时间序列任务的直接推理，提升零样本适应能力，尤其在预测任务中表现优异。

KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving

KVServe: 服务感知的KV缓存压缩用于通信高效的解耦大语言模型服务

Zedong Liu, Xinyang Ma, Dejun Luo, Hairui Zhao, Bing Lu, Wenjing Huang, Yida Gu, Xingchen Liu, Zheng Wei, Jinyang Liu, Dingwen Tao, Guangming Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 KVServe通过服务感知和自适应的KV通信压缩框架，提升解耦大语言模型服务的效率，减少延迟和加速时间。

Comments Accepted by SIGCOMM 2026

VIP-COP: Context Optimization for Tabular Foundation Models

VIP-COP：表格基础模型的上下文优化

Yilong Chen, Xueying Ding, Leman Akoglu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 VIP-COP通过显式选择机制优化上下文，提升表格基础模型性能，具备快速、预算感知、黑盒兼容和可解释性等优势。

When Less is More: The LLM Scaling Paradox in Context Compression

当少即多：在上下文压缩中的LLM扩展悖论

Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） ； Tsinghua University（清华大学） ； Xi’an Jiaotong University（西安交通大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究揭示在上下文压缩中，增大压缩器规模反而降低重建上下文的忠实度，发现知识覆盖和语义漂移是主要因素，中等规模压缩器在忠实恢复上表现更优。

Comments 22 pages, 7 figures, conference

A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

从知识蒸馏的角度看代码语言模型的元测试：学生是否深度模仿教师？

Md. Abdul Awal, Mrigank Rochan, Chanchal K. Roy

机构 * Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。

Comments This paper has been accepted for publication in the Journal of Systems and Software (JSS)

TacoMAS: Test-Time Co-Evolution of Topology and Capability in LLM-based Multi-Agent Systems

TacoMAS: 在基于大语言模型的多智能体系统中拓扑与能力的测试时间共演

Chen Xu, Yicheng Hu, Ruizi Wang, Xinyu Lin, Wenjie Wang, Dongrui Liu, Fuli Feng

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 TacoMAS通过联合调整拓扑和能力，以不同时间尺度优化多智能体系统，实验表明其在四个基准测试中优于20个基线模型，平均提升13.3%。

DLink: Distilling Layer-wise and Dominant Knowledge from EEG Foundation Models

DLink：从EEG基础模型中蒸馏分层和主导知识

Jingyuan Wang, Zhihao Jia, Chenyu Liu, Xinliang Zhou, Haoran Luo, Ziyu Jia, Yong Li, Fang Li, Junfeng Yao, Yi Ding

机构 * Xiamen University（厦门大学） ； Nanyang Technological University（南洋理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 DLink通过输入条件化层路由和频谱引导蒸馏，有效蒸馏EEG基础模型知识，提升紧凑学生模型性能，减少参数和计算量。

Requests of a Feather Must Flock Together: Batch Size vs. Prefix Homogeneity in LLM Inference

同羽毛的请求应聚在一起：批处理大小与前缀同质性在大语言模型推理中的对比

Saksham Rathi, Preeti, Mythili Vutukuru

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了大语言模型推理中批处理大小与前缀同质性之间的平衡，提出Feather调度器通过强化学习优化两者，提升吞吐量。

Comments 22 pages, 36 figures

Inference-Time Budget Control for LLM Search Agents

推理时预算控制用于大语言模型搜索代理

Zhengru Fang, Senkang Forest Hu, Zhonghao Chang, Yu Guo, Yihang Tao, Hongyao Liu, Mengzhe Ruan, Jun Huang, Yuguang Fang

机构 * City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Alibaba Ant Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文研究了多跳问答中推理时双预算控制问题，通过两阶段控制策略，在搜索阶段根据任务级信息价值评分选择检索、分解或回答承诺，在最终阶段根据证据选择性修正答案，实验表明该方法在多个基准上取得积极收益。

Carbon-Taxed Transformers: A Green Compression Pipeline for Overgrown Language Models

碳税变压器：用于过度语言模型的绿色压缩流程

Ajmain Inqiad Alam, Palash Roy, Chanchal K. Roy, Banani Roy, Kevin A. Schneider

机构 * University of Saskatchewan（萨斯喀彻温大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文提出碳税变压器，通过经济碳税原理设计压缩流程，提升软件工程中大语言模型的效率与环保性能，实现内存、时间及碳排放的显著降低，同时保持高精度。

Journal ref Proceedings of ACM Software Engineering 3, FSE, Article FSE047, 2026

Less LLM, More Documents: Searching for Improved RAG

少用大模型，多用文档：寻找改进RAG的方法

Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan

机构 * School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了扩大检索器文档库对RAG性能的影响，发现增大文档库可提升性能，甚至在某些情况下优于使用更大模型，但存在边际效益递减的问题。

Comments Proceeding Version of ECIR 2026. In: Campos, R., et al. Advances in Information Retrieval. ECIR 2026

Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency

大型视觉语言模型的结构剪枝：对剪枝动态、恢复和数据效率的全面研究

Yiran Huang, Lukas Thede, Massimiliano Mancini, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich, Germany（慕尼黑技术大学，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国） ； Helmholtz Munich, Germany（海德堡-慕尼黑赫尔姆霍尔茨研究中心，德国） ； University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国） ； University of Trento, Italy（特伦托大学，意大利） ； Beijing University of Posts and Telecommunications, China（北京邮电大学，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(abstract)；分类 cs.CL

AI总结 本文研究了通过结构化剪枝压缩现有大型视觉语言模型的方法，发现宽度剪枝在低资源环境下表现更优，结合监督微调和隐藏状态蒸馏可实现高效恢复，仅需5%的数据即可保持95%性能。

Comments Accepted at International Journal of Computer Vision (IJCV) 2026

BitRL: Reinforcement Learning with 1-bit Quantized Language Models for Resource-Constrained Edge Deployment

BitRL：基于1位量化语言模型的强化学习用于资源受限边缘部署

Md. Ashiq Ul Islam Sajid, Mohammad Sakib Mahmood, Md. Tareq Hasan, Md Abdur Rahim, Rafat Ara, Md. Arafat Hossain

机构 * Department of Computer Science BRAC University Dhaka 1212, Bangladesh ； Department of Computer Science Missouri State University Springfield, MO, USA ； Department of Computer Science \& Engineering Prime University Dhaka, Bangladesh ； Department of Computer Science \& Engineering German University Bangladesh Dhaka, Bangladesh ； Department of Information Technology Jahangirnagar University Dhaka, Bangladesh 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 BitRL通过1位量化语言模型在资源受限边缘设备上实现高效的强化学习，提升了内存和能效，同时保持任务性能。

Comments 6pages, 1 Figure, IEEE International Conference of Frontiers of Engineering and Emerging Technologies 2026

TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training

TACO：用于可扩展张量并行LLM训练的高效中间张量通信压缩

Man Liu, Xingchen Liu, Xingjian Tian, Bing Lu, Shengkay Lyu, Shengquan Yin, Wenjing Huang, Zheng Wei, Hairui Zhao, Guangming Tan, Dingwen Tao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出TACO框架，通过FP8压缩技术减少大规模张量并行训练中的通信开销，提升训练吞吐量并保持高精度。

Comments Accepted by HPDC'26, 12 pages, 17 figures, 3 tables

Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

在企业客户支持流程中通过Copilot反馈学习选择性LLM自主性

Nikita Borovkov, Elisei Rykov, Olga Tsymboi, Sergei Filimonov, Nikita Surnachev, Dmitry Bitman, Anatolii Potapov

机构 * T-Tech 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出一个自动化企业业务流程管理平台中客户支持流程的系统，通过结构化案例UI交互轨迹和低开销Copilot反馈实现选择性自动化，提升处理效率并降低平均处理时间。

Can Compact Language Models Search Like Agents? Distillation-Guided Policy Optimization for Preserving Agentic RAG Capabilities

紧凑语言模型能否像智能体一样搜索？基于知识增强的策略优化以保持智能体RAG能力

Rikuto Kotoge, Mai Nishimura, Jiaxin Ma

机构 * The University of Osaka（大阪大学） ； OMRON SINIC X Corporation（OMRON SINIC X公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出Distillation-Guided Policy Optimization方法，通过教师示范初始化和持续教师指导，使紧凑模型实现复杂的智能体搜索行为，甚至在某些情况下超越大模型。

Comments Accepted at ACL 2026 Main

SpikingBrain2.0: Brain-Inspired Foundation Models for Efficient Long-Context and Cross-Platform Inference

SpikingBrain2.0：面向高效长上下文和跨平台推理的脑启发基础模型

Yuqi Pan, Jinghao Zhuang, Yupeng Feng, Fangzhi Zhong, Siyu Ding, Xuerui Qiu, Shaowei Gu, Bohan Sun, Zhiyong Qin, Yibo Zhong, Lingtao Ouyang, Kun Yang, Zehao Liu, Yuhong Chou, Shurong Wang, Anjie Hu, Han Xu, Bo Xu, Guoqi Li

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing Key Laboratory of Brain-Inspired General Intelligence Large Model（北京脑启发通用智能大模型重点实验室） ； Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与脑启发智能技术重点实验室） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 SpikingBrain2.0通过双空间稀疏注意力机制和优化训练策略，在保持性能的同时提升长上下文处理效率，实现跨平台高效推理。

VLA-Forget: Vision-Language-Action Unlearning for Embodied Foundation Models

VLA-Forget：面向具身基础模型的视觉-语言-动作去学习

Ravi Ranjan, Agoritsa Polyzou

机构 * Florida International University（佛罗里达国际大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出VLA-Forget框架，通过结合感知选择性编辑与层选择性推理去学习，提升去学习效果，保留感知特性和推理能力，减少量化恢复。

Comments 18 pages, 9 figures, Accepted to ACL-2026, KnowFM

Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM

跨家族推测解码用于波兰语言模型在苹果Silicon：对Bielik~11B与扩展MLX-LM的实证评估

Krzysztof Fonal

机构 * Wrocław University of Science and Technology（沃拉夫大学科学与技术学院） 纠错

专题命中 效率与部署 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文评估了在苹果Silicon上使用扩展MLX-LM框架实现跨 tokenizer 推测解码的有效性，探讨了波兰语言模型的性能差异及统一内存架构下的实证结果。

Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

语言模型的混合架构：系统分析与设计洞察

Sangmin Bae, Bilge Acun, Chien-Yu Lin, Haroun Habeeb, Seungyeon Kim, Liang Luo, Junjie Wang, Carole-Jean Wu

机构 * FAIR at Meta（Meta的FAIR） ； Meta 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文系统分析了混合架构的设计，探讨了不同融合策略对语言模型性能、长上下文能力及效率的影响，提出优化设计方法。

Comments 41 pages, 8 figures, 22 tables;

Open-TQ-Metal: Fused Compressed-Domain Attention for Long-Context LLM Inference on Apple Silicon

Open-TQ-Metal：融合压缩域注意力的长上下文LLM推理

Sai Vegasena

机构 * Apple Silicon 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 Open-TQ-Metal在Apple Silicon上实现了首个融合压缩域注意力的实现，使Llama 3.1 70B在单台64GB Mac上实现128K上下文推理，通过量化KV缓存和自定义Metal计算着色器提升了推理效率和内存利用率。

Comments 8 pages, 8 figures, 8 tables. Code: https://github.com/svv232/gemma4metal and https://github.com/svv232/turboquant-llama3.170B

Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns

通过丘脑路由皮层柱实现语言模型的高效持续学习

Afshin Khadangi

机构 * SnT, University of Luxembourg（卢森堡大学SnT学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 TRC$^{2}$通过丘脑路由和海马路径实现持续学习，提升任务边界建模质量并减少累积遗忘，优于多种基线模型。

Token-Budget-Aware Pool Routing for Cost-Efficient LLM Inference

面向成本高效的大语言模型推理的令牌预算感知池路由

Huamin Chen, Xunzhuo Liu, Junchen Jiang, Bowei He, Xue Liu

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出基于令牌预算的池路由方法，通过估计请求总令牌预算并分配到适合的工作负载池，减少GPU实例，提升效率。

Comments duplicate of arXiv:2604.08075

Quotation-Based Data Retention Mechanism for Data Privacy in LLM-Empowered Network Services

基于引用的数据保留机制用于LLM赋能网络服务中的数据隐私

Bin Han, Di Feng, Zexin Fang, Jie Wang, Hans D. Schotten

机构 * RPTU University Kaiserslautern-Landau（凯泽斯劳滕-兰道大学） ； Dongbei University of Finance and Economics（东北财经大学） ； Tongji University（同济大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种迭代价格发现机制，使MNOs通过连续报价补偿用户数据保留，无需预先了解用户隐私偏好，有效提升网络生态的社会福利。

Comments Accepted by IEEE ICC 2026 WKSPS

Rethinking Residual Errors in Compensation-based LLM Quantization

重新思考基于补偿的LLM量化中的残差误差

Shuaiting Li, Juncan Deng, Kedong Xu, Rongtao Deng, Hong Gu, Minghan Jiang, Haibin Shen, Kejie Huang

机构 * Zhejiang University（浙江大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文重新审视残差误差的定义，指出现有方法的校准目标存在次优问题，并引入补偿感知误差以提升LLM量化性能。

Comments ICLR'26 camera ready

Efficient and Effective Internal Memory Retrieval for LLM-Based Healthcare Prediction

高效且有效的内部内存检索用于基于大语言模型的医疗预测

Mingchen Li, Jiatan Huang, Zonghai Yao, Hong yu

机构 * University of Connecticut（康涅狄格大学） ； University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校） ； UMass Chan Medical School（马萨诸塞大学陈医学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出K2K框架，通过内部键基知识访问提升LLM在医疗预测中的效率与准确性，实验显示在四个基准数据集上达到最佳性能。

Comments ACL 2026 (Findings), reviewer score: 3.5,3.5,4

LLM-Generated Fault Scenarios for Evaluating Perception-Driven Lane Following in Autonomous Edge Systems

基于大语言模型的故障场景生成用于评估自主边缘系统中感知驱动的车道跟随

Faezeh Pasandideh, Achim Rettberg

机构 * Department of Electrical Engineering Hamm-Lippstadt University. of Applied Sciences (HSHL) Lippstadt, Germany 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种解耦的离线-在线故障注入框架，利用大语言模型生成故障场景并合成高保真传感器退化，通过预计算查找表实现边缘设备实时故障感知推理，验证了在雾条件下模型鲁棒性显著下降。

FedDetox: Robust Federated SLM Alignment via On-Device Data Sanitization

FedDetox: 通过设备端数据净化实现鲁棒的联邦SLM对齐

Shunan Zhu, Jiawei Chen, Yonghao Yu, Hideya Ochiai

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：SLM(title)；language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 FedDetox通过设备端数据净化技术，提升联邦学习中小型语言模型的安全对齐能力，保持模型安全性和通用性。

SignalClaw: LLM-Guided Evolutionary Synthesis of Interpretable Traffic Signal Control Skills

SignalClaw：基于大语言模型的进化合成可解释交通信号控制技能

Da Lei, Feng Xiao, Lu Li, Yuzhan Liu

机构 * Sichuan University（四川大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SignalClaw通过大语言模型引导进化合成可解释的交通信号控制技能，结合模拟指标生成自然语言反馈，实现高效且可解释的交通信号控制策略。