语言大模型 / LLM

A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models

一种用于生产级大语言模型的实用张量网络压缩管道

Sergii Kozyrev, Davyd Maiboroda

机构 * Minima AI, Inc.（Minima AI 公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Minima是一种用于大语言模型的实用张量网络压缩管道，通过结构压缩和自定义内核提升推理效率和吞吐量。

Comments 13 pages, 5 figures

MiniLLM: On-Policy Distillation of Large Language Models

MiniLLM: 大语言模型的在线策略蒸馏

Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

机构 * The CoAI Group, Tsinghua University（清华大学CoAI小组） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiniLLM通过反向KLD和在线策略优化，实现了对大语言模型的有效蒸馏，提升小型模型的生成质量和校准性能。

Comments Published as a conference paper in ICLR 2024

Data Distribution Matters: A Data-Centric Perspective on Context Compression for Large Language Model

数据分布至关重要：一种以数据为中心的视角来探讨大型语言模型中的上下文压缩

Kangtao Lv, Jiwei Tang, Langming Liu, Haibin Chen, Weidong Zhang, Shilei Liu, Yongwei Wang, Yujin Yuan, Wenbo Su, Bo Zheng

机构 * Future Living Lab of Alibaba（阿里巴巴未来生活实验室） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文从数据分布角度探讨了大型语言模型中的上下文压缩问题，发现输入熵与压缩质量负相关，而内在数据差距影响压缩增益，提出优化压缩的实用指南。

Comments 15 pages,6 figures

Reliability-Aware Determinantal Point Processes for Robust Informative Data Selection in Large Language Models

可靠性感知的行列式点过程用于大型语言模型中鲁棒的信息数据选择

Ahmad Sarlak, Abolfazl Razi

机构 * Clemson University, Clemson, SC, USA（克林姆恩大学） ； School of Computing, Clemson University, Clemson, SC, USA（计算学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出ProbDPP，一种可靠性感知的行列式点过程，用于在不确定环境下实现鲁棒的信息数据选择，以提高大型语言模型的部署效率。

Q Cache: Visual Attention is Valuable in Less than Half of Decode Layers for Multimodal Large Language Model

Q Cache：视觉注意力在少于一半的解码层中具有价值用于多模态大语言模型

Jiedong Zhuang, Lu Lu, Ming Dai, Rui Hu, Jian Chen, Qiang Liu, Haoji Hu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 Q Cache通过跨层共享相似注意力模式，减少多模态大语言模型中的KV缓存使用量，提升吞吐量并保持性能

Comments Accepted by AAAI26

A Survey of Token Compression for Efficient Multimodal Large Language Models

多模态大语言模型高效性中的标记压缩综述

Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Xiamen University（厦门大学） ； National University of Singapore（新加坡国立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of Central Florida（佛罗里达大学） ； Salesforce AI Research（Salesforce AI研究） ； Rice University（德克萨斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文综述了多模态大语言模型中标记压缩技术，分类讨论了图像、视频和音频三种模态的压缩方法及其机制，旨在推动该领域的发展。

Comments For ongoing updates and to track the latest advances in this promising area, we maintain a public repository: https://github.com/cokeshao/Awesome-Multimodal-Token-Compression

Hard Constraints Meet Soft Generation: Guaranteed Feasibility for LLM-based Combinatorial Optimization

硬约束与软生成交汇：为基于LLM的组合优化保证可行性

Yang Liu, Chuan Zhou, Yancheng Chen, Shuai Zhang, Xixun Lin, Xiaoqing Wang

机构 * Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 FALCON通过语法约束解码、可行性修复层和自适应Best-of-N采样，确保基于LLM的组合优化求解器的100%可行性并保持高质量解。

Comments 32 pages, 2 figures

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM: 通过文本嵌入混合交互实现高吞吐率和有效的LLM排序

Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

机构 * LinkedIn 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MixLM通过文本嵌入混合交互技术，显著提升LLM排序系统的吞吐量，实现高效率的实时搜索应用部署。

Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation

训练后概率流形校正通过结构化SVD剪枝与自参考知识蒸馏

Aaron R. Flouro, Shawn P. Chadwick

机构 * SparseTech 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。

Comments 16 pages, 10 tables, 4 figures

Efficient and accurate steering of Large Language Models through attention-guided feature learning

通过注意力引导的特征学习实现大语言模型的高效准确操控

Parmida Davarmanesh, Ashia Wilson, Adityanarayanan Radhakrishnan

机构 * MIT（麻省理工学院） ； Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学Broad研究所） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

AI总结 本文提出注意力引导的特征学习框架，通过解决三个核心挑战，显著提升了大语言模型的操控效率和效果，成功将可操控概念数量几乎翻倍。

Revisiting Adaptive Rounding with Vectorized Reparameterization for LLM Quantization

重新审视基于向量化的重参数化适应性取整用于大语言模型量化

Yuli Zhou, Qingxuan Chen, Luca Benini, Guolei Sun, Yawei Li

机构 * ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院） ； Nankai University, Tianjin, China（南开大学） ； University of Bologna, Bologna, Italy（博洛尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 VQRound通过向量化的重参数化方法，实现了在大语言模型量化中的高效适应性取整，以提升收敛速度并减少参数使用。

Comments 17 pages, 6 figures, 14 tables

Light Alignment Improves LLM Safety via Model Self-Reflection with a Single Neuron

通过单个神经元的模型自反进行轻量级对齐以提升大语言模型的安全性

Sicheng Shen, Mingyang Lv, Han Shen, Jialin Wu, Binghao Wang, Zhou Yang, Guobin Shen, Dongcheng Zhao, Feifei Zhao, Yi Zeng

机构 * Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； Ant Group Co., Ltd.（蚂蚁集团有限公司） ； BrainCog Lab., CASIA（CASIA脑认知实验室） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 通过单个神经元的模型自反实现轻量级对齐，提升大语言模型的安全性和实用性

Comments 21 pages, 3 figures

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference

探测与跳过：用于高效长上下文LLM推理的自预测token跳过

Zimeng Wu, Donghao Wang, Chaozhe Jin, Jiaxin Chen, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北航，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，北航，北京，中国） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自预测token跳过框架，通过两种选择性跳过策略和多阶段延迟剪枝策略，提升长上下文LLM推理效率，实现显著加速与高精度

Multi-LLM Adaptive Conformal Inference for Reliable LLM Responses

多LLM自适应置信推理用于可靠的LLM响应

Kangjun Noh, Seongchan Lee, Ilmun Kim, Kyungwoo Song

机构 * Department of Applied Statistics and Data Science, Yonsei University（应用统计与数据科学系，延世大学） ； Department of Mathematical Sciences, KAIST（数学科学系，韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 多LLM自适应置信推理通过集成生成更准确的事实性分数，提升高风险领域中LLM响应的可靠性和准确性。

Comments Accepted to ICLR 2026

MAS-Shield: A Defense Framework for Secure and Efficient LLM MAS

MAS-Shield: 一种用于安全高效LLM MAS的防御框架

Kaixiang Wang, Zhaojiacheng Zhou, Bunyod Suvonov, Jiong Lou, Jie LI

机构 * Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MAS-Shield通过粗到细的过滤流程，结合关键智能体选择、轻量审计和全局共识审计，实现安全高效防御LLM多智能体系统语言攻击。

FastTTS: Accelerating Test-Time Scaling for Edge LLM Reasoning

FastTTS: 加速边缘LLM推理的测试时扩展

Hao Mark Chen, Zhiwen Mo, Guanxi Lu, Shuang Liang, Lingxiao Ma, Wayne Luk, Hongxiang Fan

机构 * Imperial College London（帝国学院伦敦） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 FastTTS通过三种新方法提升边缘LLM推理效率，实现与云模型相当的准确性和延迟，减少38%-68%的延迟。

Comments Accepted at ASPLOS 2026

Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures

对CPU-GPU耦合架构上大语言模型推理工作负载进行表征与优化

Prabhu Vellaisamy, Thomas Labonte, Sourav Chakraborty, Matt Turner, Samantika Sury, John Paul Shen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Samsung Semiconductor, Inc.（三星半导体公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性，揭示了GH200在大批次时的性能优势及CPU瓶颈，并提出通过内核融合优化低批次延迟的方法。

Comments Accepted for ISPASS 2025

Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference

Harvest：机会性点对点GPU缓存用于LLM推理

Nikhil Gopal, Kostis Kaffes

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Harvest通过利用点对点GPU互连技术，动态管理GPU内存，减少数据移动开销，显著提升LLM推理的吞吐量。

ELLMPEG: An Edge-based Agentic LLM Video Processing Tool

ELLMPEG：一种基于边缘的代理LLM视频处理工具

Zoha Azimi, Reza Farahani, Radu Prodan, Christian Timmerer

机构 * Christian Doppler Laboratory ATHENA, Department of Information Technology (ITEC) University of Klagenfurt（亚琛实验室ATHENA，信息科技系，克雷格弗尔特大学） ； Department of Information Technology (ITEC) University of Klagenfurt（信息科技系，克雷格弗尔特大学） ； Department of Computer Science University of Innsbruck（计算机科学系，因斯布鲁克大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 ELLMPEG是一种基于边缘的代理LLM视频处理工具，通过整合工具感知的检索增强生成与迭代自我反思，实现本地生成和验证FFmpeg和VVenC命令，提升视频处理效率和准确性。

Comments 12 pages, 5 tables, 8 Figures, accepted for the MMSys 2026 conference

From Numbers to Prompts: A Cognitive Symbolic Transition Mechanism for Lightweight Time-Series Forecasting

从数字到提示：一种轻量时间序列预测的认知符号转换机制

Namkyung Yoon, Hwangnam Kim

机构 * School of Electrical Engineering, Korea University（韩国大学电气工程学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；small language model(abstract)

AI总结 本文提出STM机制，通过符号抽象和提示工程实现高效时间序列预测，显著提升模型效率并降低资源消耗。

Comments 16 pages, 5 figures. Submitted to ACM Transactions on Intelligent Systems and Technology

Efficient LLM Inference with Activation Checkpointing and Hybrid Caching

高效LLM推理与混合缓存激活检查点

Sanghyeon Lee, Hongbeen Kim, Soojin Hwang, Guseul Heo, Minwoo Noh, Jaehyuk Huh

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 HybridServe通过激活检查点和混合缓存方案，实现高效LLM推理，提升吞吐量2.19倍。

Comments 14 pages, 15 figures

Journal ref The 43rd IEEE International Conference on Computer Design, 2025

Beyond Basic Specifications? A Systematic Study of Logical Constructs in LLM-based Specification Generation

超越基本规范？基于LLM的规范生成中逻辑构造的系统研究

Zehan Chen, Long Zhang, Zhiwei Zhang, JingJing Zhang, Ruoyu Zhou, Yulong Shen, JianFeng Ma, Lin Yang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了基于LLM的规范生成中逻辑构造的应用，通过实验证明LLMs能生成有效逻辑构造，并提升验证能力与鲁棒性。

Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation

面向LLM推荐的高效稳定强化学习

Hongxun Ding, Keqin Bao, Jizhi Zhang, Yi Fang, Wenxin Xu, Fuli Feng, Xiangnan He

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出RISER框架，通过强化学习提升LLM推荐的效率和稳定性，有效解决样本效率低和训练不稳定问题。

Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing

Focus-dLLM: 通过置信度引导的上下文聚焦加速长上下文扩散语言模型推理

Lingkun Long, Yushi Huang, Shihao Bai, Ruihao Gong, Jun Zhang, Ao Zhou, Jianlei Yang

机构 * Beihang University（北航） ； Hong Kong University of Science and Technology（香港理工大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Focus-dLLM通过置信度引导的上下文聚焦技术，实现了长上下文扩散语言模型推理的高效加速。

No Generation without Representation: Efficient Causal Protein Language Models Enable Zero-Shot Fitness Estimation

没有表示就没有生成：高效的因果蛋白质语言模型实现零样本适应性估计

Furkan Eris

机构 * Independent researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 Proust是一种高效的因果蛋白质语言模型，通过创新架构实现零样本适应性估计，同时保留生成能力，优于现有方法。

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn: 用于代码填充的扩散语言模型超越固定大小画布

Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Kuaishou Technology（快手科技） ； Huawei Noah Ark Lab（华为诺亚实验室） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 DreamOn通过引入动态长度控制机制，解决了扩散语言模型在代码填充中因固定长度限制导致的性能问题，实现了灵活的可变长度生成。

Comments ICLR 2026

VEQ: Modality-Adaptive Quantization for MoE Vision-Language Models

VEQ: 适用于MoE视觉-语言模型的模态自适应量化

Guangshuo Qin, Zhiteng Li, Zheng Chen, Weihang Zhang, Linghe Kong, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 VEQ通过模态自适应量化方法提升MoE视觉-语言模型的压缩性能，实现更高的准确率和鲁棒性。

ConsensusDrop: Fusing Visual and Cross-Modal Saliency for Efficient Vision Language Models

ConsensusDrop：融合视觉与跨模态显著性以提高视觉语言模型的效率

Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Office（陆军研究办公室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)

AI总结 ConsensusDrop通过融合视觉与跨模态显著性，提高视觉语言模型的效率和准确性，优于现有token修剪方法。

Comments Technical Report

Beyond Imprecise Distance Metrics: Trace-Guided Directed Greybox Fuzzing via LLM-Predicted Call Stacks

超越不精确的距离度量：通过LLM预测的调用栈引导的定向灰盒模糊测试

Yifan Zhang, Xin Zhang

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 通过LLM预测调用栈引导的定向灰盒模糊测试，提升漏洞触发效率并发现新漏洞。

Comments Preprint, under submission

Insight Agents: An LLM-Based Multi-Agent System for Data Insights

洞察代理：基于LLM的多智能体数据洞察系统

Jincheng Bai, Zhenyu Zhang, Jennifer Zhang, Zhihuai Zhu

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM的洞察代理系统，通过多智能体架构实现高效的数据洞察与商业决策支持，准确率达90%且延迟低于15秒。

Comments Accepted to SIGIR 2025. DOI: 10.1145/3726302.3731959