语言大模型 / LLM

T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation

T-LLM：通过时间蒸馏教大语言模型进行时间序列预测

Suhan Guo, Bingxu Wang, Shaodan Zhang, Furao Shen

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 T-LLM通过时间蒸馏框架，使通用大语言模型具备时间序列预测能力，实验显示其在多种设置下均优于现有方法。

Benford's Law as a Distributional Prior for Post-Training Quantization of Large Language Models

本福特定律作为大语言模型后训练量化中的分布性先验

Arthur Negrão, Pedro Silva, Vander L. S. Freitas, Gladston Moreira, Eduardo Luz

机构 * Postgraduate Program in Computer Science, Federal University of Ouro Preto（计算机科学硕士课程，联邦大学奥鲁普里托） ； Computing Department, Federal University of Ouro Preto（计算部门，联邦大学奥鲁普里托） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；small language model(abstract)

AI总结 本福特定律用于大语言模型后训练量化，通过非均匀量化器提升压缩效果，减少困惑度并保持竞争力。

SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training

SNIP：一种用于子字节大语言模型训练的自适应混合精度框架

Yunjie Pan, Yongyi Yang, Hanmei Yang, Scott Mahlke

机构 * University of Michigan（密歇根大学） ； NTT Research, Inc.（NTT研究公司） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 SNIP通过自适应混合精度框架，有效提升大语言模型训练效率，减少FLOPs达80%并保持模型质量。

Comments Accepted to ASPLOS 2026

FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation

FutureMind: 通过自适应知识蒸馏为小型语言模型配备战略思维模式先验

Shaoxiong Yang, Junting Li, Mengyuan Zhang, Chao Li, Wei Liu, Jian Luan

机构 * MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

AI总结 FutureMind通过自适应知识蒸馏为小型语言模型配备战略思维模式先验，提升其在复杂任务中的推理与检索能力。

Comments Accepted by ICLR 2026

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

DP-Fusion: 令牌级差分隐私推理用于大语言模型

Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德·本·泽亚德人工智能大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DP-Fusion通过令牌级差分隐私机制，在保证隐私的同时提升大语言模型的文本质量。

Comments Code: https://github.com/rushil-thareja/dp-fusion-lib | PyPI: https://pypi.org/project/dp-fusion-lib/ | Demo: https://www.documentprivacy.com

SVIP: Towards Verifiable Inference of Open-source Large Language Models

SVIP：面向开源大语言模型的可验证推理

Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hyperbolic Labs（双曲实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SVIP是一种基于秘密的可验证LLM推理协议，通过计算高效的方法确保计算提供者诚实，实现低误报率和高效验证。

Comments 21 pages

Dissecting Outlier Dynamics in LLM NVFP4 Pretraining

解构LLM NVFP4预训练中的异常动态

Peijie Dong, Ruibo Fan, Yuechen Tao, Di Mou, Wenhu Hu, Zhenheng Tang, Yinghao Yu, Jiamang Wang, Wenbo Su, Guodong Yang, Liping Zhang, Xiaowen Chu, Baochun Li, Bo Li

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Alibaba Group（阿里巴巴集团） ； University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本研究通过分析NVFP4预训练中的异常动态，提出HCP机制和CHON训练配方，有效缩小了与BF16的损失差距。

Comments 39 pages, 32 figures

Efficient Epistemic Uncertainty Estimation for Large Language Models via Knowledge Distillation

通过知识蒸馏实现大型语言模型的高效信念不确定性估计

Seonghyeon Park, Jewon Yeom, Jaewon Sok, Jeongjae Park, Heejun Kim, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） ； Department of Rural Systems Engineering, Seoul National University（首尔国立大学农村系统工程系） ； Department of Aerospace Engineering, Seoul National University（首尔国立大学航空航天工程系） ； Department of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（全州科学科技研究院电子工程与计算机科学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 通过知识蒸馏高效估计大型语言模型的信念不确定性，减少估计误差并提升幻觉检测性能。

Optimizing Prompts for Large Language Models: A Causal Approach

为大型语言模型优化提示：一种因果方法

Wei Chen, Yanbin Fang, Shuran Fu, Fasheng Xu, Xuan Wei

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） ； Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 CPO通过因果推断方法优化提示设计，提升企业LLM在复杂查询中的鲁棒性，并降低提示优化的经济成本。

When Large Language Models Do Not Work: Online Incivility Prediction through Graph Neural Networks

当大语言模型失效时：通过图神经网络进行在线不文明行为预测

Zihan Chen, Lanyu Yu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于图神经网络的框架，用于检测在线不文明行为，优于现有大语言模型并降低推理成本。

Comments 10 pages

Steering Vector Fields for Context-Aware Inference-Time Control in Large Language Models

用于大语言模型推理时上下文感知控制的转向向量场

Jiaqian Li, Yanshu Li, Kuan-Hao Huang

机构 * Brown University ； Texas A\&M University 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出转向向量场（SVF），通过学习可微的概念评分函数，实现大语言模型在推理时的上下文感知控制，提升控制的可靠性和效率。

Predictive Scheduling for Efficient Inference-Time Reasoning in Large Language Models

为大语言模型的高效推理时间推理进行预测调度

Katrina Brown, Aneesh Muppidi, Rana Shahout

机构 * Harvard College（哈佛学院） ； Harvard SEAS（哈佛工程与应用科学学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 预测调度通过预运行轻量级预测器优化标记预算分配，提升大语言模型在推理任务中的准确性和效率。

Comments ICML ES-FoMo 2025

Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models

稀疏快捷键：促进多模态大语言模型中的高效融合

Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu

机构 * Guangdong-Hong Kong-Macao Joint Laboratory for Emotion Intelligence and Pervasive Computing, Artificial Intelligence Research Institute, Shenzhen MSU-BIT University, Shenzhen（粤港澳大湾区情感智能与 pervasive 计算联合实验室，人工智能研究院，深圳MSU-BIT大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 SparseCut通过稀疏快捷连接和多粒度特征融合模块，提升多模态大语言模型在跨模态融合中的效率和性能。

Unlocking Graph Structure Learning with Tree-Guided Large Language Models

通过树引导的大语言模型解锁图结构学习

Zhihan Zhang, Xunkai Li, Lei Zhu, Guang Zeng, Bowen Fan, Yanzhe Wen, Hongchao Qin, Rong-Hua Li, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出LLaTA，通过树引导的大语言模型提升图结构学习的灵活性、可扩展性和预测性能。

Comments 32 pages, 10 figures

Dispersion Loss Counteracts Embedding Condensation and Improves Generalization in Small Language Models

弥散损失抵消嵌入凝结并提升小语言模型的泛化能力

Chen Liu, Xingzhi Sun, Xi Xiao, Alexandre Van Tassel, Ke Xu, Kristof Reimann, Danqi Liao, Mark Gerstein, Tianyang Wang, Xiao Wang, Smita Krishnaswamy

机构 * Yale University（耶鲁大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；LLM(abstract)；large language model(abstract)

AI总结 本研究提出弥散损失以缓解小语言模型中的嵌入凝结现象，通过训练提升模型泛化能力，无需增加参数。

BTGenBot-2: Efficient Behavior Tree Generation with Small Language Models

BTGenBot-2: 基于小语言模型的高效行为树生成

Riccardo Andrea Izzo, Gianluca Bardaro, Matteo Matteucci

机构 * Department of Electronics, Information, and Bioengineering（电子、信息与生物工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 BTGenBot-2是一种基于小语言模型的高效行为树生成方法，通过开源模型实现零样本生成和快速推理，显著提升机器人任务规划效率。

DISPO: Enhancing Training Efficiency and Stability in Reinforcement Learning for Large Language Model Mathematical Reasoning

DISPO：提升大型语言模型数学推理中的训练效率和稳定性

Batuhan K. Karaman, Aditya Rawal, Suhaila Shakiah, Mohammad Ghavamzadeh, Mingyi Hong, Arijit Biswas, Ruida Zhou

机构 * Cornell University（康奈尔大学） ； Amazon AGI（亚马逊人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DISPO通过分离正确与错误响应的重要性采样权重裁剪，实现训练效率与稳定性的平衡，提升大型语言模型在数学推理任务中的性能。

Comments This work is accepted to the 29th International Conference on Artificial Intelligence and Statistics (AISTATS) 2026

A Universal Load Balancing Principle and Its Application to Large Language Model Serving

一种通用的负载均衡原理及其在大语言模型服务中的应用

Zixi Chen, Tianci Bu, Chendong Song, Xin Lu, Yinyu Ye, Zijie Zhou

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出了一种适用于屏障同步系统的通用负载均衡原理，通过减少负载不均衡实现能源节约，应用于大语言模型服务中，实现了28%的能耗降低和性能提升。

LLMs as High-Dimensional Nonlinear Autoregressive Models with Attention: Training, Alignment and Inference

基于注意力机制的高维非线性自回归模型：训练、对齐与推理

Vikram Krishnamurthy

机构 * Cornell University（康奈尔大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文将LLMs表述为具有注意力依赖的高维非线性自回归模型，探讨了训练、对齐与推理的原理及方法。

Comments 27 pages, 12 figures. Mathematical survey framing LLMs as high-dimensional nonlinear autoregressive models with attention, covering training, alignment, and inference, with nanoGPT/nanochat-style code examples. Feedback welcome

A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models

一种用于生产级大语言模型的实用张量网络压缩管道

Sergii Kozyrev, Davyd Maiboroda

机构 * Minima AI, Inc.（Minima AI 公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Minima是一种用于大语言模型的实用张量网络压缩管道，通过结构压缩和自定义内核提升推理效率和吞吐量。

Comments 13 pages, 5 figures

MiniLLM: On-Policy Distillation of Large Language Models

MiniLLM: 大语言模型的在线策略蒸馏

Yuxian Gu, Li Dong, Furu Wei, Minlie Huang

机构 * The CoAI Group, Tsinghua University（清华大学CoAI小组） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiniLLM通过反向KLD和在线策略优化，实现了对大语言模型的有效蒸馏，提升小型模型的生成质量和校准性能。

Comments Published as a conference paper in ICLR 2024

Data Distribution Matters: A Data-Centric Perspective on Context Compression for Large Language Model

数据分布至关重要：一种以数据为中心的视角来探讨大型语言模型中的上下文压缩

Kangtao Lv, Jiwei Tang, Langming Liu, Haibin Chen, Weidong Zhang, Shilei Liu, Yongwei Wang, Yujin Yuan, Wenbo Su, Bo Zheng

机构 * Future Living Lab of Alibaba（阿里巴巴未来生活实验室） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文从数据分布角度探讨了大型语言模型中的上下文压缩问题，发现输入熵与压缩质量负相关，而内在数据差距影响压缩增益，提出优化压缩的实用指南。

Comments 15 pages,6 figures

Reliability-Aware Determinantal Point Processes for Robust Informative Data Selection in Large Language Models

可靠性感知的行列式点过程用于大型语言模型中鲁棒的信息数据选择

Ahmad Sarlak, Abolfazl Razi

机构 * Clemson University, Clemson, SC, USA（克林姆恩大学） ； School of Computing, Clemson University, Clemson, SC, USA（计算学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出ProbDPP，一种可靠性感知的行列式点过程，用于在不确定环境下实现鲁棒的信息数据选择，以提高大型语言模型的部署效率。

Q Cache: Visual Attention is Valuable in Less than Half of Decode Layers for Multimodal Large Language Model

Q Cache：视觉注意力在少于一半的解码层中具有价值用于多模态大语言模型

Jiedong Zhuang, Lu Lu, Ming Dai, Rui Hu, Jian Chen, Qiang Liu, Haoji Hu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 Q Cache通过跨层共享相似注意力模式，减少多模态大语言模型中的KV缓存使用量，提升吞吐量并保持性能

Comments Accepted by AAAI26

A Survey of Token Compression for Efficient Multimodal Large Language Models

多模态大语言模型高效性中的标记压缩综述

Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Xiamen University（厦门大学） ； National University of Singapore（新加坡国立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of Central Florida（佛罗里达大学） ； Salesforce AI Research（Salesforce AI研究） ； Rice University（德克萨斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文综述了多模态大语言模型中标记压缩技术，分类讨论了图像、视频和音频三种模态的压缩方法及其机制，旨在推动该领域的发展。

Comments For ongoing updates and to track the latest advances in this promising area, we maintain a public repository: https://github.com/cokeshao/Awesome-Multimodal-Token-Compression

Hard Constraints Meet Soft Generation: Guaranteed Feasibility for LLM-based Combinatorial Optimization

硬约束与软生成交汇：为基于LLM的组合优化保证可行性

Yang Liu, Chuan Zhou, Yancheng Chen, Shuai Zhang, Xixun Lin, Xiaoqing Wang

机构 * Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 FALCON通过语法约束解码、可行性修复层和自适应Best-of-N采样，确保基于LLM的组合优化求解器的100%可行性并保持高质量解。

Comments 32 pages, 2 figures

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM: 通过文本嵌入混合交互实现高吞吐率和有效的LLM排序

Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

机构 * LinkedIn 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MixLM通过文本嵌入混合交互技术，显著提升LLM排序系统的吞吐量，实现高效率的实时搜索应用部署。

Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation

训练后概率流形校正通过结构化SVD剪枝与自参考知识蒸馏

Aaron R. Flouro, Shawn P. Chadwick

机构 * SparseTech 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。

Comments 16 pages, 10 tables, 4 figures

Efficient and accurate steering of Large Language Models through attention-guided feature learning

通过注意力引导的特征学习实现大语言模型的高效准确操控

Parmida Davarmanesh, Ashia Wilson, Adityanarayanan Radhakrishnan

机构 * MIT（麻省理工学院） ； Broad Institute of MIT and Harvard（麻省理工学院-哈佛大学Broad研究所） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

AI总结 本文提出注意力引导的特征学习框架，通过解决三个核心挑战，显著提升了大语言模型的操控效率和效果，成功将可操控概念数量几乎翻倍。

Revisiting Adaptive Rounding with Vectorized Reparameterization for LLM Quantization

重新审视基于向量化的重参数化适应性取整用于大语言模型量化

Yuli Zhou, Qingxuan Chen, Luca Benini, Guolei Sun, Yawei Li

机构 * ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院） ； Nankai University, Tianjin, China（南开大学） ； University of Bologna, Bologna, Italy（博洛尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 VQRound通过向量化的重参数化方法，实现了在大语言模型量化中的高效适应性取整，以提升收敛速度并减少参数使用。

Comments 17 pages, 6 figures, 14 tables