语言大模型 / LLM

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions

大型语言模型的知识蒸馏与数据集蒸馏：新兴趋势、挑战与未来方向

Luyang Fang, Xiaowei Yu, Jiazhang Cai, Yongkai Chen, Shushan Wu, Zhengliang Liu, Zhenyuan Yang, Haoran Lu, Xilin Gong, Yufang Liu, Terry Ma, Wei Ruan, Ali Abbasi, Jing Zhang, Tao Wang, Ehsan Latif, Weihang You, Hanqi Jiang, Wei Liu, Wei Zhang, Soheil Kolouri, Xiaoming Zhai, Dajiang Zhu, Wenxuan Zhong, Tianming Liu, Ping Ma

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的知识蒸馏与数据集蒸馏技术，探讨了其在压缩模型、保持推理能力及语言多样性方面的挑战与未来发展方向。

Can Large Language Models Solve Engineering Equations? A Systematic Comparison of Direct Prediction and Solver-Assisted Approaches

大型语言模型能解决工程方程吗？直接预测与求解器辅助方法的系统比较

Sai Varun Kodathala, Rakesh Vunnam

机构 * Research and Development Sports Vision, Inc.（Sports Vision公司研发部） ； Research and Development Vizworld, Inc.（Vizworld公司研发部） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文研究了大型语言模型在解决工程方程中的表现，发现求解器辅助方法在精度上显著优于直接预测，尤其在电子领域效果突出。

Comments 14 pages

BALI: Branch-Aware Loop Invariant Inference with Large Language Models

BALI: 基于分支的循环不变式推断与大语言模型

Mingxiu Wang, Jiawei Wang, Xiao Cheng

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 BALI通过结合大语言模型和分支感知分析，提升循环不变式的推断和验证精度，实现更高效和自动化的不变式发现。

Comments 4 pages, 1 figure, AAAI-26 Bridge Program B10: Making Embodied AI Reliable with Testing and Formal Verification

ToMoE: Converting Dense Large Language Models to Mixture-of-Experts through Dynamic Structural Pruning

通过动态结构剪枝将密集大语言模型转换为专家混合架构

Shangqian Gao, Ting Hua, Reza Shirkavand, Chi-Heng Lin, Zheng Tang, Zhengao Li, Longge Yuan, Fangyi Li, Zeyu Zhang, Alireza Ganjdanesh, Lou Qian, Xu Jie, Yen-Chang Hsu

机构 * Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系） ； Department of Computer Science and Engineering, University of Notre Dame（圣母大学计算机科学与工程系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学学院市计算机科学系） ； Samsung Research America（三星美国研究机构） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） ； Department of Health Outcomes and Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 通过动态结构剪枝将密集大语言模型转换为专家混合架构，提升模型效率与性能。

Power-of-Two Quantization-Aware-Training (PoT-QAT) in Large Language Models (LLMs)

功率为二的量化感知训练（PoT-QAT）在大语言模型（LLMs）中

Mahmoud Elgenedy

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究提出了一种基于功率为二量化的量化感知训练方法，通过减少内存占用和提升推理速度，显著提升了大语言模型的性能。

Emoji-Based Jailbreaking of Large Language Models

基于表情符号的大型语言模型劫持

M P V S Gopinadh, S Mahaboob Hussain

机构 * Vishnu Institute of Technology（维什努技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究通过测试基于表情符号的提示揭示了大型语言模型在安全对齐方面的漏洞，发现不同模型对表情符号攻击的响应存在显著差异，强调了在提示层面加强安全机制的重要性。

Comments 7 pages, 2 figures

A three-Level Framework for LLM-Enhanced eXplainable AI: From technical explanations to natural language

一个三层框架用于LLM增强的可解释AI：从技术解释到自然语言

Marilyn Bello, Rafael Bello, Maria-Matilde García, Ann Nowé, Iván Sevillano-García, Francisco Herrera

机构 * Andalusian Research Institute in Data Science and Computational Intelligence（数据科学与计算智能安达卢西亚研究机构） ； Universidad de Granada（格拉纳达大学） ； Department of Computer Science（计算机科学系） ； Artificial Intelligence Lab（人工智能实验室） ； Vrije Universiteit Brussel（布鲁塞尔自由大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一个三层框架，利用大型语言模型提升AI解释的可解释性，通过动态对话解释增强社会透明度和用户信任。

Comments 22 pages, 5 figures

Journal ref Bello, M., Bello, R., García, M. M., Nowé, A., Sevillano-García, I., & Herrera, F. (2025). A Three-level Framework for LLM-enhanced Explainable AI: From Technical Explanations to Natural Language. Information Systems Frontiers, 1-22

BucketServe: Bucket-Based Dynamic Batching for Smart and Efficient LLM Inference Serving

BucketServe: 基于桶的动态分组以实现智能高效的LLM推理服务

Wanyi Zheng, Minxian Xu, Shengye Song, Kejiang Ye

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 BucketServe通过基于桶的动态分组优化LLM推理性能，提升吞吐量并确保服务等级目标合规。

Comments 9 pages

Journal ref IEEE SmartData 2025

La RoSA: Enhancing LLM Efficiency via Layerwise Rotated Sparse Activation

LaRoSA：通过分层旋转稀疏激活提升大语言模型效率

Kai Liu, Bowen Xu, Shaoyu Wu, Xin Chen, Hao Zhou, Yongliang Tao, Lulu Hu

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 LaRoSA通过分层旋转稀疏激活技术，提升大语言模型效率，实现稳定的加速效果和较低的性能损失。

Comments ICML 2025 Acceptance

AgentVNE: LLM-Augmented Graph Reinforcement Learning for Affinity-Aware Multi-Agent Placement in Edge Agentic AI

AgentVNE: 基于大语言模型的图强化学习用于面向亲和力的多智能体部署

Runze Zheng, Yuqing Zheng, Zhengyi Cheng, Long Luo, Haoxiang Luo, Gang Sun, Hongfang Yu, Dusit Niyato

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AgentVNE通过结合大语言模型与图强化学习，解决边缘智能体部署中的动态资源分配与亲和力约束问题，提升服务效率与响应速度。

VALLR: Visual ASR Language Model for Lip Reading

VALLR：基于唇语的视觉ASR语言模型

Marshall Thomas, Edward Fish, Richard Bowden

机构 * University of Surrey（萨里大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 VALLR提出了一种两阶段的视觉ASR语言模型，通过音素序列预测和语言模型重构实现高效率和高精度的唇语识别。

Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior

细化溯源推断：从模型行为检测LLM细化训练提示

Bo Yin, Qi Li, Runpeng Yu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RePro框架，通过教师强制的似然特征与logit排名信号融合，实现对LLM细化训练提示的溯源推断，具有跨模型和训练设置的泛化能力。

Aggressive Compression Enables LLM Weight Theft

激进压缩使大语言模型权重窃取成为可能

Davis Brown, Juan-Pablo Rivera, Dan Hendrycks, Mantas Mazeika

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Center for AI Safety（人工智能安全中心） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了通过压缩使大语言模型权重窃取风险增加的问题，提出通过放松解压缩约束来提升窃取效率，并探讨了三种防御方法以降低窃取风险。

Comments An early version of this work was presented at the SoLAR Workshop at NeurIPS 2024

Language Model Distillation: A Temporal Difference Imitation Learning Perspective

语言模型蒸馏：一种时差模仿学习视角

Zishun Yu, Shangzhe Li, Xinhua Zhang

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于时差学习的通用蒸馏框架，利用教师模型的分布稀疏性，通过缩减动作空间提升语言模型蒸馏效果。

Comments AAAI 2026; Code available at: https://github.com/TobyLeelsz/Bellman-Distillation

CD4LM: Consistency Distillation and aDaptive Decoding for Diffusion Language Models

CD4LM：一致性蒸馏与自适应解码用于扩散语言模型

Yihao Liang, Ze Wang, Hao Chen, Ximeng Sun, Jialian Wu, Xiaodong Yu, Jiang Liu, Emad Barsoum, Zicheng Liu, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） ； Advanced Micro Devices, Inc（先进微器件公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 CD4LM通过一致性蒸馏和自适应解码提升扩散语言模型的并行解码效率与生成质量。

Comments 33 pages, 7 figures

Exposing Hidden Interfaces: LLM-Guided Type Inference for Reverse Engineering macOS Private Frameworks

揭示隐藏接口：LLM引导的类型推断用于macOS私有框架逆向工程

Arina Kharlamova, Youcheng Sun, Ting Yu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MOTIF通过LLM引导的类型推断技术，显著提升了对macOS私有框架的逆向工程能力，实现了更高的签名恢复率和更稳定的推断结果。

Comments IEEE S&P'26 under review

SteganoBackdoor: Stealthy and Data-Efficient Backdoor Attacks on Language Models

SteganoBackdoor: 语言模型上的隐蔽且数据高效的后门攻击

Eric Xue, Ruiyi Zhang, Pengtao Xie

机构 * UC San Diego（圣迭戈大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 SteganoBackdoor通过隐写学方法在流畅句子中隐蔽地植入后门，实现对语言模型的高效隐蔽攻击。

Towards Long-window Anchoring in Vision-Language Model Distillation

迈向视觉-语言模型蒸馏中的长窗口锚定

Haoyi Zhou, Shuo Li, Tianyu Chen, Qi Song, Chonghan Gao, Jianxin Li

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LAid方法，通过改进注意力机制和RoPE响应调节，提升视觉-语言模型的长上下文理解能力，使蒸馏模型的有效上下文窗口长度增加3.2倍。

Comments Accepted by AAAI 2026

G2L:From Giga-Scale to Cancer-Specific Large-Scale Pathology Foundation Models via Knowledge Distillation

G2L：从千兆级到癌症特异性大规模病理基础模型的知识蒸馏

Yesung Cho, Sungmin Lee, Geongyu Lee, Minkyung Lee, Jongbae Park, Dongmyung Shin

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 G2L框架通过知识蒸馏将千兆级模型能力转移到大规模模型，以更少的参数和数据实现癌症特异性任务的高性能表现。

Comments Accepted in AAAI 2026 workshop in Health Intelligence Special Theme on Foundation Models and AI Agents

Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting

通过回顾轨迹重写实现LM代理的样本高效在线学习

Michael Y. Hu, Benjamin Van Durme, Jacob Andreas, Harsh Jhamtani

机构 * New York University（纽约大学） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；language agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ECHO通过回顾轨迹重写提升LM代理的样本效率，有效利用过去经验以更快适应新环境。

KVCrush: Key value cache size-reduction using similarity in head-behaviour

KVCrush: 利用头部行为相似性进行键值缓存尺寸缩减

Gopi Krishna Jha, Sameh Gobriel, Liubov Talamanova, Nilesh Jain

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KVCrush通过利用头部行为相似性，减少KV缓存尺寸并提升模型精度，兼容多种实际部署方案。

Journal ref Proceedings of the 17th Asian Conference on Machine Learning (2025), PMLR

Universal Battery Degradation Forecasting Driven by Foundation Model Across Diverse Chemistries and Conditions

基于基础模型的通用电池退化预测：跨多样化学物质和条件

Joey Chan, Huan Wang, Haoyu Pan, Wei Wu, Zirong Wang, Zhen Chen, Ershun Pan, Min Xie, Lifeng Xi

机构 * Department of Industrial Engineering and Management, Shanghai Jiaotong University, Shanghai, China.（工业工程与管理系，上海交通大学，上海，中国） ； Department of Systems Engineering, The City University of Hong Kong, Hong Kong.（系统工程系，香港城市大学，香港） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出基于基础模型的通用电池退化预测框架，通过跨多样化学物质和条件的统一模型，实现稳定性能和高准确性。

Comments Due to space limitations, the open-source method for supporting materials is currently under discussion

MambaFormer: Token-Level Guided Routing Mixture-of-Experts for Accurate and Efficient Clinical Assistance

MambaFormer: 令牌级引导路由混合专家模型用于准确且高效的临床辅助

Hamad Khan, Saddam Hussain Khan

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MambaFormer通过令牌级引导路由混合专家模型，实现高效准确的医疗问答和临床辅助，以超低延迟优于现有技术。

Comments 28 Pages, Tables 12, Figure 09

A Hybrid Architecture for Multi-Stage Claim Document Understanding: Combining Vision-Language Models and Machine Learning for Real-Time Processing

多阶段索赔文档理解的混合架构：结合视觉语言模型和机器学习实现实时处理

Lilu Cheng, Jingjun Lu, Yi Xuan Chan, Quoc Khai Nguyen, John Bi, Sean Ho

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出一种混合架构，结合OCR、逻辑回归和视觉语言模型，实现高效准确的索赔文档处理，提升自动化效率300倍。

Comments 19 pages, 3 figures, 3 tables

RS-Prune: Training-Free Data Pruning at High Ratios for Efficient Remote Sensing Diffusion Foundation Models

RS-Prune: 无需训练的数据裁剪以高比例提升高效遥感扩散基础模型

Fan Wei, Runmin Dong, Yushan Lai, Yixiang Yang, Zhaoyang Luo, Jinxiao Zhang, Miao Yang, Shuai Yuan, Jiyao Zhao, Bin Luo, Haohuan Fu

机构 * Department of Earth System Science, Tsinghua University（清华大学地球系统科学系） ； School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生学院） ； Department of Geography, The University of Hong Kong（香港大学地理系） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 RS-Prune提出一种无需训练的高比例数据裁剪方法，通过局部信息与全局多样性结合，提升遥感扩散模型的收敛性和生成质量。

RS-vHeat: Heat Conduction Guided Efficient Remote Sensing Foundation Model

RS-vHeat：基于热传导的高效远程传感基础模型

Huiyang Hu, Peijin Wang, Hanbo Bi, Boyuan Tong, Zhaozhi Wang, Wenhui Diao, Hao Chang, Yingchao Feng, Ziqi Zhang, Yaowei Wang, Qixiang Ye, Kun Fu, Xian Sun

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 RS-vHeat通过热传导运算符和自监督策略，实现高效多模态遥感基础模型，提升效率和性能。

Comments 19 pages, 8 figures and 10 tables

Journal ref Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025

AdaptInfer: Adaptive Token Pruning for Vision-Language Model Inference with Dynamical Text Guidance

AdaptInfer: 用于视觉-语言模型推理的自适应令牌剪枝与动态文本引导

Weichen Zhang, Zhui Zhu, Ningbo Li, Shilong Tao, Kebin Liu, Yunhao Liu

机构 * Global Innovation Exchange, Tsinghua University（清华大学全球创新交流中心） ； Department of Automation, Tsinghua University（清华大学自动化系） ； School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 AdaptInfer通过动态文本引导和自适应令牌剪枝，有效降低视觉-语言模型推理成本，提升推理效率与准确性。

Falcon-H1R: Pushing the Reasoning Frontiers with a Hybrid Model for Efficient Test-Time Scaling

Falcon-H1R：通过高效推理扩展的混合模型推动推理前沿

Falcon LLM Team, Iheb Chaabane, Puneesh Khanna, Suhail Mohmad, Slim Frikha, Shi Hu, Abdalgader Abubaker, Reda Alami, Mikhail Lubinets, Mohamed El Amine Seddik, Hakim Hacid

机构 * Falcon LLM Team（Falcon LLM团队） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 Falcon-H1R通过高效推理优化和混合模型设计，在保持模型规模的同时实现高效推理性能的突破。

MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers

MACA：一种将可信大语言模型提炼为高效检索器的框架

Satya Swaroop Gudipudi, Sahil Girhepuje, Ponnurangam Kumaraguru, Kristine Ma

机构 * JP Morgan Chase（摩根大通公司） ； IIIT Hyderabad（海得拉巴印度理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MACA通过提炼可信LLM为高效检索器，提升检索准确率并减少LLM调用成本

Self-Speculative Biased Decoding for Faster Re-Translation

自适应推测性偏置解码用于更快的重译

Linxiao Zeng, Haoyun Deng, Kangyuan Shu, Shizhen Wang

机构 * Zoom Communications, Inc（Zoom通讯公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SSBD通过利用流式翻译中的时间一致性，实现重译的加速，同时保持翻译质量，无需额外调优。