Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces
Qualcomm AI Research（高通人工智能研究院）
目前最先进的神经架构搜索（NAS）方法既不能有效地扩展到多个硬件平台，也不能处理不同的架构搜索空间。为了解决这个问题，我们提出了DONNA（蒸馏最佳神经网络架构），一个快速，可扩展和多样化的NAS，可扩展到许多用户场景的新管道。DONNA由三个阶段组成。首先，从参考模型中使用分块知识蒸馏来构建精度预测器。该预测器使得能够在具有变化的宏观架构参数（诸如层类型和注意力机制）以及微架构参数（诸如块重复和扩展速率）的不同网络之间进行搜索。其次，快速进化搜索使用准确度预测器和设备上的测量为任何场景找到一组帕累托最优架构。第三，优化模型可以快速微调到从头开始训练的准确性。DONNA在查找设备上最先进的架构方面比MNasNet快100倍。分类ImageNet，DONNA架构在Nvidia V100 GPU上比EfficientNet-B0和MobileNetV2快20%，在三星S20智能手机上比MobileNetV2快10%，精度高0.5%。除了NAS之外，DONNA还用于搜索空间扩展和探索，以及硬件感知的模型压缩。
2021-08-27 cs.AI cs.CV cs.LG
Is Retraining-Free Enough? The Necessity of Router Calibration for Efficient MoE Compression
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea（电气与计算机工程系，首尔国立大学，首尔，韩国）；Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, South Korea（人工智能跨学科项目，首尔国立大学，首尔，韩国）
本文提出路由知识蒸馏方法，通过轻量级路由校准实现无需重新训练的MoE压缩，有效解决路由-专家不匹配问题，提升细粒度MoE的性能表现。
2026-02-10 cs.AI cs.LG
Foundry: Distilling 3D Foundation Models for the Edge
GREYC, Normandy University, Unicaen, ENSICAEN, UMR CNRS 6072（GREYC，诺曼底大学，卡昂大学，ENSICAEN，CNRS UMR 6072）；IIT Delhi（印度理工学院德里分校）；IIT Kanpur（印度理工学院坎普尔分校）
本文提出Foundry，一种蒸馏3D点云的大规模自监督学习模型的方法，通过压缩模型保留通用表示能力，使模型更适用于资源受限的边缘设备。
2026-03-26 cs.AI cs.CV cs.LG
Abstract Compression of Conversational Audio Context for LLM-based ASR
本文研究了多模态上下文对基于LLM的ASR的提升效果及高效表示方法，提出抽象压缩技术以减少先前对话的音频负载，实验证明其在领域内和领域外数据集上均有效。
2026-10-21 cs.AI cs.CL cs.LG
Distilling Hypernymy Relations from Language Models: On the Effectiveness of Zero-Shot Taxonomy Induction
BITS Pilani（Birla理工学院皮拉尼校区）；Cardiff University（卡迪夫大学）
本文分析了zero-shot分类学习方法，该方法通过提示和句子评分从语言模型中提取知识。我们表明，尽管它们很简单，这些方法优于一些监督策略，并在适当的条件下与当前最先进的竞争力。我们还表明，提示的统计和语言特性决定下游的性能。
2022-02-10 cs.AI cs.CL
Latent Context Compilation: Distilling Long Context into Compact Portable Memory
The Chinese University of Hong Kong（香港中文大学）
本文提出潜在上下文编译方法，通过LoRA模块将长上下文压缩为紧凑内存，无需合成数据即可提升LLM部署效率。
2026-01-31 cs.AI cs.CL cs.LG
Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors
研究探讨仅用语言规则作提示压缩器的可行性，通过离线进化搜索找到有竞争力的规则组合，所产生的语言压缩器仅用CPU端处理，经双路径协议评估性能与先进策略相似，揭示了压缩时规则变化及性能随压缩力度的表现。
2026-10-15 cs.AI cs.CL
Information-Bottleneck-Based Behavior Representation Learning for Multi-agent Reinforcement learning
Tsinghua University（清华大学）；Louisiana State University（路易斯安那州立大学）
在多智能体深度强化学习中，提取其他智能体的足够且紧凑的信息对于实现算法的高效收敛和可扩展性至关重要。在规范框架中，这些信息的提取通常以隐式和不可解释的方式完成，或者显式地使用无法反映信息压缩和表示中的效用之间的关系的成本函数。本文提出了基于信息瓶颈的其他智能体行为表征学习的多智能体强化学习（IBORM）方法，以显式地寻找低维映射编码器，通过该编码器建立与其他智能体行为相关的紧凑且信息丰富的表征。IBORM利用信息瓶颈原理对观测信息进行压缩，同时保留足够的与其他Agent行为相关的信息用于合作决策。实验结果表明，与隐式行为表示学习和未显式考虑信息压缩和效用的显式行为表示学习相比，IBORM具有最快的收敛速度和最好的学习性能.
2021-09-29 cs.IT cs.LG cs.MA
Online Cross-Layer Knowledge Distillation on Graph Neural Networks with Deep Supervision
College of Software, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
图神经网络（GNNs）因其在处理不规则图数据方面的强大能力而成为学术界和工业界最热门的研究课题之一。然而，大规模数据集对在资源有限的边缘设备中部署GNN提出了巨大的挑战，模型压缩技术引起了相当大的研究关注。现有的模型压缩技术，如知识蒸馏（KD），主要集中在卷积神经网络（CNN）。最近只有有限的尝试以离线方式从GNN中提取知识。由于教师模型的性能不一定会随着GNN中层数的增加而提高，因此选择合适的教师模型将需要大量的努力。为了应对这些挑战，我们提出了一种新的在线知识蒸馏框架称为Alignahead++在本文中。Alignahead++在交替训练过程中将学生层中的结构和特征信息传输到另一个同时训练的学生模型的前一层。同时，为了避免GNNs中的过度平滑问题，Alignahead++通过在每个中间层添加辅助分类器来防止节点特征嵌入的崩溃，从而在Alignahead++中采用深度监督。在PPI、Cora、PubMed和CiteSeer四个数据集上的实验结果表明，在没有预先训练好的教师模型的监督下，我们的协同训练框架可以持续提高学生的成绩，并且其有效性通常可以通过增加学生的数量来提高。
2022-10-25 cs.AI cs.LG
PromptKD: Distilling Student-Friendly Knowledge for Generative Language Models via Prompt Tuning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；AITRICS
本文提出PromptKD方法，首次在知识蒸馏中利用提示调优，使生成式语言模型能传递对学生友好的知识，在仅添加教师模型0.0007%参数的情况下实现最先进性能，并有效缓解暴露偏差。
2024-09-27 cs.AI cs.CL cs.LG
Multi-Aspect Knowledge Distillation for Language Model with Low-rank Factorization
Key Laboratory of Big Data & Artificial Intelligence in Transportation（交通大数据与人工智能重点实验室）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
本文提出多方面知识蒸馏方法，通过深入模仿自注意力和前馈模块，捕捉不同方面的丰富语言知识，实验表明其在相同存储预算下能与强基线模型竞争，并在蒸馏自回归架构模型中表现良好。
2026-04-03 cs.CL
Marginal Utility Diminishes: Exploring the Minimum Knowledge for BERT Knowledge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Inc（腾讯公司）
近年来，知识蒸馏（KD）在BERT压缩中取得了巨大的成功。研究人员发现，BERT隐藏层中包含的丰富信息有利于学生的表现，而不是像传统KD那样只从教师的软标签中学习。为了更好地利用隐藏的知识，一种常见的做法是迫使学生以逐层的方式深度模仿教师的所有标记的隐藏状态。然而，在本文中，我们观察到，虽然提取教师的隐藏状态知识（HSK）是有帮助的，性能增益（边际效用）迅速减少，因为更多的HSK是蒸馏。为了理解这种影响，我们进行了一系列的分析。具体来说，我们将BERT的HSK分为三个维度，即深度、长度和宽度。我们首先研究了各种策略来提取每个维度的关键知识，然后联合压缩三个维度。通过这种方式，我们表明：1）学生的成绩可以通过提取和提炼关键的HSK来提高，2）使用HSK的一小部分可以达到与广泛的HSK蒸馏相同的成绩。基于第二个发现，我们进一步提出了一个有效的KD范式来压缩BERT，它不需要加载教师在培训学生。对于两种学生模型和计算设备，所提出的KD范式产生了2.7x ~ 3.4x的训练加速比。
2021-06-10 cs.CL
Whispering Context: Distilling Syntax and Semantics for Long Speech Transcripts
Independent Researcher（独立研究者）
本文提出将 LLaMA 的句法与语义上下文知识通过最优传输词元蒸馏和句子嵌入表示损失蒸馏到 Whisper 中，在 Spoken Wikipedia 长音频基准上显著改善 WER、NER、大小写和标点性能。
2025-08-18 cs.AI cs.CL
Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages
University of New South Wales Australia（新南威尔士大学（澳大利亚））；University of Technology Sydney Australia（悉尼科技大学（澳大利亚））；University of Southampton United Kingdom（南安普顿大学（英国））；Macquarie University Australia（麦考瑞大学（澳大利亚））；MBZUAI UAE（阿联酋人工智能研究所）
针对低资源语言少标签文本分类难题，Flick提出从更广泛初始簇提炼高置信度伪标签，引入新的伪标签细化组件及自适应top-k选择机制，经14个数据集验证，展现出优越性能和适应性。
2026-07-28 cs.AI cs.CL
CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression
Independent（独立研究者）；Adobe Research（Adobe研究院）
提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。
2026-06-24 cs.AI cs.CL cs.LG
Differential Privacy, Linguistic Fairness, and Training Data Influence: Impossibility and Possibility Theorems for Multilingual Language Models
University of Copenhagen（哥本哈根大学）
本文研究多语言语言模型中差分隐私、语言公平性、压缩与训练数据影响透明性能否共存，通过定理证明与两类NLP实验揭示隐私与影响稀疏性的冲突。
2023-08-17 cs.AI cs.CL cs.CR
RoSearch: Search for Robust Student Architectures When Distilling Pre-trained Language Models
Beihang University（北京航空航天大学）
预训练的语言模型在NLP任务中表现出色。已经提出了各种知识蒸馏方法来减少预先训练的语言模型的繁重计算和存储需求。然而，从我们的观察，通过知识蒸馏获得的学生模型遭受对抗攻击，这限制了它们在安全敏感场景中的使用。为了克服这些安全问题，提出了一种综合框架RoSearch，用于在进行知识蒸馏时搜索具有更好对抗鲁棒性的学生模型。建立了一个基于有向无环图的搜索空间，并采用进化搜索策略指导搜索过程。每个搜索到的体系结构都是通过预训练的语言模型上的知识蒸馏来训练的，然后在鲁棒性、准确性和效率感知度量（如环境适应性）下进行评估。实验结果表明，RoSearch在不同的数据集上，学生模型的鲁棒性从7%~18%提高到45.8%~47.8%，其权重压缩比与现有的蒸馏方法相当（相对于教师模型BERT_BASE提高了4.6 $\times$ ~6.5 $\times$），准确率下降较小。此外，我们总结了学生架构和鲁棒性之间的关系，通过搜索模型的统计。
2021-06-07 cs.AI cs.CL cs.LG
Bridging Information-Theoretic and Geometric Compression in Language Models
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究及高级研究学院）
该研究从几何与信息论双视角分析预训练语言模型的压缩机制，验证二者高度相关且高压缩率预示模型快速适配，同时首次评估语言数据的固有维度估计器，明确部分有效估计器。
2023-11-09 cs.CL
SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning
Sony Europe B.V.（索尼欧洲有限公司）
SKILL提出基于层相似性层次聚类的跨层组知识蒸馏方法，用于压缩语音自监督模型，在30M参数级别多个SUPERB任务上超越DPHuBERT并达到最先进性能。
2024-02-26 cs.CL cs.LG cs.SD
Scavenging Hyena: Distilling Transformers into Long Convolution Models
McGill University（麦吉尔大学）
针对大语言模型预训练效率低、注意力机制长上下文处理难的问题，提出用知识蒸馏将Transformer的注意力头替换为Hyena模块的跨架构迁移方法，在准确率和效率上均优于传统预训练，助力可持续AI发展。
2024-01-31 cs.CL cs.LG
Distilling Multilingual Vision-Language Models: When Smaller Models Stay Multilingual
VISTEC；AI Singapore
视觉语言模型（VLM）在不同语言之间表现出不均匀的性能，当模型大小减小时，这个问题通常会加剧。虽然知识蒸馏（KD）在将知识从较大的虚拟学习模型转移到较小的虚拟学习模型方面显示出有希望的结果，但在使用多种语文方面应用KD是一个探索不足的领域。本文提出了一个受控的经验研究KD行为跨越五个蒸馏方法，隔离跨语言表示一致性和下游性能稳定性的影响下模型压缩。我们研究了CLIP和SigLIP2的五种蒸馏配方，并在域内检索和域外视觉QA上对其进行了评估。我们发现，尽管模型大小减半，但某些配置保留甚至提高了多语言检索的鲁棒性，但其他配置无法保持跨任务的稳定性，暴露了设计敏感的权衡，而这些权衡是聚合准确性本身无法揭示的。
2025-10-30 cs.CL
The Sword, Shield, and Achilles' Heel: Characterizing the Linguistic Inductive Bias of Large Language Models for Spatial Reasoning in Navigation Planning
East China Normal University（东华大学）；Information Engineering University（信息工程大学）；Zhengzhou University（郑州大学）
提出双干预框架，通过表示干预和上下文干预分离语言结构与上下文线索，揭示LLM在导航规划中语言归纳偏置的规律：拓扑信息是稳健规划的支柱，语言格式是双刃剑，语义信息是致命弱点。
2026-05-29 cs.AI cs.CL
Co-training and Co-distillation for Quality Improvement and Compression of Language Models
Meta AI；Abridge AI；KAIST（韩国科学技术院）
针对知识蒸馏中小模型性能难超原始大模型的问题，提出协同训练与协同蒸馏框架CTCD，通过双模型互蒸馏双向提升性能，小模型在GLUE基准上比原始大模型高1.66，可结合现有技术进一步优化。
2023-11-07 cs.AI cs.CL
Contrastive Representation Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们经常希望将表征知识从一个神经网络转移到另一个。例子包括将一个大的网络提炼成一个较小的网络，将知识从一种感官形式转移到第二种感官形式，或者将一组模型集成到一个估计器中。知识蒸馏，这些问题的标准方法，最大限度地减少了教师和学生网络的概率输出之间的KL分歧。我们证明，这一目标忽略了教师网络的重要结构知识。这激发了另一个目标，通过这个目标，我们训练学生在教师的数据表示中捕获更多的信息。我们将这一目标表述为对比学习。实验表明，我们所得到的新目标优于知识蒸馏和其他尖端蒸馏器的各种知识转移任务，包括单模型压缩，合奏蒸馏，跨模态转移。我们的方法在许多传输任务中设置了一个新的最先进的状态，有时甚至在与知识蒸馏相结合时优于教师网络。代码：http://github.com/HobbitLong/RepDistiller.
2022-01-24 cs.CV cs.LG stat.ML
Distilling Neural Networks for Greener and Faster Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
近年来，自然语言处理研究的碳足迹一直在增加，因为它依赖于大型且低效的神经网络实现。蒸馏是一种网络压缩技术，它试图将知识从一个大的模型传递到一个较小的模型。我们使用师生蒸馏来提高Biaffine依赖解析器的效率，该解析器在准确性和解析速度方面获得了最先进的性能（Dozat和Manning，2017）。当提取到原始模型的可训练参数的20%时，我们在许多不同的通用依赖树库中仅观察到UAS和LAS的平均$\sim$ 1点下降，同时在推理时间比CPU（GPU）上的基线模型快2.30倍（1.19倍）。我们还观察到一个小的性能提高时，压缩到80%的一些树库。最后，通过蒸馏，我们得到一个解析器，这不仅是更快，而且更准确的比最快的现代解析器在Penn树库。
2020-06-01 cs.CL
Lifting the Curse of Capacity Gap in Distilling Language Models
Beijing Institute of Technology（北京理工大学）；Meituan NLP（美团自然语言处理团队）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文针对语言模型蒸馏中因师生容量差距过大导致的性能缺陷问题，提出最小专家混合（MiniMoE）方法，通过引入稀疏激活机制在不增加推理计算的前提下扩大学生模型容量，有效消除了容量差距诅咒并实现了最先进的压缩性能。
2023-05-20 cs.CL cs.LG
Structural Rationale Distillation via Reasoning Space Compression
University of Calgary（卡尔加里大学）；University of Michigan（密歇根大学）
本文提出D-RPC方法，通过压缩推理空间约束教师模型生成一致且多样化的推理路径，提升学生模型在数学和常识推理任务中的表现，优于多种基线方法。
2026-11-05 cs.AI cs.CL cs.LG
Linguistic properties and model scale in brain encoding: from small to compressed language models
TU Berlin（柏林技术大学）；IIIT-Hyderabad（海得拉巴理工学院）；GE HealthCare（通用电气医疗）；AWS AI Labs, Amazon（亚马逊AI实验室）；Microsoft Research, Bangalore, India（微软研究院，班加罗尔，印度）；Microsoft, Hyderabad, India（微软，海得拉巴，印度）；IIT Delhi（德里理工学院）
研究发现小型语言模型在脑一致性上可与大模型媲美，压缩不影响脑可预测性，挑战了神经扩展的常见假设。
2026-02-07 cs.AI cs.CL cs.LG
FOCUS: Training-Free Decision-Preserving Context Compression for LLM Agents
M365 Research, Microsoft（微软M365研究院）
FOCUS提出免训练的测试时上下文压缩方法，通过因果决策保持重新定义压缩，无需训练即可在多种智能体基准上削减峰值上下文48%、依赖73%，并提升任务成功率8.9个百分点。
2026-09-30 cs.AI cs.CL
Linguistic Structure as Composition and Perturbation
本文讨论了从未经处理的文本和语音信号中学习语言的问题，重点讨论了学习词汇的问题。特别是，它认为语言的表示，其中语言参数，如单词是通过扰动现有参数的组成。在文本分割和压缩，从原始语音的词典的收购，以及收购文本和人工表示的意义之间的映射的几个例子证明了这种表示的力量。
1996-06-21 cmp-lg cs.CL
Data-Free Distillation of Language Model by Text-to-Text Transfer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对现有NLP无数据知识蒸馏多聚焦仅编码器分类任务、未利用生成式模型进展的问题，提出DFKD-T³框架，用预训练生成模型可控生成适配压缩的任务数据，在多下游任务中提升蒸馏性能且优于SOTA方法。
2023-11-03 cs.AI cs.CL
Distilling Examples into Task Instructions: Enhanced In-Context Learning for Real-World B2B Conversations
针对B2B对话分类中传统上下文学习因示例拼接导致上下文过长而性能受限的问题，提出知识蒸馏方法将冗长示例压缩为结构化分类标准和精确任务描述，实现令牌使用减少99%，宏平均AUC提升7%，且随上下文增长保持鲁棒。
2026-06-16 cs.CL
Distilling Sequential Computation in Transformer Language Models
The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；Stony Brook University（石溪大学）
提出用轻量级合并模块将token序列折叠为替代嵌入，压缩Transformer输入与KV缓存，减少序列长度达40%且精度损失极小，适用于多种下游任务。
2026-09-24 cs.CL
Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
Korea University（高丽大学）
Q-SPT提出可学习查询式双流压缩器，分别处理语义和声学流，并辅以文本损失监督，在低帧率下实现最优重建、识别与合成质量。
2026-10-02 cs.CL cs.SD eess.AS
AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Research（微软研究院）
知识蒸馏（KD）方法将大模型压缩成较小的学生，其具有给定预先指定的计算成本的手动设计的学生架构。这需要几次试验来找到一个可行的学生，并进一步重复每个学生或计算预算变化的过程。我们使用神经架构搜索（NAS）自动提取几个压缩的学生与可变成本从一个大的模型。目前的工程训练一个单一的超级LM组成的数以百万计的子网的权重共享，导致不同大小的子网之间的干扰。我们的框架AutoDistil通过以下步骤解决了上述挑战：（a）将归纳偏差和分类法用于将Transformer搜索空间划分为K个紧凑的子空间（对于基本、小和微小的典型学生大小，K=3）;（b）使用任务不可知目标（例如，自我注意力蒸馏）与学生的权重共享;（c）轻量级搜索最佳学生，无需重新训练。完全与任务无关的训练和搜索允许学生在任何下游任务上进行微调。在GLUE基准测试中对最先进的KD和NAS方法进行的实验表明，AutoDistil的性能优于领先的压缩技术，计算成本降低了2.7倍，任务性能损失可以忽略不计。
2022-02-20 cs.CL
Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System
Microsoft（微软）；Beijing University of Posts and Telecommunications（北京邮电大学）
深度预训练和微调模型（如BERT，OpenAI GPT）在问答领域表现出了出色的效果。然而，由于模型参数的数量庞大，这些模型的推理速度非常慢。如何将这些复杂的模型应用到实际的业务场景中成为一个具有挑战性但又具有实际意义的问题。以前的工作通常利用模型压缩的方法来解决这个问题。然而，这些方法通常会在模型压缩过程中引入信息损失，导致压缩后的模型与原始模型不可比。为了解决这一问题，本文提出了一种多任务知识蒸馏模型（Multi-task Knowledge Distillation Model，简称MKDM），将多个教师模型中的知识提取到一个轻量级的学生模型中，用于网络规模的问答系统。通过这种方式，可以传递更广泛的知识。实验结果表明，我们的方法可以显着优于基线方法，甚至达到与原始教师模型相当的结果，以及显着的模型推理速度。
2019-04-21 cs.CL
Distilling Text into Circuits
Quantinuum, Quantum Compositional Intelligence, Oxford（Quantinuum，量子组合智能，牛津）；Oxford University, Department of Computer Science（牛津大学计算机科学系）
本文关注的是自然语言中的意义结构。早些时候，一个名为DisCoCirc的框架被勾画出来，它（1）是组合和分布的（a.k.a.（2）适用于一般文本;（3）捕捉意义之间的语言“联系”（参见语法）（4）随着文本的进展更新词义;（5）构建句子类型;（6）适应歧义。在这里，我们意识到DisCoCirc是英语的一个重要片段。当传递到DisCoCirc的文本电路时，一些“语法官僚主义”被消除，也就是说，DisCoCirc显示出很大程度的语言间和语言内独立性。也就是说，独立于不同语言之间不同的词序惯例，以及独立于许多短句与少数长句的选择。这种语言间的独立性意味着我们的文本循环应该延续到其他语言，而不像类别语法的语言特定类型。因此，文本回路是“文本的实际内容”的精益结构，也就是说，文本中的含义在几个表达层之间的内部运作（参见。单词、句子、文本），并可能捕捉到语法之下真正普遍的东西。消除语法官僚主义也解释了为什么DisCoCirc：（8）适用于语言之外，例如空间，视觉和其他认知模式。虽然人类无法通过文字电路进行口头交流，但机器可以。我们首先定义一个“混合语法”的英语片段，即一个有目的的，最小的语法形式主义需要获得文本电路。然后，我们详细的翻译过程，使所有的文本生成的语法产生一个文本电路。相反，对于任何通过自由组合生成元而获得的文本回路，存在一个产生它的文本（具有混合语法）。因此：（9）文本回路对于文本…
2023-01-25 cs.AI cs.CL cs.LO
Visual Merit or Linguistic Crutch? A Close Look at DeepSeek-OCR
Chengdu Institute of Computer Applications, CAS（成都计算机应用研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；IMRAM, Tohoku University（东大理工学院IMRAM）；China Tower Corporation Limited（中国塔公司）；CSIS, Tohoku University（东大理工学院CSIS）；National Institute for Materials Science（国家材料科学研究所）；Shenzhen Institutes of Advanced Technology, CAS（深圳先进技术研究所，中国科学院）；Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术大学人工智能研究院）
DeepSeek-OCR通过光学映射实现高比率视觉-文本压缩，但其性能依赖于语言先验，缺乏语言支持时性能大幅下降，揭示了当前压缩技术可能加剧长上下文瓶颈的问题。
2026-01-08 cs.CL cs.CV
Compression Beyond the Uncompressed: A Two-Stage Training Recipe for Soft Context Compression in RAG
Shandong University（山东大学）；Bloomberg（彭博公司）；Leiden University（莱顿大学）
针对RAG中检索上下文冗长导致推理效率低的问题，提出两阶段训练方案DEX-Comp，在5个开放域QA基准上实现16倍压缩、4-24倍加速，性能与未压缩RAG相当或更优。
2026-09-29 cs.CL
Direct and indirect evidence of compression of word lengths. Zipf's law of abbreviation revisited
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；University of Tübingen（蒂宾根大学）
本研究重访Zipf缩写定律，提供口语中46种语言、14个语系的广泛证据，并通过推导随机基线公式，直接证明词长系统性地低于偶然水平，为语言压缩提供直接与间接证据。
2023-05-27 cs.CL physics.soc-ph
Compression and the origins of Zipf's law for word frequencies
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
在这里，我们勾勒出一个新的推导齐普夫定律的词频最佳编码的基础上。推导的结构让人想起了曼德尔布罗特的随机类型模型，但它比随机类型有多个优点：（1）它从现实的认知压力开始（2）它不需要微调参数（3）它揭示了语言的其他统计规律的起源，从而可以导致语言规律的紧凑理论。我们的研究结果表明，齐普夫定律在人类语言中的重现可能源于对简单快速沟通的压力。
2016-07-20 cs.CL physics.data-an physics.soc-ph
Learning to Abstract with Nonparametric Variational Information Bottleneck
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出将非参数变分信息瓶颈应用于堆叠Transformer编码器，使同一模型不同层学习不同抽象层级的文本表示，并验证其语言学信息更丰富且对对抗扰动更鲁棒。
2023-10-26 cs.CL
Psychosis involves a deficit of information compression in connected speech
Universitat Pompeu Fabra（庞培法布拉大学）；Dokuz Eylul University（多库兹·埃吕尔大学）；McLean Hospital（麦克莱恩医院）；Harvard Medical School（哈佛医学院）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Institut Català de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚研究与高级研究院（ICREA））
本研究利用大型语言模型发现精神病患者连贯言语中信息压缩存在缺陷，表现为惊异度差异减弱和内在维度降低，且与语法组织相关。
2026-09-15 cs.CL
From Models to Microtheories: Distilling a Model's Topical Knowledge for Grounded Question Answering
Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）；Thomas Jefferson University（托马斯杰斐逊大学）；University of Arizona（亚利桑那大学）
本文提出微理论方法，通过蒸馏语言模型的主题核心知识生成简洁非冗余的句子集，有效补充语料库，提升基于事实问答的准确性与可验证性，并提供可解释的模型知识窗口。
2024-12-24 cs.CL
Natural Language Syntax Complies with the Free-Energy Principle
McGovern Medical School, University of Texas Health Science Center（德克萨斯大学健康科学中心麦戈文医学院）；Texas Institute for Restorative Neurotechnologies, University of Texas Health Science Center（德克萨斯大学健康科学中心德克萨斯恢复性神经技术研究所）；University College London（伦敦大学学院）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所）
自然语言语法产生一个无限的层次结构表达式数组。我们声称，这些都是用于主动推理的服务，符合自由能原理（FEP）。虽然概念上的进步以及建模和仿真工作已经试图连接语音分割和语言通信的FEP，我们扩展这个程序的基础计算负责生成语法对象。我们认为，最近提出的原则，经济的语言设计-如“最小搜索”的标准，从理论语法-坚持FEP。这为FEP提供了更大程度的解释力-关于更高的语言功能-并为语言学提供了关于可计算性的第一原则的基础。我们展示了如何树的几何深度和柯尔莫哥洛夫复杂性估计（招募Lempel-Ziv压缩算法）可以用来准确地预测法律操作的语法语法，直接在变分自由能最小化的配方。这是用来激发语言设计的一般原则，我们称之为图灵-乔姆斯基压缩（TCC）。我们使用TCC对齐关注的语言学家与FEP提供的自组织的规范性帐户，通过编组证据从理论语言学和心理语言学地面的核心原则，有效的句法计算内主动推理。
2022-10-27 cs.CL
General Cross-Architecture Distillation of Pretrained Language Models into Matrix Embeddings
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；University of Ulm（乌尔姆大学）
大型预训练语言模型（PreLM）正在所有基准测试中彻底改变自然语言处理。然而，它们的庞大规模对于小型实验室或在移动设备上的部署来说是令人望而却步的。修剪和蒸馏等方法可以减小模型大小，但通常保留相同的模型架构。相比之下，我们探索将PreLM提取到一个不同的，更有效的架构中，即连续字乘法（CMOW），它将每个字嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW架构及其CMOW/CBOW-Hybrid变体，其中包含双向组件以获得更强的表达能力，预训练期间用于一般（任务不可知）蒸馏的每个令牌表示，以及促进句子对下游任务的双序列编码方案，例如句子相似性和自然语言推理。我们的基于矩阵的双向CMOW/CBOW-Hybrid模型在问题相似度和识别文本蕴涵方面与DistilBERT具有竞争力，但仅使用一半的参数，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务CoLA之外，我们匹配或超过了GLUE基准的所有任务的ELMo分数。然而，与以前的跨架构蒸馏方法相比，我们在检测语言可接受性方面的得分增加了一倍。这表明基于矩阵的嵌入可以用于将大型PreLM提取为竞争模型，并激励在此方向上进行进一步的研究。
2022-07-28 cs.CL cs.LG
Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
本文提出信息容量作为评估大语言模型效率的新指标，通过文本压缩性能与计算复杂性关系衡量模型效率，并揭示主流模型的语言偏见问题。
2026-03-10 cs.AI cs.CL eess.SP
BERT-EMD: Many-to-Many Layer Mapping for BERT Compression with Earth Mover's Distance
Beijing Ultrapower Software Co.,Ltd.（北京超图软件股份有限公司）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
预先训练的语言模型（例如，BERT）在各种自然语言处理（NLP）任务中取得了显著的成功。然而，高存储和计算成本阻碍了预训练的语言模型有效地部署在资源受限的设备上。在本文中，我们提出了一种新的BERT蒸馏方法的基础上多对多层映射，它允许每个中间学生层从任何中间教师层学习。通过这种方式，我们的模型可以自适应地从不同的教师层学习各种NLP任务。%的动机是直觉，不同的NLP任务需要不同水平的语言知识包含在BERT的中间层。此外，我们利用地球移动器的距离（EMD）来计算必须支付的最小累积成本，将知识从教师网络到学生网络。EMD使得多对多层映射的有效匹配成为可能。%EMD可以应用于不同大小的网络层，有效地测量教师网络和学生网络之间的语义距离。此外，我们还提出了一种成本注意力机制来自动学习EMD中使用的层权值，以进一步提高模型的性能并加快收敛时间。在GLUE基准测试上的大量实验表明，与强大的竞争对手相比，我们的模型在准确性和模型压缩方面都具有竞争力的性能。
2020-10-13 cs.CL cs.LG
Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning
针对大语言模型部署的计算瓶颈，提出上下文压缩编码（CCE）框架，通过多阶段编码机制动态重构参数分布，在保留表示保真度的同时实现多层参数剪枝，在多任务中保持准确性且提升部署效率。
2025-02-12 cs.CL
MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
Microsoft Research（微软研究院）
预先训练的语言模型（例如，BERT（Devlin等人，2018）及其变体）在各种NLP任务中取得了显着的成功。然而，这些模型通常由数亿个参数组成，由于延迟和容量限制，这给实际应用中的微调和在线服务带来了挑战。在这项工作中，我们提出了一种简单有效的方法来压缩大型Transformer（Vaswani等人，2017）基于预训练的模型，称为深度自我注意蒸馏。小模型（学生）是通过深度模仿大模型（教师）的自我注意模块来训练的，自我注意模块在Transformer网络中起着至关重要的作用。具体来说，我们建议提取教师的最后一层Transformer的自我注意力模块，这对学生来说是有效和灵活的。此外，除了注意力分布（即，查询和键的缩放点积）。此外，我们表明，引入教师助理（Mirzadeh等人，2019）还有助于提炼大型预训练的Transformer模型。实验结果表明，我们的单语模型优于国家的最先进的基线在不同的参数大小的学生模型。特别是，它在SQuAD 2.0和几个GLUE基准测试任务上保持了99%以上的准确性，使用了50%的Transformer参数和教师模型的计算。我们还在将深度自注意力蒸馏应用于多语言预训练模型方面取得了有竞争力的结果。
2020-04-06 cs.CL
Speechformer: Reducing Information Loss in Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
针对直接语音翻译中因Transformer处理长音频序列需进行初始有损压缩导致信息丢失的问题，提出Speechformer架构，通过减少注意力层内存使用避免初始压缩，在更高层按语言学标准聚合信息，在标准语料库和低资源场景下分别提升0.8和4.0 BLEU。
2021-09-09 cs.CL
Concept than Document: Context Compression via AMR-based Conceptual Entropy
University of Southern Queensland（南方昆士兰大学）；University of Technology Sydney（技术悉尼大学）；The Hong Kong Polytechnic University（香港理工大学）；Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）；The Education University of Hong Kong（香港教育大学）
本文提出基于AMR的概念熵方法，通过压缩上下文保留核心语义，提升RAG任务的准确性和效率。
2025-11-24 cs.CL
ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；CSE, The Hong Kong University of Science and Technology（香港科学与技术大学计算机科学与工程系）；Guangzhou HKUST Fok Ying Tung Research Institute（广州HKUST福 Ying Tung研究 institute）；Terminus Technologies
ChunkKV以语义块为压缩单元，通过逐层索引复用技术，在保持相同压缩比下将长上下文LLM推理精度提升高达8.7%，吞吐量提高26.5%，有效解决KV缓存内存瓶颈。
2025-10-14 cs.CL
Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
研究在内容和下游能力受控时语言编码保留了什么，利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿，评估三种效用，发现各编码在不同方面表现不同，选择编码需考虑多因素进行速率-效用权衡。
2026-07-20 cs.CL
