Clip-Tuning: Towards Derivative-free Prompt Learning with a Mixture of Rewards
Baidu（百度）
无导数提示学习已经成为提示微调的轻量级替代方案，它只需要模型推理来优化提示。然而，现有的工作并没有充分利用大型预训练语言模型（PLM）的过度参数化的特点。在本文中，我们提出了剪辑调整，一个简单而有效的方法，采用不同的冻结“细化”网络的PLM获得混合奖励，从而推进衍生物自由提示学习。稀疏网络由所有隐藏单元组成，这些隐藏单元在静态辍学策略中幸存下来，其推理预测反映了提示训练样本的部分视图的集合。我们的方法优于以前的无梯度提示学习方法，并在Few-Shot设置下的七个语言理解基准测试中与基于梯度的同行实现了对等。
2022-10-21 cs.CL
From N-grams to Pre-trained Multilingual Models For Language Identification
University of Pretoria（比勒陀利亚大学）；Lelapa AI（莱拉帕人工智能）
本文研究了N-gram和预训练多语言模型在11种南非语言识别中的应用，发现Serengeti模型平均表现最优，并提出轻量级za_BERT_lid模型，性能媲美最佳非洲中心模型。
2024-10-11 cs.AI cs.CL
Mixtures of Deep Neural Experts for Automated Speech Scoring
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文提出一种结合自动语音识别与深度学习多分类器的两模块方法，利用多种文本表示和专家混合模型，在 Spoken CALL Shared Task 挑战赛数据上取得了三项评估指标迄今最高值。
2021-06-23 cs.CL
Neurons in Large Language Models: Dead, N-gram, Positional
Meta AI；TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）
本文轻量级分析了OPT模型家族，发现网络早期存在大量死神经元和token检测器，首次揭示了FFN更新专门移除而非添加信息的机制，并指出模型规模影响稀疏性及位置神经元的运作方式。
2023-09-09 cs.CL
Modeling Concentrated Cross-Attention for Neural Machine Translation with Gaussian Mixture Model
University of Chinese Academy of Sciences（中国科学院大学）
交叉注意是神经机器翻译的重要组成部分，以往的方法都是通过点积注意来实现的。然而，点积注意只考虑词与词之间的成对相关性，导致在处理长句时分散，忽视了源相邻关系。受语言学的启发，上述问题是由于忽视了一种称为集中注意力的交叉注意力引起的，这种注意力集中在几个中心词上，然后围绕它们扩散。在这项工作中，我们采用高斯混合模型（GMM）模型的集中注意力的交叉注意。在三个数据集上进行的实验和分析表明，该方法的性能优于基线，在对齐质量、N-gram准确率和长句翻译方面都有显着提高。
2021-09-14 cs.AI cs.CL
Pushing Mixture of Experts to the Limit: Extremely Parameter Efficient MoE for Instruction Tuning
Cohere for AI（Cohere人工智能研究院）；Cohere（Cohere公司）
本文提出极简参数高效的 MoE 架构，通过结合轻量级专家，仅更新不到 1% 的参数即可媲美全量微调并优于标准 PEFT，且能泛化至未见任务。
2023-09-11 cs.CL cs.LG
Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model
National Key Laboratory for Novel Software Technology（计算机软件新技术全国重点实验室）；Nanjing University（南京大学）
针对BERT中文拼写检查中显式词性噪声与隐式层次信息利用不足的问题，提出异构知识注入框架，以高斯混合模型辅助任务和n-gram逐层自注意力提升性能，超越多个基线。
2023-12-27 cs.CL
AdaSpark: Adaptive DSpark with Online Learning for Tree Verification and N-gram Fill
Zeraix
AdaSpark是一种在线学习调度器，无需预配置即可自适应选择验证宽度和候选排序，通过定价时间与接受概率，在多种目标上实现1.5-3.1倍加速，且不损失精度。
2026-10-06 cs.CL cs.LG
A Declarative-Procedural Perspective on Expert Routing in Bilingual Mixture-of-Experts Language Models
Sri Sivasubramaniya Nadar College of Engineering（斯里·西瓦苏布拉马尼亚·纳达尔工程学院）；Shiv Nadar University Chennai（钦奈希夫·纳达尔大学）
该研究探究双语MoE语言模型的专家路由是否形成语言结构，对比课程学习与无课程训练的模型，发现无课程模型专业化更强但依赖随机种子，课程模型路由更均衡，揭示MoE路由可出现可解释语言组织。
2026-08-31 cs.CL
Pre-Attention Expert Prediction and Prefetching for Mixture-of-Experts Large Language Models
针对现有MoE大语言模型专家预取方法准确率低、首层未优化、开销高的问题，提出基于同层注意力前激活值的轻量预注意力专家预测方法，在多个基准模型上实现最高97.62%的预测准确率，较SOTA方法提升约15%。
2025-11-10 cs.AI cs.CL
MoIN: Mixture of Introvert Experts to Upcycle an LLM
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出MoIN方法，通过在冻结的基础模型上添加轻量级适配器作为“内向型”专家，利用数据分组并行训练与路由推理，实现无需持续预训练即可高效升级LLM。
2024-10-13 cs.AI cs.CL cs.LG
Accelerating Dense LLMs via L0-regularized Mixture-of-Experts
YZW；FuTu AI（富途人工智能）；Wise AI
本文提出L0-MoE，利用L0正则化的轻量级混合专家方法，在不明显损失性能的前提下加速稠密大语言模型，实现高达2.5倍推理加速，超越现有加速基线。
2026-09-21 cs.AI cs.CL
No Need to Talk: Asynchronous Mixture of Language Models
EPFL（洛桑联邦理工学院）；Apple（苹果公司）
提出SMALLTALK LM异步混合语言模型训练方法，无需高带宽通信，轻量路由器按短前缀导向专家，不依赖语料聚类或元数据，同FLOPs下困惑度更低且下游任务表现更优。
2025-04-15 cs.CL cs.LG
A Lightweight Method to Disrupt Memorized Sequences in LLM
UC San Diego（加州大学圣迭戈分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
提出轻量级事后防御方法 TokenSwap，通过在大小模型间选择性交换 token 概率，有效降低 LLM 逐字记忆复现倾向且保持任务性能。
2025-05-27 cs.CL cs.LG
Task-Centric Acceleration of Small-Language Models
Amazon（亚马逊）
本文提出TASC框架，通过任务自适应序列压缩方法提升小型语言模型的推理效率，同时保持任务性能。
2026-02-27 cs.AI cs.CL cs.IT
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts
Google Research（谷歌研究院）
本文提出Omni-SMoLA，用Soft MoE软性混合多模态低秩专家，以较少新增参数缓解通用LMM多任务调优退化，并在视觉-语言生成任务上取得SoTA通用与专用性能。
2024-04-02 cs.CL cs.CV
Exploring Domain Robust Lightweight Reward Models based on Router Mechanism
Chungnam National University（忠南大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
针对单一奖励模型跨领域泛化差及重训成本高的问题，提出基于路由机制的三种轻量级领域特定奖励模型方法，在保持性能的同时有效减小了总参数规模。
2024-07-24 cs.AI cs.CL cs.LG
Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models
University of Pittsburgh（匹兹堡大学）；University of Central Florida（中佛罗里达大学）
针对传统联邦学习单一全局模型不适合轻量级提示的问题，提出基于混合专家的个性化联邦提示学习框架 pFedMoAP，通过下载非本地专家并利用本地注意力门控网络增强文本特征对齐，在 9 个数据集上验证了其有效性。
2025-04-01 cs.CL cs.CV cs.LG
NeKo: Cross-Modality Post-Recognition Error Correction with Tasks-Guided Mixture-of-Experts Language Model
NVIDIA
NeKo通过任务引导的专家混合模型，实现跨模态识别后的高效纠错，显著降低WER并提升BLEU分数。
2025-12-01 cs.AI cs.CL cs.LG
R&B: Domain Regrouping and Data Mixture Balancing for Efficient Foundation Model Training
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对数据混合策略依赖预定义领域且计算成本高的问题，提出R&B框架，通过语义相似性重组数据领域并利用Gram矩阵平衡数据组成，以极低计算开销匹配或超越现有方法。
2025-05-01 cs.AI cs.CL cs.LG
Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts
KAIST（韩国科学技术院）
针对MoE模型推理时动态路由导致的分布偏移，提出轻量级逐层分布对齐（LDA）方法，利用校准统计量修正表征，恢复性能并保持稀疏推理效率。
2026-09-10 cs.AI cs.CL cs.LG
