Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA（英伟达）
在这项工作中，我们介绍了一个简单而有效的自动语音识别（ASR）后处理模型。我们的模型具有基于transformer的编码器-解码器架构，该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略，并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中，我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善，特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
SpeechMoE2: Mixture-of-Experts Model with Improved Routing
Tencent AI Lab（腾讯人工智能实验室）
基于专家混合的声学模型和动态路由机制已被证明是语音识别的有前途的结果。路由器结构的设计原则对于大模型容量和高计算效率至关重要。我们以前的工作SpeechMoE只使用本地字素嵌入，以帮助路由器进行路由决策。为了进一步提高语音识别性能对不同的域和口音，我们提出了一种新的路由器架构，集成了额外的全局域和口音嵌入到路由器输入，以提高适应性。实验结果表明，与SpeechMoE算法相比，SpeechMoE 2算法在多领域和多口音任务中均能获得更低的字符错误率（CER）。首先，所提出的方法提供了高达1.6% - 4.8%的相对CER改善多领域的任务和1.9% - 17.7%的相对CER改善多口音的任务。此外，增加专家的数量也实现了一致的性能改善，并保持计算成本不变。
2021-11-23 cs.CL cs.SD eess.AS
On Comparison of Encoders for Attention based End to End Speech Recognition in Standalone and Rescoring Mode
Flipkart Internet Pvt. Ltd.（Flipkart互联网私人有限公司）
流式自动语音识别（ASR）模型更受欢迎，适合于基于语音的应用。然而，非流模型提供更好的性能，因为它们查看整个音频上下文。为了在语音搜索等流媒体应用中利用非流媒体模型的优势，它通常用于第二遍重新评分模式。使用非流模型对使用流模型生成的候选假设进行重新评分。在这项工作中，我们在独立和重新评分模式下评估了Flipkart语音搜索任务上基于非流注意力的端到端ASR模型。这些模型基于Listen-Attend-Spell（LAS）编码器-解码器架构。我们使用基于LSTM、Transformer和Conformer的不同编码器变体进行实验。我们比较了这些模型的延迟要求及其性能。总体而言，我们表明，Transformer模型提供了可接受的WER与最低的延迟要求。我们报告了约16%的相对WER改进，第二遍LAS重新评分，延迟开销低于5 ms。我们还强调了CNN前端与Transformer架构的重要性，以实现可比的字出错率（WER）。此外，我们观察到，在第二遍重新评分模式下，所有编码器都提供了类似的好处，而在独立文本生成模式下，性能差异非常突出。
2022-06-26 cs.CL cs.LG cs.SD
Combining TF-GridNet and Mixture Encoder for Continuous Speech Separation for Meeting Transcription
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Paderborn University（帕德博恩大学）
本文提出结合 TF-GridNet 与混合编码器的方法，用于会议转录中的连续语音分离，在 LibriCSS 单麦克风上取得最先进性能，并分析了改进空间。
2025-02-26 cs.CL cs.LG cs.SD
SpeechMoE: Scaling to Large Acoustic Models with Dynamic Routing Mixture of Experts
Tencent AI Lab（腾讯人工智能实验室）
近年来，基于Transformer的混合专家算法（Mixture of Experts，MoE）在许多领域都取得了可喜的成果。这在很大程度上是由于该架构的以下优点：首先，基于MoE的Transformer可以增加模型容量，而不会增加训练和推理时的计算成本。此外，基于MoE的Transformer是一种动态网络，可以适应实际应用中输入实例复杂性的变化。在这项工作中，我们探讨了基于MoE的语音识别模型，命名为Speech MoE。为了进一步控制路由器激活的稀疏性，提高门值的多样性，我们分别提出了稀疏性L1损失和平均重要性损失。此外，一个新的路由器架构中使用的语音MoE，它可以同时利用信息从一个共享的嵌入式网络和不同的MoE层的分层表示。实验结果表明，与传统静态网络相比，SpeechMoE在计算成本相当的情况下，可以获得更低的字符出错率（CER），在四个评估数据集上的CER相对改善为7.0%-23.0%。
2021-05-07 cs.CL cs.SD eess.AS
MoHAVE: Mixture of Hierarchical Audio-Visual Experts for Robust Speech Recognition
KAIST AI, Republic of Korea（韩国科学技术院人工智能学院）
针对现有音视频语音识别系统难以兼顾规模扩展与计算效率的问题，本研究提出基于稀疏MoE与分层门控机制的MoHAVE框架，在LRS3、MuAViC等基准任务上取得优异表现，为可扩展鲁棒语音识别树立新标杆。
2025-05-21 cs.CL cs.LG eess.AS
Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）
本文提出EVA模型，利用混合专家架构将视觉信息注入预训练语音识别模型，实现对野外视频的鲁棒视听语音识别，并在三个基准上取得最优结果。
2024-09-19 cs.CL cs.CV cs.SD
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据，提高了标记效率，并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域，语言和模态，这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT，一个自监督学习框架，推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量，分离和理解上下文，并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%，在日记化上的DER降低了31%，并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google（谷歌）
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别（ASR），并且当与设备上的个性化训练相结合时，它可以产生更好的识别结果。然而，传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中，我们介绍了一个基于模型的端到端的上下文自适应方法，是解码器不可知的，并服从设备上的个性化。我们的设备上的模拟实验表明，所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Mixture-of-Experts with Intermediate CTC Supervision for Accented Speech Recognition
Department of Computer Science and Engineering, POSTECH（计算机科学与工程系，POSTECH）；Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH）
Moe-Ctc通过中间CTC监督的专家混合模型，提升口音语音识别的鲁棒性和泛化能力，实现对多种口音的性能提升。
2026-02-02 cs.AI cs.CL
Tied Probabilistic Linear Discriminant Analysis for Speech Recognition
University of Edinburgh（爱丁堡大学）
使用概率线性判别分析（PLDA）的声学模型使用子空间捕获特征向量内的相关性，所述子空间不极大地扩展模型。这允许使用高维和相关的特征空间，而不需要估计多个高维协方差矩阵。在这封信中，我们扩展了最近提出的PLDA混合模型的语音识别通过捆绑PLDA的方法，这是能够更好地控制模型的大小，以避免过拟合。我们使用Switchboard语料库进行了实验，使用来自深度神经网络的梅尔频率倒谱系数特征和瓶颈特征。与PLDA混合模型、子空间高斯混合模型和深度神经网络相比，使用绑定PLDA获得了字出错率的降低。
2014-11-04 cs.AI cs.CL
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University（延世大学电子与电气工程系）
研究多语言ASR模型面临的多语言诅咒问题，提出MoLGE模型，基于S3Ms为相似语言簇分配专家模块并集成LoRA策略，研究语言分组策略影响，实验表明该模型以最少参数提升性能，为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Beyond Hard Sharing: Efficient Multi-Task Speech-to-Text Modeling with Supervised Mixture of Experts
Samsung ResearchKorea（三星研究院（韩国））
针对多任务硬参数共享导致的任务干扰问题，提出监督式混合专家（S-MoE），利用引导标记路由任务至独立专家，无需训练门控函数，在语音到文本模型中联合执行ASR和ST，使WER相对降低6.35%。
2025-08-05 cs.AI cs.CL cs.SD
SepRQ : Self-Supervised Speech Mixture Representation Learning via Mask-Free, Multi-Scale Source Separation
Univ Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；pyannoteAI；ILLS（拉瓦尔国际学习实验室）
SepRQ通过无掩码多尺度源分离目标替代掩码预测，在SUPERB基准上实现说话人日志和语音分离最先进性能，仅需85.68M参数，并开源。
2026-10-06 cs.CL cs.LG eess.AS
Building a great multi-lingual teacher with sparsely-gated mixture of experts for speech recognition
Microsoft（微软）
稀疏门混合专家模型（MoE）能够以较小的计算复杂性放大网络容量。在这项工作中，我们研究如何多语言的自动语音识别（ASR）网络可以扩展一个简单的路由算法，以达到更好的准确性。更具体地说，我们将稀疏门控MoE技术应用于两种类型的网络：序列到序列Transformer（S2 S-T）和Transformer换能器（T-T）。我们通过一组多语言数据的ASR实验证明，MoE网络可以减少相对字出错率的16.3%和4.6%，分别与S2 S-T和T-T。此外，我们深入研究了MoE对T-T架构在各种条件下的效果：流模式，非流模式，使用语言ID和标签解码器与MoE。
2022-01-04 cs.AI cs.CL cs.LG
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练（PIT），因此分离的语音块的顺序是不确定的，并且导致难以准确地拼接同质说话者块用于下游任务，如自动语音识别（ASR）。此外，大多数这些模型都是用合成混合物训练的，不能推广到真实的会话数据。在本文中，我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序，而不需要额外的拼接步骤。我们还介绍了一个数据采样策略，真正的和合成的混合物，以及推广到真正的对话语音。有了这个模型和数据采样技术，我们在Hub 5数据上显示了说话者归因的单词错误率（SA-WER）的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
Double Mixture: Towards Continual Event Detection from Speech
Southeast University（东南大学）；Monash University（莫纳什大学）
本文提出语音持续事件检测任务及两个基准数据集，并通过融合语音专长与记忆机制的 Double Mixture 方法，降低遗忘率并提升跨序列泛化能力。
2024-10-28 cs.CL cs.MM cs.SD
Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR
NTT, Inc., Japan（日本NTT公司）
本文提出了一种仅解码器的Conformer模型，通过模态感知的稀疏混合专家实现更高效的ASR，减少了参数使用并提升了识别准确率。
2026-02-13 cs.AI cs.CL cs.SD
Enhancing Code-Switching Speech Recognition with LID-Based Collaborative Mixture of Experts Model
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
针对语码转换语音识别中的跨语言建模难题，提出Collaborative-MoE，利用LID路由、组间协作与无监督门控提升性能并保持MoE高效推理。
2024-09-05 cs.CL cs.SD eess.AS
Omni-Router: Sharing Routing Decisions in Sparse Mixture-of-Experts for Speech Recognition
Apple（苹果公司）
针对稀疏MoE语音识别中各层路由决策缺乏相关性的问题，提出Omni-router Transformer，通过跨层共享路由器增强专家协作与专业化，在10个域外ASR基准上平均词错率最多降低11.2%。
2025-11-05 cs.AI cs.CL cs.LG
An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
本文提出结合新型解耦损失与 MoE 架构的声学编码器方法，在仅用语码转换语料、参数减半的条件下提升语码转换 ASR 性能。
2024-02-27 cs.AI cs.CL cs.SD
A transfer learning based approach for pronunciation scoring
Universidad de Buenos Aires (UBA)（布宜诺斯艾利斯大学）
本文提出一种基于迁移学习的发音评分方法，利用ASR模型适配发音评分任务，在EpaDB上比GOP系统提升20%，尤其优化了低不必要纠正率场景下的性能。
2023-05-09 cs.CL cs.SD eess.AS
Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring
研究探索基于自监督WavLM表示的DTW能否为二语语音评估提供无文本框架，结果显示该方法在语音评分上超人类一致性，在节奏评估上接近人类水平，在语调评估上部分任务表现一般，表明自监督表示是多方面发音评估的有前景基础。
2026-07-16 cs.CL eess.AS
Addressing Cold Start Problem for End-to-end Automatic Speech Scoring
Riiid（Riiid公司）；Bucketplace Inc.（Bucketplace股份有限公司）
本文针对端到端自动语音评分在新问题语境下的冷启动问题，提出利用提示词嵌入、BERT/CLIP问题语境嵌入及预训练声学模型选择的方法，在TOEIC口语数据集上验证了其在冷启动环境中的鲁棒性并超越基线。
2023-06-25 cs.CL cs.SD eess.AS
Language-agnostic, automated assessment of listeners' speech recall using large language models
Rotman Research Institute, Baycrest Academy for Research and Education（罗特曼研究所，贝克雷斯特研究与教育学院）；University of Toronto（多伦多大学）
本研究利用大型语言模型自动化生成多语言口语故事并评分言语回忆，克服了传统言语测试的局限，为自然主义言语理解评估提供了临床适用的自动化方案。
2025-03-02 cs.CL
Multi-modal Automated Speech Scoring using Attention Fusion
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；Teachers College, Columbia University（哥伦比亚大学教师学院）；Second Language Testing Inc.（第二语言测试公司）
在这项研究中，我们提出了一种新的多模态端到端的神经网络方法，使用注意力融合的非英语母语者的自发语音的自动评估。该流水线采用双向递归卷积神经网络和双向长短期记忆神经网络来分别对来自声谱图和transmart.tag_1的声学和词汇线索进行编码。在这些学习的预测特征上执行注意力融合，以在最终评分之前学习不同模态之间的复杂交互。我们将我们的模型与强基线进行比较，发现对词汇和声学线索的联合关注显着提高了系统的整体性能。此外，我们提出了我们的模型的定性和定量分析。
2021-11-28 cs.CL cs.SD eess.AS
Mitigating Scoring Errors and Compensating for Nonverbal Subtests in Speech-Based Dementia Assessment
Technische Hochschule Nürnberg（图林根应用技术大学）；Geromed GmbH（Geromed公司）；PMU Klinikum Nürnberg, Germany（纽伦堡保罗大学医院）
研究通过融合转录分数和Whisper嵌入减少语音评估中的评分错误，并利用融合表示近似专家整体评分以补偿缺失的运动子测试，有效区分认知状态组。
2026-06-18 cs.CL cs.SD eess.AS
Part-Of-Speech Sensitivity of Routers in Mixture of Experts Models
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；International Laboratory on Learning Systems (ILLS - IRL CNRS)（国际学习系统实验室）；Université de Montréal（蒙特利尔大学）
本研究调查混合专家模型中路由器如何基于词性标签路由词元，通过分析六个MoE模型的词元轨迹，发现专家对特定词性类别存在专门化，且路由路径对词性具有高预测准确率，揭示了路由路径在表征词元方面的价值。
2024-12-22 cs.CL
Do face masks introduce bias in speech technologies? The case of automated scoring of speaking proficiency
Educational Testing Service（教育考试服务中心）
COVID-19疫情导致全球口罩使用量大幅增加。面部覆盖物可以影响信号的声学特性以及语音模式，并且如果佩戴面具的人试图使用语音处理技术，则会产生意想不到的效果。在本文中，我们探讨了戴口罩对英语语言能力自动评估的影响。我们使用的数据集来自一个大规模的口语测试，考生被要求在测试期间戴口罩，我们将其与匹配的对照样本进行比较，这些对照样本是在口罩要求到位之前参加相同测试的考生。我们发现，这两个样本在一系列声学措施不同，也表现出一个小的，但显着的语音模式的差异。然而，这些差异不会导致英语语言能力的人工或自动分数的差异。几项偏倚指标显示两组之间的得分没有差异。
2020-11-03 cs.CL cs.HC cs.SD
Phonetic and Prosody-aware Self-supervised Learning Approach for Non-native Fluency Scoring
ByteDance（字节跳动）
本文提出一种考虑语音与韵律感知的自监督学习方法，通过在大量无标注数据上联合掩蔽音素及持续时间进行预训练再微调，有效提升了非母语语音流利度评分的皮尔逊相关系数。
2023-05-19 cs.CL eess.AS
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi（德里印度理工学院）；Adobe（Adobe公司）；SUNY-Buffalo（纽约州立大学布法罗分校）
自动语音评分（Automatic Speech Scoring，ASS）是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战，如开放语法，可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而，大多数这些方法都集中在从单个音频中提取特征，这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术，称为说话者条件分层建模。在我们的技术中，我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量，并将它们作为额外的特定于说话者的上下文提供给我们的网络，以获得特定的响应。我们将我们的技术与强基线进行比较，发现这种建模将模型的平均性能提高了6.92%（最大值= 12.86%，最小值= 4.51%）。我们进一步展示了定量和定性的见解，这一额外的背景下，在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
Automated Speech Scoring System Under The Lens: Evaluating and interpreting the linguistic cues for language proficiency
Columbia University（哥伦比亚大学）；Second Language Testing, Inc.（第二语言测试公司）；Indraprastha Institute of Information Technology, Delhi（德里印多尔信息科技学院）；SUNY at Buffalo（布法罗纽约州立大学）；Adobe Media Data Science Research（奥多比媒体数据科学研究中心）
英语水平评估已经成为学术界和工业界筛选潜在候选人的必要指标。随着对此类评估需求的增加，越来越需要自动化的人类可解释的结果，以防止不一致并确保向第二语言学习者提供有意义的反馈。在理解评分模型学习的内容方面，基于评分的经典方法更具可解释性。因此，在这项工作中，我们利用经典的机器学习模型制定一个语音评分任务作为一个分类和回归问题，其次是一个彻底的研究，解释和研究语言线索和英语水平的扬声器之间的关系。首先，我们在五个类别（流畅性，发音，内容，语法和词汇，声学）下提取语言学特征，并训练模型来对响应进行评分。相比之下，我们发现基于回归的模型的性能等同于或优于分类方法。其次，我们进行消融研究，以了解每个功能和功能类别对熟练程度分级的影响。此外，为了了解单个特征的贡献，我们提出了最佳性能算法的评分任务的重要性的顶部功能。第三，我们利用部分依赖图和Shapley值来探索特征重要性，并得出结论，表现最好的训练模型学习了用于对本研究中使用的数据集进行分级的基础规则。
2021-11-30 cs.CL cs.SD eess.AS
Pronunciation Assessment with Multi-modal Large Language Models
Zuoyebang AI Research（作业帮人工智能研究院）；University of Connecticut（康涅狄格大学）
本文提出一种基于大语言模型的发音评分系统，利用语音编码器和适配器对齐特征，结合提示文本预测准确性与流利度，在Speechocean762数据集上取得有竞争力结果。
2024-07-18 cs.CL eess.AS
MMBERT: Scaled Mixture-of-Experts Multimodal BERT for Robust Chinese Hate Speech Detection under Cloaking Perturbations
针对中文社交网络仇恨言论隐匿检测难题，提出融合多模态的MMBERT框架，采用渐进式三阶段训练的MoE架构，在多个中文数据集上性能超越现有基线模型。
2025-08-01 cs.AI cs.CL
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University（斯泰伦博斯大学）
最近的无监督语音分割工作使用了自监督模型，其中包含联合训练的电话和分词模块。相反，本文重新审视了一个旧的方法，分词：自下而上的电话样单位的发现是第一次，符号分词，然后在发现的单位（不影响较低的水平）。为此，我提出了一个新的单元发现模型，一个新的符号分词模型，然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本，并具有鼓励更长单位的额外持续时间惩罚。具体地，对于声学单元发现，使用持续时间惩罚动态规划（DPDP）与对比预测编码模型作为评分网络。对于分词，DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果，以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上，它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明，链式DPDP系统分割较短的填充字，但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders
针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。
2026-08-07 cs.AI cs.CL
uniblock: Scoring and Filtering Corpus with Unicode Block Information
RWTH Aachen University（亚琛工业大学）
自然语言处理中的预处理流水线通常包括去除由非法字符组成的句子的步骤。非法字符的定义和具体的删除策略取决于任务、语言、领域等，这往往导致令人厌倦的重复编写规则。在本文中，我们介绍了一个简单的统计方法，单块，来克服这个问题。对于每个句子，uniblock使用字符的Unicode块信息生成固定大小的特征向量。然后使用变分推理在一些干净的语料库上估计高斯混合模型。然后，学习的模型可以用于对句子进行评分和过滤语料库。在情感分析、语言建模和机器翻译三个方面的实验结果表明了该方法的简单性和有效性。
2019-08-26 cs.CL
Persona Matters: Effects of Activation Steering on Short Answer Generation and Scoring
研究通过人格向量引导大型语言模型在教育应用中的影响，发现其在短答案生成和自动评分中效果不一，尤其在开放性英语文学任务中影响更大，且混合专家模型表现出更大的校准偏移。
2026-07-10 cs.AI cs.CL
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练（MixIT）准则来训练教师模型。然后，教师模型估计分离的源，这些源用于通过标准排列不变训练（PIT）来训练学生模型。学生模型可以用监督数据进行微调，即，配对的人工混合物和干净的语音源，并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明，师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外，半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation
National Taiwan University（国立台湾大学）；NVIDIA
本文提出MoVE模型，通过混合语音专家捕捉混合表达状态，提升语音到语音翻译中非言语声音的还原能力，实现更高的自然度和情感忠实度。
2026-04-19 cs.AI cs.CL cs.SD
My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在过去的二十年里，基于深度学习的自动论文评分（AES）系统取得了重大进展。然而，很少有研究来理解和解释这些基于深度学习的评分模型的黑盒性质。最近的工作表明，自动评分系统甚至倾向于常识对抗样本。他们缺乏自然语言理解能力，这对数百万候选人积极使用的改变生活的决策模型提出了质疑。由于评分是一项高度多模态的任务，因此必须在所有这些模态上验证和测试评分模型。我们利用可解释性方面的最新进展来发现一致性，内容和相关性等特征对自动评分机制的重要程度，以及为什么它们容易受到对抗性样本的影响。我们发现，系统测试认为散文不是一段散文具有自然的语音和语法结构的特点，但作为“词汤”的几个字比其他的话更重要。删除这几个重要单词周围的上下文会导致散文失去语言和语法的流畅性，但对预测分数的影响很小。我们还发现，由于这些模型在语义上没有基于世界知识和常识，因此添加诸如“世界是平的”之类的虚假事实实际上会增加分数，而不是降低分数。
2020-12-27 cs.AI cs.CL cs.CY
Style Mixture of Experts for Expressive Text-To-Speech Synthesis
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）
本文提出 StyleMoE，用 MoE 层替代 TTS 风格编码器并由门控网络分配参考语音子集，使风格专家覆盖多样与未见风格，显著提升现有风格迁移 TTS 的表现力。
2024-10-28 cs.CL cs.LG cs.SD
MoST: Mixing Speech and Text with Modality-Aware Mixture of Experts
School of Computer Science, National University of Singapore（新加坡国立大学计算机科学学院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
MoST通过模态感知混合专家架构，实现语音和文本的高效融合，首次公开了基于混合专家的语音-文本大语言模型。
2026-01-15 cs.AI cs.CL cs.LG
Lightweight Zero-shot Text-to-Speech with Mixture of Adapters
NTT Corporation（NTT公司）
本文提出一种基于适配器混合的轻量级零样本TTS方法，通过将MoA模块集成到非自回归模型的解码器和方差适配器中，以少于40%的参数和1.9倍推理速度实现优于基线的高质量语音合成。
2024-07-01 cs.CL cs.LG cs.SD
Modelling Data Dispersion Degree in Automatic Robust Estimation for Multivariate Gaussian Mixture Models with an Application to Noisy Speech Processing
Concordia University（康考迪亚大学）
具有前缀截断部分的修剪方案已知为通过减轻离群值的影响来提高统计模型（诸如多变量高斯混合模型（MG-Mixture Model，MG-Mixture））在小规模测试中的鲁棒性的方法。然而，当该方法应用于真实世界的数据时，例如噪声语音处理，很难知道去除离群值的最佳截止部分，并且有时也会去除有用的数据样本。本文提出了一种基于测量训练数据离散度（DD）的新方法，以避免这一问题，从而实现对MGbits的自动鲁棒估计。采用两种不同的测度对DD模型进行了研究。对于每一个，我们从理论上证明，DD的数据样本的背景下，MGC 10近似服从一个特定的（卡方或卡方）分布。所提出的方法进行评估，在现实世界中的应用程序与一个中等规模的说话人识别任务。实验表明，该方法可以显着提高说话人识别传统GMM训练方法的鲁棒性。
2014-05-19 cs.CL cs.LG stat.ML
A Mixture-of-Experts Model for Multimodal Emotion Recognition in Conversations
LEAP Lab, Department of Electrical Engineering（LEAP实验室，电气工程系）；Microsoft（微软）
MiSTER-E通过专家混合框架提升对话中多模态情绪识别的准确率，实现跨模态一致性与融合。
2026-02-26 cs.CL eess.AS
Pruning and Distilling Mixture-of-Experts into Dense Language Models
KRAFTON；KAIST（韩国科学技术院）
提出首个将混合专家（MoE）模型转换为标准密集架构的系统框架，通过专家评分、选择、分组、拼接和知识蒸馏，在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点，训练速度提升1.6倍。
2026-11-11 cs.AI cs.CL cs.LG
SEAL: Mixture-Closed Additive Reconstruction and Refinement-Aware Expert Routing for Efficient Speech Separation
National Chi Nan University（国立暨南国际大学）；National Taiwan Normal University（国立台湾师范大学）
针对时频掩蔽分离器的两个限制，提出SEAL，采用零和加性残差重建和基于声学与步间证据的专家路由，在EchoSet上以更少参数和计算量达到更优或相当的分离性能。
2026-10-07 cs.CL cs.SD eess.AS
Pearl: A Probabilistic Chart Parser
本文描述了一种自然语言分析算法，该算法使用基于概率的评分函数来选择句子的“最佳”分析。解析器Pearl是一个时间异步的自下而上的图表解析器，具有Earley型自上而下的预测，它追求图表中得分最高的理论，其中理论的得分代表句子的上下文预测该解释的程度。这个解析器与以前的随机解析器不同，它使用了更丰富的基于上下文的条件概率来预测可能性。Pearl还提供了一个框架，用于将以前在词性分配、未知词模型和其他语言特征概率模型方面的工作成果合并到一个解析工具中，交错使用这些技术，而不是使用传统的管道架构。在初步测试中，Pearl成功地解决了词性和单词（语音处理中）的歧义，确定了未知单词的类别，并首先使用非常松散的覆盖语法选择了正确的解析。
1994-05-03 cmp-lg cs.CL
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
跨不同场景的大多数语音信号对于仅包含单个扬声器的明确定义的音频段是不可用的。两个说话者之间的典型对话由他们的声音重叠，相互打断或在多个句子之间停止讲话的片段组成。日记化技术的最新进展利用基于神经网络的方法来改进说话人日记化系统的多个子系统，包括提取分段嵌入特征和检测说话人在对话期间的变化。然而，为了通过聚类来识别说话人，模型依赖于PLDA等方法来生成从给定会话音频中提取的两个片段之间的相似性度量。由于这些算法忽略了会话的时间结构，它们往往会达到更高的日志化错误率（DER），从而导致在说话人和变化识别方面的误检测。因此，为了独立地和顺序地比较两个语音片段的相似性，我们提出了一个双向长短期记忆网络来估计相似性矩阵中的元素。一旦相似性矩阵的生成，凝聚层次聚类（AHC）应用于进一步确定基于阈值的说话人段。为了评估性能，使用日志化错误率（DER%）度量。与传统的基于PLDA的相似性度量机制相比，该模型在来自ICSI会议语料库的音频样本测试集上实现了34.80%的低DER，该机制实现了39.90%的DER。
2022-05-19 cs.AI cs.CL cs.CV
Multilingual Speech Evaluation: Case Studies on English, Malay and Tamil
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
语音评价是计算机辅助语言学习（CALL）的重要组成部分。虽然英语的语音评估已经很流行，但低资源语言的自动语音评分仍然具有挑战性。这一领域的工作主要集中在单语特定设计和源于英语等资源丰富的语言的手工制作功能上。这种方法通常很难推广到其他语言，特别是如果我们还想考虑超音段特性，如节奏。在这项工作中，我们研究了三种不同的语言，具有不同的节奏模式：英语（重音定时），马来语（音节定时），泰米尔语（莫拉定时）。我们利用音乐处理和向量表示学习的启发强大的特征表示。经验验证显示，在预测语音，节奏和语调表现时，所有三种语言的一致收益。
2021-07-08 cs.CL cs.SD eess.AS
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University（名古屋大学）
针对噪声下语音情感识别受人类语音干扰的问题，提出级联目标说话人提取与情感识别的两阶段框架，联合训练提升未加权准确率14.33%，尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
