Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning
Tencent Cloud Xiaowei（腾讯云小微）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自监督预训练在自动语音识别（ASR）中取得了成功。然而，考虑到真实场景中语音口音之间的差异，如何识别口音并使用口音特征来提高ASR仍然具有挑战性。在本文中，我们采用自监督预训练方法的口音识别和口音语音识别任务。对于前一个任务，标准偏差约束损失（SDC-loss）为基础的端到端（E2 E）架构，提出了在同一语言下识别口音。对于带口音的语音识别任务，我们设计了一个口音相关的ASR系统，它可以利用额外的口音输入特征。此外，我们提出了一个帧级的口音特征，这是基于所提出的口音识别模型提取，并可以动态调整。我们使用960小时未标记的LibriSpeech数据集预训练我们的模型，并在AESRC 2020语音数据集上对其进行微调。实验结果表明，我们提出的口音相关的ASR系统是显着领先于AESRC 2020基线，并实现了$6.5\%$相对字错误率（WER）降低相比，我们的口音无关的ASR系统。
2021-09-15 cs.SD eess.AS
Less Forgetting for Better Generalization: Exploring Continual-learning Fine-tuning Methods for Speech Self-supervised Representations
Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；Samsung AI Research（三星人工智能研究院）
本文针对语音自监督模型微调中预训练鲁棒性受损的问题，提出在微调时引入持续学习方法以减少对自监督任务的遗忘，并在英语和丹麦语语音识别任务上验证了该方法可显著提升域内外泛化能力。
2024-06-30 cs.SD eess.AS
GNCformer Enhanced Self-attention for Automatic Speech Recognition
Sun Yat-Sen University（中山大学）
本文提出增强型自注意力机制（ESA），结合递归门控卷积与自注意力提取特征，并将其嵌入Transformer编码器构建GNCformer，在Aishell-1和HKUST数据集上分别实现0.8%和1.2%的CER提升，且仅增加1.4M参数。
2023-05-22 cs.CL cs.SD eess.AS
Semantic-aware Speech to Text Transmission with Redundancy Removal
Zhejiang University（浙江大学）
近年来，基于深度学习（DL）的语义通信方法已经被探索用于图像、文本和语音的高效传输。与传统的无线通信侧重于传输抽象符号的方法相比，语义通信方法试图通过仅发送源数据的语义相关信息来实现更好的传输效率。在本文中，我们考虑面向语义的语音文本传输。我们提出了一种新的端到端的DL为基础的收发器，其中包括一个基于注意力的软对齐模块和冗余删除模块来压缩传输的数据。特别是，前者只提取与文本相关的语义特征，后者进一步丢弃语义冗余内容，与现有方法相比，大大减少了语义冗余量。我们还提出了一个两阶段的训练计划，这加快了建议的DL模型的训练。仿真结果表明，我们提出的方法优于现有的方法在接收文本的准确性和传输效率。此外，该方法还具有较小的模型大小和较短的端到端的运行时间。
2022-02-07 cs.SD eess.AS
MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens
Integrated Vision and Language Lab, KAIST, South Korea（集成视觉与语言实验室，韩国科学技术院）
本文提出MMS-LLaMA高效多模态语音LLM框架，通过早期音视频融合、动态令牌分配和语速预测器，在LRS3上以每秒仅3.5个令牌实现0.72% WER，令牌使用量减少86%，FLOPs降低35.7%。
2025-06-05 cs.CV cs.MM cs.SD
Fairness of Automatic Speech Recognition: Looking Through a Philosophical Lens
本文从哲学视角审视ASR偏见，指出系统性错误识别加剧了边缘群体的历史不公，揭示了时间负担、会话流破坏和身份联系三个独特伦理维度，强调解决偏见需超越技术干预，承认语言多样性。
2025-08-13 cs.AI cs.CL
Refining Pseudo-Audio Prompts with Speech-Text Alignment for Text-Only Domain Adaptation in LLM-Based ASR
Kyoto University, Japan（京都大学，日本）；LY Corporation, Japan（LY公司，日本）
本文提出通过语音-文本对齐细化伪音频提示的方法，以提升基于LLM的ASR在纯文本领域适应中的性能，实验表明该方法在整体错误率和词汇覆盖率上优于现有方法。
2026-06-26 cs.SD
HyperConformer: Multi-head HyperMixer for Efficient Speech Recognition
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）；University of Cambridge（剑桥大学）；Brno University of Technology（布尔诺理工大学）
本文提出 HyperConformer，将线性复杂度的 HyperMixer 多头化并集成到 Conformer 架构中，在 LibriSpeech 上以更少参数、更快速度和更低内存取得 2.9% 词错误率，实现高效语音识别。
2023-05-29 cs.AI cs.CL cs.LG
Who Are We Talking About? Handling Person Names in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
最近的研究表明，语音翻译（ST）系统-类似于自动语音识别（ASR）-对人名的处理很差。这一缺陷不仅会导致错误，严重扭曲输入的含义，而且还阻碍了在命名实体（如人名）的翻译至关重要的应用场景（如计算机辅助口译）中采用此类系统。在本文中，我们首先分析ASR/ST系统的输出，以确定在人名转录/翻译失败的原因。除了训练数据中的频率外，我们还将所涉及人员的国籍作为一个关键因素。然后，我们通过创建多语言模型来缓解这个问题，并通过强制它们联合生成转录本和翻译来进一步改进我们的ST系统，将前者优先于后者。总的来说，我们的解决方案在三种语言对（en->es，fr，it）中平均将标记级别的人名准确率相对提高了47.8%。
2022-05-13 cs.CL
Automatic Speech Recognition Benchmark for Air-Traffic Communications
Idiap Research Institute（Idiap 研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Beijing Institute of Technology（北京理工大学）；Brno University of Technology（布尔诺理工大学）
在过去十年中，自动语音识别（ASR）的进步开辟了基于语音的自动化的新领域，例如在空中交通管制（ATC）环境中。目前，语音通信和数据链路通信是飞行员与空中交通管制员（ATCo）之间的唯一联系方式，其中前者使用最广泛，而后者是海洋信息强制性的非口语方法，并且在一些国内问题上受到限制。由于来自非英语说话者的口音、驾驶舱噪声、依赖于说话者的偏差以及用于训练的小的域内ATC数据库，ATCo环境上的ASR系统继承了增加的复杂性。在此，我们介绍CleanSky EC-H2020 ATCO 2，该项目旨在开发一个基于ASR的平台，以收集，组织和自动预处理来自空中的ATCo语音数据。本文介绍了几种最先进的ASR模型的探索性基准，这些模型在超过170小时的ATCo语音数据上进行了训练。我们证明，由于扬声器的口音的交叉口音的缺陷是最小化由于数据量，使系统可行的ATC环境。开发的ASR系统实现了平均字出错率（WER）的7.75%，在四个数据库。当用字节对编码训练TDNF系统时，在一个测试集上实现了WER的额外35%的相对改善。
2020-08-13 cs.CL cs.CV cs.LG
Ti-Audio: The First Multi-Dialectal End-to-End Speech LLM for Tibetan
Minzu University of China（中国民族大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Ti-Audio，首个多方言端到端藏语语音大模型，通过动态Q-Former适配器和温度采样策略解决低资源多方言环境下的语音识别与翻译问题，实验显示其在藏语基准测试中达到最先进的性能。
2026-04-28 cs.SD
Feature Normalisation for Robust Speech Recognition
语音识别系统的性能在噪声环境中会降低。如果声学模型是使用干净话语的特征来构建的，则有噪声的测试话语的特征将与训练的模型在声学上不匹配。这给出了差的似然性和差的识别准确性。模型自适应和特征标准化是解决这个问题的两个广泛领域。虽然前者通常提供更好的性能，但后者涉及较少数量的参数的估计，使得系统对于实际实现是可行的。本研究的重点是各种子空间，统计和立体的特征归一化技术的功效。一个子空间投影为基础的方法已被调查作为一个独立的和附属的技术，涉及重建的嘈杂的语音功能从一个预先计算的一组干净的语音积木。使用对数梅尔滤波器组系数上的非负矩阵分解（NMF）来学习构建块，所述对数梅尔滤波器组系数形成干净语音子空间的基础。该工作提供了一个详细的研究如何将该方法可以纳入梅尔频率倒谱系数的提取过程。实验结果表明，新特征对噪声具有较强的鲁棒性，与现有技术相结合，取得了较好的效果。本文还对噪声鲁棒语音识别的SPLICE算法的训练过程提出了改进。它基于特征相关性，并使这种基于立体声的算法能够在所有噪声条件下提高性能，特别是在看不见的情况下。此外，修改后的框架被扩展到非立体声数据集，其中需要干净和嘈杂的训练话语，但不是立体声对应物。在SPLICE框架下，提出了一种基于MLLR的计算效率高的运行时噪声自适应方法。
2015-07-14 cs.CL cs.SD
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain（谷歌大脑）
受MLM在预训练自然语言处理模型中的成功启发，我们提出了w2 v-BERT，它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架，其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记，后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比，例如HuBERT，它依赖于迭代的重新聚类和重新训练过程，或vq-wav 2 vec，它连接了两个单独训练的模块，w2 v-BERT可以通过同时解决两个自监督任务（对比任务和MLM）来以端到端的方式进行优化。我们的实验表明，当使用Libri-Light~ 60 k语料库作为无监督数据时，与LibriSpeech基准测试中当前最先进的预训练模型相比，w2 v-BERT取得了有竞争力的结果。特别是，当与已发布的模型（如基于一致性的wav 2 vec ~2.0和HuBERT）相比时，我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时，w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
ViSpeechFormer: A Phonemic Approach for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（胡志明市越南国家大学）
ViSpeechFormer 是首个基于音素的越南语 ASR 框架，通过建模音素表示实现了更强的性能和更好的泛化能力。
2026-02-10 cs.CL
Constrained Output Embeddings for End-to-End Code-Switching Speech Recognition with Only Monolingual Data
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
缺乏语码转换训练数据是开发端到端语码转换自动语音识别（ASR）模型的主要问题之一。在这项工作中，我们提出了一种方法来训练一个改进的端到端的代码切换ASR只使用单语数据。我们的方法鼓励单语语言的输出标记嵌入的分布是相似的，因此，促进ASR模型，以方便语言之间的代码切换。具体来说，我们建议使用基于詹森-香农发散和余弦距离的约束。前者将强制单语语言的输出嵌入具有相似的分布，而后者只是使两个分布的质心彼此接近。实验结果表明，该方法具有很高的有效性，产生高达4.5%的绝对混合出错率的改善汉语-英语码转换ASR任务。
2019-07-31 cs.CL
Multitask Learning with CTC and Segmental CRF for Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
分段条件随机场（SCRFs）和连接主义时间分类（CTC）是两种用于语音识别模型端到端训练的序列标记方法。这两个模型定义了一个转录概率边缘化的决定潜在的分割替代品，以获得一个序列概率：前者使用一个全球标准化的联合模型的段标签和持续时间，后者分类每个帧作为输出符号或“延续”的前一个标签。在本文中，我们训练识别模型，通过优化SCRF和CTC损失之间的插值，其中相同的递归神经网络（RNN）编码器用于两个输出的特征提取。我们发现，这个多任务目标提高识别精度时，无论是SCRF或CTC模型解码。此外，我们还证明了CTC也可以用于预训练RNN编码器，这提高了学习联合模型时的收敛速度。
2017-06-05 cs.CL
Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition
The Ohio State University（俄亥俄州立大学）；Air Force Research Laboratory（空军研究实验室）
研究评估九种模型在不同人口特征上的语音识别性能，发现LLM解码器在种族偏见上表现更公平，但Whisper在印度口音语音上出现病理学幻觉，且音频压缩对口音公平性影响更大。
2026-04-23 cs.AI cs.CL cs.SD
Effectiveness of self-supervised pre-training for speech recognition
Facebook AI Research（Facebook AI研究院）
我们比较了自我监督的表示学习算法，无论是显式地隐藏音频数据或学习表示没有量化。我们发现前者更准确，因为它通过vq-wav 2 vec [1]构建了一个良好的数据词汇表，以便在后续的BERT训练中学习有效的表示。与以前的工作不同，我们使用连接主义时间分类（CTC）损失直接微调转录语音的预训练BERT模型，而不是将表示输入特定于任务的模型。我们还提出了一种直接从连续音频数据中学习的BERT风格模型，并将原始音频的预训练与频谱特征进行了比较。使用vq-wav 2 vec词汇表对10小时的标记Librisepeech数据微调BERT模型几乎与在testclean上训练100小时标记数据的最知名报告系统一样好，同时在test-other上实现了25%的WER减少。当仅使用10分钟的标记数据时，其他测试的WER为25.2，清洁测试的WER为16.3。这表明，自我监督可以使语音识别系统在几乎为零的转录数据量上进行训练。
2020-05-18 cs.CL cs.LG
Ara-Best-RQ: Multi Dialectal Arabic SSL
ELYADATA；Laboratoire Informatique d'Avignon（阿维尼昂信息实验室）
本文提出Ara-Best-RQ模型，通过爬取的CC语音数据和公开数据集预训练，实现多方言阿拉伯语语音处理的SSL模型，在方言识别任务中取得最佳性能。
2026-03-23 cs.CL
Light Gated Recurrent Units for Speech Recognition
直接受益于深度学习最新进展的一个领域是自动语音识别（ASR）。然而，尽管过去几十年取得了巨大成就，但自然和强大的人机语音交互似乎仍然遥不可及，特别是在以显著噪声和混响为特征的具有挑战性的环境中。为了提高鲁棒性，现代语音识别器通常采用基于递归神经网络（RNN）的声学模型，这些模型自然能够利用大时间上下文和长期语音调制。因此，继续研究适当的技术来提高RNN在处理语音信号中的有效性是非常有意义的。在本文中，我们修改了最流行的RNN模型之一，即门控递归单元（GRU），并提出了一种简化的架构，该架构对ASR非常有效。这项工作的贡献是双重的：首先，我们分析了复位门所扮演的角色，显示出一个显着的冗余与更新门发生。因此，我们建议从GRU设计中删除前者，从而实现更高效和紧凑的单门模型。其次，我们建议用ReLU激活来取代双曲正切。这种变化与批量归一化很好地结合在一起，可以帮助模型学习长期依赖关系，而不会出现数值问题。结果表明，所提出的称为Light GRU（Li-GRU）的架构不仅比标准GRU减少了30%以上的每历元训练时间，而且在不同的任务、输入特征、噪声条件以及不同的ASR范例（从标准DNN-HMM语音识别器到端到端CTC模型）之间，都能持续提高识别准确性。
2018-03-26 cs.NE cs.SD eess.AS
OCR-Enhanced Multimodal ASR Can Read While Listening
Department of Electrical Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）
Donut-Whisper通过结合双编码器和交叉注意力模块，利用视觉信息提升中英文语音识别性能，实现显著的WER和CER降低。
2026-01-26 cs.CL cs.SD eess.AS
HypR: A comprehensive study for ASR hypothesis revising with a reference corpus
National Taiwan University of Science and Technology（台湾科技大学）；National Taiwan University（台湾大学）
本文构建并公开了包含AISHELL-1、TED-LIUM 2和LibriSpeech的ASR假设修订数据集HypR，并实现比较多种经典方法，为语音识别结果修订研究提供统一参考基准。
2024-06-13 cs.CL cs.SD eess.AS
Streaming Multi-speaker ASR with RNN-T
Amazon Alexa（亚马逊Alexa）
最近的研究表明，端到端ASR系统可以识别多个说话人的重叠语音。然而，所有已发表的作品都假设在推理期间没有延迟约束，这不适用于大多数语音助理交互。这项工作的重点是多扬声器语音识别的基础上，已被证明是在低延迟的在线识别制度，以提供高的识别精度的递归神经网络传感器（RNN-T）。我们研究了RNN-T的两种多说话人模型训练方法：确定性输出目标分配和排列不变训练。我们表明，在前一种情况下，使用说话人顺序标签的引导分离增强了RNN-T的高级说话人跟踪能力。除此之外，通过对单说话者和多说话者话语的多风格训练，所得到的模型在推理过程中对模糊的说话者数量具有鲁棒性。我们最好的模型在模拟的2扬声器LibriSpeech数据上实现了10.2%的WER，这与先前报道的最先进的非流模型（10.3%）具有竞争力，而所提出的模型可以直接应用于流应用。
2021-02-19 cs.CL cs.SD eess.AS
Aligning Pre-trained Models for Spoken Language Translation
Brno University of Technology（布尔诺技术大学）
本文提出通过小型连接器模块（Q-Former）对齐冻结的预训练ASR和MT模型以构建端到端ST系统，在How2数据集上验证了该方法的有效性，发现增大基础模型规模可提升性能，且连接器可作为领域适配器。
2024-11-27 cs.AI cs.CL cs.LG
Leveraging Large Language Models for Exploiting ASR Uncertainty
Apple（苹果公司）
针对ASR词错率限制LLM口语理解的问题，提出向LLM输入n-best假设列表并结合提示工程与LoRA微调，有效利用ASR不确定性提升语音意图分类性能。
2023-09-12 cs.CL cs.HC cs.SD
SoK: A Modularized Approach to Study the Security of Automatic Speech Recognition Systems
Shandong University（山东大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Boston University（波士顿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
随着自动语音识别（ASR）在人机交互、同声传译、音频转录等应用中的广泛使用，其安全保护变得越来越重要。虽然最近的研究已经揭示了流行的ASR系统的弱点，这些系统能够进行带外信号攻击、对抗攻击等，并进一步提出了各种补救措施（信号平滑，对抗训练等），对ASR安全性（攻击和防御）的系统性理解仍然缺失，特别是关于此类威胁的现实程度以及现有保护的一般性。在本文中，我们提出了我们的系统化知识的ASR安全，并提供了一个全面的分类现有的工作的基础上，模块化的工作流程。更重要的是，我们将这一领域的研究与图像识别系统（IRS）中的安全性研究相结合，后者已被广泛研究，使用后者的领域知识来帮助理解我们在前者中的位置。一般来说，IRS和ASR都是感知系统。它们的相似性使我们能够系统地研究现有的文献在ASR安全的基础上提出的攻击和防御解决方案的IRS的频谱，并查明更先进的攻击和方向可能导致更有效的保护在ASR的方向。相比之下，它们之间的差异，特别是ASR与IRS相比的复杂性，有助于我们了解ASR安全方面的独特挑战和机遇。特别是，我们的实验研究表明，即使在缺乏关于模型（甚至它们的类型）和训练数据的知识的情况下，跨ASR模型的迁移学习也是可行的。
2021-07-30 cs.CR cs.LG cs.SD
Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
Inner Mongolia University（内蒙古大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出 AVGER，通过多模态同步编码器和跨模态提示让 LLM 再读音视信号并纠正 AVSR 的 N-Best 假设，辅以多层级一致性约束，在 LRS3 上将 WER 较主流系统降低 24%。
2025-01-03 cs.AI cs.MM cs.SD
SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Xiaomi Inc.（小米公司）
本研究提出轻量级ASR情境失真度量SITAR，通过端到端框架训练BERT回归模型实现高效评分，经多维度验证后将作为现有ASR度量的实用补充，相关资源将公开供社区使用。
2026-10-16 cs.CL
Hierarchical Attention Model for Improved Machine Comprehension of Spoken Content
National Taiwan University（国立台湾大学）
多媒体或语音内容比纯文本内容呈现更有吸引力的信息，但是前者更难以在屏幕上显示并被用户选择。因此，对于人类来说，访问前者的大量集合比后者更困难和耗时。因此，开发能够自动理解语音内容并总结关键信息供人类浏览的机器是非常有吸引力的。在这一努力中，最近提出了一个新的任务，机器理解的口语内容。最初的目标被定义为托福的听力理解测试，这是一项针对母语不是英语的英语学习者的具有挑战性的学术英语考试。提出了一种基于注意力的多跳递归神经网络（AMRNN）结构，该结构只考虑语音话语中的顺序关系。在本文中，我们提出了一个新的层次注意力模型（HAM），它构建了一个多跳的注意力机制的树结构，而不是顺序表示的话语。提高理解性能稳健的ASR错误。
2017-01-01 cs.CL
Fast-Slow Transformer for Visually Grounding Speech
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了快速-慢速Transformer的视觉接地语音，或快速-VGS。FaST-VGS是一个基于transformer的模型，用于学习原始语音波形和视觉图像之间的关联。该模型将双编码器和交叉注意体系结构统一到一个模型中，获得了前者的卓越检索速度以及后者的准确性。FaST-VGS在基准数据集上实现了最先进的语音图像检索精度，其学习的表示在ZeroSpeech 2021语音和语义任务上表现出强大的性能。
2022-03-02 cs.CL cs.IR eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Any-to-One Sequence-to-Sequence Voice Conversion using Self-Supervised Discrete Speech Representations
Nagoya University（名古屋大学）
我们提出了一种新的方法，任何到一个（A2 O）的语音转换（VC）的序列到序列（seq 2seq）的框架。A2 O VC的目标是将任何说话者，包括那些在训练过程中看不见的说话者，转换为固定的目标说话者。我们利用vq-wav 2 vec（VQW 2 V），这是一种离散化的自监督语音表示，它是从大量未标记的数据中学习的，假设它是与说话者无关的，并且很好地对应于底层的语言内容。给定目标说话人的训练数据集，我们提取VQW 2 V和声学特征来估计从前者到后者的seq 2seq映射函数。在预训练方法和新设计的后处理技术的帮助下，我们的模型可以推广到只有5分钟的数据，甚至优于用并行数据训练的相同模型。
2020-10-23 cs.CL cs.SD eess.AS
Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
Kyoto University（京都大学）；Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
快速推理速度是语音翻译（ST）系统在现实世界中部署的一个重要目标。基于编解码器架构的端到端（E2 E）模型比传统的级联系统更适合于这一目标，但迄今为止尚未探索其在解码速度方面的有效性。受基于文本的翻译中非自回归（NAR）方法的最新进展的启发，通过消除条件依赖并行生成目标令牌，我们研究了E2 E-ST的NAR解码问题。我们提出了一种新的NAR E2 E-ST框架，Orthros，其中NAR和自回归（AR）解码器在共享的语音编码器上联合训练。后者用于在从前者生成的各种长度候选中选择更好的平移，这显著提高了大长度波束的有效性，而开销可以忽略不计。我们进一步研究有效长度预测方法从语音输入和词汇量的影响。四个基准测试的实验表明，该方法在提高推理速度，同时保持有竞争力的翻译质量相比，最先进的AR E2 E-ST系统的有效性。
2021-02-18 cs.CL cs.SD eess.AS
Equivalence of Segmental and Neural Transducer Modeling: A Proof of Concept
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本文证明了RNN-Transducer模型与段级模型（直接HMM）在建模能力上等价，空白概率可转换为段长度概率，并通过实验比较了不同解码和搜索策略。
2021-06-15 cs.CL eess.AS
Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation
LIG, Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学LIG实验室）；Google DeepMind（谷歌DeepMind）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；UMR 9189 CRIStAL（CRIStAL联合研究单位（UMR 9189））；Systran（Systran公司）
本文首次尝试构建一个端到端的语音到文本翻译系统，该系统在学习或解码过程中不使用源语言转录。我们提出了一个模型，直接语音到文本的翻译，这给了一个小的法语-英语合成语料库有希望的结果。放松对源语言转录的需求将极大地改变语音翻译中的数据汇集方法，特别是在资源不足的情况下。例如，在以前的DARPA TRANSTAC项目（从阿拉伯方言口语翻译语音）中，大量的工作致力于收集语音记录（获得记录的先决条件通常是对几乎没有标准化拼写的语言的详细转录指南）。现在，如果语音到文本翻译的端到端方法是成功的，人们可以考虑通过要求双语说话者从目标语言文本话语直接说出源语言的语音来收集数据。这种方法的优点是适用于任何非书面（源）语言。
2016-12-06 cs.CL
Re-Parameterization of Lightweight Transformer for On-Device Speech Emotion Recognition
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与电子工程学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；University of Cambridge（剑桥大学）
本文提出Transformer重参数化方法，通过训练阶段插入高秩分解层并在推理阶段将其与前馈网络合并，有效提升了轻量级Transformer在资源受限IoT设备上的语音情感识别性能。
2024-11-14 cs.CL cs.SD eess.AS
Advancing Hate Speech Detection with Transformers: Insights from the MetaHate
Department of Computer Science, Utah State University（计算机科学系，犹他州立大学）
本研究利用MetaHate数据集（36个数据集、120万样本）全面评估BERT、RoBERTa、GPT-2和ELECTRA等Transformer模型在仇恨言论检测中的表现，微调ELECTRA以F1分数0.8980最优，并分析了讽刺、编码语言和标签噪声等错误挑战。
2025-08-06 cs.CL cs.LG
