MADI: Inter-domain Matching and Intra-domain Discrimination for Cross-domain Speech Recognition
Tianjin Media Computing Center(天津媒体计算中心);Big Data Institute of Nankai University(南开大学大数据研究院);Mashang Consumer Finance(马上消费金融)
端到端自动语音识别(ASR)在应用到新的领域时,通常会由于领域转换而导致性能下降。无监督领域自适应(UDA)通过将知识从源领域转移到目标领域来提高未标记目标领域的性能。为了提高模型的可移植性,现有的UDA方法主要集中在全局和/或局部地匹配源域和目标域的分布,而忽略了模型的可区分性。本文提出了一种新的基于域间匹配和域内区分(MADI)的ASR UDA方法,该方法通过细粒度的域间匹配提高模型的可移植性,同时通过域内对比判别提高模型的可区分性。Libri-Adapt数据集上的评估证明了我们方法的有效性。MADI将跨设备和跨环境ASR的相对字出错率(WER)分别降低了17.7%和22.8%。
2023-02-22 cs.CL cs.SD eess.AS
Watch What You Pretrain For: Targeted, Transferable Adversarial Examples on Self-Supervised Speech Recognition models
Carnegie Mellon University(卡内基梅隆大学);University of Florida(佛罗里达大学)
有针对性的对抗攻击产生的音频样本可以迫使自动语音识别(ASR)系统输出攻击者选择的文本。为了在真实世界的黑盒设置中利用ASR模型,对手可以利用可转移性属性,即为代理ASR生成的对抗样本也可以欺骗不同的远程ASR。然而,最近的工作表明,对大型ASR模型的可移植性是非常困难的。在这项工作中,我们表明,现代ASR架构,特别是那些基于自监督学习,实际上是脆弱的可转移性。我们通过评估最先进的自监督ASR模型,如Wav2Vec2,HuBERT,Data2Vec和WavLM,成功地证明了这一现象。我们表明,低水平的加性噪声达到30 dB的信噪比,我们可以实现高达80%的准确度的目标转移。接下来,我们1)使用消融研究来表明,自监督学习是这种现象的主要原因,2)我们为这种现象提供了一个解释。通过这一点,我们表明,现代ASR架构是唯一容易受到对抗性的安全威胁。
2022-09-29 cs.CL cs.CR cs.LG
Identifying Fine-grained Forms of Populism in Political Discourse: A Case Study on Donald Trump's Presidential Campaigns
本文构建民粹主义话语数据集,评估多类语言模型与提示范式,发现微调RoBERTa表现最佳,并用于分析特朗普演讲及欧洲政治语料的跨域迁移。
2025-07-25 cs.CL
On Transferability of Prompt Tuning for Natural Language Processing
Tsinghua University(清华大学);Tencent Inc(腾讯公司);Institute for AI Industry Research (AIR)(人工智能产业研究院(AIR))
本文系统研究软提示在任务与模型间的可迁移性,证明其可零样本迁移、加速并改善提示调优,并发现激活神经元重叠率是关键指标。
2022-04-27 cs.CL
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
On Dataset Transferability in Active Learning for Transformers
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
本文研究文本分类中主动学习数据集跨预训练语言模型的可迁移性,发现采集序列相似性决定迁移效果,且方法选择比模型选择影响更大。
2023-09-29 cs.CL cs.LG
On the Cross-lingual Transferability of Pre-trained wav2vec2-based Models
Department of Informatics(信息学院);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);National School of Statistical Sciences(国家统计科学学校);Brazilian Institute of Geography and Statistics(巴西地理与统计研究所);Institute of Systems and Robotics(系统与机器人研究所);University of Coimbra(科英布拉大学)
研究基于wav2vec2预训练模型的跨语言可迁移性,发现数据多样性对性能影响大于数据量,印欧语系表现优于非印欧语系。
2025-11-16 cs.CL cs.SD
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中,我们将自监督预训练的思想更进一步,并提出了token 2 vec,这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先,由于语音和文本模态之间的不同特征,其中语音是连续的,而文本是离散的,我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次,为了解决语音序列通常比文本序列长得多的长度不匹配问题,我们将文本中的单词转换为音素序列,并随机重复序列中的每个音素。最后,我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中,并使用令牌级掩蔽语言建模(tMLM)进行预训练。实验表明,token 2 vec显着优于各种仅语音预训练基线,相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证,即,口语意图分类,并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS
UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data
Nankai University(南开大学);Microsoft(微软)
在本文中,我们提出了一个统一的预训练方法,称为UniSpeech学习语音表示与未标记和标记的数据,其中监督语音CTC学习和语音意识的对比自监督学习进行多任务学习的方式。所得到的表示可以捕获与语音结构更相关的信息,并提高跨语言和领域的泛化能力。我们评估了UniSpeech在公共CommonVoice语料库上进行跨语言表示学习的有效性。结果表明,UniSpeech优于自监督预训练和监督迁移学习的语音识别,最大分别减少13.4%和17.8%的相对音素出错率(所有测试语言的平均值)。UniSpeech的可转移性也在域转移语音识别任务上得到证明,即,相对于先前的方法,字出错率降低了6%。
2021-06-10 cs.CL cs.LG cs.SD
Fine-grained style control in Transformer-based Text-to-speech Synthesis
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
在本文中,我们提出了一种新的架构,以实现细粒度的风格控制的transformer-based文本转语音合成(transformerTTS)。具体来说,我们通过从参考语音中提取本地风格令牌(LST)的时间序列来建模说话风格。TransformerTTS中现有的内容编码器将被我们设计的交叉注意力块所取代,以实现内容和风格之间的融合和对齐。由于融合是与跳过连接一起执行的,因此我们的交叉注意块提供了良好的归纳偏差,以逐渐注入具有给定风格的音素表示。此外,我们通过在训练过程中随机截断LST并使用wav 2 vec 2.0特征来防止风格嵌入对语言内容进行编码。实验表明,与细粒度的风格控制,我们的系统表现更好的自然度,可理解性和风格的可移植性。我们的代码和示例是公开的。
2022-03-16 cs.CL cs.LG cs.SD
Learning Robust and Multilingual Speech Representations
DeepMind(深度思维);University of Oxford(牛津大学)
无监督语音表示学习在发现与语音结构相关的表示并提高下游语音识别性能方面取得了显著的成功。然而,大多数研究都集中在评估的代表,他们的能力,以提高性能的语音识别系统阅读英语(如华尔街日报和LibriSpeech)。这种评估方法忽略了两个重要的desiderata语音表示应该有:鲁棒性域转移和可转移到其他语言。在本文中,我们学习表示从多达8000小时的不同和嘈杂的语音数据和评估的表示,通过查看其鲁棒性域的变化和他们的能力,以提高识别性能,在许多语言。我们发现,我们的表示赋予显着的鲁棒性优势,从而产生的识别系统:我们看到显着的改进,在域外传输相对于基线功能集和功能同样提供了改进,在25个语音不同的语言,包括音调语言和低资源语言。
2020-01-29 cs.CL cs.LG eess.AS
Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages
Center for Language and Speech Processing (CLSP), Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
本研究利用多语言配音数据开展跨语言韵律细粒度分析,发现特定语言间韵律结构存在内在相关性,为表达性语音到语音翻译系统提供了实证指导。
2026-08-31 cs.CL cs.SD eess.AS
On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning
University of Southern California(南加州大学);Snap Inc.(Snap 公司)
微调的语言模型已经被证明在大量的建模任务中表现出对受保护群体的偏见,例如文本分类和共指消解。以前的工作集中在检测这些偏差,减少数据表示中的偏差,并使用辅助训练目标来减轻微调过程中的偏差。尽管这些技术实现了当前任务和领域的偏差减少,但偏差减轻的效果可能不会直接转移到新任务,需要额外的数据汇集和敏感属性的定制注释,以及重新评估适当的公平性度量。我们探索上游偏差缓解(UBM)的可行性和好处,以减少下游任务的偏差,首先通过微调将偏差缓解应用到上游模型,随后将其用于下游微调。我们发现,在广泛的实验中跨越仇恨言论检测,毒性检测,职业预测,和共指消解任务在各种偏见因素,UBM的影响确实是转移到新的下游任务或域通过微调,创建更少的偏见下游模型比直接微调下游任务或从香草上游模型转移。虽然挑战仍然存在,我们表明,UBM承诺更有效和更容易的偏见减轻LM微调。
2021-04-11 cs.CL stat.ML
Prompting and Adapter Tuning for Self-supervised Encoder-Decoder Speech Model
National Taiwan University(台湾大学);Meta AI
本研究针对自监督编码器-解码器语音模型Wav2Seq,提出提示和适配器调优方法,在序列生成任务上显著优于传统微调,并在跨语言和低资源场景下展现优势。
2023-11-14 cs.CL eess.AS eess.SP
Teaching keyword spotters to spot new keywords with limited examples
Google Research(谷歌研究院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
学习识别新的关键字,只有几个例子是必不可少的个性化关键字定位(KWS)模型,以用户的关键字选择。然而,现代KWS模型通常在大型数据集上进行训练,并且仅限于少量的关键字词汇表,从而限制了它们对广泛的不可见关键字的可转移性。为了便于定制的KWS模型,我们提出了KeySEM(关键词语音嵌入),一个语音嵌入模型预先训练的任务,识别大量的关键字。KeySEM提供的语音表示对于从有限数量的示例中学习新的关键字非常有效。与多个数据集的各种相关工作的比较表明,我们的方法以更少的训练示例实现了始终如一的卓越性能。虽然KeySEM只在英语话语上进行了预训练,但性能提升也扩展到了其他四种语言的数据集,这表明KeySEM学习到的有用表示与关键字识别任务非常一致。最后,我们证明了KeySEM的能力,学习新的关键字顺序,而不需要重新训练以前学习的关键字。我们的实验观察表明,KeySEM非常适合于设备上的环境,其中部署后的学习和易于定制往往是可取的。
2021-06-04 cs.CL cs.LG cs.SD
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability
National Taiwan University(台湾大学)
本文研究了在文本数据上预训练的模型(如BERT)的能力是否可以转移到一般的令牌序列分类应用中。为了验证预训练模型的可移植性,我们在文本分类任务上测试了预训练模型,这些文本分类任务具有标记不匹配的含义,以及真实世界的非文本标记序列分类数据,包括氨基酸,DNA和音乐。我们发现,即使在非文本数据上,在文本上预训练的模型收敛得更快,比随机初始化的模型表现更好,并且只比使用特定任务知识的模型略差。我们还发现,文本和非文本预训练模型的表示具有非平凡的相似性。
2022-04-19 cs.CL cs.LG