Leveraging translations for speech transcription in low-resource settings
University of Notre Dame(圣母大学)
最近提出的濒危语言文献的数据汇集框架的目的不仅是收集语音在感兴趣的语言,但也收集翻译成一个高资源的语言,将使收集到的资源可解释。我们专注于这种情况下,并探讨我们是否可以提高转录质量在这些极低的资源设置与文本翻译的协助下。我们提出了一个神经多源模型,并在三个低资源数据集上评估了它的几个变体。我们发现,我们的多源模型与共享注意优于基线,降低转录字符出错率高达12.3%。
2018-06-11 cs.CL
Leveraging Speech Acts for Low-Data and Cross-Domain Conversation Derailment Forecasting
The University of Melbourne(墨尔本大学)
该研究针对对话偏离预测在低数据与跨领域场景下的不足,提出结合言语行为与文本语义的辅助学习方法,在三个数据集上取得了性能提升。
2026-09-10 cs.CL
Leveraging Acoustic and Linguistic Embeddings from Pretrained speech and language Models for Intent Classification
National University of Singapore(新加坡国立大学)
意图分类是口语语言理解的一项任务。意图分类系统通常被实现为流水线过程,其中语音识别模块之后是对意图进行分类的文本处理。也有端到端系统的研究,以声学特征作为输入,并直接分类的意图。这样的系统没有利用相关的语言信息,并且受到有限的训练数据的影响。在这项工作中,我们提出了一种新的意图分类框架,采用从预训练的语音识别系统中提取的声学特征和从预训练的语言模型中学习的语言特征。我们使用知识蒸馏技术将声学嵌入映射到语言嵌入。我们执行融合的声学和语言嵌入通过交叉注意的方法来分类意图。在ATIS和Fluent语音语料库上的测试结果表明,该方法的准确率分别达到90.86%和99.07%。
2021-02-15 cs.CL
Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training
National University of Singapore (NUS)(新加坡国立大学);Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
情感语音转换(EVC)旨在改变话语的情感状态,同时保留语言内容和说话人身份。在本文中,我们提出了一种新的2阶段训练策略,用于在有限的情感语音数据下进行序列到序列的情感语音转换。我们注意到,所提出的EVC框架利用文本到语音(TTS),因为它们有一个共同的目标,即生成高质量的表达语音。在第一阶段,我们使用多说话人TTS语料库进行风格初始化,以理清说话风格和语言内容。在第二阶段,我们用有限的情感语音数据进行情感训练,学习如何从语音中分离情感风格和语言信息。所提出的框架可以执行频谱和韵律转换,并实现了显着的改善,在国家的最先进的基线在客观和主观评价。
2021-06-09 cs.CL
Streaming Punctuation: A Novel Punctuation Technique Leveraging Bidirectional Context for Continuous Speech Recognition
Microsoft Corporation(微软公司)
虽然语音识别单词出错率(WER)已经达到了与英语相当的水平,但是连续语音识别场景(例如语音打字和会议速记)仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的,这对于自动标点至关重要。然而,自动语音识别(ASR)生成系统受到实时要求的限制,使得在做出标点决定时难以结合正确的上下文。由ASR解码器产生的片段内的上下文可以是有帮助的,但是限制了连续语音会话的整体标点性能。在本文中,我们提出了一个流的方法,使用动态解码窗口的ASR输出的标点符号或重新标点符号,并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题,将分割F0.5分数提高了13.9%。流式标点符号实现了机器翻译(MT)下游任务的平均BLEUscore提高0.66。
2023-01-10 cs.CL
Leveraging Twitter for Low-Resource Conversational Speech Language Modeling
University of Washington(华盛顿大学)
在涉及会话语音的应用中,数据稀疏性是构建更好的语言模型的限制因素。我们提出了一种简单的,独立于语言的方法,可以快速从Twitter中收集大量数据,以补充与该领域更紧密匹配的较小训练集。这些技术导致四种低资源语言的困惑显着减少,即使这些语言在Twitter上的存在相对较小。我们还发现,Twitter的文本是更有用的学习词类比域中的文本,使用这些词类导致进一步减少困惑。此外,我们介绍了一种方法,使用社会和文本信息,优先级的下载队列在Twitter的爬行。这最大化了可以收集的有用数据的数量,影响了困惑度和词汇覆盖率。
2015-04-09 cs.CL
Leveraging Pseudo-labeled Data to Improve Direct Speech-to-Speech Translation
Bytedance(字节跳动)
直接语音到语音翻译(S2 ST)近年来受到越来越多的关注。由于数据稀缺和复杂的语音到语音映射,这项任务非常具有挑战性。在本文中,我们报告了我们最近在S2 ST的成就。首先,我们建立了一个S2 ST Transformer基线,它优于原来的Translatotron。其次,我们利用伪标记的外部数据,并获得了一个新的国家的最先进的Fisher英语到西班牙语测试集的结果。事实上,我们利用伪数据与流行的技术相结合,这些技术在应用于S2 ST时并不平凡。此外,我们评估我们的方法在句法相似(西班牙语-英语)和遥远(英语-汉语)的语言对。我们的实现可以在https://github.com/fengpeng-yue/speech-to-speech-translation上获得。
2022-05-18 cs.CL eess.AS
SyntaxMind at BLP-2025 Task 1: Leveraging Attention Fusion of CNN and GRU for Hate Speech Detection
Dept. of Computer Science & Engineering(计算机科学与工程系);International Islamic University Chittagong(国际伊斯兰大学)
SyntaxMind 提出了一种结合 CNN 和 GRU 的注意力融合模型,用于孟加拉文仇恨言论检测,实现了高竞争力的分类性能。
2026-01-09 cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University(乔治华盛顿大学);AWS, Amazon AI(亚马逊云科技亚马逊人工智能)
语码转换(英语:Linguistic Code Switching,CS)是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术,处理CS数据在内部数据中尤其具有挑战性,因为这些技术一次只处理一种语言。在本文中,我们解决的问题,词性标注(POS)的语言代码转换(CS)的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对,西班牙语-英语,印度语-英语,现代标准阿拉伯语-埃及阿拉伯语方言(MSA-EGY)和现代标准阿拉伯语-黎凡特阿拉伯语方言(MSA-LEV)的景观。我们的研究结果表明,多语言嵌入(例如,MSA-EGY和MSA-LEV)帮助密切相关的语言(EGY/LEV),但增加了噪音的语言是遥远的(SPA/HIN)。最后,我们表明,我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
Leveraging Affective Bidirectional Transformers for Offensive Language Detection
University of British Columbia(不列颠哥伦比亚大学)
社交媒体在我们的生活中无处不在,因此有必要通过检测和删除攻击性和仇恨言论来确保安全的在线体验。在这项工作中,我们报告了我们提交的攻击性语言和仇恨言论检测共享任务,该任务与第四届开源阿拉伯语语料库和处理工具阿拉伯语研讨会(OSACT4)一起组织。我们专注于开发纯粹的深度学习系统,而不需要特征工程。为此,我们开发了一种有效的自动数据增强方法,并展示了训练攻击性和仇恨性语音模型的实用性(即,通过微调)先前训练的情感模型(即,情绪和情感)。我们最好的模型明显优于普通的BERT模型,仇恨言论的acc为89.60%(宏F1为82.31%),官方测试数据的acc为95.20%(宏F1为70.51%)。
2020-05-16 cs.CL
SASST: Leveraging Syntax-Aware Chunking and LLMs for Simultaneous Speech Translation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Okinawa Institute of Science and Technology(冲绳科学技術研究院);Nara Institute of Science and Technology(奈良科学技術研究院)
提出SASST同声语音翻译框架,利用语法感知分块策略解析依存关系,结合冻结Whisper和LLM动态优化翻译时机与内容,在CoVoST2上显著提升多语言翻译质量。
2025-08-11 cs.CL
Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection
University of California, Santa Barbara(加州大学圣巴巴拉分校)
仇恨语音检测是自然语言处理(NLP)中的一个关键而又具有挑战性的问题。尽管存在许多致力于开发NLP仇恨言论检测方法的研究,但准确性仍然很差。核心问题是,社交媒体帖子简短而嘈杂,大多数现有的仇恨言论检测解决方案将每个帖子作为孤立的输入实例,这可能会产生高误报率和误报率。在本文中,我们从根本上提高了自动仇恨言论检测,提出了一种新的模型,利用内部用户和用户间的表示学习强大的仇恨言论检测在Twitter上。除了目标推文,我们收集和分析用户的历史帖子,以模拟用户内推文表示。为了抑制单个推文中的噪声,我们还使用增强的用户间表示学习技术对所有其他用户发布的类似推文进行建模。实验表明,利用这两种表示可以将强双向LSTM基线模型的f分数显著提高10.1%。
2018-09-14 cs.AI cs.CL
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab(贝林实验室)
本文针对低资源爱尔兰语到英语语音翻译,提出基于 Whisper 的端到端系统,利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
Leveraging LLMs for Context-Aware Implicit Textual and Multimodal Hate Speech Detection
Computational Linguistics \& Text Mining Lab Vrije Universiteit Amsterdam
本研究利用大语言模型生成社交媒体帖子的背景上下文,通过四种融入策略提升SBERT仇恨检测性能,在文本和多模态数据集上分别提升最多3和6个F1点。
2026-09-11 cs.CL
Improving End-to-end Speech Translation by Leveraging Auxiliary Speech and Text Data
Northeastern University(东北大学);NiuTrans Research(牛翻译研究所);Tencent Minority-Mandarin Translation(腾讯少数民族语言翻译)
我们提出了一种方法,用于将文本编码器引入预先训练的端到端语音翻译系统。它增强了适应一种模态的能力(即,源语言语音)到另一个(即,源语言文本)。因此,语音翻译模型可以从未标记和标记数据中学习,特别是当源语言文本数据丰富时。除此之外,我们提出了一种去噪方法来构建一个强大的文本编码器,可以处理正常和嘈杂的文本数据。我们的系统在Must-C En-De、En-Fr和LibriSpeech En-Fr任务上设置了新的最先进技术。
2022-12-04 cs.AI cs.CL cs.SD
Leveraging supplementary text data to kick-start automatic speech recognition system development with limited transcriptions
Stanford University(斯坦福大学);University of Groningen(格罗宁根大学);University of Hawai’i at Mānoa(夏威夷大学马诺阿分校);University of Washington(华盛顿大学);University of Queensland(昆士兰大学)
最近使用预训练的Transformer模型的研究表明,只需10分钟的转录语音就足以微调自动语音识别(ASR)的模型-至少如果我们还可以利用大量的文本数据(8.03亿个令牌)。但是,这么多的文本数据是必要的吗?我们研究了不同数量的文本数据的使用,既用于创建将ASR解码限制为可能的单词的词典(例如,*dogz与dogs),也用于训练使系统偏向可能的单词序列的较大语言模型(例如,too dogs与two dogs)。我们使用10分钟的英语转录语音(用于复制先前的工作)和另外两对在补充文本数据的可用性方面不同的语言进行实验:Gronings和Frisian(约7.5M令牌语料库可用),以及Besemah和Nasal(只有小词典可用)。对于所有的语言,我们发现,只使用一个词汇并没有明显提高ASR的性能。对于格罗宁斯语和弗里斯兰语,我们发现,从“小说长度”80 k标记子语料库中导出的词汇和语言模型将单词出错率(WER)平均降低到39%。我们的研究结果表明,在一个文本语料库中的上数万个或更多的令牌是可用的,微调Transformer模型,只有几十分钟的转录语音持有一些承诺,以获得人类可纠正的转录接近30%的WER经验法则。
2023-02-09 cs.CL
Leveraging Pre-trained Language Model for Speech Sentiment Analysis
ASAPP;Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们探索使用预先训练的语言模型来学习语音情感分析的书面文本的情感信息。首先,我们研究了预训练的语言模型在分别采用自动语音识别(ASR)和基于成绩单的情感分析的两步管道方法中的有用性。其次,我们提出了一种基于伪标签的半监督训练策略,使用端到端语音情感方法上的语言模型来利用大型但未标记的语音数据集进行训练。虽然口语和书面语具有不同的语言特点,但它们在理解情感方面可以相互补充。因此,所提出的系统不仅可以模型的声学特征承载特定的情感信息的语音信号,但学习潜在的信息,携带的文本表示的情感。在这些实验中,我们证明了所提出的方法提高F1分数一致相比,没有语言模型的系统。此外,我们还表明,所提出的框架可以通过利用大量的数据而无需人类情感注释来减少65%的人类监督,并在人类情感注释不足的低资源条件下提高性能。
2021-06-11 cs.CL eess.AS
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin(得克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究利用仅基于英语的大规模预训练模型(CLIP和HuBERT)实现多语种图像-语音检索,大幅超越现有最优性能,并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research(谷歌研究院)
不依赖中间文本表示的端到端语音到语音翻译(S2 ST)是一个迅速兴起的研究前沿。最近的工作表明,这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而,在实践中,直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中,我们探索了多种方法,利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法,与之前在没有额外数据的情况下训练的最先进的方法相比,CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU(或相对+113%)。低资源语言的改善更显着(平均增加398%)。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Kinship in Speech: Leveraging Linguistic Relatedness for Zero-Shot TTS in Indian Languages
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
本文提出通过增强共享音素表示并修改文本解析规则以匹配目标语言音系规则,实现印度低资源语言的零样本语音合成,并在梵语、孔卡尼语等五种语言上验证了方法的有效性。
2025-06-04 cs.CL cs.CV
Empowering Dysarthric Speech: Leveraging Advanced LLMs for Accurate Speech Correction and Multimodal Emotion Analysis
Pegasystems Worldwide Pvt Ltd(Pegasystems全球私人有限公司);Capital Quants Solutions(Capital Quants解决方案公司);Vasavi College of Engineering(瓦萨维工程学院)
本文提出一种利用先进LLM进行构音障碍语音纠正与多模态情感分析的框架,通过OpenAI Whisper及微调的开源模型重建目标句子并识别情绪,显著提升了构音障碍患者的沟通能力。
2024-10-13 cs.AI cs.CL
Swedish Whispers; Leveraging a Massive Speech Corpus for Swedish Speech Recognition
KBLab
本工作利用前所未有的大规模瑞典语语音数据集微调Whisper模型,在FLEURS、Common Voice和NST数据集上较OpenAI的whisper-large-v3将词错率平均降低47%,显著提升了中等资源语言的语音识别性能。
2025-08-14 cs.CL cs.SD eess.AS
Leveraging Multi-domain, Heterogeneous Data using Deep Multitask Learning for Hate Speech Detection
Indian Institute of Technology Patna(印度理工学院帕特纳分校)
随着社交媒体上用户生成的网络内容呈指数级增长,互联网不同部分对个人或群体的辱骂性语言也在迅速增加。对于人类版主来说,识别攻击性内容并将其过滤掉是非常具有挑战性的。深度神经网络已经显示出在仇恨语音检测和相关应用中具有合理准确性的前景。然而,分类器严重依赖于训练数据的大小和质量。如此高质量的大数据集并不容易获得。此外,最近出现的现有数据集并不是按照相同的注释准则创建的,而且往往涉及与仇恨有关的不同类型和子类型。为了解决这个数据稀疏性问题,并获得更多的全球代表性的功能,我们提出了一个卷积神经网络(CNN)的多任务学习模型(MTLs)\footnote{code is available at https://github.com/imprasshant/STL-MTL},利用来自多个来源的信息。在三个基准数据集上进行的实证分析表明,所提出的方法的有效性与显着改善的准确性和F分数,以获得最先进的性能相对于现有的系统。
2021-03-23 cs.CL
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
Leveraging Fine-grained Error Correction in Korean Speech Recognition for Consultation Services
Chung-Ang University(中央大学);Korea Local Information Research & Development Institute(韩国地方信息研究院);SK intellix
针对韩语呼叫中心ASR转录错误,提出首个大规模基准DasanCallDial和检测器门控上下文跨度纠正(DCSC)框架,通过多级粒度检测与纠正实现最先进性能。
2026-09-10 cs.CL
SALTTS: Leveraging Self-Supervised Speech Representations for improved Text-to-Speech Synthesis
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
SALTTS利用自监督学习模型表征,通过重建SSL特征增强FastSpeech2,在客观和主观评估上均优于基线。
2023-08-02 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.(谷歌公司)
训练最先进的自动语音识别(ASR)模型通常需要大量的转录语音。在这项工作中,我们证明了一个模态匹配的联合语音和文本模型,可以利用训练一个大规模的多语言ASR模型,没有任何监督(手动转录)的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言,零监督语音,现实世界的设置,以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集,我们定义了覆盖$102$语言的任务,其中转录的语音在这些语言的$52$中可用,并且可以用于提高其余$50$上的端到端ASR质量。首先,我们表明,通过将语音表示与字节级文本表示相结合,并使用语言嵌入,我们可以显着降低字符出错率(CER)的语言没有监督语音从64.8%到30.8%,相对减少53%。其次,使用南亚语言的一个子集,我们表明,Maestro-U可以促进知识转移的语言与监督语音,即使有限制,没有字形重叠。总体而言,Maestro-U相对于Oracle的性能差距缩小了68.5%,并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction
Technical University of Munich(慕尼黑工业大学)
关键词提取是从给定文本中自动选择一小组最相关短语的过程。有监督的关键短语提取方法需要大量标记的训练数据,并且在训练数据的域之外表现不佳。在本文中,我们提出了PatternRank,它利用预训练的语言模型和词性,从单个文档中进行无监督的关键短语提取。我们的实验表明,PatternRank实现了更高的精度,召回率和F1分数比以前的国家的最先进的方法。此外,我们提出了KeyphraseVectorizers包,它允许容易修改的部分语音模式的候选关键词选择,因此适应我们的方法到任何领域。
2022-10-12 cs.AI cs.CL
HK-LegiCoST: Leveraging Non-Verbatim Transcripts for Speech Translation
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(人类语言技术卓越中心);Johns Hopkins University(约翰霍普金斯大学)
提出HK-LegiCoST语料库,包含600+小时粤语-英语三路平行数据,解决非逐字转录的句子级对齐挑战,在粤语语音翻译上取得竞争性基线并跨语料库验证。
2026-06-16 cs.CL cs.LG
Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
Tampere University Apple(塔尔库大学苹果)
本文提出在双语自监督语音模型中引入有限视觉grounding,以缩小多语言与单语模型间的性能差距,在零样本音素判别上将差距从31.5%降至8.04%。
2025-09-22 cs.CL eess.AS
Leveraging Large Text Corpora for End-to-End Speech Summarization
NTT Corporation(日本电报电话公司)
端到端语音摘要(E2E SSum)是一种直接从语音中生成摘要句子的技术。与结合了自动语音识别(ASR)和文本摘要模型的级联方法相比,E2 E方法更有前途,因为它减轻了ASR错误,结合了非语言信息,并简化了整个系统。然而,由于收集大量成对数据(即,语音和摘要)是困难的,训练数据通常不足以训练健壮的E2E SSum系统。在本文中,我们提出了两种新的方法,利用大量的外部文本摘要数据的E2E SSum训练。第一种技术是利用文本到语音(TTS)系统来生成合成语音,该合成语音用于具有文本摘要的E2E SSum训练。第二种是TTS自由的方法,直接输入音素序列,而不是合成语音的E2E SSum模型。实验表明,我们提出的TTS和音素为基础的方法提高了几个指标的How2数据集。特别是,我们最好的系统比以前最先进的系统性能好得多(即,METEOR评分改善超过6分)。据我们所知,这是E2E SSum使用外部语言资源的第一个工作。此外,我们报告了How2数据集的详细分析,以确认我们提出的E2E SSUM系统的有效性。
2023-03-02 cs.CL eess.AS
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH(nyra健康有限公司)
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程,通过提取语音特征生成健康语音原型,实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kunming University of Science and Technology(昆明理工大学);NiuTrans Research(牛翻译研究院)
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战,提出基于n-gram构建的单元语言,结合多任务学习与任务提示建模指导语音建模,在Voxpupil数据集上实现显著提升,性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Pushing the Limits of Zero-shot End-to-End Speech Translation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);FAIR Meta(Meta FAIR实验室)
本文提出ZeroSwot方法,通过CTC压缩与最优传输仅用ASR数据训练语音编码器并与多语言MT模型对齐,在无任何ST数据条件下实现零样本端到端语音翻译,并在MuST-C和CoVoST上取得超越有监督模型的最优性能。
2024-06-05 cs.CL
Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent Systems
IBM(国际商业机器公司)
训练直接从语音中提取意图的端到端(E2 E)神经网络语音到意图(S2 I)系统需要大量带有意图标记的语音数据,这是耗时且昂贵的。在本文中,我们试图利用NLU文本资源。我们实现了一个基于CTC的S2 I系统,其性能与最先进的传统级联SLU系统相匹配。我们用不同数量的语音和文本训练数据进行了控制实验。当只有十分之一的原始数据可用时,意图分类的准确性绝对下降了7.6%。假设我们有额外的文本到意图数据(没有语音)可用,我们研究了两种技术来改进S2 I系统:(1)迁移学习,其中用于意图分类的声学嵌入与微调的BERT文本嵌入相关联;以及(2)数据增强,其中使用多扬声器文本到语音系统将文本到意图数据转换为语音到意图数据。所提出的方法恢复80%的性能损失,由于使用有限的意图标记的语音。
2020-10-08 cs.CL cs.LG cs.SD
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Leveraging Large Language Models for Spontaneous Speech-Based Suicide Risk Detection
College of Computer Science(计算机科学学院);National Key Laboratory of Fundamental Science on Synthetic Vision(合成视觉基础科学国家重点实验室)
本文针对青少年自杀风险检测问题,提出以大语言模型为核心并结合声学与语义特征的方法,在SW1挑战赛测试集上取得74%准确率并排名第一。
2025-07-01 cs.CL cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research(谷歌研究院)
与自动语音识别(ASR)和文本机器翻译(MT)模型的级联相比,端到端语音翻译(ST)模型具有许多潜在优势,包括降低推理延迟和避免错误复合。然而,端到端ST的质量往往受到缺乏训练数据的限制,因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习,以便从弱监督的训练数据中受益,例如语音到成绩单或文本到外国文本对。在本文中,我们证明了使用预训练的MT或文本到语音(TTS)合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外,我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练,并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后,我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages
Stanford University(斯坦福大学);ARC Centre of Excellence for the Dynamics of Language(ARC语言动态卓越中心);University of Groningen(格罗宁根大学);University of Queensland(昆士兰大学);University of Melbourne(墨尔本大学);Australian National University(澳大利亚国立大学);University of Sydney(悉尼大学);University of Freiburg(弗莱堡大学)
像wav 2 vec 2.0这样的预训练语音表示是自动语音识别(ASR)的强大工具。然而,许多濒危语言缺乏足够的数据来预先训练这些模型,或者主要是口头方言,没有标准化的书写系统,无法进行微调。举例查询口语词检测(QbE-STD)通过定位口语查询词为迭代地索引未转录语音语料库提供了一种替代方案。使用数据从7澳大利亚土著语言和各种区域的荷兰语,所有这些都是濒危或脆弱的,我们表明,QbE-STD可以通过利用表示开发ASR(wav 2 vec 2.0:英语单语模型和XLSR 53多语言模型)得到改善。令人惊讶的是,英语模型在4个澳大利亚语言数据集上的表现优于多语言模型,这就提出了如何最佳地利用QbE-STD的自监督语音表示的问题。尽管如此,我们发现wav 2 vec 2.0表示(英语或XLSR 53)在我们濒危语言数据集上的最先进方法上提供了很大的改进(相对56-86%)。
2021-09-14 cs.CL cs.SD eess.AS
Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
在当今的互联网时代,每个人都可以轻松访问社交媒体平台,人们往往不得不应对威胁,身份攻击,仇恨和欺凌,因为他们与演员,信仰,性别,宗教,甚至接受或拒绝一个概念。现有的仇恨言论检测工作主要集中在个人评论分类作为一个序列标签的任务,往往没有考虑到会话的上下文。在确定作者的意图和推文背后的情绪时,对话的上下文通常起着重要的作用。本文描述了MIDAS-IIITD团队为HASOC 2021子任务2提出的系统,该子任务是第一批共享任务之一,专注于从Twitter上的印地语-英语代码混合对话中检测仇恨言论。我们使用神经网络来解决这个问题,利用Transformer的跨语言嵌入,并进一步对它们进行微调,以用于在音译印地语文本中进行低资源仇恨语音分类。我们表现最好的系统是由Indic-BERT、XLM-RoBERTa和多语言BERT组成的硬投票组合,取得了0.7253的宏观F1分数,使我们在整体排行榜上排名第一。
2021-12-18 cs.AI cs.CL cs.LG
Tox-BART: Leveraging Toxicity Attributes for Explanation Generation of Implicit Hate Speech
IIIT Delhi(德里印度信息技术学院);IIT Delhi(印度理工学院德里分校)
本文提出 Tox-BART,通过引入外部毒性信号替代知识图谱元组来生成隐式仇恨言论解释,在 SBIC 和 LatentHatred 数据集上取得与 KG 方法相当的性能,并在人工评估中优于零样本 GPT-3.5。
2024-06-06 cs.CL
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);Alibaba Group(阿里巴巴集团)
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音,并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation
Heidelberg University(海德堡大学)
针对端到端语音翻译配对数据稀缺问题,提出基于音频对齐的Sample, Translate, Recombine数据增强法,仅用现成组件即可稳定提升多语言对BLEU值。
2022-03-16 cs.CL eess.AS
Leveraging Parameter-Efficient Transfer Learning for Multi-Lingual Text-to-Speech Adaptation
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出将适配器和超网络等参数高效迁移学习方法与TTS架构集成,仅用约2.5%可调参数即实现与全量微调相当或更优的多语言语音合成性能。
2024-06-25 cs.CL cs.SD eess.AS
Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation
National Taiwan Normal University(国立台湾师范大学);Academia Sinica(中央研究院);United-Link Co., Ltd.(联科股份有限公司)
本文提出一种利用噪声编码器和GANs的噪声感知数据仿真方法,通过动态随机扰动增强模型对未知噪声的泛化能力,在VoiceBank-DEMAND上优于现有强基线。
2024-09-03 cs.AI cs.CL cs.SD
Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection
University of Groningen(Groningen大学);Speech Technology Lab(语音技术实验室);Center for Language and Cognition(语言与认知中心)
本文提出利用大语言模型生成讽刺语音数据集,通过人类验证提升标注质量,并在公开数据集上验证了检测性能,最终引入PodSarc数据集,实现了73.63%的F1分数。
2026-04-20 cs.CL cs.SD eess.AS
Leveraging Zipformer Model for Effective Language Identification in Code-Switched Child-Directed Speech
Johns Hopkins University(约翰霍普金斯大学)
本文提出利用 Zipformer 模型处理包含普通话和英语的语码转换儿童指向语音,通过提取内部层 embeddings 进行语言识别,有效应对不平衡数据,实现 81.89% 的 BAC,较基线提升 15.47%。
2025-08-13 cs.CL cs.SD
The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding
University of Oxford(牛津大学)
针对非侵入式语音解码信噪比低的问题,提出Brain2Semantics2Text方法,通过中间语义嵌入空间重建文本,利用语义瓶颈恢复高级语义,无需单词级对齐,并在句子级别结果上优于先前方法。
2026-10-08 cs.CL cs.LG
Improving Whisper's Recognition Performance for Under-Represented Language Kazakh Leveraging Unpaired Speech and Text
Tsinghua University(清华大学)
本文针对 Whisper 在哈萨克语等低资源语言上表现不佳的问题,提出结合非配对语音与文本、GPT 语言模型、EOT 修正、幻觉惩罚及伪标注微调的方法,在多个实验中实现超过 10% 的绝对 WER 降低。
2024-08-10 cs.CL cs.SD eess.AS
Large-Scale Self- and Semi-Supervised Learning for Speech Translation
Facebook AI
在本文中,我们提高语音翻译(ST),通过有效地利用大量的未标记的语音和文本数据在不同的和互补的方式。我们通过使用大型Libri-Light语音音频语料库和CommonCrawl语言建模来探索预训练和自我训练。我们的实验通过结合wav 2 vec 2.0预训练的简单配方,将所有四个考虑的CoVoST 2语言对平均提高了2.6 BLEU,自训练和解码的单次迭代与语言模型相结合。与现有的工作不同,我们的方法不利用ST数据以外的任何其他监督。代码和模型将公开发布。
2021-04-14 cs.CL
Echotune: A Modular Extractor Leveraging the Variable-Length Nature of Speech in ASR Tasks
Blockchain Industry School, Chengdu University of Information Technology(成都信息工程大学区块链产业学院);School of Computer Science and Technology, Fudan University(复旦大学计算机科学技术学院);Department of Computer Science, Victoria University(维多利亚大学计算机科学系)
本文提出Echo-MSA模块,通过可变长度注意力机制解决ASR中固定长度注意力窗口的局限,结合动态门控并行注意力架构,在保持模型稳定性的同时显著提升词错误率性能。
2024-04-08 cs.CL cs.SD eess.AS
Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)(人工智能研究所(TeleAI))
针对汉语方言ASR数据稀缺的问题,采用Data2vec2自监督预训练结合LLM的范式,经大规模数据训练后在多方言数据集取得SOTA结果,将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English(英语系);National Taiwan Normal University(台湾师范大学);Department of Computer Science and Information Engineering(计算机科学与信息工程系)
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题,提出基于预训练模型的时间戳对齐流程,并融合 RoBERTa、Wav2Vec 与门控交叉注意力,在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
Carnegie Mellon University(卡内基梅隆大学)
针对非典型发音评估中音位变体建模被简化的问题,提出结合冻结自监督语音模型特征与高斯混合模型的MixGoP方法,在多数数据集上达最优,验证了S3M特征捕捉音位变体的优势。
2025-03-24 cs.AI cs.CL cs.LG