Textless Direct Speech-to-Speech Translation with Discrete Speech Representation
Google Research(谷歌研究院)
语音到语音翻译(Speech-to-Speech Translation,S2 ST)的研究近年来发展迅速。许多端到端的系统已经被提出,并显示出优于传统的级联系统,这往往是由识别,翻译和合成子系统。然而,大多数端到端系统在训练期间仍然依赖于中间文本监督,这使得它不适合没有书面形式的语言。在这项工作中,我们提出了一种新的模型,无文本的Translatotron,它是基于Translatotron 2,用于训练一个端到端的直接S2 ST模型,没有任何文本的监督。代替如在Translatotron 2中那样与预测目标音素的辅助任务联合训练,所提出的模型使用预测从学习或随机语音量化器获得的离散语音表示的辅助任务。当使用无监督语音数据预训练的语音编码器用于这两个模型时,所提出的模型在多语言CVSS-C语料库以及双语Fisher西班牙语-英语语料库上获得的翻译质量几乎与Translatotron 2相当。在后者上,它比现有的最先进的无文本模型的性能高出+18.5 BLEU。
2022-10-31 cs.CL cs.SD eess.AS
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kunming University of Science and Technology(昆明理工大学);NiuTrans Research(牛翻译研究院)
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战,提出基于n-gram构建的单元语言,结合多任务学习与任务提示建模指导语音建模,在Voxpupil数据集上实现显著提升,性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
A Textless Metric for Speech-to-Speech Comparison
Naver Labs Europe(欧洲Naver实验室);LNE(法国国家计量测试实验室)
该研究提出一种基于HuBERT等语音转单元编码器的无文本语音比较指标,可用于无可靠ASR系统的语言的语音翻译评估,同时证实强ASR下的ASR-BLEU也无法很好替代真实文本BLEU。
2023-07-20 cs.CL cs.SD eess.AS
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite(阿维尼翁大学LIA研究所);University of Cambridge(剑桥大学)
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准,通过下游任务分析发现,重合成性能优异的单元未必能提升翻译效能,揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
textless-lib: a Library for Textless Spoken Language Processing
Meta AI Research(Meta AI 研究院);EHESS(法国社会科学高等研究院);Outreach(外展(可能指外展团队,但按要求提取到机构级别,这里Outreach可能是团队名,非独立机构,故不提取))
无文本口语处理研究旨在将标准NLP工具集的适用性扩展到口语和几乎没有文本资源的语言。在本文中,我们介绍了textless-lib,一个基于PyTorch的库,旨在促进这一研究领域的研究。我们描述了该库提供的构建块,并通过讨论三个不同的用例示例来展示其可用性:(i)扬声器探测,(ii)语音再合成和压缩,以及(iii)语音延续。我们相信,textless-lib大大简化了无文本环境下的研究,不仅对语音研究人员,而且对整个NLP社区来说都是少数。代码、文档和预训练模型可在https://github.com/facebookresearch/textlesslib/上获得。
2022-02-15 cs.CL cs.LG cs.SD
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文研究基于CTC的非自回归语音到语音翻译,结合预训练、知识蒸馏及glancing training等技术,在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite(阿维尼翁大学);University of Cambridge(剑桥大学)
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法,以增强无文本语音到语音翻译中的表现力迁移,实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target
National Taiwan University(台湾大学);Meta AI
本文提出以自监督语音模型中的离散单元作为中间指导来改进无文本口语理解,在五个SLU基准上超越基线,并提升少样本学习和抗噪能力。
2023-07-08 cs.CL eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器,通过捕获噪声无关的表现力表征,在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Textless Speech-to-Music Retrieval Using Emotion Similarity
KAIST(韩国科学技术院);ByteDance(字节跳动);Gaudio Lab(Gaudio实验室)
我们介绍了一个框架,建议基于语音的情感音乐。在内容创作和日常生活中,语音包含了人类情感的信息,音乐可以增强这些信息。我们的框架侧重于跨域检索系统,通过情感标签弥合语音和音乐之间的差距。我们探索不同的语音表征,并报告其对不同语音类型的影响,包括代理语音和唤醒词。我们还提出了一个跨领域检索任务中的情感相似性正则化项。通过将正则化项纳入训练,情感空间中的相似语音和音乐对在联合嵌入空间中更接近。综合实验结果表明,该模型在无文本语音到音乐检索中是有效的。
2023-03-19 cs.IR cs.MM cs.SD
Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology(韩国科学技术院)
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音,保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Google DeepMind(谷歌DeepMind)
本研究提出无文本单元到单元翻译(UTUT)方法,以自监督语音模型的离散语音单元为伪文本训练多对多编码器-解码器模型,可高效迁移至语音翻译、文本转语音等多类多语言任务,仅需少量文本微调。
2024-08-18 cs.CL eess.AS eess.SP
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California(南加州大学);Boston University(波士顿大学)
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现,通过音频窗口、人群特征和训练数据比例等基准实验,证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
Textless Speech Emotion Conversion using Discrete and Decomposed Representations
Bar-Ilan University(巴伊兰大学);Meta AI Research(Meta人工智能研究院);EHESS(社会科学高等学院)
言语情感转换是指在保持言语的词汇内容和说话人身份的前提下,对言语的情感进行修正。在这项研究中,我们把情感转换的问题作为一个口语翻译任务。我们将语音信号分解为离散的学习表示,包括语音内容单元,韵律特征,扬声器和情感。首先,我们通过将语音内容单元翻译成目标情感来修改语音内容,然后基于这些单元预测韵律特征。最后,通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范例使我们能够超越频谱和参数变化的信号,和模型的非语言发声,如笑声插入,打哈欠删除等,我们客观和主观地证明,所提出的方法是大大优于目前的方法,甚至击败基于文本的系统在感知的情感和音频质量。我们严格评估了这样一个复杂系统的所有组件,并通过广泛的模型分析和消融研究得出结论,以更好地强调所提出的方法的架构选择,优点和缺点。示例可通过以下链接获得:https://speechbot.github.io/emotion。
2022-12-13 cs.AI cs.CL cs.LG
Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection
Arizona State University(亚利桑那州立大学)
本研究通过文献综述与实证分析,探讨大语言模型在仇恨言论检测中的能力与限制,识别表现优异的模型及其影响因素。
2024-03-12 cs.AI cs.CL
Textless Streaming Speech-to-Speech Translation using Semantic Speech Tokens
本文提出基于 transducer 的无文本流式语音到语音翻译模型,直接输出离散语音令牌,避免级联系统错误累积和高延迟,在 CVSS-C 多语言对上取得 BLEU、平均延迟和 BLASER 2.0 的最新结果。
2024-10-04 eess.AS
Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models
针对网络极端言论分类的社会文化复杂性与人工审核规模化难题,本文基于印度极端言论数据集,构建大语言模型分类框架,对比开源Llama与闭源OpenAI模型,发现领域微调可显著提升性能并缩小模型差距。
2025-02-21 cs.AI cs.CL
Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer
本文提出了一种无文本和非平行的语音到语音情感风格迁移框架,通过分析-合成流程实现情感属性转移,保留说话者身份和语音内容,并在情感迁移效果上优于现有方法。
2026-03-10 cs.SD eess.AS
SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models
AWS AI Labs, Amazon(亚马逊 AWS 人工智能实验室)
该研究聚焦语音大语言模型的安全漏洞,设计了白盒与黑盒场景下的无人工对抗越狱算法,提出对应防御策略,验证了模型的高安全性能及攻击的高危害性与防御的有效性。
2024-05-14 cs.CL cs.SD eess.AS
Exploring Cross-Cultural Differences in English Hate Speech Annotations: From Dataset Construction to Analysis
KAIST(韩国科学技术院);Cardiff University(卡迪夫大学)
本文构建覆盖五国标注者的跨文化英文仇恨言论数据集 CREHate,揭示显著的国别标注分歧,并评估零样本 LLM 的文化偏向。
2024-04-03 cs.AI cs.CL
Exploring Large Language Models for Hate Speech Detection in Rioplatense Spanish
Instituto de Cs. de la Computación(计算机科学研究所);CONICET(阿根廷科学技术研究委员会);UBA(布宜诺斯艾利斯大学);Instituto Gino Germani(吉诺·格尔马研究所);FSOC(社会科学学院);Departamento de Computación, FCEN UBA(布宜诺斯艾利斯大学精确与自然科学学院计算机系)
本文分析了大型语言模型在拉普拉塔河西班牙语仇恨言论检测中的性能,利用思维链推理进行分类实验并与BERT对比,发现尽管精度较低,但对细微案例仍具敏感性。
2024-10-16 cs.CL
Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study
Peking University No.5 Yiheyuan Road, Haidian District, Beijing 100871, P.R.China(北京大学)
本文实证研究了将大语言模型(LLMs)的上下文学习能力集成到自动语音识别(ASR)系统中以纠正转录错误,发现使用ChatGPT和GPT-4等模型在Aishell-1和LibriSpeech数据集上反而导致更高的词错误率(WER),揭示了当前LLMs在语音应用中的局限性。
2023-07-13 cs.CL cs.SD eess.AS
Can LLMs Understand Unvoiced Speech? Exploring EMG-to-Text Conversion with LLMs
Northwestern University, USA(西北大学,美国)
研究探索 LLMs 理解无声语音的潜力,提出 EMG 适配器模块将特征映射到 LLM 输入空间,在闭词汇任务上实现 0.49 WER,并在六分钟数据下性能提升近 20%。
2025-05-30 cs.CL
Exploring the Potential of Large Multimodal Models as Effective Alternatives for Pronunciation Assessment
Microsoft(微软公司)
本文评估 GPT-4o 在 Speechocean762 上进行多层级发音评分与反馈生成的能力,证明 LMMs 结合传统方法用于发音评估的潜力。
2025-03-14 cs.CL cs.SD eess.AS
Finding A Voice: Exploring the Potential of African American Dialect and Voice Generation for Chatbots
School of Nursing, Emory University(埃默里大学护理学院);Department of Computer Science, Emory University(埃默里大学计算机科学系)
本研究探讨将非裔美国人英语融入文本与语音聊天机器人的效果,发现语音模态结合非裔美国人声音和AAE元素能提升性能与用户偏好,而文本AAE聊天机器人表现欠佳,揭示了语言个性化在文本与语音模态间的复杂动态及技术局限。
2025-07-19 cs.CL
Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation
University of Leeds(利兹大学);University of Mainz(美因茨大学)
本文以专家人工评分为基准,比较句嵌入与大型语言模型在无参考译文条件下评估同传忠实度的相关性,发现直接提示的GPT-3.5表现最佳且上下文窗口影响显著。
2024-06-14 cs.CL
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
Scaling Analysis of Interleaved Speech-Text Language Models
Department of Computer Science and Engineering(计算机科学与工程系)
本文通过训练数十个模型分析语音-文本交错SLM的扩展规律,发现其比无文本SLM计算扩展更高效,并应优先增大模型规模;扩展模型以更少算力和数据达到领先性能。
2025-07-27 cs.CL cs.SD eess.AS
SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Guangdong Provincial Public Security Department(广东省公安厅);Shanghai Jiao Tong University(上海交通大学)
本文提出 SLIDE 框架,通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化,在 Fisher 数据集上实现语义连贯的自然口语对话生成。
2025-01-01 cs.CL cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
VILAS: Exploring the Effects of Vision and Language Context in Automatic Speech Recognition
CASIA(中国科学院自动化研究所)
本文提出基于 CIF 的多模态 ASR 模型 ViLaS,可融合视觉与语言上下文并应对模态缺失,同时构建中英 VSDial 数据集,系统验证融合效果。
2023-12-18 cs.AI cs.CL eess.AS
Exploring Self-Supervised Multi-view Contrastive Learning for Speech Emotion Recognition with Limited Annotations
Maastricht University(马斯特里赫特大学)
针对语音情感识别中标注数据稀缺的问题,提出可适配多种语音表示的多视图自监督预训练框架,在标注极稀疏场景下将未加权平均召回率最高提升10%。
2024-06-12 cs.AI cs.CL cs.SD
Long-Form Speech Generation with Spoken Language Models
Google DeepMind(谷歌DeepMind);Language Lab, KAIST(语言实验室,韩国科学技术院)
针对无文本口语模型难以生成超过几十秒语音的问题,提出SpeechSSM模型家族,利用线性时间序列建模在单次会话中生成多分钟连贯语音,并引入LibriSpeech-Long基准及新评估指标。
2025-07-10 cs.CL cs.SD eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
以前的语音端到端翻译工作主要使用帧级特征作为语音表示,这会创建比文本更长、更稀疏的序列。我们表明,一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说,我们为语音帧生成音素标签,并对具有相同标签的连续帧进行平均,以创建更短,更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进,训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Exploring ASR-Based Wav2Vec2 for Automated Speech Disorder Assessment: Insights and Analysis
IUC Toulouse(图卢兹大学癌症研究所)
本文首次对用于自动化语音障碍质量评估的基于ASR的Wav2Vec2基线模型进行分析,通过逐层分析比较不同模型,并利用CCA等事后XAI方法增强模型可解释性。
2024-10-10 cs.AI cs.CL cs.SD
Exploring Speech Pattern Disorders in Autism using Machine Learning
University at Albany(纽约州立大学奥尔巴尼分校);California Institute of Technology(加州理工学院);Washington University in St. Louis(圣路易斯华盛顿大学);West Virginia University(西弗吉尼亚大学)
本文分析检查者与患者对话中的40个言语特征,利用机器学习分类ASD并回归预测相关言语变量,分类准确率达87.75%,可辅助早期诊断与个性化治疗。
2024-05-03 cs.AI cs.CL cs.SD
PolySpeech: Exploring Unified Multitask Speech Models for Competitiveness with Single-task Models
China Mobile Research Institute(中国移动研究院)
本文提出多任务语音模型PolySpeech,以多模态语言模型为核心,通过语义语音嵌入标记化与语音重建方法,在语音识别、合成和分类任务上取得与单任务模型相当甚至更优的性能。
2024-06-12 cs.CL cs.SD eess.AS
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs(Kreasof人工智能研究实验室);African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所);Trinity College Dublin(都柏林三一学院)
本文针对IWSLT 2025低资源赛道,基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统,并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo(东京大学);Keio University(.keio大学);Graduate School of Information Science and Technology(信息科学与技术研究生院);Faculty of Science and Technology(科学与技术学部)
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响,发现适度粗粒度分割和较大聚类可提升零样本口语理解性能,并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation
National Taiwan University(台湾大学)
同步语音翻译(SimulST)是一个具有挑战性的任务,旨在翻译流语音之前,观察到完整的输入。SimulST系统通常包括两个组件:聚合语音信息的预决策和决定读或写的策略。虽然最近的工作提出了各种策略来改善预决策,他们主要采用固定的wait-k政策,离开自适应政策很少探讨。本文提出了模型的自适应政策,通过适应连续集成和消防(CIF)。与单调多头注意(MMA)相比,我们的方法具有计算简单,在低延迟,更好的质量和更好的推广长话语的优点。我们在Must-C V2数据集上进行了实验,并证明了我们的方法的有效性。
2022-10-03 cs.CL cs.SD eess.AS
Exploring End-to-End Techniques for Low-Resource Speech Recognition
Speech Technology Center Ltd(语音技术中心有限公司);STC-innovations Ltd(STC创新有限公司);ITMO University(ITMO大学)
在这项工作中,我们提出了一个简单的基于grapheme-based系统的低资源语音识别使用巴别塔数据土耳其自发语音(80小时)。我们已经研究了不同的神经网络架构性能,包括全卷积,递归和ResNet与GRU。不同的功能和规范化技术进行了比较。我们还提出了在训练过程中使用分割的CTC损失修改,这导致在使用小波束尺寸进行解码时的改进。我们的最佳模型实现了45.8%的单词出错率,根据我们的知识,这是使用域内数据的端到端系统的最佳报告结果。
2018-07-02 cs.CL cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft China(微软中国)
机器语音链将端到端(E2 E)自动语音识别(ASR)和文本到语音(TTS)集成到一个循环中进行联合训练,已被证明可以有效地利用大量未配对数据进行数据增强。在本文中,我们探索语音链中的TTS->ASR管道,对神经TTS和E2 E ASR模型进行领域自适应,仅使用来自目标域的文本数据。我们进行了实验,通过适应从有声读物域(LibriSpeech)到呈现域(TED-LIUM),有一个相对的词出错率(WER)减少10%的E2 E ASR模型上的TED-LIUM测试集,和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外,我们通过以无监督的方式使用目标说话者的一些话语,对E2 E ASR应用Few-Shot说话者自适应,从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Exploring the anatomy of articulation rate in spontaneous English speech: relationships between utterance length effects and social factors
University of Glasgow(格拉斯哥大学);McGill University(麦吉尔大学);University of Oregon(俄勒冈大学);North Carolina State University(北卡罗来纳州立大学)
本研究通过建模13个英语语料库的语速,发现话语长度对语速影响最大且跨语料库和说话者差异小,年龄、性别影响幅度更小,提示语速的社会影响需结合言语约束背景解读。
2024-08-13 cs.CL cs.SD eess.AS
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft(微软)
近年来,递归神经网络转换器(RNN-T)结构由于其能够进行在线流式语音识别的优点,成为端到端自动语音识别研究的一个新兴趋势。然而,RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类(CTC)模型以及RNN语言模型(RNNLM)来初始化RNN-T参数。在这项工作中,我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索,分别称为编码器预训练,和全网络预训练。在微软65,000小时的匿名生产数据上进行评估,删除了个人身份信息,我们提出的方法可以获得显着的改善。特别地,当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时,编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司);Northwestern Polytechnical University(西北工业大学);University of Washington(华盛顿大学);University of Stuttgart(斯图加特大学);Waseda University(早稻田大学);National Taiwan University(国立台湾大学)
本文系统比较离散语音单元在端到端语音识别、翻译和理解模型中的应用,验证其在压缩序列、缩短训练时间的同时可保持良好性能。
2023-09-27 cs.CL cs.SD eess.AS
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen(西波西米亚大学比尔森分校)
在本文中,我们介绍了我们在预训练捷克单语音频Transformers方面的进展,该转换器来自一个包含超过8万小时未标记语音的大型数据集,随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验,其中包括在两个公共数据集(CommonVoice和VoxPopuli)和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明,单语Wav2Vec 2.0模型是鲁棒的ASR系统,可以利用大型标记和未标记数据集,并成功地与最先进的LVCSR系统竞争。此外,Wav2Vec模型被证明是很好的zero-shot学习者时,没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
Exploring Speech Enhancement for Low-resource Speech Synthesis
本文研究低资源语音合成中的数据质量问题,提出用TF-GridNet语音增强ASR语料再训练离散单元TTS模型的流程,并在阿拉伯语数据上验证其显著降低ASR WER。
2023-09-19 eess.AS
Text-Free Prosody-Aware Generative Spoken Language Modeling
Facebook AI Research(脸书人工智能研究院)
语音预训练主要在分类任务上表现出有效性,而其生成新语音的能力,类似于GPT-2如何生成连贯段落,几乎没有被探索过。生成式口语建模(GSLM)\cite{Lakhotia2021}是解决语音预训练生成方面的唯一先前工作,它用发现的语音单元代替文本进行语言建模,并显示出生成有意义的新句子的能力。不幸的是,尽管消除了文本的需要,GSLM中使用的单位丢弃了大部分的韵律信息。因此,GSLM无法利用韵律来更好地理解,并且不能生成表达性的语音。在这项工作中,我们提出了一个韵律感知的生成口语语言模型(pGSLM)。它由语音的多流Transformer语言模型(MS-TLM)和自适应HiFi-GAN模型组成,MS-TLM表示为发现的单元和韵律特征流,自适应HiFi-GAN模型将MS-TLM输出转换为波形。我们设计了一系列的韵律建模和生成的指标,并重用GSLM的内容建模的指标。实验结果表明,pGSLM可以利用韵律,以改善韵律和内容建模,并产生自然,有意义的,连贯的语音给定的口头提示。音频样本可以在https://speechbot.github.io/pgslm上找到。代码和模型可在https://github.com/pytorch/fairseq/tree/main/examples/textless_nlp/pgslm上获得。
2022-05-10 cs.CL cs.LG cs.SD
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.(阿尔马威公司)
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点,提出说话人分离与语言识别级联系统,相比传统方法显著降低语言分离错误和词错误率,且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
Exploring Gender Disparities in Automatic Speech Recognition Technology
University of Sheffield(谢菲尔德大学)
本研究利用LibriSpeech数据集和Whisper small模型,发现ASR性能与训练数据性别比例存在复杂关系,最优公平性并非简单50-50比例,且音高变异性显著影响准确性,强调精心策划训练数据对缓解性别偏见的重要性。
2025-02-25 cs.CL cs.SD eess.AS
Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data
MAUM AI Inc.(MAUM AI公司);Soongsil University(_soongsil大学)
本研究探讨了在有限语音数据条件下,通过不同微调方案提升语音语言理解性能,发现文本-only微调已具竞争力,课程学习在数据稀缺时效果显著。
2026-01-21 cs.CL cs.LG cs.SD
Exploring Transformers for Large-Scale Speech Recognition
Microsoft(微软)
虽然递归神经网络仍然在很大程度上定义了最先进的语音识别系统,但Transformer网络已被证明是一种有竞争力的替代方案,特别是在离线条件下。大多数使用Transformers的研究都局限于相对较小的规模,并且通常采用某些形式的数据论证方法来解决数据稀疏问题。在本文中,我们的目标是了解Transformers在大规模语音识别环境中的行为,我们使用了大约65,000小时的训练数据。我们研究了扩展Transformers的各个方面,包括模型初始化,预热训练以及不同的层规范化策略。在流式传输条件下,我们将广泛使用的基于注意掩码的未来上下文前瞻方法与Transformer-XL网络进行了比较。从我们的实验中,我们表明,Transformers可以实现约6%的相对字错误率(WER)减少相比,在离线的方式,而在流媒体的方式,Transformer-XL是可比的LC-BLSTM与800毫秒的延迟约束。
2020-08-11 cs.CL cs.SD eess.AS
CommonAccent: Exploring Large Acoustic Pretrained Models for Accent Classification Based on Common Voice
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院);Texas A&M University(得克萨斯农工大学);Vilnius Gediminas Technical University(维尔纽斯盖迪米纳斯技术大学);Université Laval(拉瓦尔大学);Concordia University(康考迪亚大学);Mila-Québec AI Institute(米拉-魁北克人工智能研究所)
本文基于 Common Voice 数据集,利用 ECAPA-TDNN 和 Wav2Vec 2.0/XLSR 架构构建多语言口音分类方法,在英语口音分类上达到 95% 准确率的新最优结果,并开源了 SpeechBrain 配方。
2023-05-29 cs.AI cs.CL cs.LG