Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification
University of Michigan(密歇根大学);National Institute of Astrophysics, Optics and Electronics (INAOE)(国家天体物理、光学和电子研究所(INAOE))
本文提出利用在人类语音上预训练的自监督语音表示模型进行狗吠分类,在狗识别、品种、性别和上下文四个任务上显著优于基线方法。
2024-04-29 cs.CL
Algorithms for Speech Recognition and Language Processing
语音处理需要非常有效的方法和算法。最近已被证明,双态传感器构成了一个非常有用的抽象模型,并导致在这个领域的高效的时间和空间算法。我们提出了这些方法和算法,并说明他们在语音识别的情况下。除了经典的技术,我们描述了许多新的算法,如最小化,全球和当地的飞行确定加权自动机,和高效的组合物的传感器。这些方法目前用于大词汇量语音识别系统。然后,我们将展示如何在文本到语音的应用程序和相关领域的语言处理,如形态,语法和本地语法,在一个非常有效的方式使用相同的形式主义和算法。该教程是独立的,不需要任何特定的计算或语言知识,除了经典的结果。
1996-09-17 cmp-lg cs.CL
Robust Long-Form Bangla Speech Processing: Automatic Speech Recognition and Speaker Diarization
Department of Computer Science(计算机科学系);Engineering Chittagong University of Engineering(工程学院恰tagong工程大学)
本文提出了一种针对孟加拉语长篇语音识别和说话人聚类的端到端系统,通过微调模型和语音分离技术,实现了低资源下的高识别准确率和聚类性能。
2026-02-25 cs.CL cs.LG cs.SD
SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks
本文首次提出统一提示框架SpeechPrompt,将语音处理任务转化为语音到单元的生成任务,利用量化语音单元实现分类、序列生成与语音生成,在相似参数下性能媲美强微调方法,并在少样本设置中表现优异。
2024-08-23 cs.AI cs.CL cs.LG
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中,自监督学习(SSL)已经成为一个重要的研究方向。事实证明,SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面,监督多任务学习(MTL)是另一种表示学习范式,已被证明在计算机视觉(CV)和自然语言处理(NLP)中有效。然而,在语音处理中,还没有系统的研究,一般表示学习模型的监督MTL训练。在本文中,我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性,以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
针对现有语音语言模型主流训练范式在韵律学习上的不足,提出ProsodyLM,通过引入便于学习韵律的词级韵律tokenization方案,使模型仅通过预训练即可获得多样化的新兴韵律处理能力。
2025-08-07 cs.CL eess.AS
Processing Self Corrections in a speech to speech system
言语修正经常发生在自发的口语对话中。检测和纠正这些修复的能力对任何口语系统都是必要的。我们提出了一个框架来检测和纠正语音修复,其中所有相关级别的信息,即,声学、词汇、句法和语义是可以融合的。其基本思想是通过级联涉及越来越多特征的过滤器来尽快减少用于修复的搜索空间。首先,声学模块生成关于修复存在的假设。其次,随机模型对每个假设都提出了修正。评分良好的更正将作为新路径插入单词网格中。最后,格型解析器决定接受该表达式。
2000-08-21 cs.AI cs.CL
Tools and resources for Romanian text-to-speech and speech-to-text applications
Research Institute for Artificial Intelligence “Mihai Draganescu”, Romanian Academy(罗马尼亚科学院“米哈伊·德勒格内斯库”人工智能研究所)
在本文中,我们介绍了一组资源和工具,旨在提供支持自然语言处理,文本到语音合成和语音识别罗马尼亚。虽然这些工具是通用的,可以用于任何语言(我们成功地为50多种语言训练了我们的系统,并参与了通用语言共享任务),但这些资源只与罗马尼亚语处理相关。
2018-02-15 cs.CL
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur(印度理工学院坎普尔分校)
本文综述基于卷积的语音信号处理模型(如CNNs、Conformers等)的统计背景与多场景应用,通过对比训练成本、模型大小等指标分析各模型优劣,为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Voice based self help System: User Experience Vs Accuracy
Tata Consultancy Services(塔塔咨询服务公司);TCS Innovation Lab - Mumbai(TCS孟买创新实验室)
通常,自助系统越来越多地被基于服务的行业部署,因为它们能够提供更好的客户服务,并且越来越多地切换到基于语音的自助系统,因为它们提供了用于人与机器交互的自然接口。基于语音的自助系统理想地需要一个语音识别引擎来将所说的语音转换成文本,此外还需要一个语言处理引擎来处理语音识别引擎的任何误识。任何现成的语音识别引擎通常是声学处理和语音语法的组合。虽然这是规范,但我们认为理想情况下,语音识别应用程序除了语音识别引擎之外,还应该具有单独的语言处理引擎,以使系统具有更好的性能。在本文中,我们讨论了如何将语音识别引擎和语言处理引擎相结合,以提供更好的用户体验。
2015-04-07 cs.CL
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
Microsoft(微软)
自监督学习(SSL)在语音识别中取得了巨大的成功,而在其他语音处理任务中的探索却很有限。由于语音信号包含多方面的信息,包括说话人身份、语言、口语内容等,学习所有语音任务的通用表示是具有挑战性的。为了解决这个问题,我们提出了一个新的预训练模型WavLM,来解决全栈下游语音任务。WavLM在预训练中联合学习掩蔽语音预测和去噪。通过这种方式,WavLM不仅通过掩蔽语音预测保持了语音内容建模能力,而且通过语音去噪提高了非ASR任务的潜力。此外,WavLM采用门控相对位置偏置的Transformer结构,以更好地捕捉输入语音的序列排序。我们还将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中实现了最先进的性能,并在其代表性基准测试中为各种语音处理任务带来了显着改进。代码和预训练模型可在https://aka.ms/wavlm上获得。
2022-06-17 cs.CL cs.SD eess.AS
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院);Imperial College London(伦敦帝国学院);Logitech Europe S.A.(罗技欧洲公司)
深度学习的最新突破通常依赖于表示学习和知识转移。近年来,用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止,这些方法中的大多数是特定于任务的,并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来,学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里,我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用:(i)语音增强,(ii)语言识别,(iii)语音,噪声和音乐分类,以及(iv)说话人辨识。在每个任务中,我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明,编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是,即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法,或者是相当的,这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
The University of British Columbia(不列颠哥伦比亚大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学);Avignon Université(阿维尼翁大学);ELYADATA(ELYADATA公司);King Abdullah University of Science & Technology(阿卜杜拉国王科技大学);NYU Abu Dhabi(纽约大学阿布扎比分校)
NADI 2026作为第二届多方言阿拉伯语语音处理共享任务,涵盖五个任务八个子任务,引入TTS、SLT和SLU,强调现实评估,发现域外泛化是主要瓶颈,并验证了专用模型与集成方法的有效性。
2026-09-24 cs.CL
Towards a Common Speech Analysis Engine
IBM Research AI(IBM研究院人工智能);Technion - Israel Institute of Technology(以色列理工学院)
自我监督表示学习的最新创新导致了自然语言处理的显著进步。也就是说,在语音处理领域,基于自监督表示学习的系统还没有被认为是最先进的。我们建议利用基于自监督的语音处理的最新进展来创建一个通用的语音分析引擎。这样的引擎应该能够使用单个架构处理多个语音处理任务,以获得最先进的准确性。该引擎还必须支持具有小训练数据集的新任务。除此之外,通用引擎应该能够支持使用客户内部私有数据的分布式训练。我们提出了一个共同的语音分析引擎的基础上的HuBERT自监督语音表示的架构。在实验的基础上,我们报告了我们的语言识别和情感识别的标准评估NIST-LRE 07和IEMOCAP的结果。我们的结果超过了迄今为止在这些任务上报告的最先进的性能。我们还分析了我们的引擎在情感识别任务中使用减少量的训练数据,并展示了如何实现改进的结果。
2022-03-01 cs.CL cs.LG cs.SD
Losses Can Be Blessings: Routing Self-Supervised Speech Representations Towards Efficient Multilingual and Multitask Speech Processing
Georgia Institute of Technology(佐治亚理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Rice University(莱斯大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出 S$^3$-Router 框架,通过仅微调连接并丢弃不超过 10% 的语音自监督模型权重,在提升效率的同时缓解过拟合,实现多语言多任务语音处理、ASR 剪枝与表示分析的一体化方案。
2025-01-04 cs.LG cs.SD eess.AS
Monaural Multi-Talker Speech Recognition using Factorial Speech Processing Models
Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出了一个Pascal挑战,题目是单耳多说话者语音识别,目标是针对明显降低自动语音识别系统性能的类语音噪声的鲁棒自动语音识别问题。在这个挑战中,两个竞争的发言者同时说一个简单的命令,目标是识别目标发言者的语音。令人惊讶的是,在挑战过程中,来自IBM研究的一个团队在这项任务上的表现比人类听众更好。IBM团队提出的方法,包括一个中间的语音分离,然后是一个单一的说话者语音识别。本文重新考虑这一挑战的基础上增益自适应阶乘语音处理模型的任务。它开发了一个联合令牌传递算法的直接话语解码的目标和掩蔽扬声器,同时。与挑战获胜者相比,它在解码过程中使用了过去两阶段方法中无法使用的最大不确定性。基于概率图模型的一般推理过程,详细推导了这些模型的推理过程。作为另一个改进,它使用深度神经网络进行联合说话人辨识和增益估计,这使得这两个步骤比之前更容易为这些步骤产生有竞争力的结果。这项工作提出的方法优于过去的超人结果,甚至是微软最近使用深度神经网络研究取得的结果。与第一个超级人类系统相比,它实现了5.5%的绝对任务性能提升,与最近的竞争对手相比,它实现了2.7%的绝对任务性能提升。
2016-10-05 cs.CL cs.SD
Improving End-to-End Speech Processing by Efficient Text Data Utilization with Latent Synthesis
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出高效文本数据利用框架LaSyn,通过潜在合成器将文本转换为伪声学表示以增强训练数据,在低资源ASR和SLU任务上显著提升性能且参数更少。
2023-10-24 cs.CL cs.LG cs.SD
Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing
Idiap Research Institute(Idiap研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文比较了在人类语音和动物发声上预训练的自监督学习模型在生物声学任务中的表现,发现语音预训练模型已足够稳健,生物声学预训练仅带来边际改进,大量微调可能并非必要。
2025-01-19 cs.LG eess.AS
Likelihood-based semi-supervised model selection with applications to speech processing
Johns Hopkins University(约翰斯·霍普金斯大学);Harvard University(哈佛大学)
在传统的监督模式识别任务中,模型选择通常通过使一组所谓的开发数据的分类错误率最小化来完成,所述开发数据经受人类专家或一些其他手段的地面实况标记。然而,在语音处理系统和其他大规模实际应用的背景下,这种标记的开发数据通常是昂贵的并且难以获得。本文提出了一种基于似然的模型选择的替代半监督框架,该框架通过使用表示每个模型的训练分类器来自动生成推定标签,从而利用未标记的数据。从这个自动标签的结果的错误,被证明是服从于结果从强大的统计,这反过来又提供了最小最优删失似然比检验,恢复非参数符号测试作为一个限制性的情况下。然后,使用最先进的自动语音识别系统,使用仅可能包含测试中的单词的实例的未标记的语音数据,在候选单词发音之间进行选择,实验验证了这种方法。研究结果为这种方法的实用性提供了支持证据,并表明它也可以用于机器学习的其他应用中。
2009-11-20 cs.CL cs.LG stat.AP
Developing Speech Processing Pipelines for Police Accountability
Stanford University(斯坦福大学)
针对警察随身摄像头录像难以人工审查的问题,提出包含数据处理、资源受限微调及警员语音检测与ASR结合的语音处理流水线,验证了微调对警员语音ASR的提升效果,同时指出领域特定任务仍存挑战。
2023-06-09 cs.CL cs.SD eess.AS
Robust Speech Recognition via Large-Scale Weak Supervision
OpenAI(开放人工智能研究中心)
我们研究的语音处理系统的能力训练简单地预测大量的互联网上的音频转录。当扩展到680,000小时的多语言和多任务监督时,所产生的模型可以很好地推广到标准基准,并且通常与之前的完全监督结果具有竞争力,但在zero-shot传输设置中,无需任何微调。与人类相比,这些模型接近其准确性和鲁棒性。我们正在发布模型和推理代码,以作为鲁棒语音处理进一步工作的基础。
2022-12-06 cs.CL cs.LG cs.SD
Categorize Early, Integrate Late: Divergent Processing Strategies in Automatic Speech Recognition
Stanford University(斯坦福大学)
研究通过架构指纹法分析Transformer和Conformer在语音识别中的处理策略,发现Conformer早分类早判别,而Transformer晚整合,揭示了不同架构对表示学习的影响。
2026-06-27 cs.CL
Neural Speech Separation Using Spatially Distributed Microphones
Microsoft(微软)
本文提出了一种基于神经网络的空间分布麦克风语音分离方法。与传统的麦克风阵列设置不同,麦克风的数量及其空间布置都是事先已知的,这阻碍了基于固定大小输入的传统多通道语音分离神经网络的使用。为了克服这一点,提出了一种新的网络架构,交织通道间处理层和时间处理层。通道间处理层沿着通道维度应用自注意机制,以利用利用不同数量的麦克风获得的信息。时间处理层基于双向长短期记忆(BLSTM)模型,并独立应用于每个通道。所提出的网络通过交替堆叠这两种层来利用跨时间和空间的信息。我们的网络估计每个扬声器的时频(TF)掩码,然后使用TF掩码或波束成形来生成增强的语音信号。语音识别实验结果表明,该方法明显优于基线多通道语音分离系统。
2020-04-28 cs.CL cs.SD eess.AS
Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich(苏黎世大学);University of Tehran(德黑兰大学)
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合,用于构音障碍语音的识别、说话人识别和可懂度评估,并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Implementation Of Back-Propagation Neural Network For Isolated Bangla Speech Recognition
Bangladesh University(孟加拉大学);Jatiya Kabi Kazi Nazrul Islam University(贾蒂亚·卡比·卡齐·纳兹鲁尔·伊斯兰大学);Islamic University(伊斯兰大学)
本文研究了用于孟加拉语语音识别的反向传播神经网络。在本文中,10孟加拉语数字记录从十个人,并已被识别。利用梅尔倒谱系数(MFCC)分析方法提取语音特征。利用5个说话人的mfcc特征,采用BP算法对网络进行训练。另外五个人的十个孟加拉数字语音(从0到9)的mfcc特征被用来测试系统。所有的方法和算法在这项研究中使用的Turbo C和C++语言的功能实现。从我们的调查可以看出,开发的系统可以成功地编码和分析的语音信号的mfcc特征识别。所开发的系统实现了对已知说话人的约96.332%的识别率(即,依赖于说话者)和92%用于未知说话者(即,独立发言人)。
2013-08-17 cs.CL cs.NE
Efficiency-oriented approaches for self-supervised speech representation learning
Orange(Orange(法国电信))
针对自监督语音表示学习现有方法计算成本高的问题,梳理了该领域的发展现状、现有效率优化方向,指出仍需更多工作解决高计算成本问题。
2023-12-18 cs.CL
CPPF: A contextual and post-processing-free model for automatic speech recognition
Meituan(美团)
本文提出 CPPF 模型,将上下文 ASR 与多种 ASR 后处理任务无缝集成到单一模型中,以缩短流水线、避免级联错误,并在不显著损失识别性能的情况下直接生成后处理文本。
2023-09-21 cs.CL cs.SD eess.AS
BASPRO: a balanced script producer for speech corpus collection based on the genetic algorithm
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Columbia University(哥伦比亚大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
语音处理模型的性能在很大程度上受到用于训练和评估的语音语料库的影响。在这项研究中,我们提出了平衡脚本PROducer(BASPRO)系统,它可以自动构建一个语音平衡和丰富的中文句子集,用于收集汉语普通话语音数据。首先,我们使用预先训练好的自然语言处理系统,从一个大型中文新闻文本语料库中提取十个字符的候选句子。然后,我们应用了一种基于遗传算法的方法来选择20个语音平衡的句子集,每个句子集包含20个句子,从候选句子。使用BASPRO,我们获得了一个名为TMNews的录音脚本,其中包含400个十字句。TMNews涵盖了现实世界中使用的84%的音节。此外,音节分布与真实世界的音节分布具有0.96余弦相似度。我们使用两个文本到语音系统将脚本转换为语音语料库。使用设计的语音语料库,我们测试的性能语音增强(SE)和自动语音识别(ASR),这是最重要的回归和分类为基础的语音处理任务,分别。实验结果表明,在设计的语音语料库上训练的SE和ASR模型的性能优于在随机合成的语音语料库上训练的模型。
2022-12-11 cs.AI cs.CL cs.LG
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
The Chinese University of Hong Kong(香港中文大学)
针对SpeechLLMs中语音处理的离散tokens与连续特征两种主流方法,通过在相同实验设置下对比基于SSL的两者性能,结合不同规模LLM在多任务上的评估,发现连续特征总体更优,为相关研究提供参考。
2025-08-25 cs.CL cs.SD
Lexical Access Model for Italian -- Modeling human speech processing: identification of words in running speech toward lexical access based on the detection of landmarks and other acoustic cues to features
Massachusetts Institute of Technology (MIT)(麻省理工学院);Sapienza University of Rome(罗马大学);Radcliffe Institute for Advanced Study, Harvard University(哈佛大学拉德克利夫高级研究所)
为了模拟听者在推导出说话者想要表达的词语时所激发的过程,需要对词汇项如何存储在记忆中设定一个假设。这项工作的目的是开发一个系统,模仿人类识别运行语音中的单词,并以这种方式,提供一个框架,以更好地理解人类的语音处理。我们建立了一个语音识别器为意大利语的基础上史蒂文斯的词汇访问模型的原则,其中单词存储为层次安排的区别性特征(史蒂文斯,K。n.(2002年)的报告。"Toward a model for lexical access based on acoustic landmarks and distinct features," J. Acoust. Soc. Am.,111(4):1872 - 1891)。在过去的几十年里,麻省理工学院(MIT)的语音通信组基于这种方法开发了一个英语语音识别系统。意大利语将是英语之外的第一种语言;扩展到另一种语言提供了一个机会来测试假设,即单词在记忆中表示为一组分层排列的独特特征,并揭示哪些潜在机制可能具有语言独立性。本文还介绍了一个新的词汇访问语料库,LaMIT数据库,创建和标记专门为这项工作,将免费提供给语音研究社区。未来的发展将测试这一假设,即特定的声学不连续性-称为地标-作为特征的线索,是语言独立的,而其他线索可能是语言依赖的,这对理解人类大脑如何识别语音具有重要意义。
2021-06-24 cs.CL cs.SD eess.AS
NADI 2025: The First Multidialectal Arabic Speech Processing Shared Task
The University of British Columbia(不列颠哥伦比亚大学);Hamad Bin Khalifa University(哈马德·本·卡伊夫大学);Birzeit University(伯莱兹大学);MBZUAI(穆罕默德·本·拉希德智能科学与技术研究院);NYU Abu Dhabi(纽约大学阿布扎克分校)
本文介绍了第六届NADI 2025共享任务的结果,该任务围绕阿拉伯语语音方言处理设3个子任务,共收到8支团队的100份有效提交,公布了各子任务最优成绩,总结了参赛方法并指明未来方向。
2025-09-03 cs.CL cs.SD
An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks
National University of Singapore(新加坡国立大学);Naver Labs Europe(Naver欧洲实验室)
针对自监督语音模型多任务微调计算成本高的问题,提出基于adapter的统一口语处理模型,在SUPERB基准的5项任务上平均提升18.4%且参数更新高效。
2024-06-20 cs.AI cs.CL
Moving fast and slow: Analysis of representations and post-processing in speech-driven automatic gesture generation
KTH Royal Institute of Technology(瑞典皇家理工学院);Hokkai Gakuen University(北海学园大学);Aoyama Gakuin University(青山学院大学)
本文提出了一种新的语音驱动的手势产生框架,适用于虚拟代理,以提高人机交互。具体来说,我们通过结合表示学习,扩展了最近基于深度学习的数据驱动方法,用于语音驱动的手势生成。我们的模型将语音作为输入,并以3D坐标序列的形式产生手势作为输出。我们提供了一个分析的不同表示的输入(语音)和输出(运动)的网络的客观和主观的评价。我们还分析了产生的运动的平滑的重要性。我们的研究结果表明,所提出的方法改进了我们的基线方面的客观措施。例如,它可以更好地捕捉运动动态,更好地匹配运动速度分布。此外,我们在两个不同的数据集上进行了用户研究。研究证实,我们提出的方法被认为比基线更自然,尽管研究中的差异通过适当的后处理消除了:髋关节居中和平滑。我们的结论是,重要的是要考虑到运动表示和后处理时,设计一个自动的手势制作方法。
2021-01-28 cs.CV cs.GR cs.HC
Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends
University of Southern Queensland(南昆士兰大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61中心);Queensland University of Technology (QUT)(昆士兰科技大学);Information Technology University, Punjab(旁遮普信息技术大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
语音处理的研究传统上认为,设计手工设计的声学特征(特征工程)的任务是一个独立的问题,从设计有效的机器学习(ML)模型的任务进行预测和分类决策。这种方法有两个主要缺点:首先,手工特征工程是繁琐的,需要人类知识;其次,设计的功能可能不是最好的目标。这促使了在语音社区中采用最近的趋势,朝向利用表示学习技术,该技术可以自动地学习输入信号的中间表示,该中间表示更好地适合手头的任务,并且因此导致改进的性能。随着深度学习(DL)的发展,表示学习的重要性也在增加,其中表示更有用,更少依赖于人类知识,这使得它非常有利于分类,预测,本文的主要贡献是提出了一个最新的,通过将分散在三个领域的研究整合在一起,对不同的语音表示学习技术进行了全面的数据和调查。不同的研究领域包括自动语音识别(ASR)、说话人识别(SR)和说话人情感识别(SER)。最近的评论已经进行了ASR,SR和SER,然而,这些都没有集中在表示学习从语音-一个差距,我们的调查旨在弥合。
2021-09-24 cs.LG cs.SD eess.AS
HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Technion, Israel Institute of Technology(以色列理工学院)
本研究提出用于希伯来语语音处理的弱监督数据集HebDB,含约2500小时多说话人多主题语音及预处理版本,配套两种ASR基线,实验显示其优化后性能优于同规模多语言基线,相关资源已公开。
2024-07-10 cs.CL cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Investigation of Speaker Representation for Target-Speaker Speech Processing
NTT Corporation(NTT公司);Brno University of Technology(布尔诺理工大学)
本文在统一跨任务评估中研究了TS-ASR、TSE和p-VAD等目标说话人语音处理任务的首选说话人嵌入,发现独热向量优于基于注册语音的嵌入,且最优嵌入取决于输入混合语音。
2024-10-15 cs.CL cs.SD eess.AS
JoeyS2T: Minimalistic Speech-to-Text Modeling with JoeyNMT
Heidelberg University(海德堡大学);Google Research(谷歌研究院)
JoeyS2T是一个JoeyNMT扩展,用于语音到文本任务,如自动语音识别和端到端语音翻译。它继承了JoeyNMT的核心理念,JoeyNMT是一个基于PyTorch构建的极简NMT工具包,追求简单性和可访问性。JoeyS2T的工作流程是自包含的,从数据预处理开始,经过模型训练和预测到评估,并无缝集成到JoeyNMT紧凑而简单的代码库中。在JoeyNMT最先进的基于Transformer的编解码器架构之上,JoeyS2T提供了面向语音的组件,如卷积层、SpecAugment、CTC损失和WER评估。尽管与以前的实现相比,JoeyS2T很简单,但它在英语语音识别和英语到德语语音翻译基准测试中的表现却很有竞争力。该实现附带了一个演练教程,可在https://github.com/may-/joeys2t上获得。
2022-10-05 cs.CL cs.SD eess.AS
SpeechNet: A Universal Modularized Model for Speech Processing Tasks
National Taiwan University(台湾大学);NVIDIA(英伟达);NVIDIA AI Technology Center(英伟达人工智能技术中心)
存在范围从从语音信号提取内容信息到生成语音信号的各种语音处理任务。对于不同的任务,模型网络通常是单独设计和调整的。如果一个通用模型可以执行多个语音处理任务,那么一些任务可能会通过从其他任务中学习到的相关能力得到改进。具有通用模型的各种语音处理任务的多任务学习尚未被研究。本文提出了一个通用的模块化模型SpeechNet,它将所有的语音处理任务都处理成语音/文本输入和语音/文本输出格式。我们选择了五个基本的语音处理任务的多任务学习实验与SpeechNet。我们证明了SpeechNet学习了所有上述任务,并进一步分析了哪些任务可以通过其他任务来改进。SpeechNet是模块化的,灵活的,可以在未来加入更多的模块,任务或培训方法。我们发布的代码和实验设置,以促进模块化的通用模型和语音处理任务的多任务学习的研究。
2021-05-31 cs.CL cs.LG cs.SD
Transfer Learning for Speech and Language Processing
Tsinghua University(清华大学)
迁移学习是一种重要的技术,它将为一种设置或任务训练的模型推广到其他设置或任务。例如,在语音识别中,针对一种语言训练的声学模型可以用于识别另一种语言的语音,而几乎没有或没有重新训练数据。迁移学习与多任务学习(跨语言与多语言)密切相关,传统上以“模型适应”的名义进行研究。深度学习的最新进展表明,迁移学习通过深度模型学习的高级抽象特征变得更容易和更有效,并且“迁移”不仅可以在数据分布和数据类型之间进行,而且可以在模型结构(例如,浅网和深网)或甚至模型类型(例如,贝叶斯模型和神经模型)。这篇综述文章总结了最近一些突出的研究朝着这个方向,特别是语音和语言处理。我们还报告了我们小组的一些结果,并强调了这个非常有趣的研究领域的潜力。
2015-11-19 cs.CL cs.LG
A Survey of Code-switched Speech and Language Processing
Microsoft Research India(微软印度研究院);Carnegie Mellon University(卡内基梅隆大学)
语码转换是一种常见的语言交际现象,在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统,与用户在多语言社区。由于代码转换的数据和资源是稀缺的,我们列出了什么是可用的各种代码转换语言对的语言处理任务,他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究,包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
ParsiNorm: A Persian Toolkit for Speech Processing Normalization
University of Tehran(德黑兰大学)
通常,语音处理模型由语言模型和声学模型组成。无论语言模型的复杂性和变体如何,语言模型都需要三个关键的预处理步骤:清理、规范化和标记化。在上述步骤中,规范化步骤对于纯文本应用中的格式统一至关重要。然而,对于语音处理模块中的嵌入式语言模型,规范化不限于格式统一。此外,它必须转换每个可读的符号,数字等,如何发音。据我们所知,目前还没有针对语音处理模块中嵌入式语言模型的波斯语规范化工具包,因此在本文中,我们提出了一个用于语音应用中文本处理的开源规范化工具包。简单地说,我们考虑不同的可读波斯语文本,如符号(常见货币,#,@,URL等),数字(日期、时间、电话号码、国家代码等),通过与现有的波斯语文本归一化工具的比较,表明了该方法在语音处理中的优越性。此外,比较模型的性能与其他常见的自然语言库,如HAZM和Parsivar的建议的功能(句子分离)之一,表明所提出的方法的适当性能。此外,它的一些波斯语维基百科数据的评估证实了适当的性能所提出的方法。
2021-12-15 cs.CL cs.LG eess.AS
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University(博尔蒙德大学)
本文提出轻量级模型 CUPE,在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征,以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI(亚马逊语音助手人工智能);National Taiwan University (NTU)(台湾大学)
最先进的文本转语音(TTS)系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时,标准TTS模型遭受语音质量和可懂度降级,使得训练低资源TTS系统成为问题。在本文中,我们提出了一种新的极低资源的TTS方法,称为语音过滤器,使用少至一分钟的语音从目标扬声器。它使用语音转换(VC)作为附加到一个预先存在的高质量的TTS系统的后处理模块,标志着在现有的TTS范式的概念转变,框架的Few-Shot TTS问题作为VC任务。此外,我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库,以促进VC任务。结果表明,语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音,而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology(维韦卡南德教育协会理工学院)
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中,并产生了最先进的结果。近年来,随着计算机处理能力的增长,能够进行高维张量计算,自然语言处理(NLP)应用在效率和准确性方面得到了显著的提高。在本文中,我们将研究各种信号处理技术,然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
A Breadth-First Catalog of Text Processing, Speech Processing and Multimodal Research in South Asian Languages
Google(谷歌公司);Microsoft(微软公司);Meta;IISc(印度科学学院);Tech-Mahindra(马恒达科技);Ola(奥拉公司);Reliance-NVIDIA(信实英伟达);Zoho(佐霍公司);Lanka Law(兰卡法律公司)
本文以广度优先方式系统梳理2022至2024年南亚语言在文本、语音和多模态处理方面的文献,重点分析21种低资源语言,并借助大语言模型进行分类与聚类,揭示趋势、挑战和未来方向。
2024-12-20 cs.CL cs.IR cs.LG
Integrated speech and morphological processing in a connectionist continuous speech understanding for Korean
提出了一种新的紧耦合的语音和自然语言集成模型,用于基于TDNN的韩语大词汇量连续语音识别系统。不像流行的n-最好的技术,主要是基于HMM的语音识别和自然语言处理集成在一个{ \em词级},这显然是不够的形态复杂的凝集语言,我们的模型构建了一个口语系统的基础上{ \em词素级}语音和语言集成。在此基础上,设计并实现了一个基于TDNN的双音子识别模块,并结合基于Viterbi的词汇解码和符号语音学/形态学协同分析,实现了韩语口语处理引擎(SKOPE)。我们的实验结果表明,依赖于说话人的连续{ \em eojeol}(朝鲜语单词)的识别和综合形态分析可以达到80.6%以上的成功率直接从语音输入的中级词汇。
1996-03-18 cmp-lg cs.CL
Brain-tuned Speech Models Better Reflect Speech Processing Stages in the Brain
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文发现脑调谐语音模型后期层与语义脑区对齐显著提升,并形成从声学到语义的清晰层级处理,使其更适于模拟人类语音处理。
2025-06-04 cs.CL cs.SD eess.AS
Multilingual Alzheimer's Dementia Recognition through Spontaneous Speech: a Signal Processing Grand Challenge
Usher Institute, Edinburgh Medical School, The University of Edinburgh(爱丁堡大学爱丁堡医学院厄舍研究所);Carnegie Mellon University(卡内基梅隆大学);Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所)
这个信号处理大挑战(SPGC)的目标是一个困难的自动预测问题的社会和医学相关性,即,阿尔茨海默氏痴呆症(AD)的检测。与会者被邀请使用信号处理和机器学习方法来创建基于自发语音数据的预测模型。该挑战旨在评估基于一种语言(英语)的语音建立的预测模型在多大程度上推广到另一种语言(希腊语)。据我们所知,还没有研究多语种AD检测中语音信号的声学特征的工作。我们的基线系统使用传统的机器学习算法与声学特征的主动数据表示,在AD检测上实现了73.91%的准确度,在认知评分预测上实现了4.95的根均方误差。
2023-01-13 cs.AI cs.CL cs.LG
Automatic Labelling of Speech Translation Errors
Charles University(查尔斯大学);University of Edinburgh(爱丁堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对语音翻译缺乏置信度评估方法的问题,提出STEL标注协议,通过文本和多模态系统分析,发现直接语音处理对任务必要且与文本系统互补。
2026-06-04 cs.CL
An ascription-based approach to speech acts
语用学中自然语言处理研究的两个主要领域是信念建模和言语行为处理。信念建模是一种技术的发展,以代表对话参与者的心理态度。后一种方法,言语行为处理,基于言语行为理论,涉及到从计划的角度看待对话。对话中的话语被建模为计划中的步骤,其中理解话语涉及导出说话者试图实现的完整计划。然而,以前的言语行为为基础的方法已被限制依赖于相对简单的信念建模技术和它们的关系,规划和计划识别。特别是,这样的技术假设预先计算的嵌套信念结构。在本文中,我们将提出一种基于新的信念建模技术的语音行为处理方法,其中嵌套的信念按需传播。
1999-04-15 cs.CL
SpeechFormer++: A Hierarchical Efficient Framework for Paralinguistic Speech Processing
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);UBTECH Robotics Corporation(优必选科技股份有限公司);iFLYTEK Corporation(科大讯飞股份有限公司)
副语言语音处理在解决许多问题,如情感和神经认知障碍分析中很重要。最近,Transformer在自然语言处理领域取得了显著的成功,并展示了它对语音的适应能力。然而,以前的工作Transformer在语音领域没有纳入语音的属性,留下的全部潜力Transformer未开发。在本文中,我们认为语音的特点,并提出了一个通用的结构为基础的框架,称为SpeechFormer++,用于非语言语音处理。更具体地说,遵循语音信号中的分量关系,我们设计了一个单元编码器来对单元内和单元间信息(即,框架、音素和单词)。根据语音信号的层次关系,利用合并块生成不同粒度的特征,与语音信号的结构模式相一致。此外,引入了一个字编码器,将字粒度的特征集成到每个单元编码器中,有效地平衡了细粒度和粗粒度的信息。SpeechFormer++在语音情感识别(IEMOCAP & MELD)、抑郁症分类(DAIC-WOZ)和阿尔茨海默病检测(Pitt)任务上进行了评估。结果表明,SpeechFormer++的性能优于标准的Transformer,同时大大降低了计算成本。此外,与最先进的方法相比,它提供了更好的结果。
2023-02-27 cs.CL cs.SD eess.AS
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University(莫纳什大学)
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而,为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中,这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中,我们对预先训练的语音编码器进行了冷静的研究,并重新构建了它们的表示空间,而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时,我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务,表现出显着的收敛加速任务微调以及一致的任务改进,特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS