A comparison of self-supervised speech representations as input features for unsupervised acoustic word embeddings
Stellenbosch University(斯泰伦博斯大学)
许多语音处理任务涉及测量语音段之间的声学相似性。声学词嵌入(AWE)允许通过将任意持续时间的语音段映射到固定维向量来进行有效的比较。对于零资源语音处理,其中未标记的语音是唯一可用的资源,一些最好的AWE方法依赖于自动发现的单词片段形式的弱自上而下的约束。零资源研究的另一个方向是在短时间框架水平上的表示学习,而不是在片段水平上学习嵌入。最近的方法包括自监督预测编码和对应自动编码器(CAE)模型。在本文中,我们考虑这些帧级特征在用作无监督AWE模型的训练输入时是否有益。我们比较帧级功能,从对比预测编码(CPC),自回归预测编码和CAE到传统的MFCC。这些被用作输入到一个经常性的CAE为基础的AWE模型。在英语和Xitsonga数据的单词辨别任务中,所有三种表示学习方法都优于MFCC,CPC始终显示出最大的改善。在跨语言的实验中,我们发现,CPC功能的英语培训也可以转移到Xitsonga。
2020-12-14 cs.CL eess.AS
JEP-KD: Joint-Embedding Predictive Architecture Based Knowledge Distillation for Visual Speech Recognition
First Research Institute of the Ministry of Public Security of PRC(中华人民共和国公安部第一研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出JEP-KD方法,通过在嵌入层引入生成网络并利用预训练ASR音频特征进行知识蒸馏,配合多模态多阶段训练,有效缩小视觉语音识别与自动语音识别的性能差距,并验证了其跨平台通用性。
2024-03-04 cs.CL cs.CV cs.LG
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon(亚马逊)
对比预测编码(CPC)是一种表示学习方法,它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别(ASR)模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码(GCPC)。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练,允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务:德语,法语和英语。与从头开始训练相比,我们的方法在所有三个数据集上的表现都优于CPC预训练,德语、法语和英语(Librisepeech)任务的单词出错率(WER)相对分别降低了4.44%、6.55%和15.43%,而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems
Waseda University(早稻田大学);Karlsruhe Institute for Technology(卡尔斯鲁厄理工学院)
本文提出一种模拟人类预测行为的对话系统方法,通过掩蔽未来音频片段训练ASR预测后续词语,并结合声学与语言学信息的交叉注意力算法检测话语结束,可在实际EOU前300ms进行预测并提升ASR性能。
2024-09-30 cs.CL cs.SD eess.AS
Everyone deserves their voice to be heard: Analyzing Predictive Gender Bias in ASR Models Applied to Dutch Speech Data
Eindhoven University of Technology(埃因霍温理工大学);Netherlands Organisation for Applied Scientific Research (TNO)(荷兰应用科学研究组织(TNO))
本研究分析了 Whisper 模型在荷兰语音数据上的预测性别偏见,发现不同性别群体在所有模型规模下均存在显著的词错误率差异,并探讨了其对自动字幕等服务公平性的影响。
2024-11-14 cs.CL
Neural Predictive Coding using Convolutional Neural Networks towards Unsupervised Learning of Speaker Characteristics
在说话人识别、日记化和语音识别等应用中,学习特定于说话人的特征至关重要。本文提出了一种新的方法,我们称之为神经预测编码(NPC),学习说话人特定的特征,在一个完全无监督的方式从大量的未标记的训练数据,甚至包含许多非语音事件和多说话人的音频流。NPC框架利用了所提出的短期活动说话人平稳性假设,该假设假设两个时间上接近的短语音段属于同一说话人,因此可以对两个段的共性进行编码的共同表示应该捕获该说话人的声音特征。我们训练一个卷积深度连体网络,通过学习分离从音频流的未标记数据生成的“相同”与“不同”扬声器对来产生“扬声器嵌入”。在不同的场景下进行了两组实验,以评估NPC嵌入的强度,并与最先进的域内监督方法进行比较。首先,两个说话人辨识实验与不同的上下文长度进行的情况下,相对有限的说话人内通道的变化。NPC嵌入被发现在短时间实验中表现最好,并且它们为完整话语实验提供了i-向量的补充信息。其次,一个大规模的扬声器确认任务具有广泛的扬声器内通道的变化被采用作为上限实验,其中比较绘制与域监督方法。
2019-04-25 cs.CL cs.SD eess.AS
Multilingual Alzheimer's Dementia Recognition through Spontaneous Speech: a Signal Processing Grand Challenge
Usher Institute, Edinburgh Medical School, The University of Edinburgh(爱丁堡大学爱丁堡医学院厄舍研究所);Carnegie Mellon University(卡内基梅隆大学);Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所)
这个信号处理大挑战(SPGC)的目标是一个困难的自动预测问题的社会和医学相关性,即,阿尔茨海默氏痴呆症(AD)的检测。与会者被邀请使用信号处理和机器学习方法来创建基于自发语音数据的预测模型。该挑战旨在评估基于一种语言(英语)的语音建立的预测模型在多大程度上推广到另一种语言(希腊语)。据我们所知,还没有研究多语种AD检测中语音信号的声学特征的工作。我们的基线系统使用传统的机器学习算法与声学特征的主动数据表示,在AD检测上实现了73.91%的准确度,在认知评分预测上实现了4.95的根均方误差。
2023-01-13 cs.AI cs.CL cs.LG
Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学);KIT Campus Transfer (KCT)(KIT校园转移中心)
提出基于流匹配的TTS模型,利用发声努力和发音伪标签实现连续解耦控制及词级强调,模拟Lombard效应,提升嘈杂环境下的语音清晰度。
2026-06-23 cs.CL cs.SD
Language technology practitioners as language managers: arbitrating data bias and predictive bias in ASR
University of Edinburgh(爱丁堡大学)
尽管变化是自然语言的基本特征,但自动语音识别系统在非标准化和边缘化的语言变体上表现得更差。在本文中,我们使用语言政策的镜头来分析目前的做法,在培训和测试ASR系统在行业中导致的数据偏差引起这些系统性错误的差异。我们认为,这是一个有用的视角,为语音和语言技术从业者了解算法偏见的起源和危害,以及他们如何可以减轻它。我们还提出了一个(公共)基础设施的语言资源,不应该只为市场而设计,但有意义的合作,语音社区。
2022-02-25 cs.AI cs.CL cs.DB
Personalized Predictive ASR for Latency Reduction in Voice Assistants
Amazon Alexa(亚马逊Alexa)
本文提出预测式 ASR,通过从部分语音预测完整语音并预取响应来降低语音助手延迟,引入两种个性化方法并评估了预测成功与失败间的延迟与成本权衡。
2023-05-23 cs.CL eess.AS
Multi-modal Automated Speech Scoring using Attention Fusion
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);Teachers College, Columbia University(哥伦比亚大学教师学院);Second Language Testing Inc.(第二语言测试公司)
在这项研究中,我们提出了一种新的多模态端到端的神经网络方法,使用注意力融合的非英语母语者的自发语音的自动评估。该流水线采用双向递归卷积神经网络和双向长短期记忆神经网络来分别对来自声谱图和transmart.tag_1的声学和词汇线索进行编码。在这些学习的预测特征上执行注意力融合,以在最终评分之前学习不同模态之间的复杂交互。我们将我们的模型与强基线进行比较,发现对词汇和声学线索的联合关注显着提高了系统的整体性能。此外,我们提出了我们的模型的定性和定量分析。
2021-11-28 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto(多伦多大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性,并证明上下文无关性可预测词级表示稳定性,建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Multi-microphone Complex Spectral Mapping for Utterance-wise and Continuous Speech Separation
The Ohio State University(俄亥俄州立大学)
我们提出了多麦克风复频谱映射,这是一种将深度学习应用于时变非线性波束成形的简单方法,用于混响条件下的扬声器分离。我们的目标是扬声器分离和去混响。我们的研究首先调查离线的话语明智的说话人分离,然后扩展到块在线连续语音分离(CSS)。假设训练和测试之间的阵列几何形状是固定的,我们训练深度神经网络(DNN)来预测目标语音在参考麦克风处的实部和虚部(RI)分量。然后,我们将多麦克风复频谱映射与最小方差无失真响应(MVDR)波束成形和后滤波相结合,以进一步改善分离,并将其与用于块在线CSS的帧级扬声器计数相结合。虽然我们的系统是基于以给定几何形状排列的固定数量的麦克风在模拟房间脉冲响应(RIR)上训练的,但它可以很好地推广到具有相同几何形状的真实阵列。在模拟的两个说话人SMS-WSJ语料库和真实记录的LibriCSS数据集上获得了最先进的分离性能。
2021-05-24 cs.CL cs.SD eess.AS
Data Augmenting Contrastive Learning of Speech Representations in the Time Domain
Facebook AI Research(脸书人工智能研究院);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);ENS-PSL University(巴黎高等师范学院-巴黎文理研究大学)
对比预测编码(CPC)是一种基于过去语音段预测未来语音段的编码方法,是语音信号表示学习的有效算法。然而,它在无监督的评估基准上仍然表现不佳。在这里,我们介绍了WavAugment,一个时域数据增强库,并发现在过去应用增强通常是更有效的,并产生更好的性能比其他方法。我们发现,音调修改,加性噪声和混响的组合大大提高了CPC的性能(相对提高18-22%),用少600倍的数据击败了参考Libri-light结果。使用域外数据集,时域数据增强可以推动CPC在2017年零语音基准测试中达到最先进水平。我们还表明,时域数据增强一贯提高下游有限监督音素分类任务的12-15%相对的一个因素。
2020-07-02 cs.CL cs.SD eess.AS
Sequence-to-Sequence Predictive Model: From Prosody To Communicative Gestures
ISIR;Sorbonne University(索邦大学);LTCI;Télécom-Paris, IP-Paris(巴黎电信,巴黎综合理工学院);CNRS / Sorbonne University(法国国家科学研究中心 / 索邦大学)
交际手势和语音声学是紧密相连的。我们的目标是根据声学来预测手势的时机。也就是说,我们想要预测某个手势何时发生。我们开发了一个基于递归神经网络的注意力机制模型。该模型是在自然二元交互的语料库上训练的,其中语音声学和手势相位和类型已经被注释。该模型的输入是语音声学序列,输出是手势类序列。我们用于模型输出的类基于手势阶段和手势类型的组合。我们使用序列比较技术来评估模型的性能。我们发现,该模型可以更好地预测某些手势类比别人。我们还进行了消融研究,揭示了基频是手势预测任务的相关特征。在另一个子实验中,我们发现,包括眉毛运动作为节拍手势提高了性能。此外,我们还发现,在一个给定说话人的数据上训练的模型也适用于同一会话的另一个说话人。我们还进行了主观实验,以衡量受访者如何判断的自然性,时间的一致性,和语义的一致性所产生的手势时序的虚拟代理。我们的受访者对我们模型的输出评价很高。
2021-04-23 cs.CL cs.CV cs.HC
Speech language models lack important brain-relevant semantics
Inria Bordeaux(法国国立计算机与自动化研究所波尔多分部);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Technische Universität Berlin(柏林工业大学)
本文通过系统性移除语言模型表征中的文本、语音和视觉低层特征并比较其与 fMRI 记录的对齐,发现语音模型能表征早期听觉信息却缺乏晚期语言语义。
2024-06-16 cs.CL cs.LG eess.AS
Visual Cues Enhance Predictive Turn-Taking for Two-Party Human Interaction
ADAPT Centre, School of Engineering, Trinity College Dublin(ADAPT中心、工程学院、都柏林信任学院)
本文提出多模态话轮转换模型MM-VAP,融合语音与视觉线索,在视频会议中超越仅音频模型,消融显示面部表情贡献最大,为首次全面分析多模态PTTM。
2025-10-24 cs.CL cs.RO
Improving Speech Recognition Error Prediction for Modern and Off-the-shelf Speech Recognizers
The Ohio State University(俄亥俄州立大学)
本研究扩展了基于音素混淆的错误预测模型,引入采样范式以模拟现代后验概率声学模型,并探索用序列到序列模型引入上下文依赖,采样显著提升了预测准确性。
2024-08-21 cs.AI cs.CL
Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning
CY Cergy-Paris Université(塞尔吉-巴黎大学);ENSEA(法国高等电子与数字学院);CNRS(法国国家科学研究中心);IPAL(国际人工智能研究实验室);A*Star(新加坡科技研究局)
提出基于预测编码的小型生成神经网络,通过持续学习机制和组合优化机制模拟婴儿单/双语语音习得与声音模仿,复现了“知觉窄化”效应。
2024-12-23 cs.AI cs.CL
Blind Normalization of Speech From Different Channels and Speakers
本文描述了表示的时间相关的信号下的任何可逆的时间无关的信号时间序列的变换是不变的。通过以由最近遇到的信号电平确定的非线性动态方式重新缩放信号来创建这样的表示。该技术可以使得可以归一化通过通道相关和说话者相关变换相关的信号,而不必表征信号变换的形式,信号变换的形式仍然是未知的。该技术是说明通过将其应用到语音的时间依赖的频谱,已被过滤,以模拟不同的通道的效果。实验结果表明,重新缩放的语音表示在很大程度上被归一化(即,通道无关的),尽管原始(未重新缩放的)语音依赖于通道。
2002-04-02 cs.CL
Efficiency-oriented approaches for self-supervised speech representation learning
Orange(Orange(法国电信))
针对自监督语音表示学习现有方法计算成本高的问题,梳理了该领域的发展现状、现有效率优化方向,指出仍需更多工作解决高计算成本问题。
2023-12-18 cs.CL
Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Cognitive Computational Neuroscience Group(认知计算神经科学组);Friedrich-Alexander-Universität Erlangen–Nürnberg (FAU)(弗赖堡-亚历山大-大学埃尔兰根-纽伦堡(FAU));Mannheim Center for Neuromodulation and Neuroprosthetics (MCNN)(曼海姆神经调制与神经假体中心(MCNN));University Hospital Mannheim, University Heidelberg(曼海姆大学医院,海德堡大学)
本研究将强化学习中的后继表示(SR)框架应用于自然语言,通过训练神经网络预测未来词分布,发现无监督下词类(如名词、动词、形容词)的几何结构自发涌现,且预测时域影响结构层次。
2026-10-28 cs.CL q-bio.NC
Effect of Word Embedding Models on Hate and Offensive Speech Detection
University of Regina(里贾纳大学)
深度神经网络已经成功地应用于仇恨语音检测问题。尽管如此,文献中尚未适当研究词嵌入模型对神经网络性能的影响。在我们的研究中,通过不同的检测任务,2类,3类和6类分类,我们调查的影响,词嵌入模型和神经网络架构的预测精度。我们的重点是阿拉伯语。我们首先在一个大规模的未标注阿拉伯语文本语料库上训练了几个词嵌入模型。接下来,基于阿拉伯仇恨和攻击性语音的数据集,对于每个检测任务,我们使用预先训练的词嵌入模型训练几个神经网络分类器。这个任务产生了大量的各种学习模型,这允许进行详尽的比较。实证分析一方面证明了跳元模型的优越性,另一方面证明了CNN网络在三个检测任务中的优越性。
2020-11-23 cs.CL cs.LG
Exploring Sentiment Dynamics and Predictive Behaviors in Cryptocurrency Discussions by Few-Shot Learning with Large Language Models
Instituto Politécnico Nacional (IPN)(国立理工学院);University of Sistan and Baluchestan(锡斯坦-俾路支斯坦大学)
本研究利用GPT-4o少样本学习对加密货币讨论进行预测性陈述、希望言论和遗憾检测分析,发现Matic具有更高的乐观预测倾向,揭示了投资者情感与预测行为之间的微妙关系。
2024-09-04 cs.AI cs.CE cs.CL