Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition
SpeechX Limited(思必驰(深圳)有限公司);The Chinese University of Hong Kong(香港中文大学)
情感识别是一个具有挑战性和积极研究的研究领域,在情感感知的人机交互系统中起着至关重要的作用。在多模态环境中,不同模态之间的时间对齐尚未得到很好的研究。本文提出了一种名为Gated Bidirectional Alignment Network(GBAN)的新模型,该模型由基于LSTM隐藏状态的基于注意力的双向对齐网络组成,用于显式捕获语音和文本之间的对齐关系,以及一种新型的组门控融合(GGF)层,用于集成不同模态的表示。我们的经验表明,注意力对齐表示的性能明显优于LSTM的最后隐藏状态,并且所提出的GBAN模型在IEMOCAP数据集上的性能优于现有的最先进的多模态方法。
2022-01-17 cs.CL cs.SD eess.AS
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
A Text-To-Text Alignment Algorithm for Better Evaluation of Modern Speech Recognition Systems
Corti, Copenhagen(哥本哈根的Corti);Aalborg University, Department of Electronic Systems(奥胡斯大学电子系统系);Pioneer Centre for Artificial Intelligence, Copenhagen(哥本哈根先锋人工智能中心);Technical University of Denmark, Department of Applied Mathematics and Computer Science(丹麦技术大学应用数学与计算机科学系);University of Copenhagen, Department of Computer Science(哥本哈根大学计算机科学系)
本文提出一种新的文本对齐算法,结合动态规划与束搜索评分,以提高语音识别系统中错误分析的精度,从而更准确地评估系统性能。
2026-04-18 cs.CL
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing(滴滴出行);DiDi Research America(滴滴美国研究院);Peking University(北京大学)
语音情感识别是一个具有挑战性的问题,因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别,可以从音频信号中提取情感相关特征,或者采用语音识别技术从语音生成文本,然后应用自然语言处理来分析情感。此外,情感识别将受益于使用音频文本多模态信息,这是不平凡的建立一个系统,从多模态学习。人们可以分别为两个输入源建立模型,并在决策层将它们组合起来,但这种方法忽略了语音和文本在时域中的相互作用。在本文中,我们提出使用注意力机制来学习语音帧和文本单词之间的对齐,旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估,实验结果表明,该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Learning Online Alignments with Continuous Rewards Policy Gradient
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Google Brain(谷歌大脑);Open AI(OpenAI)
具有软注意力的序列到序列模型在机器翻译、语音识别和问答中取得了显著的成功。尽管它们有能力且易于使用,但它们要求在推理开始时整个输入序列可用,这一假设对于即时翻译和语音识别是无效的。为了解决这个问题,我们提出了一种新的方法来解决序列到序列的问题,使用硬在线比对,而不是软离线比对。在线比对模型能够开始产生输出,而不需要首先处理整个输入序列。高度精确的在线序列到序列模型是有用的,因为它可以用于构建精确的基于语音的瞬时翻译器。我们的模型使用硬二进制随机决策来选择将产生输出的时间步长。该模型使用标准的策略梯度方法进行训练以产生这些随机决策。在我们的实验中,我们表明,该模型取得了令人鼓舞的性能TIMIT和华尔街日报(WSJ)语音识别数据集。
2016-08-03 cs.CL cs.LG
Enhancing Multimodal Emotion Recognition through Multi-Granularity Cross-Modal Alignment
TMCC
本文提出多粒度跨模态对齐框架MGCMA,通过分布级、实例级和令牌级三层对齐提升语音与文本情感识别性能,并在IEMOCAP上超越现有最优方法。
2024-12-30 cs.CL cs.SD eess.AS
End-to-End Slot Alignment and Recognition for Cross-Lingual NLU
University of Maryland(马里兰大学);Amazon AI(亚马逊人工智能)
面向目标的对话系统的上下文中的自然语言理解(NLU)通常包括意图分类和槽标记任务。将NLU系统扩展到新语言的现有方法使用机器翻译,其具有从源到翻译的话语的槽标签投影,并且因此对投影误差敏感。在这项工作中,我们提出了一种新的端到端模型,学习对齐和预测目标槽标签联合跨语言迁移。我们介绍了MultiATIS++,一个新的多语言的NLU语料库,扩展了多语言ATIS语料库的九种语言,跨越四个语言家族,并评估我们的方法使用语料库。结果表明,我们的方法在大多数语言上都优于使用快速对齐的简单标签投影方法,并且在训练时间只有一半的情况下,与更复杂的最先进的投影方法相比,我们的方法具有竞争力的性能。我们向社区发布了我们的MultiATIS++语料库,以继续未来对跨语言NLU的研究。
2020-10-08 cs.CL cs.LG
Label Alignment and Reassignment with Generalist Large Language Model for Enhanced Cross-Domain Named Entity Recognition
Fudan University(复旦大学)
针对跨领域命名实体识别中的标签冲突问题,提出标签对齐与重分配方法LAR,结合ChatGPT进行类型推断,在监督和零样本领域外设置下性能优于SOTA。
2024-07-24 cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University(海德堡大学);Computational Linguistics(计算语言学);IWR Heidelberg University(海德堡大学IWR研究所)
我们提出了一个语料库的德语音频,德语文本,英语翻译,德语有声读物的基础上,对齐的三元组。语音翻译数据由110小时的音频材料组成,与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音,因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查,表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当,并且可以通过自动对齐分数的截止值进行调整。据我们所知,该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc(PAII公司)
提出了一种基于CTC分解的单步非自回归Transformer(CASS-NAT)的语音识别方法。具体地,CTC对准包含(a)用于解码器输入的令牌的数量和(b)每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示,即标记级声学嵌入,它代替自回归Transformer(AT)中的词嵌入,实现解码器的并行生成。在推理过程中,提出了一种基于误差的对齐采样方法应用于CTC输出空间,降低了WER,同时保持了并行性。实验结果表明,该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM,和5.8%的CER的Aishell 1普通话语料库,分别1。与AT基线相比,CASS-NAT在WER上的性能有所降低,但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时,在测试干净集上,不使用LM的WER下限达到2.3%,这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Wav2Letter: an End-to-End ConvNet-based Speech Recognition System
Facebook AI Research(Facebook AI研究院)
本文提出了一种简单的端到端的语音识别模型,结合基于卷积网络的声学模型和图解码。它被训练输出字母,转录语音,而不需要强制对齐音素。我们引入了一个自动分割标准,用于在没有比对的情况下从序列注释进行训练,该标准与CTC相当,同时更简单。我们在具有MFCC特征的Librispeech语料库上显示出具有竞争力的字出错率结果,并且从原始波形中获得了有希望的结果。
2016-09-13 cs.AI cs.CL cs.LG
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft(微软)
近年来,递归神经网络转换器(RNN-T)结构由于其能够进行在线流式语音识别的优点,成为端到端自动语音识别研究的一个新兴趋势。然而,RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类(CTC)模型以及RNN语言模型(RNNLM)来初始化RNN-T参数。在这项工作中,我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索,分别称为编码器预训练,和全网络预训练。在微软65,000小时的匿名生产数据上进行评估,删除了个人身份信息,我们提出的方法可以获得显着的改善。特别地,当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时,编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Effectiveness of text to speech pseudo labels for forced alignment and cross lingual pretrained models for low resource speech recognition
Thoughtworks(思特沃克);Ekstep Foundation(Ekstep基金会)
近年来,端到端(E2E)自动语音识别(ASR)系统在资源充足的情况下取得了可喜的成果。即使对于没有大量标记数据可用的语言,也可以通过对大量高资源语言进行预训练并对低资源语言进行微调来开发最先进的E2E ASR系统。对于许多低资源语言,当前的方法仍然具有挑战性,因为在许多情况下,标记数据在开放域中不可用。在本文中,我们提出了一种方法来创建标记的数据Maithili,Bhojpuri和Dogri利用伪标签从文本到语音强制对齐。对创建的数据进行质量检查,然后进一步用于训练基于Transformer的wav2vec 2.0 ASR模型。所有数据和模型都可以在开放域中获得。
2022-03-31 cs.CL cs.SD eess.AS
Deep Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University(东南大学)
本文提出了一种新的深度迁移学习方法--深度隐式分布对齐网络(DIDAN)来处理跨语料库语音情感识别(SER)问题,其中标记的训练(源)和未标记的测试(目标)语音信号来自不同的语料库。具体来说,DIDAN首先采用由一组卷积层和全连接层组成的简单深度回归网络,将源语音频谱直接回归到情感标签中,从而使提出的DIDAN具有情感辨别能力。然后,这种能力被转移到也适用于目标语音样本,而不管语料库的方差,通过诉诸一个精心设计的正则化术语称为隐式分布对齐(IDA)。与广泛使用的最大平均差异(MMD)及其变体不同,建议IDA吸收了样本重构的思想,以隐式地对齐分布间隙,这使得DIDAN能够从语音频谱中学习情感判别和语料库不变特征。为了评估所提出的DIDAN,广泛的跨语料库SER实验上广泛使用的语音情感语料库进行。实验结果表明,DIDAN在处理跨语料库的SER任务时,性能优于许多最新的方法。
2023-02-17 cs.CL cs.SD eess.AS
Emo-DNA: Emotion Decoupling and Alignment Learning for Cross-Corpus Speech Emotion Recognition
Fudan University(复旦大学);Harbin Institute of Technology(哈尔滨工业大学);Xiamen University(厦门大学)
针对跨语料库语音情感识别中特征混合与缺乏区分性的问题,提出EMO-DNA框架,通过对比情感解耦与双层情感对齐学习情感相关的语料库不变特征,在多个跨语料库场景下取得优于现有最先进方法的性能。
2023-08-04 cs.CL cs.SD eess.AS
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English(英语系);National Taiwan Normal University(台湾师范大学);Department of Computer Science and Information Engineering(计算机科学与信息工程系)
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题,提出基于预训练模型的时间戳对齐流程,并融合 RoBERTa、Wav2Vec 与门控交叉注意力,在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
Centering Emotion Hotspots: Multimodal Local-Global Fusion and Cross-Modal Alignment for Emotion Recognition in Conversations
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(杭州高等研究 institute,中国科学院大学)
针对对话情感识别中证据稀疏与模态异步问题,提出以情感热点为中心的统一模型,通过热点门控融合与路由混合对齐器实现局部-全局融合及跨模态对齐,在标准基准上超越强基线。
2025-10-07 cs.AI cs.CL
OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment
Zhejiang University(浙江大学);Huawei Cloud(华为云)
针对新领域语音识别标注语料不足的问题,提出OpenSR系统,通过维持预训练音素空间多模态对齐实现零样本模态迁移,结合聚类提示调优应对领域偏移,在LRS2上取得SOTA性能。
2023-06-10 cs.CL cs.CV
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC(西伯利亚神经网络有限公司)
asr_eval提出改进语音识别评估的算法和工具,包括多参考标注、词对齐和流式识别评估工具,用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多语言口吃语音评估框架,结合通用音素识别与语言特定音素对比建模,提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
University of California, Los Angeles(加州大学洛杉矶分校);PAII Inc.(平安科技(美国)有限公司)
本文提出基于CTC对齐的单步非自回归Transformer(CASS-NAT),用词元级声学嵌入替代词嵌入实现并行解码,在保持接近自回归模型识别精度的同时获得约24倍推理加速,并在多个数据集上刷新非自回归ASR最优结果。
2023-04-15 cs.CL eess.AS
Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition
DFG's Reinhart Koselleck project(德国科研基金Reinhart Koselleck项目);EU H2020 project(欧盟H2020项目)
研究音频语言模型中显式声学线索的对齐性,通过eGeMAPS特征提取六种可解释声学概念标记,发现对齐标记提升UAR,而错乱标记降低性能,模型对符号线索敏感但仍部分依赖音频信号。
2026-06-05 cs.AI cs.CL cs.SD
Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning
MERL(三菱电机研究实验室)
最近,人们对端到端语音识别越来越感兴趣,端到端语音识别直接将语音转录为文本,而无需任何预定义的对齐。一种方法是基于注意力的编码器-解码器框架,该框架使用纯数据驱动的方法在一个步骤中学习可变长度输入和输出序列之间的映射。注意力模型经常被证明比另一种端到端的方法,连接主义时间分类(CTC),提高了性能,主要是因为它明确地使用了目标字符的历史,而没有任何条件独立性假设。然而,我们观察到,在噪声条件下,注意力的表现表现不佳,并且在初始训练阶段很难学习长输入序列。这是因为注意力模型过于灵活,无法在这种情况下预测正确的对齐,因为缺乏CTC中使用的从左到右的约束。本文提出了一种新的方法,用于端到端的语音识别,以提高鲁棒性和实现快速收敛,通过使用联合CTC的注意力模型的多任务学习框架内,从而减轻对齐问题。在WSJ和CHiME-4任务上的实验证明了其优于CTC和基于注意力的编码器-解码器基线,在字符出错率(CER)上显示出5.4-14.6%的相对改善。
2017-01-31 cs.CL
SensorLLM: Aligning Large Language Models with Motion Sensors for Human Activity Recognition
University of New South Wales(新南威尔士大学);University of Tokyo(东京大学)
针对LLMs在运动传感器HAR任务中因语义缺失等局限未被充分利用的问题,提出两阶段框架SensorLLM,通过传感器-语言对齐(含通道边界特殊标记)与任务感知调优,实现无需标注的有效识别且性能超现有方法,为时间序列-文本对齐研究奠基。
2025-08-24 cs.CL
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
在本文中,我们进行了一个比较研究的说话人属性的自动语音识别(SA-ASR)在多方会议的情况下,会议丰富的转录越来越受到关注的话题。具体而言,在这项研究中,三种方法进行了评估。第一种方法,FD-SOT,包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对,得到说话人属性的transmittance。然而,这种对齐策略可能会遭受错误的时间戳,由于模块的独立性,严重阻碍了模型的性能。因此,我们提出了第二种方法,WD-SOT,通过引入一个字级的日志模型,它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题,我们提出了第三种方法TS-ASR,它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法,在一个真实的会议场景语料库,AliMeeting,实验结果表明,WD-SOT方法实现了10.7%的平均说话人相关字符出错率(SD-CER)的相对减少,相比FD-SOT方法。此外,TS-ASR方法也优于FD-SOT方法,并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Optimising The Input Window Alignment in CD-DNN Based Phoneme Recognition for Low Latency Processing
KTH Royal Institute of Technology(KTH皇家理工学院);School of Computer Science and Communication(计算机科学与通信学院)
我们提出了一个系统的分析时,输入功能的窗口是不对称的,相对于当前帧的语音识别器的性能。该识别器基于上下文相关深度神经网络(CD-DNN)和隐马尔可夫模型(HMM)。目标是通过减少估计当前输出所需的未来特征帧的数量来减少系统的延迟。我们在TIMIT数据库上进行的测试表明,与通常的做法(没有未来的帧)相比,当输入窗口在过去移动到5帧时,性能不会降低。这相当于在我们的设置中将延迟提高了50 ms。我们的测试还表明,最好的结果并没有得到与对称窗口常用,但与一个不对称的窗口与八个过去和两个未来的上下文帧,虽然这一观察应确认其他数据集。我们的研究结果所建议的延迟减少对于特定应用(例如远程呈现的实时嘴唇同步)至关重要,但在一般应用中也可能有益于改善人机语音交互的滞后。
2016-06-29 cs.CL cs.CV cs.NE