Alignment-Path Distillation from Non-streaming ASR-LLMs for Streaming Speech Recognition
Xiaohongshu Inc.(小红书公司)
提出从非流式ASR-LLM提取对齐路径并蒸馏给流式模型,改善对齐一致性,相对错误率降低16.6%。
2026-09-18 eess.AS
VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion
MAGO, South Korea(MAGO);KAIST, South Korea(韩国科学技术院)
提出VeRe-Flow框架,通过速度对比正则化和表示对齐,在噪声环境下引导流匹配生成干净语音,实现鲁棒带宽扩展,在LSD、DNSMOS和MOS指标上达到最优。
2026-06-28 eess.AS
WhisperVC: Decoupled Cross-Domain Alignment and Speech Generation for Low-Resource Whisper-to-Normal Conversion
Wuhan University(武汉大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));OPPO
WhisperVC通过解耦跨域对齐与语音生成,实现低资源条件下的语音到正常语音转换,提升语音质量与语音相似度。
2026-07-21 eess.AS
Layer-wise Cross-Lingual Depression Detection from Speech: Analysis with Contrastive Alignment
University of Southern California(南加州大学)
研究跨语言抑郁检测难题,提出CLeaD框架,通过映射英语和普通话的WavLM嵌入到共享临床空间来检测,无需平行数据或目标语言微调,实验显示有一定效果。
2026-07-07 eess.AS
Semantic-VAE: Semantic-Alignment Latent Representation for Better Speech Synthesis
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学);KAIST(韩国科学技术院)
针对VAE潜在表示在语音合成中重构质量与可懂度间的权衡问题,提出Semantic-VAE,通过潜在空间中的语义对齐正则化捕获高维潜在表示中的语义结构,在F5-TTS上实现2.10% WER和0.64说话人相似度,优于梅尔谱和原始VAE基线。
2026-06-16 eess.AS
MELA-TTS: Joint transformer-diffusion model with representation alignment for speech synthesis
Alibaba group(阿里巴巴集团);National Mobile Communications Research Laboratory, Southeast University(东南大学移动通信国家重点实验室)
MELA-TTS通过联合变压器-扩散模型与表征对齐,实现端到端文本到语音合成,提升连续特征建模效率和跨模态一致性。
2026-01-26 eess.AS
Audio--Image Alignment as a Continued-Pretraining Stage in Automatic Speech Recognition
Department of Electrical Engineering, Indian Institute of Science(电气工程系,印度科学学院)
提出在预训练和监督微调之间引入音频-图像表示对齐阶段,利用Vaani数据集中的配对数据,无需转录即可提升低资源ASR性能。
2026-09-22 eess.AS
LCS-CTC: Leveraging Soft Alignments to Enhance Phonetic Transcription Robustness
针对CTC在音素识别中性能不足的问题,提出LCS-CTC两阶段框架,利用软对齐和约束CTC训练,在LibriSpeech和PPA上优于基线,提升鲁棒性。
2025-08-13 eess.AS
Synchronized Three-Dimensional Vocal-Tract Motion for Speech Synchronization via Joint-Embedding Predictive Architecture Alignment
Institute of Science Tokyo(东京科学大学)
研究如何实现语音同步的三维声道运动,采用联合嵌入预测架构和强化学习/交叉熵方法,结合时长保持声学载体与校正的声道模型,在包含24个最小对刺激的评估中取得良好的自动语音识别等结果。
2026-07-14 eess.AS
AlignNet: Learning dataset score alignment functions to enable better training of speech quality estimators
提出多数据集微调(MDF)和AlignNet两种互补方法,通过消除数据集分数不对齐问题,显著提升了无参考语音质量估计器在多数据集上的训练效果。
2024-09-25 eess.AS
Neural Sequence-to-Sequence Speech Synthesis Using a Hidden Semi-Markov Model Based Structured Attention Mechanism
本文提出了一种新的序列到序列(Seq2Seq)模型,将隐半马尔可夫模型(HSMM)的结构集成到其注意力机制中。在语音合成中,已经表明,基于使用深度神经网络的Seq2Seq模型的方法可以在适当的条件下合成高质量的语音。然而,仍然存在几个基本问题,即,由于比对(两个序列之间的映射函数)的自由度过大而需要大量的训练数据,以及由于缺乏明确的持续时间建模而难以处理持续时间。该方法基于变分自动编码器(VAE)框架定义了一个生成模型,实现了对齐和模型参数的同时优化,并基于HSMM结构提供了单调对齐和显式持续时间建模。所提出的方法可以被视为使用Seq2Seq模型的基于隐马尔可夫模型(HMM)的语音合成和基于深度学习的语音合成的集成,结合了两者的益处。主观评价实验表明,该方法在相对少量的训练数据下获得了比Tacotron 2更高的平均意见分数。
2021-08-31 eess.AS
DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment
National Taiwan University(台湾大学);NVIDIA(英伟达)
本文提出DeSTA方法,利用语音字幕生成对齐语音与文本模态,使语音语言模型能理解语言及非语言特征,在Dynamic-SUPERB基准上泛化优异且无需微调即具零样本指令遵循能力。
2024-06-27 cs.CL eess.AS
Spatiotemporal Emotional Synchrony in Dyadic Interactions: The Role of Speech Conditions in Facial and Vocal Affective Alignment
The University of Tokyo(东京大学)
本研究基于IEMOCAP数据集,利用EmoNet和Wav2Vec2模型提取双人交互情感特征,通过Pearson相关、滞后调整分析和DTW方法,发现非重叠语音比重叠语音具有更稳定可预测的情感同步,且面部表情和语音在不同交流场景下呈现不同的领先模式。
2025-05-30 cs.AI eess.AS
Geometric Alignment without Functional Equivalence: A Layer-wise Analysis of the Speech-Text Modality Gap
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
本文研究了端到端语音大语言模型中语音与文本表示的跨层对齐特性,揭示了语音冗余性导致的模态差距问题,并提出未来需在标记或时间粒度上进行优化。
2026-10-15 cs.CL eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise(Kakao企业);Seoul National University(首尔国立大学)
最近,已经提出了诸如FastSpeech和ParaNet的文本转语音(TTS)模型来并行地从文本生成梅尔频谱图。尽管有这样的优点,但在没有自回归TTS模型作为其外部对准器的指导下,并行TTS模型不能被训练。在这项工作中,我们提出了辉光TTS,一个基于流的生成模型并行TTS,不需要任何外部对准。通过结合流和动态规划的属性,该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明,强制执行硬单调对齐,使强大的TTS,它概括为长的话语,并采用生成流,使快速,多样,可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型,Tacotron 2,在合成具有可比的语音质量。我们进一步表明,我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
Enhancing Speech Large Language Models through Reinforced Behavior Alignment
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);The Chinese University of Hong Kong(香港中文大学)
本文提出了一种名为强化行为对齐(RBA)的框架,通过自合成方法生成高质量对齐数据来提升语音大语言模型(SpeechLMs)的语言生成能力,实验表明该方法显著提升了SpeechLMs的指令遵循能力,并可扩展至语音问答和语音转文本翻译等任务。
2026-10-20 cs.CL eess.AS
Optimizing Alignment of Speech and Language Latent Spaces for End-to-End Speech Recognition and Understanding
Microsoft(微软)
基于注意力的编码器-解码器(AED)网络的发展为端到端(E2 E)自动语音识别(ASR)带来了巨大的进步。进一步提高基于AED的E2 E ASR性能的一种方法是引入额外的文本编码器,以利用大量的文本数据,从而捕获更多的上下文感知语言信息。然而,由于用于建模的不同单元,这种方法带来了语音编码器和文本编码器之间的失配问题。在本文中,我们提出了一种嵌入对齐器和模态切换训练,以更好地对齐语音和文本潜在空间。嵌入对齐器是文本编码器和语音编码器之间的共享线性投影,分别由掩蔽语言建模(MLM)损失和连接主义时间分类(CTC)训练。模态切换训练基于强制对齐结果随机交换语音和文本嵌入,以学习联合表示空间。实验结果表明,我们提出的方法实现了相对14%至19%的字出错率(WER)减少Librispeech ASR任务。我们进一步验证了它对口语语言理解(SLU)的有效性,即,SNIPS插槽填充任务的F1分数绝对提高了2.5%至2.8%。
2021-10-23 cs.SD eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation(LINE公司)
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别(ASR)。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同,该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐,受益于最先进的基于注意力的编码器-解码器模型的强推理能力,这不能应用于传统方法。两种不同的Transformer模型,即前向Transformer和后向Transformer,分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语(CSJ)的实验表明,所提出的方法提供了一个准确的话语明智的对齐,匹配手动注释对齐的误差只有0.2%。实验结果表明,基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据,可以将字符错误率降低到59.0%,明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo(滑铁卢大学);Baidu Research USA(百度美国研究院);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
最近,语音表示学习已经改善了许多与语音相关的任务,例如语音识别、语音分类和语音到文本的翻译。然而,所有上述任务都是在语音理解的方向上,但对于相反的方向,语音合成,由于生成高质量语音的挑战性,表征学习的潜力尚未实现。为了解决这个问题,我们提出了我们的框架,Alignment-Aware Acoustic-Text Pretraining(A $^3$ T),它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式,预训练的模型可以生成高质量的重建谱图,其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明,$^3$ T在语音编辑方面优于SOTA模型,并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
Accelerating Diffusion-based Text-to-Speech Model Training with Dual Modality Alignment
KAIST(韩国科学技术院);Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Geely(吉利);School of Electrical Engineering(电气工程学院);MoE Key Lab of Artificial Intelligence(人工智能MoE实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
本文提出A-DMA策略,通过结合文本和语音双模态对齐优化扩散文本到语音模型的训练,降低其对学习复杂表示的依赖,在实现优于基线性能的同时将收敛速度提升一倍。
2025-05-30 cs.SD eess.AS
Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
Graduate Institute of Communication Engineering National Taiwan University Taipei, Taiwan;Graduate Institute of Electrical Engineering National Taiwan University Taipei, Taiwan;Artificial Intelligence Center of Research Excellence National Taiwan University Taipei, Taiwan
研究语音语言模型是否有语音象征倾向,通过真实人类语音录音对比模型与人类数据,发现模型听觉判断与人类感知对齐差,错过声学线索,开放权重模型表现不佳,弱点在语音表示方式。
2026-10-07 cs.CL eess.AS
BFA: Real-time Multilingual Text-to-speech Forced Alignment
Faculty of Media, Science and Technology(媒体、科学与技术学院);Bournemouth University(伯恩茅斯大学)
BFA系统结合CUPE编码器和CTC解码器,通过显式建模音素间间隙与静音及分层解码,实现细粒度边界预测,速度比MFA快240倍,支持超实时对齐。
2026-09-09 cs.SD eess.AS
Adaptive Inner Speech-Text Alignment for LLM-based Speech Translation
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);School of Computer Science and Engineering, Xi’an University of Technology(西安理工大学计算机科学与工程学院)
针对基于LLM的语音翻译中深层语义对齐不足的问题,提出AI-STA,利用最优传输和跨模态检索选择并联合训练适配层,显著提升LSM性能。
2025-03-13 cs.CL cs.SD eess.AS
SSR: Alignment-Aware Modality Connector for Speech Language Models
Johns Hopkins University(约翰霍普金斯大学);Meta AI Research(Meta AI研究)
针对语音融合预训练语言模型时长语音编码低效、文本模态灾难性遗忘的问题,提出带两阶段训练的SSR-Connector,利用语音文本对齐分段压缩语音特征,在提升语音理解效果的同时保留预训练文本能力。
2025-05-17 cs.CL cs.SD eess.AS
Seamless Dysfluent Speech Text Alignment for Disordered Speech Analysis
Zhejiang UniversityChina(浙江大学);UC Berkeley(加州大学伯克利分校);UCSF(旧金山大学)
针对传统非流利语音对齐方法音素相似性建模不足的问题,提出基于音素级建模的Neural LCS方法,在模拟数据集和真实PPA数据上的对齐准确率与分割效果均优于现有模型,可助力言语障碍自动化诊断。
2025-06-05 cs.AI cs.CL cs.SD
Adapting pretrained speech model for Mandarin lyrics transcription and alignment
National Taiwan University(国立台湾大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
本文在低资源环境下,通过适配预训练Whisper模型并在中文演唱数据集上微调,结合数据增强与源分离技术,解决了多音轨中文流行音乐的歌词转录与对齐问题,取得了优异性能。
2023-11-21 cs.SD eess.AS
MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis
Zhejiang University(浙江大学);ByteDance(字节跳动);Inner Mongolia University(内蒙古大学)
本文提出MegaTTS 3,通过稀疏对齐算法引导潜扩散变换器,实现高质量零样本语音合成,支持口音强度灵活控制,仅需8步采样即可生成一分钟语音。
2025-03-28 cs.LG cs.SD eess.AS
Dynamic Clustering for Cross-Segment Permutation Alignment in Long Speech Separation
Tampere University(坦佩雷大学);Nokia Technologies(诺基亚科技)
本文提出一种兼容现有分离模型的即插即用动态聚类后处理模块,通过说话人嵌入参考池实现跨段置换对齐,在长语音分离的密集、稀疏场景及未知说话人数量场景下性能优于现有方法。
2026-08-11 cs.SD eess.AS
Transferable speech-to-text large language model alignment module
Cloudwalk Technology(云从科技)
本研究提出可迁移的语音转文本大模型对齐模块,用单层模块和少量多任务语料实现语音与LLM的模态对齐,验证了对齐能力可迁移至人类偏好对齐的模型,且对齐子空间的稀疏性为多模态扩展提供了可能。
2024-06-19 cs.CL cs.SD eess.AS
High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units
National University of Singapore(新加坡国立大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种基于自监督离散语音单元预测的自动配音方法,通过提供更直接的对齐监督并缓解上下文与声学特征的不匹配,显著提升了唇音同步与语音质量。
2023-06-29 cs.CL cs.SD eess.AS
Improving Robustness of LLM-based Speech Synthesis by Learning Monotonic Alignment
NVIDIA Corporation(英伟达公司)
针对基于大语言模型的语音合成易产生重复、漏词及错位问题,本文提出利用CTC损失和注意力先验引导单调交叉对齐,在不增加参数的情况下显著提升模型鲁棒性。
2024-06-25 cs.AI cs.SD eess.AS
Improving Speech Emotion Recognition Through Cross Modal Attention Alignment and Balanced Stacking Model
Ueda Lima Marques Costa Universidade Estadual de Campinas (UNICAMP)Brazil CPQDBrazil(乌埃达、利玛、马尔奎斯、科斯塔 马丁斯大学(UNICAMP)巴西 CPQD 巴西)
针对自然语音情感识别数据不平衡问题,提出利用跨模态注意力融合多模态表示,并结合加权交叉熵损失与软间隔损失训练12个模型进行平衡堆叠,在8类识别任务上取得显著效果。
2025-05-30 cs.SD eess.AS
Adaptive Duration Model for Text Speech Alignment
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
针对TTS语音文本对齐问题,提出一种自适应音素级时长预测框架,可提升对齐精度并增强零样本TTS对音频不匹配的鲁棒性。
2026-10-16 cs.AI cs.SD eess.AS
Effectiveness of text to speech pseudo labels for forced alignment and cross lingual pretrained models for low resource speech recognition
Thoughtworks(思特沃克);Ekstep Foundation(Ekstep基金会)
近年来,端到端(E2E)自动语音识别(ASR)系统在资源充足的情况下取得了可喜的成果。即使对于没有大量标记数据可用的语言,也可以通过对大量高资源语言进行预训练并对低资源语言进行微调来开发最先进的E2E ASR系统。对于许多低资源语言,当前的方法仍然具有挑战性,因为在许多情况下,标记数据在开放域中不可用。在本文中,我们提出了一种方法来创建标记的数据Maithili,Bhojpuri和Dogri利用伪标签从文本到语音强制对齐。对创建的数据进行质量检查,然后进一步用于训练基于Transformer的wav2vec 2.0 ASR模型。所有数据和模型都可以在开放域中获得。
2022-03-31 cs.CL cs.SD eess.AS
SegINR: Segment-wise Implicit Neural Representation for Sequence Alignment in Neural Text-to-Speech
Seoul National University(首尔大学);Samsung Research(三星研究院);Samsung Electronics Co.,Ltd.(三星电子株式会社)
本文提出SegINR,通过分段式隐式神经表示直接将文本序列转换为帧级特征,无需时长预测器和复杂序列建模,在零样本自适应TTS中实现更高质量的语音合成并降低计算成本。
2024-10-07 cs.LG eess.AS
Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems
The Ohio State University(俄亥俄州立大学);IBM Research AI(IBM研究院人工智能部门)
端到端(E2E)口语语言理解(SLU)的最新进展主要是由于语音表征的有效预训练。一种这样的预训练范例是将语义知识从最先进的基于文本的模型(如BERT)升华到语音编码器神经网络。这项工作是朝着以更有效和细粒度的方式做同样的事情迈出的一步,我们在逐个令牌的基础上对齐语音嵌入和BERT嵌入。我们介绍了一种简单而新颖的技术,使用跨模态注意力机制从语音编码器中提取令牌级上下文嵌入,以便这些可以直接与基于BERT的上下文嵌入进行比较和对齐。这种对齐是使用一种新型的符号对比丢失来执行的。微调这样一个预训练的模型来直接使用语音执行意图识别,在两个广泛使用的SLU数据集上产生了最先进的性能。当使用SpecAugment进行额外的正则化微调时,我们的模型进一步改进,特别是当语音有噪声时,与以前的结果相比,绝对改进高达8%。
2022-07-01 cs.CL cs.SD eess.AS
Exploring Pre-training with Alignments for RNN Transducer based End-to-End Speech Recognition
Microsoft(微软)
近年来,递归神经网络转换器(RNN-T)结构由于其能够进行在线流式语音识别的优点,成为端到端自动语音识别研究的一个新兴趋势。然而,RNN-T训练由于巨大的内存需求和复杂的神经结构而变得困难。简化RNN-T训练的一种常见解决方案是采用连接主义时间分类(CTC)模型以及RNN语言模型(RNNLM)来初始化RNN-T参数。在这项工作中,我们反过来利用外部比对来为RNN-T模型播种。两种不同的预训练解决方案进行了探索,分别称为编码器预训练,和全网络预训练。在微软65,000小时的匿名生产数据上进行评估,删除了个人身份信息,我们提出的方法可以获得显着的改善。特别地,当与随机初始化和广泛使用的CTC+RNNLM初始化策略相比时,编码器预训练解决方案分别实现了10%和8%的相对字出错率降低。我们的解决方案还显著降低了RNN-T模型的基线延迟。
2020-05-01 cs.CL eess.AS
Advancing Zero-shot Text-to-Speech Intelligibility across Diverse Domains via Preference Alignment
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ByteDance Seed(字节跳动 Seed)
本文构建 INTP 偏好数据集并扩展 DPO 以对齐多种零样本 TTS 架构,显著提升绕口令、语码转换等场景下的可懂度及综合语音质量。
2025-06-06 cs.SD eess.AS
Deep Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University(东南大学)
本文提出了一种新的深度迁移学习方法--深度隐式分布对齐网络(DIDAN)来处理跨语料库语音情感识别(SER)问题,其中标记的训练(源)和未标记的测试(目标)语音信号来自不同的语料库。具体来说,DIDAN首先采用由一组卷积层和全连接层组成的简单深度回归网络,将源语音频谱直接回归到情感标签中,从而使提出的DIDAN具有情感辨别能力。然后,这种能力被转移到也适用于目标语音样本,而不管语料库的方差,通过诉诸一个精心设计的正则化术语称为隐式分布对齐(IDA)。与广泛使用的最大平均差异(MMD)及其变体不同,建议IDA吸收了样本重构的思想,以隐式地对齐分布间隙,这使得DIDAN能够从语音频谱中学习情感判别和语料库不变特征。为了评估所提出的DIDAN,广泛的跨语料库SER实验上广泛使用的语音情感语料库进行。实验结果表明,DIDAN在处理跨语料库的SER任务时,性能优于许多最新的方法。
2023-02-17 cs.CL cs.SD eess.AS
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation
Heidelberg University(海德堡大学)
针对端到端语音翻译配对数据稀缺问题,提出基于音频对齐的Sample, Translate, Recombine数据增强法,仅用现成组件即可稳定提升多语言对BLEU值。
2022-03-16 cs.CL eess.AS
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University(香港理工大学)
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法,引入随机单调对齐机制,以VALL-E 10.3%的参数实现更优性能,为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing(滴滴出行);DiDi Research America(滴滴美国研究院);Peking University(北京大学)
语音情感识别是一个具有挑战性的问题,因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别,可以从音频信号中提取情感相关特征,或者采用语音识别技术从语音生成文本,然后应用自然语言处理来分析情感。此外,情感识别将受益于使用音频文本多模态信息,这是不平凡的建立一个系统,从多模态学习。人们可以分别为两个输入源建立模型,并在决策层将它们组合起来,但这种方法忽略了语音和文本在时域中的相互作用。在本文中,我们提出使用注意力机制来学习语音帧和文本单词之间的对齐,旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估,实验结果表明,该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
BLSP: Bootstrapping Language-Speech Pre-training via Behavior Alignment of Continuation Writing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Alibaba Inc.(阿里巴巴集团);Machine Intelligence Technology Lab, Alibaba Inc.(阿里巴巴集团机器智能技术实验室);Wuhan AI Research(武汉人工智能研究院)
本文提出BLSP方法,通过轻量级模态适配器对齐冻结语音编码器与LLM,利用续写行为监督训练,将LLM能力扩展到语音,实现识别、翻译、理解及对话,支持零样本跨语言。
2024-05-28 cs.CL cs.SD eess.AS
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
提出ImmersiveTTS模型,通过多模态扩散Transformer和领域特定表示对齐,实现与环境音频自然融合的文本到语音生成。
2026-05-29 cs.AI cs.CL eess.AS
CTC-TTS: LLM-based dual-streaming text-to-speech with CTC alignment
School of Computer Science and Technology, Xinjiang University, China(新疆大学计算机科学与技术学院);Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China(清华大学语音处理与机器智能实验室)
CTC-TTS提出了一种基于大语言模型的双流文本到语音系统,采用CTC对齐器和双词交错策略,提升了流式合成和零样本任务的性能。
2026-09-09 cs.AI cs.SD eess.AS
Ultrasound tongue imaging for diarization and alignment of child speech therapy sessions
University of Edinburgh(爱丁堡大学)
我们研究了使用超声视觉生物反馈的儿童语音治疗会话的自动处理,特别关注于用舌头的超声图像补充声学特征,用于扬声器日志化和目标词的时间对齐的任务。对于说话人日记化,我们提出了一个基于超声的时域信号,我们称之为估计的舌头活动。对于单词对齐,我们用卷积神经网络学习的舌头超声图像的低维表示来增强声学模型。我们使用Ultrasuite存储库的超声波和语音录音进行实验,用于儿童语音治疗。对于这两项任务,我们观察到,增强超声数据的系统优于仅使用音频信号的相应系统。
2019-08-15 cs.CL cs.SD eess.AS
Effect of choice of probability distribution, randomness, and search methods for alignment modeling in sequence-to-sequence text-to-speech synthesis using hard alignment
1 National Institute of Informatics, Japan 2 SOKENDAI, Japan
序列到序列的文本转语音(TTS)主要是基于软注意的方法。近年来,基于硬注意力的方法被提出来防止致命的对准错误,但其离散对准的采样方法研究得很少。本研究探讨了在基于硬比对的序列到序列TTS方法(称为SSNT-TTS)中,用于比对转换建模的采样方法和概率分布的各种组合。我们澄清了离散变量的常见抽样方法,包括贪婪搜索,波束搜索,并在一个更一般的方式从伯努利分布的随机抽样。此外,我们还引入了二进制混凝土分布来更好地模拟离散变量。收听测试结果表明,确定性搜索优于随机搜索,二进制混凝土分布对自然对齐过渡的随机搜索具有较好的鲁棒性。
2019-10-28 cs.CL cs.SD eess.AS
HMM vs. CTC for Automatic Speech Recognition: Comparison Based on Full-Sum Training from Scratch
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
在这项工作中,我们比较从头开始的序列级交叉熵(全和)训练的隐马尔可夫模型(HMM)和连接主义时间分类(CTC)的拓扑结构的自动语音识别(ASR)。除了准确性,我们进一步分析了它们在语音信号和转录之间生成高质量时间对准的能力,这对许多后续应用至关重要。此外,我们提出了几种方法,通过解决对齐建模问题来提高从头开始的全和训练的收敛性。系统的比较进行Switchboard和LibriSpeech语料库跨CTC,后验HMM和W/O的转移概率,和标准的混合HMM。我们还提供了一个详细的分析维特比强制对齐和鲍姆-韦尔奇全和占用概率。
2022-10-18 cs.SD eess.AS
Deep Visual Forced Alignment: Learning to Align Transcription with Talking Face Video
KAIST(韩国科学技术院)
强制对齐是指将给定转录与相应语音进行时间对齐的技术。然而,由于已经使用语音音频开发了强制对准技术,当输入语音音频被噪声破坏或不可访问时,它们可能无法对准。我们关注的是,存在可以从语音中推断出语音的另一个组件,即语音视频(即,说话的脸视频)。由于基于音频的强制对齐方法在音频信号较差的情况下可以利用视觉信息来弥补其不足,因此本文尝试提出一种新的基于视频的强制对齐方法。然而,与音频强制对齐不同,开发可靠的视觉强制对齐技术具有挑战性,原因有以下两个:1)与基于音频的自动语音识别(ASR)相比,视觉语音识别(VSR)具有低得多的性能,以及2)从文本到视频的翻译不可靠,因此通常用于建立音频强制对准的方法不能用于开发视觉强制对准。为了缓解这些挑战,在本文中,我们提出了一种新的方法,这是适合于视觉强制对齐,即深度视觉强制对齐(DVFA)。所提出的DVFA可以比对输入转录(即,句子)与说话面部视频进行交互,而不访问语音音频。此外,通过用异常情况检测来增强对准任务,DVFA可以在执行对准的同时检测输入转录和输入视频之间的不匹配。因此,即使文本中存在错误的单词,我们也可以鲁棒地将文本与说话的人脸视频对齐。通过大量的实验,我们证明了所提出的DVFA的有效性,不仅在对齐任务,而且在解释VSR模型的输出。
2023-02-27 cs.AI cs.CV cs.SD
M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Alibaba group(阿里巴巴集团);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for lnformation Science and Technology, Tsinghua University(清华大学信息科学与技术国家研究中心)
本文提出M3ANet,通过对比学习模态对齐模块解决EEG与语音时间不对齐问题,并采用结合GroupMamba的多尺度卷积编码器提取深层语音特征,在三个数据集上优于现有方法。
2025-05-31 cs.SD eess.AS
Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation
Hong Kong University of Science and Technology, Hong Kong SAR(香港理工大学);Tencent, China(腾讯);University of Surrey, United Kingdom(Surrey大学);Chinese University of Hong Kong, Hong Kong SAR(香港中文大学);Hong Kong Baptist University, Hong Kong SAR(香港 Baptist大学);Hong Kong Polytechnic University, Hong Kong SAR(香港理工大学);Independent Researcher(独立研究者)
研究语音与文本模态差异中的时间粒度不匹配问题,提出因子化FSQ和轻量非自回归音频LM头以降低帧率,发现4.17Hz帧率结合中间层表示对齐在语音问答中表现最佳。
2026-06-11 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
最近的研究表明,从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发,在本文中,我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐,这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间,并尝试通过对抗训练来对齐这两个空间,然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译,这两项任务的结果表明,我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别(ASR)和语音到文本翻译系统特别有用,这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型,但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center(语言技术研究中心)
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题,提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法,三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
Soft Alignment of Modality Space for End-to-end Speech Translation
Northeastern University(东北大学);Harbin Engineering University(哈尔滨工程大学);NiuTrans Research(纽创科技研究院)
针对端到端语音翻译中模态差异阻碍跨模态跨语言迁移、硬对齐会降低文本表示质量的问题,提出基于对抗训练的软对齐方法,在保留模态质量的同时构建模态不变空间,在MuST-C数据集上表现优于硬对齐且媲美专用翻译模型。
2023-12-18 cs.AI cs.CL cs.SD