Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器,通过自回归方式解码复合令牌,提升符号音乐和音频生成的性能,降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
Hanyang University(汉阳大学)
本研究针对鲁棒视听语音识别问题,提出注意力引导的对比解码可靠性缩放方法,在LRS3数据集上实现了干净与低信噪比条件下的性能提升。
2026-08-28 cs.CV cs.SD eess.AS
Multi-class Decoding of Attended Speaker Direction Using Electroencephalogram and Audio Spatial Spectrum
Key Lab of Modern Acoustics, Nanjing University(南京大学现代声学重点实验室)
针对现有注意说话人方向解码多为二分类、未有效利用音频空间信息的问题,提出融合音频空间谱与EEG特征的Sp-EEG-Deformer模型,在14类解码任务上准确率显著提升,验证了双模态策略的有效性。
2025-01-09 cs.AI cs.CL cs.SD
APCodec: A Neural Audio Codec with Parallel Amplitude and Phase Spectrum Encoding and Decoding
University of Science and Technology of China(中国科学技术大学);National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心)
APCodec是一种新型神经音频编解码器,通过并行处理幅度和相位谱实现高采样率低比特率编码,在6 kbps下质量优于现有方法且生成更快。
2024-09-24 cs.SD eess.AS
WAKE: Watermarking Audio with Key Enrichment
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong(香港中文大学)
提出首个密钥可控音频水印框架 WAKE,利用特定密钥嵌入与解码,支持多次嵌入后恢复初始水印及可变长度水印,在音频质量和检测准确率上优于现有模型。
2025-06-06 cs.SD eess.AS
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
Imperial College London, UK(伦敦帝国学院,英国);NatWest AI Research, UK(英国NatWest人工智能研究)
本文提出Dr.SHAP-AV框架,通过Shapley值分析音频-视觉语音识别中模态贡献,揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性,推动模态加权机制和Shapley归因作为标准诊断工具。
2026-06-07 cs.CV cs.SD eess.AS
A Transcription Prompt-based Efficient Audio Large Language Model for Robust Speech Recognition
Northwestern Polytechnical University(西北工业大学);Tencent YouTu Lab(腾讯优图实验室)
针对噪声环境下音频大语言模型语音识别存在幻觉、重复导致错误的问题,提出基于转录提示、引入ASR专家作为转录分词器及混合AR-NAR解码的Audio-LLM,在WenetSpeech语料上显著降低CER且彻底解决解码重复问题。
2024-08-18 cs.SD eess.AS
Solving Audio Inverse Problems with a Diffusion Model
Aalto University(阿尔托大学)
本文介绍了CQT-Diff,一种数据驱动的生成音频模型,一旦经过训练,可以用于在问题不可知的环境中解决各种不同的音频逆问题。CQT-Diff是一个神经扩散模型,其架构经过精心构建,以利用音乐中的音高等变对称性。这是通过用可逆的恒定Q变换(CQT)预处理模型来实现的,CQT的频率间隔轴将音高等方差表示为平移等方差。所提出的方法进行评估,在三个不同的和不同的任务:音频带宽扩展,修复和declipping的客观和主观的指标。结果表明,CQT-Diff在音频带宽扩展方面优于比较的基线和消融,并且在没有重新训练的情况下,在音频修复和去唇方面提供了与现代基线相比具有竞争力的性能。这项工作代表了第一个基于扩散的一般框架,用于解决音频处理中的逆问题。
2023-03-18 cs.SD eess.AS
CoDiCodec: Unifying Continuous and Discrete Compressed Representations of Audio
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories, Paris(索尼计算机科学实验室(巴黎))
本文提出 CoDiCodec 音频自编码器,通过 FSQ 和 FSQ-dropout 技术从同一模型同时生成连续嵌入与离散 token,支持自回归与并行解码,在相似比特率下实现了优于现有方法的音频重建质量,统一了连续与离散生成建模范式。
2025-09-11 cs.AI cs.LG cs.SD
SSNAPS: Audio-Visual Separation of Speech and Background Noise with Diffusion Inverse Sampling
Bar-Ilan University(巴伊兰大学);OriginAI
提出一种无监督的视听语音分离方法,利用扩散先验和逆采样联合建模语音与噪声,在单麦克风场景下优于有监督基线,并支持离屏说话人分离。
2026-06-16 cs.LG cs.SD eess.AS
Guided by the Plan: Enhancing Faithful Autoregressive Text-to-Audio Generation with Guided Decoding
The Hong Kong Polytechnic University(香港理工大学);IROOTECH TECHNOLOGY(IROOTECH技术公司);Wolf 1069 b Lab, Sany Group(三一集团沃尔夫1069实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
本研究提出Plan-Critic模型,通过引导解码提升自回归文本到音频生成的忠实度,实现CLAP分数提升10分,达到新状态。
2026-01-18 cs.CL cs.SD eess.AS
Segmental Posterior Decoding for Audio Moment Retrieval
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对音频时刻检索中DETR解码器缺乏全局归一化的问题,提出片段后验解码,通过前向-后向推理计算精确边际后验,在CASTELLA上显著提升性能。
2026-09-16 eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学);Institute of Software, Chinese Academy of Sciences, China(中国科学院软件研究所);National Research Council Canada, Canada(加拿大国家研究理事会)
提出一种基于跨语句音频-文本提示的说话人自适应方法,实现零样本实时适应未见说话人,在老年人语音数据集上显著降低词错误率/字符错误率,并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Reverse the auditory processing pathway: Coarse-to-fine audio reconstruction from fMRI
Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology(脑认知与类脑智能技术重点实验室);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统国家重点实验室);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
受人类听觉分层处理启发,提出基于fMRI的由粗到细音频重建方法,利用CLAP和AudioMAE结合LDM实现高保真重建,在多数据集上达到SOTA,推动神经解码发展。
2024-05-29 cs.CV cs.MM cs.SD
Toeplitz Inverse Covariance based Robust Speaker Clustering for Naturalistic Audio Streams
University of Texas at Dallas(德克萨斯大学达拉斯分校)
发言人日记确定谁发言和何时发言?在音频流中。在这项研究中,我们提出了一个基于模型的方法,强大的说话人聚类使用i向量。从同一说话人的不同分段中提取的向量是相关的。我们用马尔可夫随机场(MRF)网络对这种相关性进行建模。利用MRF建模的进步,我们使用Toeplitz逆协方差(TIC)矩阵来表示每个扬声器的MRF相关网络。该方法捕获属于音频流中的相同扬声器的i向量(或等效扬声器转向)的顺序结构。采用标准期望最大化(EM)算法的一种变体,使用动态规划(DP)和交替方向乘子法(ADMM)推导出封闭形式的解。我们的日志化系统有四个步骤:(1)地面实况分割;(2)i向量提取;(3)后处理(均值减法,主成分分析和长度归一化);和(4)提出的扬声器聚类。我们采用余弦K-means和movMF扬声器聚类作为基线方法。我们的评估数据来自:(i)CRSS-PLTL语料库,和(ii)AMI语料库的两个会议子集。与基线相比,使用所提出的改进,CRSS-PLTL语料库的日志化出错率(DER)相对降低了43.22%。对于AMI会议IS 1000 a和IS 1003 b,相对DER降低分别为29.37%和9.21%。
2019-07-12 cs.LG cs.SD eess.AS
Universal Spatial Audio Transcoder
Universitat Pompeu Fabra(庞培法布拉大学);Dolby Laboratories(杜比实验室)
本文提出通用空间音频转码器(USAT),基于心理声学优化为任意空间音频格式生成适配任意输出格式或扬声器布局的最优解码器与转码器,实验表明其优于现有常用方法。
2024-05-15 cs.SD eess.AS
Does Location Matter? A Black-Box Causal Audit Reveals Model-Dependent Audio Grounding in LALM Hallucination
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);New Uzbekistan University(新乌兹别克斯坦大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本研究针对LALM的音频幻觉问题,提出黑盒因果测试方法,发现其音频 grounding 依赖模型,且改进的对比解码可提升Qwen2-Audio准确率至71.9%。
2026-10-12 cs.AI cs.LG cs.SD
Whisper-Flash: Acoustically Conditioned Parallel Drafting for Faster Whisper Decoding
Whisper-Flash 利用语音识别中“未写词已说出”的特性,通过两层草稿模型并行生成八个词元,在 LibriSpeech 上实现 3.16 倍加速且输出不变,消融显示直接访问音频是关键。
2026-09-29 cs.SD eess.AS
Hierarchical Audio-Visual Information Fusion with Multi-label Joint Decoding for MER 2023
University of Science and Technology of China(中国科学技术大学)
本文提出一种基于AFG特征融合与多标签联合解码的层次化音视频情感识别框架,通过联合优化分类与回归任务,在MER 2023数据集上取得一致提升并排名第三。
2023-09-11 cs.AI cs.MM cs.SD
Deep Correlation Analysis for Audio-EEG Decoding
Indian Institute of Science(印度科学研究所)
脑电图(EEG)是以非侵入性方式记录大脑激活的最简单的模式之一,其经常由于记录伪影而失真,这对刺激-响应分析产生不利影响。迄今为止,最突出的技术试图使用线性方法来改善刺激-反应相关性。在本文中,我们提出了一个基于神经网络的相关性分析框架,显着提高了线性方法的听觉刺激。提出了一种基于直接优化相关损失的受试者内音频脑电分析的深度模型。此外,提出了一种具有共享编码器架构的神经网络模型,用于改善受试者间刺激响应的相关性。这些模型试图抑制EEG伪影,同时保留与刺激相关的分量。几个实验进行了使用EEG记录从受试者听语音和音乐刺激。在这些实验中,我们表明,深度模型比线性方法显著提高了Pearson相关性(语音任务的平均绝对改善率为7.4%,音乐任务为29.3%)。我们还分析了几个模型参数对刺激-反应相关性的影响。
2021-11-27 cs.SD eess.AS eess.SP
End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding
Integrative Sciences and Engineering Programme, NUS Graduate School(新加坡国立大学研究生院整合科学与工程项目);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对钢琴音频到乐谱转录中调号/拍号检索难及仅用合成数据的问题,提出层次化解码器的Seq2Seq模型,经两阶段训练(合成预训练+真实微调)和**Kern预处理,在合成及人类录音上均验证有效。
2024-05-22 cs.AI cs.SD eess.AS
Token Pruning in Audio Transformers: Optimizing Performance and Decoding Patch Importance
Department of Computer Science and Engineering, Sogang University, South Korea(计算机科学与工程系,ソガン大学,韩国)
本研究首次将令牌剪枝应用于音频ViT模型,发现TopK剪枝可减少30-40%计算量且准确率损失小于1%,并揭示低强度令牌的重要性及模型间差异。
2025-08-03 cs.AI cs.SD eess.AS
CAD: Conflict-Aware Decoding to Mitigate Cross-Modal Hallucinations in Omnimodal Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室);School of Cyber Science and Engineering, Zhengzhou University(郑州大学网络空间安全学院)
本研究针对全模态大语言模型的跨模态幻觉问题,提出无训练框架CAD,通过PCME和CAA评估冲突并调整解码权重,在多个基准数据集上较基线方法实现显著性能提升。
2026-09-07 cs.SD eess.AS
Towards auditory attention decoding with noise-tagging: A pilot study
Donders Institute, Radboud University(拉德堡德大学唐德斯研究所)
本研究首次探索利用噪声标记刺激协议进行听觉注意力解码,通过幅度调制语音并比较不同解码方法,发现70%至100%调制深度下常规方法表现更优,揭示了噪声码增强多说话者检测的潜力。
2024-05-17 cs.AI cs.LG cs.SD
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.(谷歌公司)
在本文中,我们提出了一个Transformer-Transducer模型架构和训练技术,统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成,该堆栈没有前瞻或右上下文,该堆栈在顶部,用可变右上下文进行训练。在推理时间中,可以改变可变上下文层的上下文长度,以权衡延迟和模型的准确性。我们还表明,我们可以在Y模型架构中运行此模型,顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果,并以较大的准确性改进获得延迟的语音识别结果(语音搜索任务的相对改进为20%)。我们表明,在解码结束时,使用有限的右上下文(1-2秒的音频)和小的额外延迟(50-100毫秒),我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化,以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
DRCap: Decoding CLAP Latents with Retrieval-Augmented Generation for Zero-shot Audio Captioning
Shanghai Jiao Tong University(上海交通大学);SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);The Chinese University of Hong Kong(香港中文大学)
本文提出 DRCap 零样本音频字幕系统,结合 CLAP 嵌入投影与检索增强 LLM 生成,仅用文本训练即可实现领域内领先及跨领域 SOTA。
2025-01-06 cs.AI cs.SD eess.AS
Effective Audio Classification Network Based on Paired Inverse Pyramid Structure and Dense MLP Block
Jiangnan University(江南大学);University of Leeds(利兹大学)
本文提出轻量级成对倒金字塔结构PIP及其网络PIPMN,在仅100万参数且无数据增强和模型迁移的条件下,分别在UrbanSound8K和GTAZN上取得96%和93.2%的分类准确率。
2023-05-31 cs.AI cs.SD eess.AS
Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding
Sungkyunkwan University, Republic of Korea(全州大学,韩国)
针对Whisper长语音识别中的幻觉、重复和遗漏问题,提出无需训练的对比解码框架Whisper-CD,通过三种声学扰动构造负样本并聚合,显著降低词错误率并加速解码。
2026-06-23 cs.AI cs.SD eess.AS
Decoding Ambiguous Emotions with Test-Time Scaling in Audio-Language Models
University of Melbourne(墨尔本大学);University of Auckland(奥克兰大学);South China Normal University(华南师范大学);MIT(麻省理工学院);University of Cambridge(剑桥大学);RMIT(皇家墨尔本理工大学)
本文提出首个基于测试时间缩放的音频语言模型模糊情绪识别基准,系统比较了八种ALMs和五种TTS策略,揭示了模型容量与情感模糊性之间的交互挑战。
2026-02-01 cs.AI cs.SD eess.AS
AV Taris: Online Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
近年来,自动语音识别(ASR)技术已经在相对干净的收听条件下接近人类水平的会话语音性能。在涉及远距离麦克风、重叠语音、背景噪声或自然对话结构的更苛刻的情况下,ASR错误率至少高一个数量级。语音的视觉模态具有部分克服这些挑战的潜力,并有助于扬声器diarisation,语音活动检测和发音位置恢复的子任务,并且可以补偿平均高达15 dB的噪声。本文开发了AV Taris,这是一个完全可区分的神经网络模型,能够实时解码视听语音。我们实现了这一点,最近提出的模型连接视听语音集成和在线语音识别,即AV对齐和塔利斯。我们在与AV Align和Taris相同的条件下,在最大的公开视听语音数据集之一LRS2上评估AV Taris。我们的研究结果表明,AV Taris是优于仅音频变体的Taris,展示了实用的视觉模态语音识别内的实时解码框架定义的Taris。与一个等效的基于transformer的AV Align模型相比,该模型利用完整的句子而不满足实时要求,我们报告了AV Taris的绝对退化约为3%。与在线语音识别的更流行的替代方案,即RNN Transducer相反,Taris提供了一个大大简化的完全可区分的训练管道。因此,AV Taris有可能普及视听语音识别(AVSR)技术的采用,并克服音频模态在不太理想的收听条件下的固有局限性。
2020-12-14 cs.LG eess.AS
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation
Baidu Inc.(百度公司)
本文面向日语 TTS 数据集构建,提出以真实转写为条件微调 Whisper,并结合词典增强解码同步生成字素与音位、韵律标签,显著提升标注质量且合成语音自然度媲美人工标注。
2025-06-09 cs.CL cs.SD eess.AS
Speech Separation using Neural Audio Codecs with Embedding Loss
针对基于神经音频编解码器的语音分离在训练中依赖波形损失函数需解码步骤的问题,提出直接在压缩表示上操作的嵌入损失,消除训练解码需求,在WSJ0-2mix数据集上实现2倍训练速度提升且DNSMOS和STOI性能更优。
2024-11-27 eess.AS
E2E Segmenter: Joint Segmenting and Decoding for Long-Form ASR
Google Research(谷歌研究院)
在语音识别中,提高端到端ASR模型在长度从几分钟到几小时的长话语上的性能是一个持续的挑战。一种常见的解决方案是使用单独的语音活动检测器(VAD)预先对音频进行分段,该VAD纯粹基于声学语音/非语音信息来决定分段边界位置。然而,VAD分段器对于真实世界语音可能是次优的,其中,例如,一个完整的句子,应该作为一个整体,可能包含在中间的犹豫(“设置一个警报...... 5点钟”)。我们建议用一个端到端的ASR模型来代替VAD,该模型能够以流式方式预测段边界,从而使分割决策不仅以更好的声学特征为条件,而且还以来自解码文本的语义特征为条件,额外计算可以忽略不计。在长达30分钟的真实世界长格式音频(YouTube)的实验中,与最先进的Conformer RNN-T模型上的VAD分段器基线相比,我们证明了8.5%的相对WER改善和250 ms的中位段末延迟减少。
2022-06-15 cs.CL cs.LG cs.SD
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学院);UCLouvain(天主教鲁汶大学)
针对从削波测量中恢复音频信号的非线性逆问题,提出一种基于等变性的自监督学习方法,仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
Codec-Based Deepfake Source Tracing via Neural Audio Codec Taxonomy
National Taiwan University(台湾大学);Brno University of Technology(布尔诺理工大学)
针对神经音频编解码器语音生成模型产生的深度伪造音频,提出基于神经音频编解码器分类法的源追踪方法,在CodecFake+数据集上验证了可行性并指出挑战。
2025-08-03 cs.SD eess.AS
Unsupervised Single-Channel Audio Separation with Diffusion Source Priors
本文提出一种无监督单通道音频分离方法,利用扩散源先验和改进的反问题求解器,实现高质量的声源分离。
2025-12-23 cs.SD eess.AS
HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-based TTS
本文提出HD-PPT框架,通过分层解码策略提升指令遵循性和语音自然度,实现更精细的语音合成控制。
2026-03-15 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法,通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出,在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
BAT-CLIP: Trimodal Alignment of Brain, Audio and Text
Yonsei University(延世大学);Seoul National University(首尔国立大学);Dartmouth College(达特茅斯学院)
提出BAT-CLIP,首个针对iEEG的CLIP式三模态对齐框架,联合对齐神经嵌入与音频和文本锚点,在Podcast基准上比双模态基线更稳健。
2026-09-28 cs.AI cs.LG cs.SD
Self-Improvement for Audio Large Language Model using Unlabeled Speech
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对音频大语言模型在目标领域缺乏标注数据时性能下降的问题,本文提出 SI-SDA,通过解码信息评估伪标签并结合强化学习进行领域自适应,在多类语音任务上显著优于基线。
2025-07-27 cs.SD eess.AS
Fast Text-to-Audio Generation with One-Step Sampling via Energy-Scoring and Auxiliary Contextual Representation Distillation
National Taiwan University(国立台湾大学);Amazon AGI(亚马逊人工智能实验室)
本文提出了一种结合能量距离训练和表示层蒸馏的一步采样框架,有效提升了文本到音频生成的速度与质量,在AudioCaps基准上优于现有方法,达到与多步采样扩散模型相当的性能。
2026-05-01 cs.SD eess.AS
BANC: Towards Efficient Binaural Audio Neural Codec for Overlapping Speech
University of Maryland(马里兰大学);Tencent AI Lab(腾讯AI实验室)
本文提出双耳音频神经编解码器BANC,通过分离压缩语音内容与空间线索,支持重叠语音编解码,并将双耳语音压缩带宽降低48%。
2024-11-25 cs.SD eess.AS
StreamFlow: Streaming Flow Matching with Block-wise Guided Attention Mask for Speech Token Decoding
StreamFlow提出基于分块引导注意力掩码的流式流匹配架构,通过分层调控DiT感受野解决长序列外推问题,在保证语音质量的同时实现180毫秒首包延迟。
2025-07-01 cs.SD eess.AS
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
Eindhoven University of Technology(埃因霍温理工大学)
AudioTETRIS是一种无训练的两阶段音频令牌压缩框架,利用音频编码器的表示几何作为声学先验,在多个音频大语言模型上仅用25%令牌即可保留接近未压缩性能,优于现有无训练基线。
2026-10-12 cs.AI cs.SD eess.AS
DiffSound: Differentiable Modal Sound Rendering and Inverse Rendering for Diverse Inference Tasks
School of Computer Science, Peking University(北京大学计算机学院);University of Maryland, College Park(马里兰大学学院公园分校);Stanford University(斯坦福大学)
本文提出DiffSound,一个基于物理的可微模态声音渲染框架,结合隐式形状表示、高阶有限元分析和可微音频合成器,解决物理参数估计、几何形状推理和撞击位置预测等逆问题,能准确重现目标声音。
2024-09-20 cs.SD eess.AS
Continuous Audio Thinking for Large Audio Language Models
KAIST(韩国科学技术院)
提出连续音频思考(CoAT)框架,通过专家蒸馏在连续潜在空间中组织声学信息,使音频语言模型在生成响应前利用丰富声学特征,无需额外自回归解码成本,在多个音频任务上提升性能。
2026-10-26 cs.AI cs.CL cs.SD
Sequence-to-Sequence Voice Reconstruction for Silent Speech in a Tonal Language
Zhejiang University(浙江大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
基于发音神经肌肉活动的无声语音解码(SSD)是近年来脑机接口(BCI)研究的热点。许多研究致力于从发音神经肌肉活动中解码表面肌电图。然而,在有声调的语言(如普通话)中恢复无声语音仍然很困难。本文提出了一种优化的序列到序列(Seq 2Seq)方法,从表面肌电信号的无声语音合成语音。我们提取持续时间信息来调节sEMG的无声语音使用的音频长度。然后,我们提供了一个具有编码器-解码器结构的深度学习模型和一个最先进的声码器来生成音频波形。基于6个普通话说话人的实验结果表明,该模型能够成功地解码普通话无声语音,人工评估的平均字符出错率(CER)为6.41%.
2022-06-01 cs.HC cs.SD eess.AS
DualDub: Video-to-Soundtrack Generation via Joint Speech and Background Audio Synthesis
Northwestern Polytechnical University(西北工业大学);Centre for Vision Speech and Signal Processing, University of Surrey(视觉语音与信号处理中心,萨里大学);AI Lab, Giant Network(巨人网络人工智能实验室)
本文提出视频到原声带(V2ST)生成新任务及统一框架DualDub,通过多模态语言模型联合生成同步的背景音频与语音,并引入DualBench基准,实现了最先进的性能。
2025-07-14 cs.MM cs.SD eess.AS
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统,采用分块自注意力与触发注意力实现流式识别,并引入对齐正则化技术促进音视频编码器同步,在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
ELLA-V: Stable Neural Codec Language Modeling with Alignment-guided Sequence Reordering
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
本文提出ELLA-V,一种基于语言模型的零样本TTS框架,通过将音素token置于对应声学token之前的交错序列重排实现音素级细粒度控制,在准确率和稳定性上优于VALL-E。
2024-01-14 cs.AI cs.CL cs.SD
Accelerating Codec-based Speech Synthesis with Multi-Token Prediction and Speculative Decoding
Korea Advanced Institute of Science and Technology(韩国科学技术院);dot Inc(42dot公司)
本文提出多预测头多令牌预测与基于维特比算法的投机解码方法,在不额外训练的情况下将编解码器语音合成速度提升4至5倍,同时保持甚至改善语音可懂度。
2024-10-17 cs.AI cs.SD eess.AS
Large-vocabulary Audio-visual Speech Recognition in Noisy Environments
Ruhr University Bochum(波鸿鲁尔大学)
视听语音识别(AVSR)可以有效地和显着地提高识别率的小词汇量系统,相比他们的纯音频同行。然而,对于大词汇量系统,仍然存在许多困难,例如视频识别精度不令人满意,这使得它很难在仅音频的基础上进行改进。在本文中,我们专门考虑了这种情况,重点是LRS 2数据库的大词汇量任务,其中仅音频性能远远优于仅视频精度,这使得这成为多模态集成的有趣且具有挑战性的设置。为了解决固有的困难,我们提出了一种新的融合策略:一个经常性的集成网络进行训练,融合多个单模态模型的状态后验,一组基于模型和基于信号的流可靠性措施的指导下。在解码过程中,该网络用于混合识别器内的流集成,从而可以处理其多个特征输入的时变可靠性和信息内容。我们将结果与端到端AVSR系统以及具有竞争力的混合基线模型进行比较,发现新的融合策略显示出优越的结果,平均甚至优于Oracle动态流加权,这标志着标准流加权的上限-实际上无法实现。即使纯粹的唇读性能很低,视听整合在所有-干净,嘈杂和混响-条件下都是有帮助的。平均而言,新的系统实现了相对字错误率降低42.18%相比,仅音频模型,在所提出的集成方法的高效率。
2021-09-10 cs.SD eess.AS eess.IV
Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning
Nanyang Technological University(南洋理工大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Zhejiang University(浙江大学)
视听语音识别(AVSR)在提高语音识别的抗噪性方面取得了显著的成就。主流方法集中于融合音频和视觉输入以获得模态不变表示。然而,这种表示倾向于过度依赖音频模态,因为在干净的条件下,它比视频模态更容易识别。因此,AVSR模型低估了视觉流在噪声污染面前的重要性。为此,我们利用视觉模态特定的表示提供稳定的补充信息的AVSR任务。具体来说,我们提出了一个强化学习(RL)为基础的框架,称为MSRL,在自回归解码过程中,代理动态协调模态不变和模态特定的表示。我们定制了与特定于任务的指标直接相关的奖励函数(即,字出错率),这鼓励MSRL有效地探索最佳集成策略。在LRS3数据集上的实验结果表明,该方法在清洁和各种噪声条件下都达到了最先进的水平。此外,我们证明了更好的通用性MSRL系统比其他基线时,测试集包含不可见的噪声。
2023-02-02 cs.CV cs.MM cs.SD