CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering(电气工程系);Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
CodecSep通过在神经音频编解码器潜在空间中直接提取声源,实现开放词汇声音分离,相比AudioSep在SI-SDR指标上表现更优,且在ViSQOL和MOS-LQS上取得显著提升,同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
Introducing Latent Timbre Synthesis
Simon Fraser University(西蒙弗雷泽大学);Zurich University of the Arts(苏黎世艺术大学)
我们提出了潜在音色合成(LTS),这是一种使用深度学习的新音频合成方法。该合成方法允许作曲家和声音设计师使用音频帧的潜在空间在多个声音的音色之间进行内插和外推。我们提供了两个变分自动编码器的LTS架构的细节,并比较他们的优点和缺点。该实现包括一个完全工作的应用程序与图形用户界面,称为\textit{interpolate\_two},它使从业者能够探索他们选择的两个音频摘录之间的音色使用内插和外推在音频帧的潜在空间。我们的实现是开源的,我们的目标是通过为具有任何技术背景的用户提供指南来提高这项技术的可访问性。
2020-05-31 cs.LG cs.SD eess.AS
Latent Granular Resynthesis using Neural Audio Codecs
提出一种在神经音频编解码器潜在空间中进行粒子匹配与再合成的方法,无需训练即可保留目标时序并迁移源音色,同时避免拼接不连续。
2025-07-25 cs.LG cs.SD eess.AS
Matching Latent Encoding for Audio-Text based Keyword Spotting
Apple(苹果公司)
针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题,提出含动态序列划分算法的端到端架构,在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。
2023-06-08 cs.LG cs.SD eess.AS
Generation or Replication: Auscultating Audio Latent Diffusion Models
MERL(三菱电机研究实验室)
本文通过比较输出与训练数据,系统分析音频潜在扩散模型的记忆行为,发现梅尔频谱图相似性比嵌入向量更有效,并揭示AudioCaps数据集中存在大量重复片段。
2023-10-16 cs.SD eess.AS
UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation
Institute of Science Tokyo(东京科学研究所);Tsinghua University(清华大学);Wuhan University(武汉大学);The University of Tokyo(东京大学);Ant Group(蚂蚁集团)
Unite-Audio首次联合学习连续音频表示与潜在流匹配,通过生成目标塑造潜在空间并采用Flow-GRPO后训练,实现紧凑模型下的竞争性文本到音频生成性能。
2026-09-25 cs.SD eess.AS
LiLAC: A Lightweight Latent ControlNet for Musical Audio Generation
针对现有文本到音频扩散SOTA模型缺乏细粒度时变控制、传统ControlNet内存占用大且控制集固定的问题,提出轻量级模块化架构LiLAC,在保证音频质量与条件遵循度的同时大幅减参,提升了灵活性与部署效率。
2025-06-13 cs.LG cs.SD eess.AS
Fast Timing-Conditioned Latent Audio Diffusion
Stability AI;Belmont University(贝尔蒙特大学)
本研究提出基于潜在扩散的Stable Audio模型,通过文本提示与时序嵌入实现长时长、可变长度的44.1kHz立体声音乐与音效高效生成,推理速度快且基准测试表现优异,还可生成有结构的音乐和立体声音效。
2024-05-13 cs.LG cs.SD eess.AS
Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
提出Diff-Foley,一种基于潜在扩散模型和对比视听预训练的同步视频到音频合成方法,通过双重引导显著提升生成质量,在大规模数据集上达到最先进性能。
2023-06-29 cs.CV cs.LG cs.SD
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs(Smule实验室);University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题,提出将音频潜在表示映射到可解释声学概念的框架,训练SAEs并学习到声学属性的线性映射,在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Bass Accompaniment Generation via Latent Diffusion
Sony Computer Science Laboratories(索尼计算机科学实验室);Queen Mary University(伦敦玛丽女王大学)
本文提出一种基于潜在扩散模型的可控贝斯伴奏生成系统,利用音频自编码器和条件扩散模型,根据输入混音生成指定音色的贝斯分轨,并通过改进引导技术提升音频质量。
2024-02-02 cs.LG cs.SD eess.AS
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器,通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间,在重建质量、语义结构和推理速度间达到最佳平衡,并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
ImmerseDiffusion: A Generative Spatial Audio Latent Diffusion Model
University of Rochester(罗切斯特大学);Apple(苹果公司)
本文提出 ImmerseDiffusion,一种基于潜扩散模型的端到端空间音频生成系统,可根据文本提示或空间、时间与环境参数生成一阶 Ambisonics 音频,并通过实验验证其生成质量和空间一致性。
2025-02-07 cs.ET cs.LG cs.SD
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est(法国国家信息与自动化研究所南锡-大东部分所)
在本文中,我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息(嘴唇运动)。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地,在训练期间,使用变分自动编码器(VAE)从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息,潜变量的后验是从混合语音(而不是干净的语音)以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时,学习的生成模型(用于说话者无关和说话者相关场景)与用于背景噪声的无监督非负矩阵分解(NMF)方差模型相结合。所有的潜变量和噪声参数,然后估计的蒙特卡罗期望最大化算法。我们的实验表明,所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
Taming Audio VAEs via Target-KL Regularization
Adobe Research(Adobe研究院)
本文提出通过压缩率调节和目标KL正则化训练音频VAE,以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题,并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
LAFMA: A Latent Flow Matching Model for Text-to-Audio Generation
School of Informatics, Xiamen University(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与工程学院);Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Kuaishou Technology(快手科技);Nankai University(南开大学)
针对潜空间扩散式文本到音频生成质量受限且采样步骤多的问题,提出LAFMA,将Flow Matching引入音频潜空间训练CNF,以十步推理实现更优音频质量。
2024-06-12 cs.SD eess.AS
AudioGAR: Bridging Reconstruction and Generation in Latent Audio Generative Models
University of Toronto(多伦多大学)
AudioGAR通过扰动编码器潜在表示并利用冻结的潜在扩散模型构建中间潜在表示,仅微调解码器,以1.5%的训练数据和0.26%的成本显著提升潜在音频生成模型的端到端生成性能。
2026-10-06 cs.SD
F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation
Nanjing University, China(南京大学);WeNet Open Source Community(WeNet开源社区)
针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题,提出F3-Tokenizer,通过噪声正则化自编码器瓶颈和潜在侧表示编码器,实现统一的理解与生成音频分词器。
2026-06-04 cs.AI cs.SD eess.AS
Audio Super-Resolution with Latent Bridge Models
Department of CST, Tsinghua University, Beijing, China(计算机科学与技术系,清华大学,北京,中国);Shengshu AI, Beijing, China(盛舒人工智能,北京,中国);USTC, Hefei, China(中国科学技术大学,合肥,中国)
本文提出基于潜在桥模型的音频超分辨率方法,通过压缩音频到潜在空间并设计桥模型,实现高质量的任意到48kHz和192kHz音频上采样。
2025-12-29 cs.LG cs.SD
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
Active Restoration of Lost Audio Signals Using Machine Learning and Latent Information
Université Frères Mentouri I(兄弟门图里大学);Blekinge Institute of Technology(布莱金厄理工学院)
本文融合隐写术、半色调抖动与浅层/深度学习,提出 HCR 框架,利用嵌入的潜在辅助信息主动重建丢失音频,并在 SNR、ODG 等指标上优于多种现有方法。
2024-01-18 cs.LG cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
AudioLCM: Text-to-Audio Generation with Latent Consistency Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
针对潜扩散模型文本到音频生成速度慢的问题,提出融合一致性模型、引导潜一致性蒸馏与LLaMA技术的AudioLCM,仅需2次迭代即可生成高保真音频,速度较实时快333倍。
2024-07-09 cs.SD eess.AS
PoDAR: Power-Decoupled Audio Representation for Generative Modeling
Descript
本文提出PoDAR框架,通过随机功率增强和潜在一致性目标解耦信号功率与语义内容,提升潜在空间建模能力,加速生成模型收敛并提高性能。
2026-09-29 cs.AI cs.LG cs.SD
SemanticVocoder: Bridging Audio Generation and Audio Understanding via Semantic Latents
Peking University(北京大学);Tencent AI Lab(腾讯AI实验室);Shanghai AI Lab(上海AI实验室);SJTU(上海交通大学)
SemanticVocoder通过引入语义潜在空间,实现了音频生成与理解的统一,提升了生成性能并推动了共享语义空间的研究。
2026-02-26 cs.SD
Exploring Token-Space Manipulation in Latent Audio Tokenizers
Mila – Québec AI Institute(魁北克人工智能研究所);Université Laval(拉瓦尔大学);Concordia University(康科迪亚大学)
本文提出LATTE,通过在音频特征序列后添加固定可学习潜在标记,实现标记空间编辑,支持低比特率语音编码中的可控音频操控。
2026-05-11 cs.AI cs.LG cs.SD
PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
Dolby Laboratories(杜比实验室)
PLACE通过条件嵌入和低秩变换扩展AudioX,实现多模态双耳音频生成,在FAIR-Play和BEWO-1M上提升空间一致性。
2026-10-02 cs.MM cs.SD eess.AS
Towards Robust Unsupervised Disentanglement of Sequential Data -- A Case Study Using Music Audio
Queen Mary University of London(伦敦玛丽女王大学);Spotify
解纠缠顺序自编码器(DSAE)表示一类概率图模型,其描述具有动态潜变量和静态潜变量的观测序列。前者以与观察相同的帧速率对信息进行编码,而后者全局地管理整个序列。这就引入了一种归纳偏见,并促进了对潜在的局部和全局因素的无监督解开。在本文中,我们表明,香草DSAE遭受是敏感的模型架构和容量的动态潜变量的选择,并容易崩溃的静态潜变量。作为一种对策,我们提出了TS-DSAE,这是一个两阶段的训练框架,首先学习序列级先验分布,随后用于正则化模型并促进辅助目标以促进解纠缠。所提出的框架是完全无监督和强大的全球因素崩溃问题在广泛的模型配置。它还避免了典型的解决方案,例如对抗性训练(通常涉及费力的参数调整)和特定于领域的数据增强。我们进行定量和定性评估,以证明其鲁棒性方面的解纠缠的人工和现实世界的音乐音频数据集。
2022-06-14 cs.LG cs.SD eess.AS
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Latent Watermarking of Audio Generative Models
Meta, FAIR(Meta FAIR);Inria(法国国家信息与自动化研究所);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出通过对训练数据添加水印来为音频潜在生成模型嵌入水印,使生成内容可被高置信度检测,无需后置水印步骤,并能识别未经许可的微调或衍生使用。
2024-09-04 cs.SD eess.AS
Generalized Audio Deepfake Detection Using Frame-level Latent Information Entropy
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对音频深度伪造检测的泛化性问题,基于信息论假设真实与伪造样本的信息差异,提出帧级潜在信息熵检测器(f-InfoED)及AdaLAM适配器扩展预训练模型,在ADFF 2024数据集上实现SOTA性能与强泛化性。
2025-04-15 cs.SD eess.AS
AdaLoop: Adaptive-Depth Latent Reasoning for Audio Language Models
Seoul National University(首尔大学);Shanghai Jiao Tong University(上海交通大学)
AdaLoop通过轻量级循环模块自适应决定音频-问题对的推理深度,以不到3%的参数增加在多个模型和基准上将平均准确率提升2.9至3.8个百分点。
2026-10-07 cs.LG cs.SD
LatentFlowSR: High-Fidelity Audio Super-Resolution via Noise-Robust Latent Flow Matching
University of Science and Technology of China(中国科学技术大学)
本文提出LatentFlowSR方法,利用条件流匹配在潜在空间中实现音频超分辨率,通过噪声鲁棒的自动编码器和ODE求解器生成高分辨率音频,实验表明其在多种音频类型和设置中均优于基线方法。
2026-07-03 cs.SD
AudioLDM: Text-to-Audio Generation with Latent Diffusion Models
University of Surrey(萨里大学);Imperial College London(帝国理工学院)
提出AudioLDM,基于CLAP潜在空间学习连续音频表示的文本到音频生成系统,在单GPU上训练即达到最优性能,并首次支持零样本文本引导音频操作。
2023-09-09 cs.AI cs.MM cs.SD
Combining audio control and style transfer using latent diffusion
Ircam(IRCAM声学音乐研究中心);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出一种基于潜空间扩散的音频生成模型,通过分离局部结构信息与全局音色信息,在单一框架中统一显式控制与风格迁移,并在音色迁移和MIDI到音频任务上优于现有基线。
2024-07-31 cs.LG cs.SD eess.AS
Latent Vector Recovery of Audio GANs
Western University(韦仕敦大学)
高级生成对抗网络(GANs)在从随机潜在向量生成可理解的音频方面非常出色。在本文中,我们研究的任务,恢复的合成和真实的音频的潜在向量。以前的作品通过自动编码器启发的技术恢复给定音频的潜在向量,该技术与GAN并行或在生成器训练之后训练编码器网络。通过我们的方法,我们训练了一个深度残差神经网络架构,以将WaveGAN合成的音频投影到相应的潜在空间中,具有几乎相同的重建性能。为了适应真实音频原始特征向量的缺乏,我们对真实音频样本和预测特征向量的重构音频之间的感知损失进行了残差网络优化。在合成音频的情况下,地面实况和恢复的潜在向量之间的均方误差(MSE)也被最小化。我们进一步研究了当几个梯度优化步骤应用于预测的潜在向量时的音频重建性能。通过我们基于深度神经网络的真实和合成音频训练方法,我们能够预测对应于真实音频的合理重建的潜在向量。尽管我们在WaveGAN上评估了我们的方法,但我们提出的方法是通用的,可以应用于任何其他GANs。
2020-10-16 cs.AI cs.CV cs.SD
Learning Linearity in Audio Consistency Autoencoders via Implicit Regularization
LTCI, Telecom Paris, Institut Polytechnique de Paris(LTCI,电信巴黎,巴黎高等理工学院);Deezer Research(Deezer研究)
通过隐式正则化在音频一致性自编码器中诱导线性性,实现更直观高效的音频处理
2026-01-27 cs.AI cs.LG cs.SD
Soft Smoothness for Audio Inpainting Using a Latent Matrix Model in Delay-embedded Space
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出了一种新的平滑时间序列信号重构方法。本研究的一个关键概念是不考虑信号空间中的模型,而是考虑延迟嵌入空间。换句话说,我们间接地将时间序列信号表示为矩阵的逆延迟嵌入的输出,并且矩阵是受约束的。基于逆延迟嵌入下的模型,我们提出用光滑因子向量约束矩阵为秩1。该模型与卷积模型和二次变分(QV)正则化密切相关。特别地,所提出的方法可以表征为QV正则化的推广。此外,我们表明,该方法提供了软光滑比QV正则化。通过音频修复和去唇的实验,与现有的几种插值方法和稀疏建模方法进行了比较,证明了该方法的优越性。
2022-03-18 cs.LG cs.SD eess.AS
A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials
Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽皇后学院数字音乐中心);Creative Computing Institute, University of the Arts London(伦敦艺术大学创意计算学院)
本文提出一种映射策略,通过无监督特征学习将人类控制空间映射到生成式AI音频模型的潜在空间,并用视觉草图控制音频合成,以促进艺术语境中的可解释AI。
2024-07-05 cs.HC cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University(高丽大学)
针对扩散模型用于歌声合成时复杂度高、可控性差的问题,提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统,还扩展出无监督框架HiddenSinger-U,音频质量优于现有模型,可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
Low-Resource Guidance for Controllable Latent Audio Diffusion
本文提出了一种低计算开销的可控潜在音频扩散方法,通过潜在控制头实现对音频强度、音高和节拍的精确控制,同时保持生成质量。
2026-03-04 cs.AI cs.LG cs.SD
Long-form music generation with latent diffusion
Stability AI
本文提出一种基于潜在扩散的长篇音乐生成模型,通过在高度下采样的连续潜在表示上训练diffusion-transformer,可从文本提示生成长达4m45s且结构连贯的完整音轨,在音频质量和提示对齐指标上达到SOTA。
2024-07-29 cs.LG cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons(蒙斯大学Numediart研究所);Acapela Group(Acapela集团)
文本到语音转换领域在过去几年中经历了巨大的进步,受益于深度学习技术。现在,制作逼真的演讲成为可能。因此,对表达性的控制,允许生成不同风格或方式的演讲,最近引起了越来越多的关注。能够控制风格的系统已经开发出来,并显示出令人印象深刻的结果。然而,控制参数往往包括潜变量,并保持复杂的解释。在本文中,我们分析和比较不同的潜在空间,并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
AUDIT: Audio Editing by Following Instructions with Latent Diffusion Models
Microsoft(微软);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出指令引导的潜扩散音频编辑模型AUDIT,通过三元组训练数据学习仅修改目标片段并仅需编辑指令,在多项音频编辑任务上取得最优结果。
2023-04-05 cs.AI cs.CL cs.LG
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria(因苏布里亚大学);National University of Sciences and Technology(国立科技大学);Information Technology University(信息技术大学)
我们提出了一种新的深度训练算法,用于音频和视觉信息的联合表示,该算法由单流网络(SSNet)和一种新的损失函数组成,用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间,利用类中心,这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法,VoxCeleb是一个基准的视听数据集,用于多项任务,包括跨模态验证,跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能,而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Self-Supervised Disentanglement of Harmonic and Rhythmic Features in Music Audio Signals
AlphaTheta Corporation(AlphaTheta公司)
提出一种基于深度神经网络的自监督学习方法,通过训练变分自编码器在音高偏移条件下重建梅尔频谱图,实现音乐音频中节奏与谐波特征的解耦,并验证了其解耦效果及在自动音乐混音生成中的应用。
2023-09-06 cs.SD eess.AS
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
HKUST(香港科技大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出基于优化和 ImageBind 的多模态潜变量对齐器,在推理期引导扩散去噪,从而连接现成视频与音频模型,实现开放域联合及双向跨模态生成。
2024-02-27 cs.CV cs.MM cs.SD
Scalable Evaluation for Audio Identification via Synthetic Latent Fingerprint Generation
School of Electronic Engineering(电子工程学院);Computer Science, Queen Mary University of London, UK(计算机科学,伦敦女王学院)
本文提出用整流流模型合成潜在指纹作为逼真干扰项,在不依赖额外音频的情况下模拟大规模音频指纹检索性能,并通过扩充真实数据库验证其扩展趋势与真实干扰项一致,为系统可扩展性评估提供了实用度量。
2025-09-23 cs.IR cs.SD eess.AS
Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping
Technology Innovation Insitute(技术创新研究院);Dublin City University(都柏林城市大学)
Lip2Vec通过将唇部视觉潜在表示映射到音频潜在表示并借助现成ASR模型解码,以简单先验学习实现高效鲁棒的视觉语音识别,在LRS3上达到26 WER,并在VoxCeleb上保持合理性能。
2023-08-11 cs.CL cs.SD eess.AS
Latent variable approach to diarization of audio recordings using ad-hoc randomly placed mobile devices
Indian Institute of Science(印度科学学院)
本文考虑了使用空间信息的自组织移动设备的音频记录的日记化。对于每个移动终端假设两信道同步记录,其用于以逐帧方式在每个设备处分别计算方向统计。跨移动设备的记录是异步的,但是通过使用声学事件或实时时钟对准信号来执行粗略同步。然后使用Dirichlet混合模型联合建模为所有设备计算的方向统计,并且使用混合分量上的后验概率来导出日志化信息。使用手机对真实生活录音进行的实验表明,日志化错误率低于14%。
2018-10-31 cs.SD eess.AS
Breaking Audio Large Language Models by Attacking Only the Encoder: A Universal Targeted Latent-Space Audio Attack
Ben Gurion University of the Negev(贝纳乔大学奈夫分校);Deepkeep
本文提出了一种针对音频大语言模型编码器的通用潜在空间攻击方法,通过操纵音频潜在表示实现目标输出,展示了编码器层面的安全漏洞。
2025-12-29 cs.AI cs.CR cs.SD
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH(浦项科技大学);KAIST(韩国科学技术院);University of Michigan(密歇根大学);Yonsei University(延世大学)
音频如何描述我们周围的世界?在本文中,我们提出了一种方法,用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型,其工作原理是通过调度每个模型组件的学习过程来关联视听模态,尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征,然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量,我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明,我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对深度伪造语音检测泛化难的问题,提出结合潜在空间精炼与增强的方法,在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
Timbre latent space: exploration and creative aspects
Institut de Recherche et Coordination Acoustique Musique (IRCAM)(声学与音乐研究和协调研究所(IRCAM));UPMC(巴黎第六大学);CNRS(法国国家科学研究中心)
最近的研究表明,无监督模型能够使用自动编码器学习可逆的音频表示。它们能够实现高质量的声音合成,但由于潜在空间不能解开音色属性,因此控制有限。在变分自动编码器(VAE)中研究了解纠缠表示的出现,并已应用于音频。使用附加的感知正则化可以将这种潜在表示与先前建立的多维音色空间对齐,同时允许连续的推断和合成。或者,一些特定的声音属性可以被学习作为控制变量,而无监督的维度占其余的功能。生成神经网络使音色操纵的新的可能性,虽然探索和创造性地使用其表示仍然很少。以下实验是与两位作曲家合作进行的,并提出了新的创造性方向,以探索音乐音色的潜在声音合成,使用专门设计的接口(Max/MSP,纯数据)或映射,以实现基于合成器的合成。
2020-08-17 cs.LG cs.SD eess.AS