Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出TANGO，利用指令微调LLM Flan-T5作为文本编码器并结合潜在扩散模型，在更小数据集上实现文本到音频生成性能超越AudioLDM。
2023-05-29 cs.AI cs.CL cs.SD
AIBA: Attention-based Instrument Band Alignment for Text-to-Audio Diffusion
Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学）；MAAP LAB, MODULABS（MODULABS 音频实验室）；KRAFTON；AI Matics；Department of Media Software, Sungkyul University（媒体软件系，松谷大学）
AIBA是一种轻量级、无需训练的流程，通过交叉注意力投影和可解释指标量化文本到音频扩散模型在时频平面上的注意力，在Slakh2100上揭示了乐器依赖趋势并实现高精度。
2025-09-25 cs.SD
PPPR: Portable Plug-in Prompt Refiner for Text to Audio Generation
Shanghai Polytechnic University（上海第二工业大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出可移植即插即用提示精炼器PPPR，利用大语言模型知识并引入模拟人类验证的思维链来增强文本到音频生成的鲁棒性和准确性，在Inception Score上达到8.72，超越AudioGen、AudioLDM和Tango。
2024-06-07 cs.SD eess.AS
IMPACT: Iterative Mask-based Parallel Decoding for Text-to-Audio Generation with Diffusion Modeling
Amazon AGI（亚马逊AGI）
本文提出IMPACT框架，通过在连续潜在空间中结合扩散建模与迭代掩码并行解码，在保证音频质量的同时显著降低文本到音频生成的推理延迟，并在AudioCaps上取得最先进性能。
2025-05-31 cs.SD eess.AS
Tango 2: Aligning Diffusion-based Text-to-Audio Generations through Direct Preference Optimization
Singapore University of Technology and Design（新加坡科技设计大学）；Meta AI；University of Michigan（密歇根大学）
本文提出Tango 2，通过合成偏好数据集和扩散DPO损失微调Tango模型，改进文本到音频生成中概念存在与时间顺序，在自动和人工评估中优于Tango和AudioLDM2。
2024-07-17 cs.AI cs.CL cs.SD
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University（高丽大学）
针对扩散模型用于歌声合成时复杂度高、可控性差的问题，提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统，还扩展出无监督框架HiddenSinger-U，音频质量优于现有模型，可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
AudioSR: Versatile Audio Super-resolution at Scale
University of Surrey（萨里大学）；University of California San Diego（加州大学圣迭戈分校）；ByteDance（字节跳动）
本文提出基于扩散的生成模型AudioSR，能将2kHz至16kHz带宽的任意音频上采样至24kHz，在多基准上表现优异，并可作为即插即用模块提升多种音频生成模型的质量。
2023-09-13 cs.AI cs.MM cs.SD
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis（加州大学戴维斯分校）；University of California Davis Health（加州大学戴维斯健康中心）；University of South Florida（南佛罗里达大学）
提出PTQ4ADM框架，通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型，在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
Dolby Laboratories（杜比实验室）
PLACE通过条件嵌入和低秩变换扩展AudioX，实现多模态双耳音频生成，在FAIR-Play和BEWO-1M上提升空间一致性。
2026-10-02 cs.MM cs.SD eess.AS
Latent Granular Resynthesis using Neural Audio Codecs
提出一种在神经音频编解码器潜在空间中进行粒子匹配与再合成的方法，无需训练即可保留目标时序并迁移源音色，同时避免拼接不连续。
2025-07-25 cs.LG cs.SD eess.AS
Generation or Replication: Auscultating Audio Latent Diffusion Models
MERL（三菱电机研究实验室）
本文通过比较输出与训练数据，系统分析音频潜在扩散模型的记忆行为，发现梅尔频谱图相似性比嵌入向量更有效，并揭示AudioCaps数据集中存在大量重复片段。
2023-10-16 cs.SD eess.AS
Latent Diffusion Model Based Foley Sound Generation System For DCASE Challenge 2023 Task 7
University of Surrey（萨里大学）
提出基于AudioLDM的DCASE 2023 Task 7拟音生成系统，利用CLAP文本嵌入和过滤策略优化生成，FAD达4.765，显著优于基线。
2023-09-15 cs.MM cs.SD eess.AS
UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）；Ant Group（蚂蚁集团）
Unite-Audio首次联合学习连续音频表示与潜在流匹配，通过生成目标塑造潜在空间并采用Flow-GRPO后训练，实现紧凑模型下的竞争性文本到音频生成性能。
2026-09-25 cs.SD eess.AS
Art2Mus: Bridging Visual Arts and Music through Cross-Modal Generation
Department of Computer Science, University of Bari Aldo Moro, Italy（巴里阿尔多·莫罗大学计算机科学系）
针对现有图像转音乐模型无法处理复杂数字化艺术作品的问题，研究提出Art2Mus模型，扩展AudioLDM 2架构并搭配新建艺术-音乐配对数据集，可从艺术作品或文本生成契合的音乐，在多媒体创意领域有应用潜力。
2024-10-07 cs.CV cs.MM cs.SD
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
HKUST（香港科技大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出基于优化和 ImageBind 的多模态潜变量对齐器，在推理期引导扩散去噪，从而连接现成视频与音频模型，实现开放域联合及双向跨模态生成。
2024-02-27 cs.CV cs.MM cs.SD
PhysWave: Physics-Guided Latent Diffusion Models for Controllable Spatial Audio Generation
University of Houston（休斯顿大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Waseda University（早稻田大学）
PhysWave是一种物理引导潜在扩散模型，通过统一控制与加入声学先验，生成空间一致的文本到FOA音频，还构建了30万段FOA数据集，可用于推理时的空间优化。
2026-09-01 cs.AI cs.MM cs.SD
SemanticVocoder: Bridging Audio Generation and Audio Understanding via Semantic Latents
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Shanghai AI Lab（上海AI实验室）；SJTU（上海交通大学）
SemanticVocoder通过引入语义潜在空间，实现了音频生成与理解的统一，提升了生成性能并推动了共享语义空间的研究。
2026-02-26 cs.SD
Exploring Token-Space Manipulation in Latent Audio Tokenizers
Mila – Québec AI Institute（魁北克人工智能研究所）；Université Laval（拉瓦尔大学）；Concordia University（康科迪亚大学）
本文提出LATTE，通过在音频特征序列后添加固定可学习潜在标记，实现标记空间编辑，支持低比特率语音编码中的可控音频操控。
2026-05-11 cs.AI cs.LG cs.SD
LAFMA: A Latent Flow Matching Model for Text-to-Audio Generation
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Kuaishou Technology（快手科技）；Nankai University（南开大学）
针对潜空间扩散式文本到音频生成质量受限且采样步骤多的问题，提出LAFMA，将Flow Matching引入音频潜空间训练CNF，以十步推理实现更优音频质量。
2024-06-12 cs.SD eess.AS
Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders
本文提出Re-Bottleneck框架，通过修改预训练自编码器的瓶颈层，引入用户定义的潜在结构，提升音频模型在不同下游任务中的性能。
2025-09-08 cs.LG cs.SD eess.AS
PoDAR: Power-Decoupled Audio Representation for Generative Modeling
Descript
本文提出PoDAR框架，通过随机功率增强和潜在一致性目标解耦信号功率与语义内容，提升潜在空间建模能力，加速生成模型收敛并提高性能。
2026-09-29 cs.AI cs.LG cs.SD
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
AudioLCM: Text-to-Audio Generation with Latent Consistency Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
针对潜扩散模型文本到音频生成速度慢的问题，提出融合一致性模型、引导潜一致性蒸馏与LLaMA技术的AudioLCM，仅需2次迭代即可生成高保真音频，速度较实时快333倍。
2024-07-09 cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Generating Moving 3D Soundscapes with Latent Diffusion Models
本文提出SonicMotion，首个端到端潜在扩散框架，通过描述模型和参数模型两种变体生成具有移动声源显式控制的一阶Ambisonics音频，并构建了超百万对模拟FOA字幕数据集，在语义对齐和感知质量上达到领先水平且空间定位误差低。
2025-09-19 cs.AI cs.SD eess.AS
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering（电气工程系）；Indian Institute of Technology, Kanpur（印度理工学院，坎浦尔）
CodecSep通过在神经音频编解码器潜在空间中直接提取声源，实现开放词汇声音分离，相比AudioSep在SI-SDR指标上表现更优，且在ViSQOL和MOS-LQS上取得显著提升，同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks
Dept. of Computer Science and Engineering, University of North Texas（北德克萨斯大学计算机科学与工程系）
提出在神经音频编解码器连续潜空间中生成对抗性扰动的方法，实现单次前向传播、低延迟（<7ms）的高成功率（99%）目标攻击。
2026-06-23 cs.AI cs.CR cs.SD
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs（Smule实验室）；University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题，提出将音频潜在表示映射到可解释声学概念的框架，训练SAEs并学习到声学属性的线性映射，在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore（新加坡国立大学）
针对潜在扩散模型长音频合成推理效率低的问题，提出LiteFocus方法，采用同频聚焦+跨频补偿的双稀疏注意力机制，实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
LiLAC: A Lightweight Latent ControlNet for Musical Audio Generation
针对现有文本到音频扩散SOTA模型缺乏细粒度时变控制、传统ControlNet内存占用大且控制集固定的问题，提出轻量级模块化架构LiLAC，在保证音频质量与条件遵循度的同时大幅减参，提升了灵活性与部署效率。
2025-06-13 cs.LG cs.SD eess.AS
Self-Supervised Disentanglement of Harmonic and Rhythmic Features in Music Audio Signals
AlphaTheta Corporation（AlphaTheta公司）
提出一种基于深度神经网络的自监督学习方法，通过训练变分自编码器在音高偏移条件下重建梅尔频谱图，实现音乐音频中节奏与谐波特征的解耦，并验证了其解耦效果及在自动音乐混音生成中的应用。
2023-09-06 cs.SD eess.AS
Stable Audio 3
稳定音频3提出了一种快速的潜在扩散模型家族，用于可变长度音频生成和编辑，通过高效的潜在空间生成和对抗训练提升了生成质量和效率。
2026-05-18 cs.AI cs.SD
Precise Video-to-Audio Generation with Cross-Modal Alignment in Latent Space
FPT Software AI Center（FPT软件人工智能中心）；NVIDIA Corporation（NVIDIA公司）
研究视频到音频生成问题，提出Flowley架构，结合视觉特征与文本提示，通过渐进软掩码交叉注意力实现视听同步，无额外计算成本，还提出SoundCap字幕，该方法在多个指标及零样本音频质量上达先进水平。
2026-07-16 cs.MM cs.SD
VoiceMark: Zero-Shot Voice Cloning-Resistant Watermarking Approach Leveraging Speaker-Specific Latents
Tsinghua University（清华大学）；Pengcheng Laboratory（鹏城实验室）
针对零样本语音克隆场景下现有水印方法失效的问题，提出VoiceMark，利用说话人特定隐变量作为水印载体，实现零样本合成后超95%的水印检测准确率。
2025-05-30 cs.AI cs.CR cs.SD
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对深度伪造语音检测泛化难的问题，提出结合潜在空间精炼与增强的方法，在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
Bass Accompaniment Generation via Latent Diffusion
Sony Computer Science Laboratories（索尼计算机科学实验室）；Queen Mary University（伦敦玛丽女王大学）
本文提出一种基于潜在扩散模型的可控贝斯伴奏生成系统，利用音频自编码器和条件扩散模型，根据输入混音生成指定音色的贝斯分轨，并通过改进引导技术提升音频质量。
2024-02-02 cs.LG cs.SD eess.AS
STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation
Hong Kong University of Science（香港科学大学）；Tongyi Fun Team, Alibaba Group（通义Fun团队，阿里巴巴集团）
针对连续VAE在压缩率、重建保真度和潜在空间拓扑之间的三难困境，提出结构化拓扑感知正则化（STAR），通过增长约束场重塑潜在空间几何，实现音频的高保真重建与生成。
2026-06-23 cs.SD eess.AS
Taming Audio VAEs via Target-KL Regularization
Adobe Research（Adobe研究院）
本文提出通过压缩率调节和目标KL正则化训练音频VAE，以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题，并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。
2026-08-03 cs.CV cs.SD
ConsistencyTTA: Accelerating Diffusion-Based Text-to-Audio Generation with Consistency Distillation
Microsoft Corporation（微软公司）；University of California, Berkeley（加利福尼亚大学伯克利分校）
针对扩散模型文本转音频生成推理慢的问题，提出ConsistencyTTA框架，通过感知CFG的潜一致性模型实现单步非自回归生成，还支持闭环微调，在AudioCaps上计算量降400倍且保质量多样性。
2024-06-24 cs.LG cs.MM cs.SD
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型，使其支持文本驱动说话人脸合成，并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
LongCat-AudioDiT: High-Fidelity Diffusion Text-to-Speech in the Waveform Latent Space
Meituan LongCat Team（美团LongCat团队）
LongCat-AudioDiT通过在波形潜在空间中直接操作，实现了高保真的文本到语音生成，无需复杂多阶段训练流程或高质量标注数据，展现出卓越的零样本语音克隆性能。
2026-03-31 cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University（西北大学）；Descript, Inc.（Descript公司）
我们展示了一种无监督的方法，该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离，而无需任何重新训练。音频生成模型以输入混合为条件，产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器，创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的（不变的）潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重，并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型，并将其与四种预训练的音乐标记器（两种架构和两种标记数据集）相结合。在两个声源分离数据集上的实验结果表明，该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务（如声源分离）中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
Towards Robust Generative Speech Enhancement Using Vector Quantisation-Based Neural Audio Codec
IDLab, Ghent University - imec（IDLab，根特大学 - imec）
研究VQ-NAC中连续与离散潜在空间的建模策略，提出cNAC-SE和dNAC-SE框架，发现VQ正则化通过干净先验约束增强鲁棒性，且cNAC-SE在DNS-MOS指标上领先。
2026-06-16 cs.SD eess.AS
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型，利用CLAP支持音频和语言导向提取，并通过合成音频训练实现强泛化，在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video
Stability AI
Foley Control通过冻结预训练模型并仅学习小型交叉注意力桥接，实现视频引导的拟音生成，以少量参数达到竞争性的时序与语义对齐，并保持模块化与可控性。
2025-10-24 cs.CV cs.SD
LVNS-RAVE: Diversified audio generation with RAVE and Latent Vector Novelty Search
University of Oslo（奥斯陆大学）；Institute for Clarity in Documentation（文献清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康分校）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出 LVNS-RAVE 方法，结合进化算法与生成式深度学习，利用 RAVE 模型生成声音、VGGish 模型评估新颖性，实现可控且多样化的逼真新颖音频生成。
2024-04-22 cs.LG cs.NE cs.SD
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息，提出有监督和无监督方法寻找语义方向，实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University（名古屋大学）
NeuMark-Native提出一种TTS原生水印框架，在神经编解码器潜在空间中嵌入载荷，提升水印在DSP和编解码器攻击下的持久性，同时保持语音质量。
2026-10-06 cs.SD
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University（台湾大学）
最近，周期一致性对抗网络（Cycle-GAN）已成功应用于语音转换到不同的扬声器，而无需并行数据，尽管在这些方法中，每个目标扬声器都需要一个单独的模型。在本文中，我们提出了一个用于语音转换的对抗性学习框架，通过将说话者特征与语音信号中的语言内容分离，可以训练单个模型将语音转换为许多不同的说话者，所有这些都没有并行数据。首先训练一个自动编码器，分别提取说话人独立的潜在表示和说话人嵌入，使用另一个辅助说话人分类器来正则化潜在表示。然后，解码器将说话者无关潜在表示和目标说话者嵌入作为输入，以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小，并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明，说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
Beijing University of Posts and Telecommunications（北京邮电大学）；Hello Group（Hello集团）
提出VoTSpeech模型，通过显式中间语音潜在变量分离语音设计与语音生成，在InstructTTSEval-ZH上表现出色，可实现可控语音合成。
2026-10-14 cs.CL cs.SD
Audio Prompt Adapter: Unleashing Music Editing Abilities for Text-to-Music with Lightweight Finetuning
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
本文提出轻量级模块AP-Adapter，利用AudioMAE提取特征并结合注意力适配器注入AudioLDM2，仅用2200万参数实现基于音频和文本提示的音乐全局与局部编辑，在音色、流派转换等任务上表现优异且具良好泛化能力。
2024-07-24 cs.AI cs.SD eess.AS
Synth-AC: Enhancing Audio Captioning with Synthetic Supervision
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出SynthAC框架，利用AudioLDM文本到音频生成模型和图像描述文本语料库创建合成文本-音频对，将文本-视觉领域的标注数据扩展到音频描述生成，缓解数据稀缺问题并显著提升现有音频描述生成模型的性能。
2023-09-18 cs.SD eess.AS
Dance to Music Generation leveraging Pre-training with Unpaired data and Contrastive Alignment
Sony Computer Science Laboratories（索尼计算机科学实验室）；Keio University（庆应义塾大学）；Georgia Institute of Technology（佐治亚理工学院）
针对舞蹈音乐生成中高质量配对数据稀缺问题，提出利用未配对和配对数据的框架，结合预训练单峰编码器、对比预训练及控制网络模块，实验证明该方法提升了舞蹈音乐对齐和音频质量，优于现有技术。
2026-07-14 cs.MM cs.SD eess.AS
