C3LLM: Conditional Multimodal Content Generation Using Large Language Models
HKUST（香港科技大学）；Dartmouth College（达特茅斯学院）
C3LLM提出一个统一框架，结合视频转音频、音频转文本和文本转音频任务，利用大语言模型作为跨模态桥梁，采用层次化离散音频生成，实现端到端多模态内容生成，提升语义对齐效果。
2024-05-25 cs.AI cs.CL cs.LG
Dissecting Sensitivity to Training Language in Self-Supervised Speech Learning Using Neural Audio Codec Tokens
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
该研究通过控制变量分析发现，基于神经音频编解码器的自监督语音模型的下游性能依赖SSL预训练语言，不依赖编解码器训练语言，据此提出单个编解码器可跨语言复用，需对齐预训练语言与目标语言。
2026-07-30 cs.CL cs.SD
VoiceDiT: Dual-Condition Diffusion Transformer for Environment-Aware Speech Synthesis
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出VoiceDiT，通过双条件扩散Transformer结合文本与视觉提示，并利用大规模合成与真实语音数据集训练，实现环境感知的高质量语音合成。
2024-12-26 cs.SD eess.AS
Multi-Rate Bandwidth Extension by Token Completion in Neural Audio Codecs
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）
本文提出将带宽扩展视为音频令牌预测问题，通过解纠缠神经音频编解码器与Transformer语言模型联合设计，实现高质量重建，强调表示感知设计的重要性。
2026-10-01 cs.SD
TQCodec: Towards neural audio codec for high-fidelity music streaming
Tencent Music Entertainment（腾讯音乐娱乐）；The Chinese University of Hong Kong（香港中文大学）；Southeast University（东南大学）；Tsinghua University（清华大学）
TQCodec是一种针对高质量音乐流媒体设计的神经音频编解码器，通过改进的网络架构和感知驱动的比特分配策略，在高比特率下实现卓越的音频质量。
2026-03-02 cs.SD
Harmonic-Percussive Disentangled Neural Audio Codec for Bandwidth Extension
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）
本文提出一种基于谐波- percussive 分离的神经音频编码器，通过将带宽扩展视为音频令牌预测问题，提升音频信号的高频重构质量。
2026-10-01 cs.SD
ControlAudio: Tackling Text-Guided, Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modeling
Tsinghua University（清华大学）；Shengshu AI（盛舒AI）；University of Science and Technology of China（中国科学技术大学）；Monash University（墨尔本大学）
ControlAudio通过多任务学习和渐进扩散建模，实现文本、时间及音素特征的精细控制，提升音频生成的时序精度和语音清晰度，达到当前最优水平。
2026-04-20 cs.AI cs.CL cs.SD
Vocos: Closing the gap between time-domain and Fourier-based neural vocoders for high-quality audio synthesis
Gemelo AI
本研究提出了一种名为Vocos的新型神经声码器模型，通过直接生成傅里叶频谱系数来解决传统时域方法计算冗余和相位恢复难题，在保证音频质量的同时显著提升了计算效率。
2024-05-29 cs.LG cs.SD eess.AS
Semantic Proximity Alignment: Towards Human Perception-consistent Audio Tagging by Aligning with Label Text Description
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（空天信息安全与可信计算教育部重点实验室）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文提出语义邻近对齐（SPA）方法，通过将音频特征与标签文本描述对齐，把声音事件的语义层级和邻近关系注入音频编码器，使音频标记模型的预测更符合人类感知，并在OmAP指标上比仅用独热标签训练的模型提升1.8。
2024-01-16 cs.SD eess.AS
VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出VinTAGe，一种基于流的Transformer模型，联合视频和文本条件生成整体音频（画面内外声音），通过视觉-文本编码器和联合VT-SiT模型减少模态偏差，并在新基准VinTAGe-Bench和VGGSound上取得最先进结果。
2024-12-14 cs.CV cs.MM cs.SD
Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformers
The Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
针对现有语言模型结合残差向量量化的文本转音频方法效果不及扩散模型的问题，提出采用多独立Transformer、因果条件与强化学习反因果对齐的Siren框架，取得最优效果，为统一多模态生成提供路径。
2025-10-06 cs.LG cs.MM cs.SD
Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization
University of Surrey（萨里大学）
该研究针对LALMs在实际媒体章节化部署的不足，提出基于GRPO与CoT的AudioChaps框架，构建三类数据集，使AudioChaps-R1的平均F1较SOTA提升49个百分点，实现非结构化听觉流到结构化媒体的可靠转换。
2026-10-14 cs.AI cs.CL cs.SD
Aligning Audio Captions with Human Preferences
Qualcomm Technologies, Inc.（高通技术公司）
提出基于人类反馈强化学习的音频字幕生成框架，通过CLAP奖励模型微调基线系统，无需真实标注即可生成更符合人类偏好的字幕。
2026-06-24 cs.LG cs.SD eess.AS
Temporally Aligning Long Audio Interviews with Questions: A Case Study in Multimodal Data Integration
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；CARE India Solutions for Sustainable Development（印度援外社可持续发展解决方案组织）
本研究提出INDENT框架，利用交叉注意力模型和句子时序先验，在长音频健康调查中定位问题对应片段，在11种印度语言上验证了有效性，R-avg提升约3%。
2023-10-10 cs.CL cs.LG cs.SD
Aligning Audio-Visual Joint Representations with an Agentic Workflow
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Alibaba Group（阿里巴巴集团）
针对视听数据非严格对齐限制表征质量的问题，提出由LLM驱动的AVAgent智能体工作流，通过工具使用、规划、反思循环对齐音视频数据，提升视听联合表征效果，在多下游任务达SOTA性能。
2024-10-31 cs.AI cs.CV cs.LG
MuteSwap: Visual-informed Silent Video Identity Conversion
针对无声视频中无法使用音频的语音转换难题，提出MuteSwap框架，利用对比学习对齐跨模态身份并最小化互信息分离视觉特征，在嘈杂条件下实现了有效的语音合成与身份转换。
2025-08-03 cs.CV cs.LG cs.MM
AHA: Aligning Large Audio-Language Models for Reasoning Hallucinations via Counterfactual Hard Negatives
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆斯大学）；Washington University in St.Louis（圣路易斯华盛顿大学）；Rice University（Rice 大学）；Morgan Stanley（摩根大通）
AHA通过反事实硬负样本对齐大音频-语言模型，有效减少推理幻觉，提升时间推理能力，并在多个基准测试中取得显著成效。
2026-01-04 cs.AI cs.CL cs.MM
AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）；KlingAI Research（KlingAI研究院）；Peking University（北京大学）
提出AlignAudio双对齐框架，解决语音条件生成模型在噪声下性能下降问题，在STA和VC任务上，干净语音上性能与基线相当，噪声下显著优于基线，适配多种流匹配框架
2026-10-14 cs.AI cs.SD
Aligning Text-to-Music Evaluation with Human Preferences
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
针对文本生成音乐（TTM）评估指标与人类感知相关性弱的问题，提出基于自监督音频嵌入表征的MAUVE音频散度（MAD）指标，在合成元评估与开源人类偏好数据集MusicPrefs上均显著优于现有FAD等指标。
2025-03-20 cs.AI cs.SD eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST（韩国科学技术院）
神经文本到语音（TTS）的先前工作已经解决了有限的速度在训练和推理时间，鲁棒性困难的合成条件，表达能力和可控性。虽然有几种方法解决了一些局限性，但还没有尝试一下子解决所有的弱点。在本文中，我们提出了STYLER，一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码，可以快速训练和推理，并在看不见的数据上进行稳健的合成。此外，在监督下的风格因素模型的分离扩大了合成过程的可控性，从而导致表现力的TTS。最重要的是，一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移，在没有任何额外标签的情况下分解噪声。各种实验表明，STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效，并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供，代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology（中关村教育科技）
本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出MA-AVT，一种参数高效的音视频Transformer，通过联合单模态与多模态token学习、逐块对比学习及判别性前景挖掘实现深度模态对齐，在多个基准上显著超越现有方法。
2024-06-07 cs.CV cs.MM cs.SD
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Mind the Gap! Static and Interactive Evaluations of Large Audio Models
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）；SCB 10X, SCBX Group（SCB 10X、SCBX集团）；Stanford University（斯坦福大学）
本研究通过收集484名参与者的7500次交互，提出交互式评估大型音频模型的方法，发现静态基准与交互性能相关性弱，需开发更贴合用户偏好的评估。
2025-02-21 cs.CL cs.SD eess.AS
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English（英语系）；National Taiwan Normal University（台湾师范大学）；Department of Computer Science and Information Engineering（计算机科学与信息工程系）
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题，提出基于预训练模型的时间戳对齐流程，并融合 RoBERTa、Wav2Vec 与门控交叉注意力，在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
A Study of Parallelizable Alternatives to Dynamic Time Warping for Aligning Long Sequences
Harvey Mudd College（哈维·穆德学院）
研究长序列对齐的DTW并行化替代方法，提出四种算法，在音频对齐任务中表征性能，开发GPU实现，实验显示ParDTW最实用，能精确对齐且大幅减少长序列运行时间，还全面评估了算法的各项性能。
2026-07-20 cs.DS cs.SD eess.AS
Learning Audio - Sheet Music Correspondences for Score Identification and Offline Alignment
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；The Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所）
这项工作解决的问题，匹配短摘录的音频与他们各自的对应物在乐谱图像。我们展示了如何采用基于神经网络的跨模态嵌入空间来解决以下两个与乐谱相关的任务：当给定音乐音频作为搜索查询时，从数据库中检索正确的乐谱;以及将乐谱的音频记录与相应的乐谱图像对齐。我们证明了这一点的可行性，在实验中的古典钢琴音乐由五个不同的作曲家（巴赫，海顿，莫扎特，贝多芬和肖邦），并提供了一个讨论，为什么我们希望多模态神经网络是一个富有成效的范例，同时处理乐谱和音频。
2017-07-31 cs.IR cs.SD
Comparative Evaluation of Text and Audio Simplification: A Methodological Replication Study
University of Arizona（亚利桑那大学）
本研究通过44名参与者的方法学复制实验，验证了文本简化在提升音频形式医疗信息理解方面的有效性，并揭示了教育水平与语言熟练程度对健康信息获取的影响。
2025-08-20 cs.SD eess.AS
ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance
Northwest A&F University（西北农林科技大学）；University of Technology Sydney（悉尼大学）；Tencent AILab（腾讯AI实验室）；City University of Hong Kong（香港城市大学）
ExpGest通过结合文本和音频信息，利用扩散模型生成更自然、可控的全身表达性手势。
2026-03-07 cs.CV cs.SD eess.AS
Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio
Eximius Labs（卓越实验室）；Wabash College（瓦贝什学院）；Skop Intelligence Co.（斯科普智能公司）
研究旨在构建文本、图像、视频和音频统一嵌入空间。提出融合嵌入家族，第一代训练参数少的连接器，第二代添加模态门控深度适配器，无需成对视听数据实现音频-图像检索，探索设计空间并公开相关资源。
2026-07-22 cs.CL cs.SD
Masked Audio Text Encoders are Effective Multi-Modal Rescorers
AWS AI Labs（AWS人工智能实验室）
本文提出多模态掩码语言模型重打分器 MATE，通过对比学习对齐声学与文本表示，在域内、域外及极少训练数据场景下均显著降低 ASR 词错误率。
2023-05-24 cs.CL cs.LG cs.SD
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
University of Bologna（博洛尼亚大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Universidad de la República（共和国大学）
本文提出基于Conformer的ChordSync模型，无需弱对齐即可将和弦标注与音频精确对齐，并配套预训练模型和易用库，为音频和弦估计等MIR任务及音乐教育提供支持。
2024-08-01 cs.LG cs.MM cs.SD
MusicRL: Aligning Music Generation to Human Preferences
Google DeepMind（谷歌DeepMind）；Cohere（Cohere公司）；Kyutai（Kyutai公司）
MusicRL是首个从人类反馈微调的音乐生成系统，结合强化学习与RLHF，利用30万偏好数据训练，显著提升文本遵循与音频质量，并揭示主观性在音乐偏好中的重要性。
2024-02-06 cs.LG cs.SD eess.AS
MIRA: A Musical Intent Refinement Agent for Aligning Text-to-Music Generation with User Intent
Shandong University（山东大学）；University of Science and Technology of China（中国科学技术大学）；Central Conservatory of Music（中央音乐学院）；Kunlun Tech Co. Ltd.（昆仑万维科技股份有限公司）；Shanghai Jiao Tong University（上海交通大学）
针对文生音乐中用户意图对齐不足的问题，提出MIRA代理，通过清单化意图并搜索提示修订，提升生成音乐与用户意图的一致性，使开源模型达到商业系统水平。
2026-10-08 cs.AI cs.SD
Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
CMU / MBZUAI DAMO Academy, Alibaba Group（卡内基梅隆大学 / MBZUAI 大学 DAMO 院，阿里巴巴集团）；DAMO Academy, Alibaba Group（DAMO 院，阿里巴巴集团）；Hupan Laboratory（虎盘实验室）
FoleyFlow通过掩码建模和动态条件流实现视频到音频的协调生成，提升语义与节奏一致性。
2026-03-09 cs.AI cs.CV cs.LG
Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition
研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。
2026-08-14 cs.SD eess.AS
Automatic Speech Recognition for Hindi
Vellore Institute of Technology（韦洛尔理工学院）；Indian Institute of Science（印度科学理工学院）
该研究开发了基于JavaScript和Node.js的印地语ASR Web应用及语音识别界面，并测试了利用节点共激活先验统计的反向传播方法，实现语音信号与HMM状态的精确对齐。
2024-06-26 cs.CL cs.SD eess.AS
Steer-MoE: Efficient Audio-Language Alignment with a Mixture-of-Experts Steering Module
The University of Hong Kong, Fauclty of Science, Hong Kong（香港大学科学学院）；Aix-Marseille University, Laboratoire Parole et Langage (LPL), France（艾克斯-马赛大学语言与言语实验室（LPL））
SteerMoE通过冻结音频编码器和LLM，仅训练基于MoE路由器的轻量转向模块，在连续嵌入空间实现高效音频-语言对齐，兼顾性能与模块化。
2025-10-15 cs.SD
VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning
National Engineering Research Center of Speech and Language Information Processing（国家语音及语言信息处理工程技术研究中心）；University of Science and Technology of China（中国科学技术大学）；Microsoft Corporation（微软公司）
本文提出统一跨模态表示学习框架VATLM，通过统一主干网络和模态相关模块处理视觉、语音与文本输入，并利用统一token的掩码预测任务将三种模态整合至共享语义空间，在AVSR和VSR等下游任务上优于AV-HuBERT等模型。
2023-05-19 cs.AI cs.CL cs.CV
Language Models as Semantic Teachers: Post-Training Alignment for Medical Audio Understanding
Eindhoven University of Technology, The Netherlands（埃因霍温理工大学，荷兰）；Kyutai, France（Kyutai公司，法国）；Eindhoven Artificial Intelligence Systems Institute, The Netherlands（埃因霍温人工智能系统研究所，荷兰）
本文提出AcuLa框架，通过将音频编码器与医学语言模型对齐，提升医学音频的语义理解能力，在18个心血管任务中取得最佳性能，显著提升诊断准确性。
2026-04-17 cs.AI cs.SD
Human-Inspired Computing for Robust and Efficient Audio-Visual Speech Recognition
本文提出受人类启发的脉冲神经网络HI-AVSNN用于音视频语音识别，通过视觉提示听觉注意力、因果处理与事件相机脉冲活动，在DVS-Lip数据集上比现有SNN方法准确率提升2.27%。
2025-08-27 cs.MM cs.SD eess.AS
MultiSoundGen: Video-to-Audio Generation for Multi-Event Scenarios via SlowFast Contrastive Audio-Visual Pretraining and Direct Preference Optimization
MiLM Plus, Xiaomi Inc.（小米公司 MiLM Plus）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）
针对复杂多事件场景的视频到音频生成难题，提出MultiSoundGen框架，通过SlowFast对比视听预训练显式对齐语义与动态特征，并引入直接偏好优化量化语义-时间匹配，实现了多维度SOTA性能。
2025-11-04 cs.CV cs.MM cs.SD
AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching
AI Thrust, Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（人工智能 thrust，信息中心，香港科学与技术大学（广州））
提出AG-REPA方法，通过前向门控消融量化各层对速度场的因果贡献，实现稀疏层选择和自适应加权对齐，在音频流匹配中优于传统REPA基线。
2026-07-24 cs.AI cs.LG cs.MM
ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversation
The Hong Kong University of Science and Technology（香港科学与技术大学）；Dartmouth College（达特茅斯学院）
ReelWave提出多智能体电影声音生成框架，由Sound Director通过多模态LLM协调Foley Artist、Composer和Voice Actor智能体，利用响度、音高和音色等时变控制信号，实现画内与画外声音的协同生成。
2025-06-02 cs.CV cs.SD
WhiSPA: Semantically and Psychologically Aligned Whisper with Self-Supervised Contrastive and Student-Teacher Learning
Stony Brook University（石溪大学）；University of Minnesota（明尼苏达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Pennsylvania（宾夕法尼亚大学）
本研究提出 WhiSPA，通过以语言模型嵌入为教师的对比损失，将 Whisper 潜在空间与语义及心理维度对齐，在多项任务上大幅降低错误率，证明无需后续文本 LM 即可获取丰富的心理表示。
2025-05-31 cs.AI cs.CL cs.SD
Same Words, Different Judgments: How Preferences Vary Across Modalities
Department of Computer Science and Engineering（计算机科学与工程系）；University of California San Diego（加州大学圣地亚哥分校）；Department of Psychology（心理学系）
研究探讨了文本与语音模态在偏好标注中的差异，发现需9名评阅者才能达到较高一致性，且语音评阅者在决策阈值、长度偏差和用户导向标准上存在显著差异，合成评分可有效预测评阅者一致性，强调音频偏好数据评估需模态特定设计。
2026-11-09 cs.AI cs.HC cs.SD
MIDI-REPA: Improving Text-to-Music Generation with Symbolic Representation Alignment
National Taiwan University（台湾大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
MIDI-REPA是一种从AMT导出MIDI监督以对齐流匹配DiT中间表示的框架，基于FluxAudio-S基线，在单个RTX 3090上训练约31小时，可改进文本到音乐生成且在ATTM指标上具竞争力。
2026-10-16 cs.LG cs.SD eess.AS
Investigating the Invertibility of Multimodal Latent Spaces: Limitations of Optimization-Based Methods
该研究针对任务特定AI模型多模态潜在空间的逆映射能力展开探索，提出基于优化的双向逆推框架，验证了多模态潜在空间因前向任务优化而缺乏鲁棒可解释逆映射结构的假设，指出需研发语义更丰富的可逆多模态潜在空间。
2025-07-30 cs.AI cs.CV cs.LG
CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing
Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Fudan University, Shanghai, China（复旦大学）；Hangzhou Dianzi University, Hangzhou, China（杭州电子科技大学）；Macquarie University, Sydney, Australia（麦考瑞大学）
本文提出基于认知同步扩散变换器的电影配音框架，通过声学风格适应、细粒度视觉校准和时间感知上下文对齐，解决传统方法在唇同步和自然度上的不足，实验表明其在多个指标上达到最优性能。
2026-04-14 cs.CV cs.MM cs.SD
