Leveraging Language Model Capabilities for Sound Event Detection
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Jiaotong University（北京交通大学）
本文提出端到端声音事件检测框架，结合预训练声学模型与语言模型，实现音频特征理解及事件和时间位置的自回归生成，并验证其可提升时间戳与分类性能。
2024-08-05 cs.AI cs.SD eess.AS
VoiceMark: Zero-Shot Voice Cloning-Resistant Watermarking Approach Leveraging Speaker-Specific Latents
Tsinghua University（清华大学）；Pengcheng Laboratory（鹏城实验室）
针对零样本语音克隆场景下现有水印方法失效的问题，提出VoiceMark，利用说话人特定隐变量作为水印载体，实现零样本合成后超95%的水印检测准确率。
2025-05-30 cs.AI cs.CR cs.SD
Leveraging Diverse Semantic-based Audio Pretrained Models for Singing Voice Conversion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对歌声转换中语义预训练特征适配性不足的问题，研究发现不同语义音频预训练模型的知识具有多样性与互补性，提出基于多样化语义特征融合的DSFF-SVC框架，可有效提升多种现有SVC模型在真实场景下的转换效果。
2024-09-16 cs.SD eess.AS
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；IBM Research AI（IBM研究院人工智能部门）
提出一种音频-语言知识蒸馏方法，利用Whisper语音嵌入增强语言模型分析口语转录文本，无需测试时音频输入，性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Advancing Voice Cloning for Nepali: Leveraging Transfer Learning in a Low-Resource Language
Khwopa College Of Engineering（阔帕工程学院）
本文针对尼泊尔语低资源场景，利用迁移学习构建语音克隆系统，解决了音频质量差和数据匮乏问题，实现了带有尼泊尔语口音的自然语音输出。
2024-08-23 cs.AI cs.LG cs.SD
NU-GAN: High resolution neural upsampling with GAN
Descript Inc.（Descript公司）；Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）
在本文中，我们提出了NU-GAN，一种新的方法，用于从较低到较高的采样率（上采样）的resstriving音频。音频上采样是一个重要的问题，因为产品化生成语音技术需要在高采样率下操作。这样的应用使用44.1 kHz或48 kHz分辨率的音频，而当前的语音合成方法被配备为处理最大24 kHz分辨率。NU-GAN通过利用使用GANs的音频生成技术，将音频上采样作为文本到语音（TTS）管道中的一个单独组件来解决。ABX偏好测试表明，我们的NU-GAN重采样器能够重采样22 kHz至44.1 kHz的音频，与原始音频区分开来，仅比单扬声器数据集的随机机会高7.4%，比多扬声器数据集的机会高10.8%。
2020-10-22 cs.AI cs.CL cs.LG
AV-EmoDialog: Chat with Audio-Visual Users Leveraging Emotional Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出AV-EmoDialog对话系统，通过端到端地提取语音内容与情感语调、分析细粒度面部表情并整合这些情感线索，生成具有情感和语境感知的响应，在生成恰当响应上优于现有方法。
2024-12-23 cs.AI cs.CV cs.HC
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题，提出可解释AI方法AudioGenX，通过事实与反事实目标优化解释器，在音频标记级提供忠实解释，增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
Step-Audio-EditX Technical Report
StepFun
本文提出首个基于开源LLM的音频模型Step-Audio-EditX，仅用大间隔合成数据实现高表现力迭代音频编辑与零样本TTS，在细粒度音频控制任务上性能优于两款主流TTS模型。
2025-11-19 cs.AI cs.CL cs.HC
AudioTurbo: Fast Text-to-Audio Generation with Rectified Diffusion
University of SurreyUK（英国萨里大学）；Institute of Acoustics, Chinese Academy of SciencesChina（中国科学院声学研究所）；Centre for Vision, Speech and Signal Processing (CVSSP) Laboratory of Noise and Audio Research（噪声与音频研究实验室）
本研究提出AudioTurbo，通过将预训练扩散模型与矫正扩散方法结合，从确定性噪声样本对中学习一阶ODE路径，在仅需少量采样步的条件下显著提升了文本到音频生成的效率与质量。
2025-05-28 cs.AI cs.SD eess.AS
Improving Text-To-Audio Models with Synthetic Captions
NVIDIA（英伟达）；Singapore University of Technology and Design（新加坡科技设计大学）
针对文本转音频模型高质量字幕训练数据不足的问题，研究提出用音频语言模型构建音频字幕生成流水线，合成AudioSet的字幕数据集AF-AudioSet，预训练后在AudioCaps、MusicCaps上实现音频生成质量的SOTA提升。
2024-07-08 cs.CL cs.LG cs.SD
AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations
Princeton University（普林斯顿大学）
本文提出 AudioSetMix，通过大语言模型辅助对音频片段进行信号处理增强并自动生成音频-字幕对，弥补现有数据集规模小、缺少修饰词等不足，从而在多个音频-语言基准上取得最先进性能。
2024-06-07 cs.CL cs.MM cs.SD
LLM Gesticulator: Leveraging Large Language Models for Scalable and Controllable Co-Speech Gesture Synthesis
Soulgate Technology Co., Ltd.（Soulgate科技有限公司）
本文提出首个基于大语言模型的协同语音手势生成框架 LLM Gesticulator，通过文本提示控制手势内容与风格，并验证了模型规模扩大带来的性能缩放定律，在客观指标和用户研究中均优于现有方法。
2024-10-22 cs.AI cs.CL cs.GR
Enhancing Audio Generation Diversity with Visual Information
MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文针对类别内音频生成同质化问题，提出一种基于聚类并利用视觉信息引导模型生成多样音频内容的方法，并在七个类别上验证其可显著提升多样性。
2024-03-02 cs.SD eess.AS
ViSAGe: Video-to-Spatial Audio Generation
Seoul National University（首尔国立大学）
本研究针对无声视频生成一阶ambisonics的新问题，构建YT-Ambigen数据集，提出ViSAGe端到端框架，性能优于两阶段方法，可生成适配视角变化的高质量时间对齐空间音频。
2025-06-13 cs.AI cs.SD eess.AS
Are Audio-Language Models Listening? Audio-Specialist Heads for Adaptive Audio Steering
Bar-Ilan University（巴伊兰大学）；Columbia University（哥伦比亚大学）
本文通过识别音频专家注意力头，提出一种方法来增强音频信息在音频-语言模型中的作用，从而提升模型性能。
2026-03-06 cs.AI cs.SD
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science（计算机科学与工程系）
本文提出免训练框架DGMO，利用预训练扩散模型的生成先验，通过测试时优化频谱图掩码实现零样本语言查询音频源分离，在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
A sound description: Exploring prompt templates and class descriptions to enhance zero-shot audio classification
本文探索了零样本音频分类中的提示模板与类别描述，发现格式正确的类别标签即具竞争力，并利用大型语言模型生成音频中心描述，实现无需训练的最先进性能。
2024-09-19 cs.AI cs.SD eess.AS
Prosody-Adaptable Audio Codecs for Zero-Shot Voice Conversion via In-Context Learning
School of Computing（计算学院）
本文在 VALLE-X 框架下提出零样本语音转换模型，并通过 PACE 模块分离与精炼韵律，在保持音色的同时提升韵律控制和自然度。
2025-05-21 cs.AI cs.SD eess.AS
AudioEditor: A Training-Free Diffusion-Based Audio Editing Framework
College of Computer Science, Nankai University（南开大学计算机学院）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
本文提出免训练音频编辑框架AudioEditor，通过Null-text Inversion和EOT-suppression方法在预训练扩散TTA模型上实现精确编辑并保留未编辑部分，实验验证其高质量编辑效果。
2024-09-29 cs.SD eess.AS
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland（南昆士兰大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而，从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性，如果训练是针对该特定的后续工作进行的，则这可能是资源的浪费。此外，在表示学习过程中，如果模型高度偏向下游任务，它就会失去直接有利于下游任务的泛化能力，但也失去了将其扩展到其他相关任务的能力。因此，为了填补这一空白，我们提出了一种新的基于自动编码器的模型，名为“Guided Adversarial Autoencoder（GAAE）”，它可以学习任务后特定的表示和一般表示，利用一小部分标记样本捕获训练数据中的变化因素;因此，使其适合未来的相关任务。此外，我们提出的模型可以生成具有优异质量的音频，这是从真实的音频样本难以区分。因此，通过大量的实验结果，我们已经证明，通过利用高保真音频生成的能力，所提出的GAAE模型可以从未标记的数据集中学习强大的表示，利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias
The Chinese University of Hong Kong（香港中文大学）
提出基于 GAN 的通用声码器 SnakeGAN，利用 DDSP 先验和 Snake 激活引入周期性归纳偏置，仅用语音数据训练即可在多种分布外场景生成高保真音频。
2023-09-14 cs.SD eess.AS
Beyond Transcripts: A Renewed Perspective on Audio Chaptering
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文通过提出音频专用架构AudioSeg、分析影响性能的因素以及形式化评估协议，系统研究了音频章节划分任务，发现AudioSeg显著优于基于文本的方法，停顿是最有效的声学特征，而多模态大模型在短音频上表现有潜力。
2026-05-28 cs.CL cs.SD
MelNet: A Generative Model for Audio in the Frequency Domain
Facebook AI Research（脸书人工智能研究院）
捕获音频波形中的高级结构具有挑战性，因为一秒钟的音频跨越数万个时间步。虽然长程依赖性很难直接在时域中建模，但我们表明，它们可以在二维时频表示（如频谱图）中更易跟踪地建模。通过利用这种代表性的优势，结合一个高度表达的概率模型和多尺度生成过程，我们设计了一个模型，能够生成高保真度的音频样本，捕获结构的时间尺度，时域模型尚未实现。我们将我们的模型应用于各种音频生成任务，包括无条件语音生成，音乐生成和文本到语音合成-在密度估计和人类判断方面都比以前的方法有所改进。
2019-06-04 cs.LG cs.SD eess.AS
FakeSound: Deepfake General Audio Detection
Shanghai Jiao Tong University（上海交通大学）；AI Institute（人工智能研究院）；MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）
针对深度伪造通用音频的识别与定位问题，本文构建 FakeSound 数据集，并提出基于通用音频预训练模型的检测基准，其性能超过现有方法与人类测试者。
2024-06-12 cs.SD eess.AS
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
Mitigating data replication in text-to-audio generative diffusion models through anti-memorization guidance
本文提出反记忆指导技术，用于减轻文本到音频生成扩散模型中的数据复制问题，通过三种指导策略提升生成质量并保持音频保真度。
2026-01-29 cs.LG cs.SD eess.AS
Audio Avatar Fingerprinting: An Approach for Authorized Use of Voice Cloning in the Era of Synthetic Audio
Research Directorate and AI Security Center（研究部和人工智能安全中心）
本文提出音频人像指纹技术，用于验证合成语音是否由授权身份生成，通过扩展现有说话人验证模型并引入新数据集解决合成语音授权使用验证问题。
2026-03-20 cs.SD eess.AS
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models
Zhejiang University（浙江大学）；Peking University（北京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
大规模多模态生成建模在文本到图像和文本到视频生成方面创造了里程碑。它在音频方面的应用仍然落后，主要有两个原因：缺乏具有高质量文本音频对的大规模数据集，以及对长时间连续音频数据建模的复杂性。在这项工作中，我们提出了Make-An-Audio与增强的扩散模型，通过1）引入伪提示增强，然后重新编程的方法来解决这些差距，它通过使用无语言音频的数量级概念组合来消除数据稀缺性; 2）利用频谱图自动编码器来预测自监督音频表示而不是波形。与强大的对比语言音频预训练（CLAP）表示一起，Make-An-Audio在客观和主观基准评估方面都取得了最先进的结果。此外，我们提出了它的可控性和泛化的X到音频与“没有模态留下”，第一次解锁的能力，以产生高清晰度，高保真度的音频给定的用户定义的模态输入。音频样本可在https://Text-to-Audio.github.io上获得
2023-01-30 cs.LG cs.MM cs.SD
Quality Over Quantity? LLM-Based Curation for a Data-Efficient Audio-Video Foundation Model
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
针对多模态基础模型训练中音频视觉数据整合的挑战，AVVA框架通过LLM数据筛选、双编码器结构及对比学习，用192小时筛选数据实现视频到音频检索top-k准确率超DenseAV，证明数据质量优先的有效性。
2025-11-10 cs.CL cs.IR cs.MM
V2A-Mapper: A Lightweight Solution for Vision-to-Audio Generation by Connecting Foundation Models
Dolby（杜比实验室）
本研究针对视觉到音频生成任务，提出轻量V2A-Mapper连接CLIP、CLAP与AudioLDM基础模型，以极少训练参数实现了优于现有方法的生成保真度与语义相关性。
2023-12-14 cs.AI cs.CV cs.MM
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes
该研究提出AudioFormer方法，将音频分类视为自然语言理解任务，基于离散声学码训练掩码语言模型并结合多正样本对比学习，在多个音频分类数据集上取得优于主流单模态甚至部分多模态模型的性能。
2023-08-25 cs.LG cs.SD eess.AS
Diffusion Models for Joint Audio-Video Generation
本文提出联合音频视频生成方法，通过构建高质量数据集、训练MM-扩散架构、探索联合潜在扩散及提出两步文本到音频视频生成流程，提升生成质量与一致性。
2026-03-17 cs.AI cs.CV cs.MM
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
A Multi-Agent AI Framework for Immersive Audiobook Production through Spatial Audio and Neural Narration
Cisco Systems, Inc.（思科系统公司）；Bombay International School（孟买国际学校）
本文提出一种多智能体AI框架，结合FastSpeech 2、VALL-E、扩散模型、HOA与SDN等技术，通过空间音频和神经旁白实现沉浸式有声书自动制作，提升叙事沉浸感并服务于教育、叙事平台及视障人群。
2025-05-08 cs.HC cs.MA cs.MM
MMMModal -- Multi-Images Multi-Audio Multi-turn Multi-Modal
本文提出了一种开创性的双语多模态大语言模型，能够在单一多轮会话中处理多图像和多音频，发布了1.1B和7B参数版本，为马来西亚语境及更广泛领域带来重大进步。
2024-02-17 cs.CL
Meerkat: Audio-Visual Large Language Model for Grounding in Space and Time
University of Maryland, College Park（马里兰大学帕克分校）；University of Toronto（多伦多大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出音视频大语言模型 Meerkat，通过最优传输模态对齐和交叉注意力模块实现细粒度空间与时间理解，并构建 AVFIT 数据集与 MeerkatBench 基准，在多个音视频定位与核查任务上取得领先性能。
2024-07-03 cs.AI cs.CV cs.LG
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
MMAudioSep基于预训练视频到音频模型，通过利用视频/文本与音频的关系实现更高效的声学分离，优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision
Academy for Advanced Interdisciplinary Studies, Nankai University（南开大学前沿交叉学科研究院）；Kling Team, Kuaishou Technology（快手科技Kling团队）
提出FoleyGenEx统一框架，通过条件注入、多模态动态掩码和副词数据增强，实现视频到音频生成中多模态控制、帧级时间对齐与细粒度语义的同步合成。
2026-10-06 cs.CV cs.SD
Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Bering Lab（贝林实验室）
本文针对低资源爱尔兰语到英语语音翻译，提出基于 Whisper 的端到端系统，利用语音反向翻译、噪声增强等合成音频数据增强方法提升翻译性能。
2024-06-27 cs.CL cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Leveraging Pre-trained BERT for Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡提普·切莱比大学）
音频字幕旨在使用自然语言来描述音频片段的内容。现有的音频字幕系统通常基于编码器-解码器架构，其中声学信息由音频编码器提取，然后语言解码器用于生成字幕。训练一个音频字幕系统经常会遇到数据稀缺的问题。从预训练的音频模型（如预训练的音频神经网络（PANN））中传输知识最近已经成为缓解这个问题的有用方法。然而，与编码器相比，对解码器利用预先训练的语言模型的关注较少。BERT是一种预先训练的语言模型，已广泛用于自然语言处理（NLP）任务。然而，BERT作为音频字幕的语言解码器的潜力还没有被研究。在这项研究中，我们证明了预训练的BERT模型的音频字幕的有效性。具体来说，我们应用PANN作为编码器，并从公共预训练的BERT模型初始化解码器。我们进行了实证研究，使用这些BERT模型的解码器中的音频字幕模型。我们的模型与AudioCaps数据集上现有的音频字幕方法相比，取得了有竞争力的结果。
2022-03-27 cs.AI cs.SD eess.AS
AVCap: Leveraging Audio-Visual Features as Text Tokens for Captioning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出视听字幕生成框架AVCap，将视听特征作为文本标记，围绕编码器架构、预训练模型适配、模态融合效能三个维度设计，在所有指标上超越现有方法，兼具性能与扩展性优势。
2024-07-11 cs.CL cs.LG cs.SD
Towards Leveraging Contrastively Pretrained Neural Audio Embeddings for Recommender Tasks
ETH Zurich（苏黎世联邦理工学院）
针对音乐推荐中的新作品/艺术家冷启动问题，本研究探索用对比预训练神经音频嵌入（尤其是CLAP模型生成的嵌入）替代手工音频特征，以增强基于图框架的协同过滤推荐效果，实验验证了该方法的应用潜力。
2024-09-13 cs.AI cs.SD eess.AS
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs（英特尔研究院）
随着人工智能（AI）、智能虚拟助理（IVA）（如Alexa、Google Home等）的最新进展，已经成为许多家庭中无处不在的一部分。目前，这样的IVA大多是基于音频的，但展望未来，我们正在目睹视觉，语音和对话系统技术的融合，这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象，活动和事件的对话。在这项工作中，我们提出了三个主要的架构探索的视听场景感知对话（AVSD）：1）调查“主题”的对话作为一个重要的上下文特征的对话，2）探索多模态注意力机制在响应生成过程中，3）将端到端的音频分类ConvNet，AclNet，到我们的架构。我们讨论了详细的分析实验结果，并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Horizon Robotics（地平线机器人）
训练基于transformer的模型需要大量的数据，而在多模态中获得对齐和标记的数据是相当昂贵的，特别是对于视听语音识别（AVSR）。因此，使用未标记的单峰数据非常有意义。另一方面，尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实，但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中，我们成功地利用单峰自监督学习，以促进多模态AVSR。特别是，音频和视觉前端在大规模单峰数据集上进行训练，然后我们将两个前端的组件集成到一个更大的多模态框架中，该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现，这两个组件继承自单峰自监督学习合作良好，从而导致多模态框架产生竞争力的结果，通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是，即使没有一个外部的语言模型，我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2（LRS 2）数据集的大幅度，相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
MACE: Leveraging Audio for Evaluating Audio Captioning Systems
Carnegie Mellon University（卡内基梅隆大学）
提出MACE指标，结合音频信号与参考描述评估音频描述系统，在AudioCaps-Eval和Clotho-Eval上较FENSE分别提升3.28%和4.36%相对准确率。
2024-11-05 cs.SD eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种数据高效且低复杂度的声学场景分类系统，利用BEATs自监督预训练模型提取通用音频表示，并通过集成不同微调策略与知识蒸馏技术，在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Leveraging Pre-trained AudioLDM for Sound Generation: A Benchmark Study
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文首次以预训练AudioLDM为骨干网络，研究预训练在声音生成中的优势，特别是在数据稀缺场景下缓解过拟合的效果，并在多个常用数据集上构建基准以促进后续研究。
2024-07-29 cs.AI cs.MM cs.SD
Distance Sampling-based Paraphraser Leveraging ChatGPT for Text Data Manipulation
Seoul National University（首尔大学）；Soongsil University（崇实大学）
本文针对音频-文本检索中因字幕重复导致的数据不平衡问题，提出利用ChatGPT结合距离采样与Jaccard相似度文本簇的少样本提示方法，可控生成多样化改写文本，显著提升检索性能并优于传统文本增强技术。
2024-05-01 cs.AI cs.IR cs.SD
From `Snippet-lects' to Doculects and Dialects: Leveraging Neural Representations of Speech for Placing Audio Signals in a Language Landscape
Langues et Civilisations à Tradition Orale (LACITO)（口头传统语言与文明研究所（LACITO））；CNRS（法国国家科学研究中心）；Université Sorbonne Nouvelle（索邦新大学）；Institut National des Langues et Civilisations Orientales (INALCO)（法国国立东方语言文化学院（INALCO））；Université de Paris Cité（巴黎西岱大学）；Laboratoire de Linguistique Formelle (LLF)（形式语言学实验室（LLF））
本文利用XLSR-53语音神经表征，通过最大池化将5秒音频片段的表征逐级聚合到文档、方言和语言层面，在5种低资源语言的11个方言语料上验证了该方法能有效估计语音/音系接近程度并区分方言与语言。
2023-05-29 cs.CL cs.SD eess.AS
Audio Spectral Enhancement: Leveraging Autoencoders for Low Latency Reconstruction of Long, Lossy Audio Sequences
Thadomal Shahani Engineering College（塔多马尔沙哈尼工程学院）；Mumbai University（孟买大学）
随着对音频压缩技术的积极研究取得了实质性的突破，低质量音频波的频谱重建仍然是一个不太受欢迎的话题。在本文中，我们提出了一种新的方法来重建更高的频率从相当长的序列的低质量的MP3音频波。我们的技术涉及通过操纵与感知差异相关的各个幅度和相位值，使用剩余堆叠的自动编码器块来修复音频频谱图。我们的架构提出了几个瓶颈，同时通过跳过连接保留音频波的频谱结构。我们还比较了几个任务指标，并展示了我们的视觉指南损失选择。此外，我们展示了如何利用差分量化技术将初始模型大小减少一半以上，同时减少推理时间，这在现实世界的应用中至关重要。
2021-08-08 cs.LG cs.SD
EnCodecMAE: Leveraging neural codecs for universal audio representation learning
本研究提出EnCodecMAE方法，通过掩码音频表示并训练MAE预测EnCodec生成的离散单元实现重构，在多类音频任务中性能优于现有模型，为通用音频表示学习提供了新路径。
2024-05-21 cs.LG cs.SD eess.AS
Leveraging Neural Representations for Audio Manipulation
Belmont University（贝尔蒙特大学）；Queen Mary University of London（伦敦玛丽女王大学）；Harmonai
研究预训练神经网络自编码器在音频操纵中的应用，发现其表示虽编码了操纵信息但有限且非线性，主要因缺乏对常见音频操纵的解耦。
2023-04-10 cs.SD eess.AS
