Apollo: Band-sequence Modeling for High-Quality Audio Restoration
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本文提出高采样率音频修复生成模型 Apollo,通过显式频带分割与频带关系建模,在多比特率和多流派音乐修复中优于 SR-GAN。
2025-01-07 cs.AI cs.SD eess.AS
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术,用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中,我们获得在时间-频率(TF)域中的连续时间帧的相位之间的关系。为了获得类似的频率关系,特别是在发病帧内,我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号,如vibratos。这些技术确保了分音的垂直相干性(在频率上)和水平相干性(在时间上)。该方法进行了测试,各种数据,并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架,并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
VRDMG: Vocal Restoration via Diffusion Posterior Sampling with Multiple Guidance
Sony(索尼)
本文指出了基于扩散后验采样的音乐修复方法的潜在性能问题,并受RePaint和伪逆引导扩散模型启发提出多重引导缓解策略,在歌声去削波和带宽扩展任务上优于现有基准。
2023-09-13 cs.SD eess.AS
High Throughput and Less Area AMP Architecture for Audio Signal Restoration
RMK Engineering College(RMK工程学院)
音频恢复有效地实现了使用低复杂度的算法称为AMP。该算法具有收敛速度快、计算量小的特点,适用于音频恢复问题。本文的重点是恢复的音频信号,使用超大规模集成电路架构称为AMP-M,实现AMP算法。该结构采用MAC单元和固定比特的华莱士树乘法器,FFT复用器和各种存储器单元(RAM)的音频恢复。VLSI和FPGA实现结果表明,该算法具有面积小、吞吐量高、功耗低等特点,适合于实时的音频恢复问题。突出的例子是磁共振成像(MRI)、雷达和无线通信。
2014-04-05 cs.IT cs.SD math.IT
What Counts as Real? Speech Restoration and Voice Quality Conversion Pose New Challenges to Deepfake Detection
本文研究语音重建和语音质量转换对深度伪造检测系统的影响,通过多类分类方法分析模型行为,发现良性变换导致分布偏移,改进了系统鲁棒性。
2026-07-08 cs.AI cs.LG cs.SD
WaveLLDM: Design and Development of a Lightweight Latent Diffusion Model for Speech Enhancement and Restoration
Institut Teknologi Sepuluh Nopember(泗水理工学院)
本文提出 WaveLLDM,利用神经音频编解码器与潜在扩散在压缩潜在空间中进行语音恢复和去噪,在降低计算复杂度的同时取得准确频谱重建,但感知质量仍有提升空间。
2025-08-28 cs.AI cs.SD eess.AS
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo(东京大学)
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据,因此其不能充分地表示真实数据的声学失真,从而限制了适用性。我们的模型包括分析,合成和通道模块,模拟退化语音的记录过程,并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征,而合成模块合成恢复的语音波形,并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输,其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明,我们的方法实现了显着更高质量的语音恢复比以前的监督方法,表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
A2SB: Audio-to-Audio Schrodinger Bridges
NVIDIA(英伟达)
本文提出A2SB音频恢复模型,通过端到端薛定谔桥实现无需声码器的带宽扩展与音频修复,能处理长时输入并在分布外测试集上达到SOTA。
2025-08-13 cs.LG cs.SD eess.AS
A Diffusion-Based Generative Equalizer for Music Restoration
Aalto University(阿尔托大学);Sibelius Academy, University of the Arts Helsinki(赫尔辛基艺术大学西贝柳斯音乐学院)
本文提出 BABE-2,利用扩散模型先验联合估计滤波器退化幅度响应并生成修复音频,将带宽扩展拓展为生成式均衡,在历史钢琴及歌唱家录音上取得显著增强。
2025-03-13 cs.SD eess.AS
Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations
Google(谷歌)
本文提出 Miipher 语音修复模型,结合 w2v-BERT 语音表示与 PnG-BERT 文本表示,提升对多种音频退化的鲁棒性,并证明其可将网络语音修复为录音室音质以训练高质量 TTS 模型。
2023-08-14 cs.LG cs.SD eess.AS
Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN
Institute of Computational Perception (CP-JKU) Johannes Kepler University Linz, Austria(计算感知研究所(CP-JKU)约翰· Kepler大学林茨,奥地利)
本文提出多阶段音乐源修复方法,结合BandSplit-RoFormer分离与HiFi++ GAN修复,实现高质量音乐声部恢复。
2026-03-04 cs.LG cs.SD eess.AS
Token-Based Audio Inpainting via Discrete Diffusion
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(本·古里安大学电子与计算机工程学院);Faculty of Computer and Information Science, Data Science Research Center, Ben-Gurion University of the Negev(本·古里安大学计算机与信息科学学院);University of Haifa(海法大学)
本文提出基于离散扩散的音频修补方法,通过令牌化音乐表示实现长缺失区域的稳定修复,并引入两种训练策略提升模型性能。
2026-02-17 cs.AI cs.IT cs.LG
Listen through the Sound: Generative Speech Restoration Leveraging Acoustic Context Representation
NAVER Cloud(NAVER云)
本文提出一种结合声学上下文(ACX)表示的生成式语音恢复方法,利用从CLAP模型提取并优化的环境属性嵌入,使UNIVERSE++模型能更好区分和缓解失真,显著提升了多失真条件下的恢复性能与稳定性。
2025-08-12 cs.SD eess.AS
On the Geometry of Music Bandwidth Extension in Latent Spaces of Audio Codecs
本文分析了多种先进方法与简单算术变换在神经编解码器潜在空间中用于音乐带宽扩展的性能,发现简单向量加法可媲美大型扩散模型,建议将其设为研究基准。
2026-08-05 cs.SD
End-to-End Historical Music Restoration in Latent Space
ETH Zurich(苏黎世联邦理工学院);Sony Corporate Technology Center America, Inc.(索尼美国公司技术中心);Sony Europe Ltd.(索尼欧洲有限公司);Aalto University(阿尔托大学);Sony Group Corporation(索尼集团公司)
本文提出有监督的端到端管弦乐历史音乐修复基准,通过更忠实的合成退化链和潜流匹配模型,在多项评估中超越现有基线,并发布9.3小时测试集。
2026-10-02 cs.LG cs.SD eess.AS
Single-step Controllable Music Bandwidth Extension With Flow Matching
Music and Audio Machine Learning Lab, Universal Music Group(音乐与音频机器学习实验室,环球音乐集团)
本文提出了一种基于流匹配的单步可控音乐带宽扩展方法,引入动态频谱轮廓作为控制信号,以实现高质量音频修复。
2026-01-20 cs.SD
Analysing Diffusion-based Generative Approaches versus Discriminative Approaches for Speech Restoration
DESY(德国电子同步加速器研究所)
在过去的几年里,基于扩散的生成模型对计算机视觉和语音处理社区产生了很大的影响。除了数据生成任务之外,它们还被用于数据恢复任务,如语音增强和去混响。虽然传统上认为判别模型更强大,例如用于语音增强,但最近已经显示生成扩散方法大大缩小了这种性能差距。在本文中,我们系统地比较了生成扩散模型和判别方法在不同的语音恢复任务的性能。为此,我们扩展我们以前的贡献扩散为基础的语音增强在复杂的时间-频率域的带宽扩展的任务。然后,我们将其与具有相同网络架构的区分训练神经网络进行比较,用于三个恢复任务,即语音去噪,去混响和带宽扩展。我们观察到,生成方法在所有任务上的全局性能都优于其判别式方法,对于非加性失真模型(如去混响和带宽扩展)具有最大的优势。代码和音频示例可以在https://uhh.de/inf-sp-sgmsemultitask上找到
2023-03-16 cs.LG cs.SD eess.AS
Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
Milwaukee School of Engineering(密尔沃基工程学院)
本文提出基于序列到序列模型和3D VQ-VAE从无声视频合成音频的方法,以提升声音多样性并应用于CCTV分析、无声电影修复等场景。
2024-04-25 cs.AI cs.CV cs.LG
DisSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration
AntGroup(蚂蚁集团);University of Science and Technology of China(中国科学技术大学)
DisSR通过降质先验引导和跨领域对齐训练,提升语音修复在不同降质和领域下的泛化能力与修复质量。
2026-02-13 cs.SD
LipsAM: Lipschitz-Continuous Amplitude Modifier for Audio Signal Processing and its Application to Plug-and-Play Dereverberation
Tokyo University of Agriculture and Technology(东京农业大学)
本文提出LipsAM,一种Lipschitz连续的幅度修正器,用于音频信号处理,并应用于即插即消回声算法,通过实验验证其稳定性提升。
2026-03-23 cs.LG cs.SD
Spatial-and-Frequency-aware Restoration method for Images based on Diffusion Models
Department of Mathematical Sciences, Seoul National University(数学科学系,首尔国立大学)
本文提出SaFaRI,一种基于扩散模型的图像修复方法,通过同时考虑空间和频率域的数据保真度,实现高质量的图像重建。
2025-11-20 cs.CV cs.LG
Neural-Enhanced Dynamic Range Compression Inversion: A Hybrid Approach for Restoring Audio Dynamics
IBISC (EA4526), Univ. Evry - Paris-Saclay(IBISC(EA4526)研究所,欧比-巴黎-萨克雷大学)
针对现有DRC反演方法忽略关键参数或依赖难估计的精确参数的问题,提出结合模型反演与神经网络的混合方法,实现稳健的参数估计与音频恢复,在音乐和语音数据集上优于多种最先进技术。
2025-09-09 cs.AI cs.SD eess.AS
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University(阿尔托大学)
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构,以高保真度建模和抑制退化。该方法处理音频的时间-频率表示,并使用真实的噪声数据进行训练,以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明,真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning
提出通用音频辅助人脸视频修复网络GAVN,利用时间与身份互补学习,结合音频和关键点,在压缩伪影去除、去模糊和超分辨率上超越现有方法。
2025-08-06 cs.CV cs.MM cs.SD
Synthetic Data Augmentation for Medical Audio Classification: A Preliminary Evaluation
Independent Researcher(独立研究者);University of Toronto(多伦多大学)
本研究评估了合成数据增强在医学音频分类中的效果,发现仅在模型集合中应用增强时,F1分数有所提升,但标准CNN分类器未见明显性能提升。
2026-02-03 cs.AI cs.LG cs.SD
Phase retrieval with Bregman divergences and application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所、法国国家科学研究中心);ISAE-SUPAERO, Université de Toulouse(图卢兹高等航空航天学院、图卢兹大学)
相位恢复(PR)的目的是从一组内积的幅度恢复信号。这个问题出现在对短时傅立叶变换幅度或功率谱图进行操作并丢弃相位信息的许多音频信号处理应用中。为了合成时域信号,从所得到的修改后的频谱图中恢复丢失的相位确实是必要的。PR通常通过考虑涉及二次损失函数的最小化问题来解决。在本文中,我们采取了不同的立场。实际上,二次损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异度量是优选的。因此,我们制定PR作为一个新的最小化问题,涉及Bregman分歧。由于这些分歧是不对称的两个输入参数一般,他们导致两个不同的配方的问题。为了优化所得到的目标,我们推导出两个算法的基础上加速梯度下降和交替方向法的乘数。从精确的或从噪声观测估计的频谱图中进行的音频信号恢复实验突出了我们提出的音频恢复方法的潜力。特别是,利用这些Bregman分歧的一些诱导更好的性能比二次损失时,在非常嘈杂的条件下从频谱图执行PR。
2021-01-13 cs.SD
StrixAE: An Intelligent Agent for Audio Enhancement under Complex Distortion Coupling in Real-World Scenarios
Xiamen University(厦门大学);Fuyao University of Science and Technology(福耀科技大学)
针对真实场景音频增强的复杂失真耦合与个性化需求难题,提出基于MLLM的智能体StrixAE,经两阶段训练后性能优于多数现有方案,实现了更优的音频增强效果与鲁棒性。
2026-09-04 cs.AI cs.SD
A Benchmark of Generative Methods for Zero-Shot Environmental Sound Classification
School of Information and Physical Sciences, University of Newcastle, Australia(信息与物理科学学院,新南威尔士大学,澳大利亚)
本文提出一种基于扩散模型的条件生成方法,用于零样本环境声音分类,在多个音频数据集上平均性能优于现有基线方法。
2026-07-21 cs.LG cs.SD eess.AS
Efficient bandwidth extension of musical signals using a differentiable harmonic plus noise model
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文提出基于可微数字信号处理(DDSP)的谐波加噪声模型,高效实现单声道与多声道音乐信号带宽扩展,在客观指标与MUSHRA听力测试中均优于高复杂度深度学习模型。
2023-11-27 cs.SD eess.AS
Exploring the Potential of Data-Driven Spatial Audio Enhancement Using a Single-Channel Model
Faculdade de Engenharia Elétrica e de Computação(电气与计算工程学院);Universidade Estadual de Campinas(坎皮纳斯州立大学);Faculdade de Engenharia Acústica(声学工程学院);Universidade Federal de Santa Maria(圣玛丽亚联邦大学)
本研究验证了单通道语音增强模型可独立处理各通道以适应多通道场景的假设,发现该方法能更好地保留空间信息,但以降低语音可懂度增益为代价。
2024-04-22 cs.SD eess.AS
Active Restoration of Lost Audio Signals Using Machine Learning and Latent Information
Université Frères Mentouri I(兄弟门图里大学);Blekinge Institute of Technology(布莱金厄理工学院)
本文融合隐写术、半色调抖动与浅层/深度学习,提出 HCR 框架,利用嵌入的潜在辅助信息主动重建丢失音频,并在 SNR、ODG 等指标上优于多种现有方法。
2024-01-18 cs.LG cs.SD eess.AS
WhisperVC-AV: Audio-Visual Content Restoration for Noise-Robust Whisper-to-Normal Voice Conversion
Duke Kunshan University(昆山杜克大学);Johns Hopkins University(约翰斯·霍普金斯大学);Wuhan University(武汉大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对噪声下耳语转正常语音内容线索丢失问题,提出WhisperVC-AV,通过融合时间声学与唇部特征恢复内容,在多个ASR系统及噪声条件下显著降低CER,并保持说话人相似性。
2026-09-29 cs.SD eess.AS
Backward Compatibility in Zero-Bit Neural Audio Watermarking
DeepMark
本文针对零比特神经音频水印,提出了带性能加权采样和角度多样性损失(ADL)的训练框架,解决了向后兼容时的嵌入器崩溃问题,恢复了真负率且不损失检测精度与音频质量。
2026-10-16 cs.LG cs.MM cs.SD
Psychoacoustically Motivated Audio Declipping Based on Weighted l1 Minimization
Brno University of Technology(布尔诺理工大学)
提出了一种基于稀疏度的音频去唇方法。该方法通过在$\ell_1$最小化中对变换系数进行加权来结合心理声学信息。加权导致改善的恢复质量,同时保持算法的低复杂度。提出了三种可能的权重构造,基于绝对听觉阈值,全局掩蔽阈值和二次曲线。实验比较了信号失真比(SDR)和PEMO-Q客观差异等级(ODG)的恢复质量,并表明,正确选择的权重,所提出的方法是能够竞争,甚至优于,目前的最先进的。
2020-07-01 cs.SD eess.AS
SonicMaster: Towards Controllable All-in-One Music Restoration and Mastering
Information Systems Technology and Design(信息系统技术与设计)
SonicMaster通过基于文本的控制,实现了音乐修复与母带处理的统一生成模型,显著提升了音频质量。
2026-09-14 cs.AI cs.MM cs.SD
Spontaneous Informal Speech Dataset for Punctuation Restoration
University of Waterloo(滑铁卢大学);Recognition Technologies, Inc.(识别技术公司);Columbia University(哥伦比亚大学)
针对现有标点恢复模型仅在规范语料评估、与现实自发语音场景不匹配的问题,本研究构建了包含标点和大小写信息的非正式自发语音数据集SponSpeech,提出兼顾音文质量的过滤流水线,并搭建挑战性测试集,相关资源全部开源。
2024-09-17 cs.CL cs.HC cs.LG
An investigation of AI integration in sound designer workflows and experiences
Queen Mary University of London(伦敦大学玛丽女王学院)
通过混合方法研究(76人调查+20人访谈),发现当前AI工具在快速消费媒体中表现良好,但缺乏高端声音设计所需的叙事复杂性,从业者偏好辅助性、任务特定的应用,而非端到端生成系统。
2026-05-26 cs.AI cs.CY cs.SD
UniSE: A Unified Framework for Decoder-Only Autoregressive LM-Based Speech Enhancement
Qwen Business Unit of Alibaba, China(阿里巴巴Qwen业务单元,中国);Tongyi AI Lab of Alibaba, China(阿里巴巴通义AI实验室,中国)
提出UniSE,一种统一的仅解码器LM框架,通过自回归生成离散令牌处理语音恢复、目标说话人提取和语音分离任务,并引入渐进强化学习优化质量,在多个基准上取得竞争性表现。
2026-07-03 cs.AI cs.SD
Deep Audio Waveform Prior
The Hebrew University of Jerusalem(希伯来大学)
卷积神经网络包含用于生成自然外观图像的强先验[1]。这些先验可以实现图像去噪、超分辨率和无监督修复。先前尝试在音频中展示类似的想法,即深度音频先验,(i)使用手工挑选的架构,如谐波卷积,(ii)仅适用于频谱图输入,以及(iii)主要用于消除高斯噪声[2]。在这项工作中,我们表明,现有的SOTA架构的音频声源分离包含深先验,即使在与原始波形。当给定白噪声作为输入时,通过训练神经网络以生成单个损坏的信号,可以发现深度先验。具有相关深度先验的网络可能会在收敛到损坏的信号之前生成更干净的信号版本。我们证明了这种恢复效果与几个腐败:背景噪声,混响和信号(音频修复)的差距。
2022-07-21 cs.LG cs.SD eess.AS
AutoMashup: Automatic Music Mashups Creation
IMT Atlantique(大西洋高等电信学院)
本文提出AutoMashup自动混搭系统,利用COCOLA评估分离音轨兼容性,并研究CLAP和MERT的零样本估计能力,揭示了混搭兼容性的不对称性及通用音频表示的局限性。
2025-07-30 cs.SD eess.AS eess.SP
Cold Diffusion for Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Georgia Institute of Technology(佐治亚理工学院)
本研究探索利用 cold diffusion 从含噪信号中恢复干净语音信号,提出改进的训练算法和目标函数以提升泛化能力,并在 VoiceBank-DEMAND 数据集上验证了其优于判别式模型和基于 diffusion 的增强模型的性能。
2023-05-23 cs.SD eess.AS
Bayesian Restoration of Audio Degraded by Low-Frequency Pulses Modeled via Gaussian Process
Federal University of Rio de Janeiro (UFRJ)(里约热内卢联邦大学);Rio de Janeiro State University(里约热内卢州立大学)
本文提出一种贝叶斯方法,联合估计脉冲位置、插值受损信号并估计尾部,通过高斯过程建模,利用MCMC推断,减少用户干预并达到与先前方法相当的感知效果。
2020-09-26 cs.SD eess.AS eess.SP
GAP-URGENet: A Generative-Predictive Fusion Framework for Universal Speech Enhancement
GAP-URGENet通过生成与预测分支融合提升语音增强的鲁棒性和感知质量,在盲测阶段表现优异,获客观评估第一名。
2026-08-05 cs.AI cs.SD eess.AS
Learned Compression for Compressed Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有压缩系统不适用于压缩学习的问题,提出结合线性变换编码与非线性降维自编码器的WaLLoC神经编解码器,在多项指标上优于现有自编码器,且效率高、模态兼容性强,可应用于多类压缩域学习任务。
2024-12-12 cs.CV cs.LG eess.AS
SALT: Standardized Audio event Label Taxonomy
针对固定音频分类体系难以整合新声音且跨数据集兼容性差的问题,提出基于AudioSet层级结构的SALT标准化标签分类体系,覆盖24个数据集,并提供Python包实现统一映射与数据聚合。
2024-09-18 cs.SD eess.AS
Summary of The Inaugural Music Source Restoration Challenge
Independent Researcher(独立研究者);Johns Hopkins University(约翰霍普金斯大学);The Chinese University of Hong Kong(香港中文大学);Sony AI(索尼人工智能);King's College London(伦敦国王学院)
音乐源恢复挑战赛评估了不同系统在恢复退化音频中乐器声部的性能,揭示了不同乐器恢复难度差异及各系统表现
2026-01-07 cs.AI cs.SD eess.AS
Exploring Meta Information for Audio-based Zero-shot Bird Classification
Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学);Imperial College London(伦敦帝国学院)
本文研究如何利用鸟鸣文本描述、AVONET 功能性状和 BLH 生活史元数据增强 AST 音频嵌入的零样本鸟类分类,发现拼接 AVONET 与 BLH 效果最佳。
2024-06-11 cs.LG cs.SD eess.AS
BridgeVoC: Revitalizing Neural Vocoder from a Restoration Perspective
Tencent AI Lab(腾讯人工智能实验室)
BridgeVoC将神经声码器建模为音频恢复问题,结合薛定谔桥扩散框架与子带感知卷积网络,并通过全向蒸馏实现单步推理,在低计算成本下取得最先进性能。
2025-11-10 cs.SD
DialogueSidon: Recovering Full-Duplex Dialogue Tracks from In-the-Wild Dialogue Audio
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所)
DialogueSidon通过联合恢复与分离降质单通道对话音频,提升识别与分离质量,并实现更快推理。
2026-07-01 cs.SD eess.AS
Finite Scalar Quantization Enables Redundant and Transmission-Robust Neural Audio Compression at Low Bit-rates
本文提出基于有限标量量化(FSQ)的神经音频编解码器NeuCodec,通过内置冗余设计实现低比特率下对有噪信道传输的鲁棒性,实验证明其比特级抗扰动能力优于RVQ。
2025-09-12 cs.LG cs.SD
MPASCNet: Magnitude-Phase-Aware Adaptive Spectral Compression for Compressed Music Restoration
College of Artificial Intelligence, China University of Petroleum(中国石油大学人工智能学院);The Chinese University of Hong Kong(香港中文大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
本文针对现有压缩音乐恢复方法未显式建模相位或依赖预定义频率划分的问题,提出MPASCNet网络,通过幅度-相位感知自适应压缩频谱特征,在MP3恢复任务上以6.49M参数实现优于Apollo、AEROMamba的性能。
2026-10-14 cs.SD
Unified Audio Intelligence Without Regressing on Text Intelligence
Nemotron-Labs(Nemotron实验室)
本文提出统一音频-文本大语言模型Audex,通过单Transformer解码器架构与多阶段训练,在实现多音频任务SOTA性能的同时,几乎不损失骨干文本LLM的原有文本智能能力。
2026-07-08 cs.AI cs.CL cs.LG
A Training-Free Proactive Defense Against Partial Speech Manipulation via Self-Embedding Steganography
National Institute of Informatics(情报信息研究所)
针对部分深度伪造语音检测难题,本文提出一种无需训练的主动防御方法,通过将自嵌入策略与现有音频隐写术结合,借助编解码器修复实现检测,可与被动防御互补且数据效率高。
2026-09-21 cs.AI cs.SD
Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion
University of Sydney, Electrical and Computer Engineering(悉尼大学电气与计算机工程学院);Sony Computer Science Laboratories, Tokyo, Japan(索尼计算机科学实验室(日本东京))
本文提出基于浅层扩散模型的自监督方法,用于修复因音高转换而降质的歌唱声音,通过保留旋律和时间,减少伪影并提升音质。
2026-01-15 cs.SD