A Flexible Online Framework for Projection-Based STFT Phase Retrieval
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
本文提出一种灵活的在线框架,将RTISI扩展以实现任意基于迭代投影的STFT相位恢复算法的在线运行,并在语音信号上验证了其相比RTISI的显著性能提升。
2023-09-13 cs.SD eess.AS eess.SP
Signal Reconstruction from Mel-spectrogram Based on Bi-level Consistency of Full-band Magnitude and Phase
Tokyo Metropolitan University(东京都立大学)
针对从梅尔频谱图等低维频谱表示重建时域信号的问题,提出一种基于优化、利用全带幅度与相位双层关系联合重建的方法,经多类音频信号实验验证有效。
2023-07-23 cs.SD eess.AS eess.SP
Time-Frequency Phase Retrieval for Audio -- The Effect of Transform Parameters
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
在音频处理应用中,通常根据短时傅里叶变换(STFT)系数的幅度来执行相位恢复(PR)。虽然已经观察到PR性能取决于所考虑的STFT参数和音频数据,但这种依赖性的程度尚未被系统地评估。为了解决这个问题,我们研究了三种PR算法对各种类型的音频内容和各种STFT参数(如冗余度、时频比和窗口类型)的性能。PR的质量进行了研究的客观差异等级和信噪比的STFT幅度,提供听觉和信号为基础的质量评估。我们的研究结果表明,PR质量的提高与增加冗余,具有较强的相关性的时频比。音频内容的影响较小,但仍然可以观察到。窗口的影响仅对PR算法之一显著。有趣的是,为了获得良好的PR质量,三种算法中的每一种都需要不同的参数集,这证明了各个参数集对于PR算法之间的公平比较的相关性。基于这些结果,我们制定了针对特定应用优化STFT参数的指导方针。
2021-06-09 cs.SD eess.AS eess.SP
Why some audio signal short-time Fourier transform coefficients have nonuniform phase distributions
Institute for Telecommunication Sciences(电信科学研究所)
该研究指出音频信号STFT相位按频率或幅度范围分析时呈非均匀分布,推翻了常规均匀假设,推导了非均匀性的来源并说明窗口形状对其的影响,为相位信息的利用提供了依据。
2024-09-13 cs.SD eess.AS eess.SP
DiffPhase: Generative Diffusion-based STFT Phase Retrieval
Universität Hamburg(汉堡大学);Center for Free-Electron Laser Science, DESY(DESY自由电子激光科学中心)
本文提出 DiffPhase,将语音增强扩散模型改造为面向 STFT 相位检索的生成式插补方法,并通过语音质量与可懂度指标验证其优于经典及现代方法。
2023-06-02 cs.LG cs.SD eess.AS
Complex ratio masking for singing voice separation
The Ohio State University(俄亥俄州立大学)
音乐源分离对于诸如卡拉OK和混音之类的应用是重要的。以往的研究主要集中在估计短时傅里叶变换(STFT)幅度和丢弃相位信息。我们观察到,对于歌唱声分离,相位可以使分离质量有相当大的改善。本文提出了一种复比率掩蔽法用于人声和伴奏的分离。所提出的方法采用DenseUNet与自我关注估计实部和虚部的STFT为每个声源。一个简单的集成技术,以进一步提高分离性能。评估结果表明,该方法优于最近的国家的最先进的模型分离的声音和伴奏。
2020-11-03 cs.SD eess.AS
A Two-Stage Framework in Cross-Spectrum Domain for Real-Time Speech Enhancement
Shanghai Jiao Tong University(上海交通大学);Tencent Video Cloud(腾讯云视频)
本文提出跨频谱域两阶段框架 FDFNet,在 STFT 域增强幅度后于 STDCT 域处理复数谱,以更高效地抑制噪声并恢复相位,实验性能优于已有两阶段及先进语音增强系统。
2024-01-19 cs.SD eess.AS
Online Phase Reconstruction via DNN-based Phase Differences Estimation
Tokyo Metropolitan University(东京都立大学);Tokyo University of Agriculture and Technology(东京农工大学);Waseda University(早稻田大学)
提出了一种基于因果深度神经网络(DNN)的两阶段在线相位重构框架。相位重构是一项仅从短时傅里叶变换(STFT)系数的幅值恢复其相位的任务。然而,相位对波形偏移敏感,即使使用DNN也不容易从幅度估计。为了克服这个问题,我们建议使用DNN来估计相邻时频区间之间的相位差。根据STFT相位偏导数与幅度偏导数之间的理论关系,证明了卷积神经网络适用于相位差估计。估计的相位差用于通过以逐帧方式求解加权最小二乘问题来重建相位。与现有的基于DNN的相位重建方法相比,所提出的框架是因果关系的,不需要任何迭代过程。实验表明,该方法优于现有的在线方法和基于DNN的相位重建方法。
2022-11-12 cs.SD eess.AS eess.SP
Beyond Griffin-Lim: Improved Iterative Phase Retrieval for Speech
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
相位恢复不仅是语音和音频处理中遇到的问题,而且在许多其他领域,如光学中也遇到了问题。基于非凸集投影的迭代算法是有效的,并且经常用于在只有STFT幅度可用时检索相位。虽然基本的Griffin-Lim算法及其变体几十年来一直是流行的方法,但最近的进展,例如光学,提出了一个问题:我们是否可以使用相同的迭代投影原理,对语音信号做得比Griffin-Lim更好?在本文中,我们比较了经典的算法在语音域与两个现代的方法从光学方面的重建质量和收敛速度。基于这项研究,我们建议结合Griffin-Lim与差分映射算法在一个混合的方法,表现出优越的结果,在收敛性和最终重建的质量。
2022-05-11 cs.SD eess.AS eess.SP
Phase-incorporating Speech Enhancement Based on Complex-valued Gaussian Process Latent Variable Model
传统的语音增强技术是在时频域上对语音信号进行幅度修正,然后利用含噪语音信号的相位信息重新合成时域语音信号。本文提出了一种复值高斯过程隐变量模型(CGPLVM)来直接增强复值噪声谱,不仅修改幅度,而且修改相位。所开发的方法的主要思想是作为一个适当的复杂的高斯过程(GP)与噪声添加的语音的时间帧的短时傅立叶变换(STFT)系数的建模。所提出的方法是基于投影到一个低维子空间的频谱。利用似然准则优化模型的超参数。实验在包含汉语数字0到9的CHTTL数据库上进行。几个标准的措施被用来证明,所提出的方法优于基线方法。
2016-12-30 cs.SD
End-to-end speech enhancement based on discrete cosine transform
Beijing University of Posts and Telecommunications(北京邮电大学)
由于语音信号具有短时稳定性,以往的语音增强方法主要集中在短时谱估计上。然而,这些方法往往只估计干净的幅度谱和重用的噪声相位时,重新合成语音信号,这是不可能有效的短时傅立叶变换(STFT)。目前,基于动态神经网络的语音增强方法主要是幅度谱和相位谱的联合估计。这些方法通常给出比幅度谱估计更好的性能,但需要更大的计算和存储开销。在本文中,我们提出使用离散余弦变换(DCT)重建一个有效的短时频谱。在U-net结构下,我们对真实的声谱图进行了增强,最终达到了理想的性能。
2019-10-22 cs.SD eess.AS
Phase recovery with Bregman divergences for audio source separation
IRIT(IRIT研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
时频音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用相位恢复算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而,这种损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异测量是优选的。在本文中,我们建议重新制定相位恢复音频声源分离作为一个最小化问题,涉及布雷格曼分歧。为了优化得到的目标,我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明,这种方法优于MISI的几个替代损失,这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
Phase-Based Signal Representations for Scattering
Acoustics Research Institute Austrian Academy of Sciences(奥地利科学院声学研究所)
本文提出相位散射方法,在散射变换中引入相位导数,并基于 STFT 将基于相位的表示扩展到高阶,以获得大尺度结构的局部化信号表示。
2022-02-15 cs.SD eess.AS eess.SP
Non-iterative Filter Bank Phase (Re)Construction
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
从仅有幅度的测量中重构信号是信号处理中的一个长期存在的问题。在这方面的贡献,我们提出了一个相位(重建)的滤波器组的建设方法与均匀抽取和控制频率变化。建议的程序扩展了最近推出的相位梯度堆积分,并依赖于从高斯滤波器获得的滤波器组系数的相位-幅度关系。可容许滤波器组被建模为某些广义不变系统的离散化,我们推导出显式的相位-幅度关系。离散信号的实现进行了说明,并在一系列的真实和合成信号的算法的性能进行了评估。
2022-02-15 cs.MS cs.SD eess.AS
Fast Spectrogram Inversion using Multi-head Convolutional Neural Networks
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
提出了一种用于频谱图波形合成的多头卷积神经网络(MCNN)结构。MCNN中的非线性插值与并行头中的转置卷积层一起使用。MCNN的计算强度比Griffin-Lim等常用迭代算法高出一个数量级以上,可有效利用现代多核处理器,并实现非常快速(超过300倍实时)的波形合成。为了训练MCNN,我们使用大规模语音识别数据集和与感知音频质量相关的波形上定义的损失。我们证明,MCNN构成了一个非常有前途的方法,高品质的语音合成,没有任何迭代算法或自回归计算。
2018-11-06 cs.LG cs.SD eess.AS