A Design Methodology for Efficient Implementation of Deconvolutional Neural Networks on an FPGA
University of California, San Diego（加州大学圣迭戈分校）
近年来，深度学习算法在机器学习任务（如图像分类和语音识别）上表现出极高的性能。为了支持这样的应用，已经提出了用于卷积神经网络（CNN）的各种FPGA加速器架构，其能够以比CPU和GPU处理器低的功率实现分类任务的高性能。然而，迄今为止，很少有研究使用FPGA实现的去卷积神经网络（DCNN）。DCNN，也称为生成CNN，对高维概率分布进行编码，并已广泛用于计算机视觉应用，如场景完成、场景分割、图像创建、图像去噪和超分辨率成像。我们提出了一个FPGA架构的反卷积网络建立在一个加速器，有效地处理复杂的内存访问模式需要执行跨越反卷积，并支持卷积以及。我们还开发了一个三步设计优化方法，系统地利用统计分析，设计空间探索和VLSI优化。为了验证我们的FPGA去卷积加速器设计方法，我们使用在Tensorflow上运行的生成对抗网络方法（GAN）在两个代表性数据集上离线训练DCNN，然后将这些DCNN映射到FPGA DCNN+加速器实现，以在Xilinx Zynq-7000 FPGA上执行生成推理。我们的DCNN实现达到了0.012 GOP/DSP的峰值性能密度。
2017-05-07 cs.LG cs.NE
Hardware-Efficient Deconvolution-Based GAN for Edge Computing
University of Central Florida（中佛罗里达大学）
生成对抗网络（GAN）是基于学习数据分布生成新数据样本的前沿算法。然而，它的性能在计算和内存需求方面付出了巨大的代价。在本文中，我们提出了一种硬件/软件协同设计方法，用于训练量化反卷积GAN（QDCGAN）在FPGA上实现，使用可扩展的流式处理器架构，能够实现更高的吞吐量与资源利用率的权衡。开发的加速器基于一个高效的反卷积引擎，该引擎为基于GAN的边缘计算的缩放因子提供了高度并行性。此外，各种精度，数据集和网络的可扩展性进行了分析，在资源受限的平台上的低功耗推理。最后，提供了一个端到端的开源框架，用于培训，实施，状态空间探索，并使用Vivado高级综合Xilinx SoC FPGA和Jetson Nano的比较测试平台扩展推理。
2022-01-18 cs.LG eess.IV
CASS: Cross Adversarial Source Separation via Autoencoder
National University of Singapore（新加坡国立大学）；Hong Kong Baptist University（香港浸会大学）
本文介绍了一种通过自动编码器的交叉对抗声源分离（CASS）框架，该框架是一种新的模型，旨在将由多个分量混合组成的输入信号分离为通过对抗学习和自动编码器拟合定义的单个分量。CASS在一个框架中统一了流行的生成网络，如自动编码器（AE）和生成对抗网络（GANs）。对输入信号进行滤波并重构第$i$个目标分量的基本构建块是一对深度神经网络$\mathcal{EN}_i$和$\mathcal{DE}_i$，分别作为用于降维的编码器和用于分量重构的解码器。作为生成器的解码器$\mathcal{DE}_i$通过鉴别器网络$\mathcal{D}_i$进行增强，该鉴别器网络支持第$i$个给定数据集中第$i$个分量的信号结构，作为对抗学习的指导。与AE中独立训练每个自动编码器或共享同一生成器的GANs中的现有实践相比，我们引入了交叉对抗训练，强调任何任意网络对$(\mathcal{DE}_i,\mathcal{D}_j)$之间的对抗关系，实现了最先进的性能，特别是当目标组件共享相似的数据结构时。
2019-05-23 cs.LG eess.SP stat.ML
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.（Preferred Networks 公司）
在本文中，我们提出了一个生成模型，时间生成对抗网络（TGAN），它可以学习未标记视频的语义表示，并能够生成视频。与现有的基于生成对抗网络（GAN）的方法不同，这些方法使用由3D去卷积层组成的单个生成器生成视频，我们的模型利用了两种不同类型的生成器：时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量，每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题，我们采用了最近提出的Wasserstein GAN模型，并提出了一种新的方法，以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano（米兰理工大学）；Harvard University（哈佛大学）
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络（T-CGAN）。我们的方法是基于条件生成对抗网络（CGAN），其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件，学习数据和时间戳之间的隐藏关系，从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据，我们比较了用T-CGAN生成的数据训练的分类器的性能，以及用原始数据训练的相同分类器的性能。结果表明，在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同，即使是非常短的时间序列和小的训练集。对于现实世界的数据集，我们比较我们的方法与其他技术的数据增强的时间序列，如时间分片和时间扭曲，在分类问题与不平衡的数据集。结果表明，我们的方法总是优于其他方法，在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下，一个小的训练集和短，噪声，不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Noise Homogenization via Multi-Channel Wavelet Filtering for High-Fidelity Sample Generation in GANs
University of Macau（澳门大学）
在典型的生成对抗网络（GANs）的生成器中，输入噪声以通过一系列卷积运算生成假样本。然而，目前的噪声生成模型仅仅依赖于来自像素空间的信息，这增加了接近目标分布的难度。幸运的是，长期证明小波变换是能够分解的多个光谱信息的图像。在这项工作中，我们提出了一种新的多通道基于小波的滤波方法的GANs，以应对这个问题。当在生成器中嵌入小波去卷积层时，所得到的GAN（称为Wavelet GAN）利用小波去卷积来学习具有多个通道的滤波，其可以通过平均操作来有效地均匀化所生成的噪声，从而生成高保真样本。我们通过一个开放的GAN基准测试工具对Fashion-MNIST、KMNIST和SVHN数据集进行了基准测试实验。结果表明，WaveletGAN在生成高保真样本方面具有出色的性能，这要归功于在这些数据集上获得的最小FID。
2020-05-14 cs.CV cs.LG stat.ML
A Cost Effective Solution for Road Crack Inspection using Cameras and Deep Neural Networks
University of Alberta（阿尔伯塔大学）
路面裂缝的自动检测是智能交通基础设施系统发展的一个重要研究领域。本文介绍了一种经济高效的道路裂缝检测解决方案，即在行驶车辆的后部安装商业级运动摄像机GoPro。此外，提出了一种新的方法称为ConnCrack结合条件Wasserstein生成对抗网络和连接图的道路裂缝检测。该方法采用121层密集连接的神经网络作为发生器，采用5层全卷积神经网络作为训练器，神经网络具有多层次特征融合的反卷积层。为了克服与反卷积层相关的分散输出问题，引入连接图来表示所提出的ConnCrack内的裂纹信息。所提出的方法进行了测试，公开可用的数据集以及我们收集的数据。实验结果表明，该方法在查准率、查全率和F1得分等方面均优于现有方法。
2019-10-22 cs.CV cs.LG eess.IV
Blind Separation of Vibration Sources using Deep Learning and Deconvolution
RSL Electronics LTD（RSL电子有限公司）
针对齿轮振动掩盖低能量轴承故障信号的问题，提出结合 dilated CNN、残差平方对数包络与 WBD 的两阶段盲分离方法，可在无设备先验信息时早期检测局部及分布式轴承故障。
2024-05-21 cs.AI cs.LG eess.AS
Invariant Representations from Adversarially Censored Autoencoders
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Northeastern University（东北大学）
我们将条件变分自编码器（VAE）与对抗性审查相结合，以学习从滋扰/敏感变化中解脱出来的不变表示。在这种方法中，对抗网络试图从表示中恢复滋扰变量，VAE被训练来防止这种情况。调节解码器的滋扰变量，使清洁分离的表示，因为它们重新组合的模型学习和数据重建。我们表明，这种自然的方法在理论上是有根据的信息理论的论点。实验表明，该方法在保持模型学习性能的同时实现了不变性，并在风格转换和生成采样任务中获得了视觉上的改善。
2018-05-21 cs.IT cs.LG math.IT
A Style-Based Generator Architecture for Generative Adversarial Networks
NVIDIA（英伟达）
我们提出了一种替代生成器架构的生成对抗网络，借用风格转移文献。新的体系结构导致自动学习的、无监督的高级属性分离（例如，在人脸上训练时的姿态和身份）和所生成的图像中的随机变化（例如，雀斑、头发），并且它能够实现对合成的直观的、尺度特定的控制。新的生成器改进了传统分布质量度量方面的最新技术，导致明显更好的插值特性，并且还更好地解开了潜在的变化因素。为了量化插值质量和解纠缠，我们提出了两种新的，自动化的方法，适用于任何发电机架构。最后，我们介绍了一个新的，高度多样化和高质量的人脸数据集。
2019-03-29 cs.LG cs.NE stat.ML
Adversarial sampling of unknown and high-dimensional conditional distributions
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado Boulder（科罗拉多大学博尔德分校）
许多工程问题需要预测实现到实现的可变性或精确描述的建模量。在这种情况下，有必要从未知的高维空间中采样元素，这些空间可能有数百万个自由度。虽然存在能够从具有已知形状的概率密度函数（PDF）中采样元素的方法，但是当分布未知时需要进行几次近似。在本文中，采样方法以及对底层分布的推断都是用一种称为生成对抗网络（GAN）的数据驱动方法来处理的，该方法训练两个竞争的神经网络，以产生一个可以有效地从训练集分布中生成样本的网络。在实际应用中，常常需要从条件分布中抽取样本。当条件变量是连续的时，对应于条件变量的特定值的仅一个（如果有的话）数据点可能是可用的，这不足以估计条件分布。这项工作处理这个问题，使用先验估计的PDF的条件矩。两种方法，随机估计，和外部神经网络在这里比较计算这些时刻，但是，任何首选的方法可以使用。该算法的情况下，证明了过滤湍流场的反卷积。结果表明，所提出的算法的所有版本有效地采样目标条件分布与最小的影响相比，国家的最先进的方法对样本的质量。此外，该过程可以用作由以连续变量为条件的条件GAN（cGAN）生成的样本的多样性的度量。
2021-11-08 cs.LG physics.ao-ph physics.comp-ph
Linear Discriminant Generative Adversarial Networks
我们开发了一种新的方法来训练GANs，用于无监督和类条件生成图像，称为线性判别GAN（LD-GAN）。LD-GAN的递归被训练以最大化生成样本和目标样本的隐藏表示的分布之间的线性可分性，而生成器基于通过对隐藏表示执行LDA而计算的决策超平面进行更新。LD-GAN提供了一个具体的分离能力的度量标准，我们的实验表明，在无监督的情况下，通过校准生成器和鉴别器之间的更新频率，可以简单地稳定LD-GAN的训练，而无需使用归一化方法和对权重的约束。在类条件生成任务中，与采用辅助分类器的WGAN相比，所提出的方法显示出更好的训练稳定性以及更好的泛化性能。
2017-07-25 cs.LG stat.ML
Deciding When to Switch: E-Processes for Adaptive Minimax Training for Generative Adversarial Nets
Ewha Womans University（梨花女子大学）；Purdue University（普渡大学）
本研究将GAN训练的切换时机判定转化为序列假设检验问题，提出基于E-过程的自适应训练流程，在多模态合成分布与图像数据集上表现优于或匹配最优固定比例基线。
2026-08-12 cs.LG stat.ML
Information Compensation for Deep Conditional Generative Networks
近年来，无监督/弱监督条件生成对抗网络（GANs）在建模和生成数据方面取得了许多成功。然而，它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题，我们提出了一种新的无监督条件GANs结构，该结构由一种新的信息补偿连接（IC-连接）驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外，为了量化离散和连续潜变量的解纠缠程度，我们设计了一个新的评估程序。我们的实证结果表明，与有条件生成设置中的最先进的GANs相比，我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Towards Unsupervised Single-Channel Blind Source Separation using Adversarial Pair Unmix-and-Remix
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Facebook AI Research（脸书人工智能研究院）
盲单通道信号分离是信号处理领域的一个长期挑战。许多方法被提出来解决这个问题，利用多个信号先验，如低秩，稀疏性，时间连续性等，最近的进展生成对抗模型的信号回归任务提供了新的机会。然而，对抗训练的力量还没有实现盲源分离任务。在这项工作中，我们提出了一种新的方法，盲源分离（BSS）使用对抗的方法。我们依赖于源的独立性来对近似分离的源对创建对抗性约束，这确保了良好的分离。在图像源上进行的实验验证了我们的方法的良好性能，并提出了我们的方法作为一个有前途的方法来解决一般信号的盲分离。
2019-05-16 cs.LG cs.SD eess.AS
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories（杜比实验室）；Sapienza University of Rome（罗马第一大学）
通用声音分离包括分离与不同类型的任意声音的混合，并且使用排列不变训练（PIT）来训练这样做的源不可知模型。在这项工作中，我们补充PIT与对抗性损失，但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失，并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明，通过简单地改善损失（保持相同的模型和数据集），我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞，这在基于掩模的分离模型中无处不在，这突出了对抗性损失对声源分离的潜在相关性。
2023-03-06 cs.LG cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation（索尼公司）；University of Tsukuba（筑波大学）
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景，但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中，我们重新制定了各种对抗攻击方法的音频声源分离问题，并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法，以获得不可感知的对抗性噪声，同时以低计算复杂性最大化对分离质量的影响。实验结果表明，当为目标模型制作噪声时，添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Representation Learning for Audio Privacy Preservation using Source Separation and Robust Adversarial Learning
Tampere University（坦佩雷大学）；University of Helsinki（赫尔辛基大学）；Nokia Tech（诺基亚技术公司）
本研究提出整合源分离与对抗表示学习来学习音频潜在表示，防止区分语音与非语音，从而在保持声学监测性能的同时显著提升语音隐私保护效果。
2023-08-09 cs.CR cs.LG cs.SD
Adversarial Unsupervised Domain Adaptation for Harmonic-Percussive Source Separation
Doremir Music Research AB（多雷米尔音乐研究公司）；Queen Mary University of London（伦敦玛丽女王大学）
针对音乐声源分离的任务，提出了领域自适应的问题。使用来自两个不同领域的数据集，我们比较了不同训练场景下基于深度学习的谐波分离声源分离模型的性能，包括使用来自两个领域的数据进行监督联合训练，以及在一个领域中进行预训练并在另一个领域中进行微调。我们提出了一种对抗性的无监督领域自适应方法，适用于没有来自目标域的标记数据（地面实况源信号）的情况。通过利用未标记的数据（只有混合物）从这个领域，实验表明，我们的框架可以提高分离性能的新领域，而不会失去任何相当大的性能在原来的域。本文还介绍了Tap & Fiddle数据集，该数据集包含斯堪的纳维亚小提琴曲调的录音，以及“踢脚”和“小提琴”的孤立曲目。
2021-01-03 cs.LG cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University（早稻田大学）
设计了一种新的语音分离网络学习算法，以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时，观察到的信号的地面真相是不可访问的。尽管如此，针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数，并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明，该方法具有较高的分离精度和学习稳定性，可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Adversarial Generative NMF for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology（挪威科技大学）
针对单通道源分离问题，提出基于对抗学习的NMF基训练新方法，在少/无强监督数据的图像、音频分离任务中提升了重构信号质量。
2023-04-24 cs.LG cs.NA eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision
MERL（三菱电机研究实验室）
大多数音乐声源分离系统需要大量的孤立声源来进行训练，这可能很难获得。在这项工作中，我们使用乐谱，这是比较容易获得，作为一个弱标签训练声源分离系统。与以前的score-informed分离方法相比，我们的系统不需要孤立的源，并且score仅用作训练目标，不需要进行推理。我们的模型由一个分离器和一个转录器组成，分离器为每个仪器输出一个时频掩码，转录器充当评论家，提供时间和频率监督来指导分离器的学习。谐波掩码约束被引入作为在训练期间利用分数信息的另一种方式，并且我们提出了两种新的对抗性损失，用于转录器和分离器的额外微调。结果表明，使用分数信息的性能优于时间弱标签，而对抗性结构可以进一步提高分离和转录性能。
2020-10-22 cs.LG cs.SD eess.AS
A Two-stage Complex Network using Cycle-consistent Generative Adversarial Networks for Speech Enhancement
Communication University of China（中国传媒大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
循环一致的生成对抗网络（CycleGAN）已经显示出其在语音增强（SE）方面的良好性能，而这些基于CycleGAN的SE系统的一个棘手的缺点是噪声分量在整个循环中传播并且不能完全消除。此外，传统的基于CycleGAN的SE系统仅估计频谱幅度，而相位不变。受多阶段学习概念的启发，本文提出了一种新的两阶段去噪系统，该系统结合了基于CycleGAN的幅度增强网络和随后的复杂频谱细化网络。具体来说，在第一阶段，基于CycleGAN的模型只负责估计幅度，随后将其与原始噪声相位耦合以获得粗略增强的复频谱。在此之后，第二阶段应用于进一步抑制残余噪声分量并通过复谱映射网络估计干净相位，复谱映射网络是由复2D卷积/反卷积和复时频注意块组成的纯复值网络。在两个公开数据集上的实验结果表明，该方法在各种评估指标方面，特别是在背景噪声抑制方面，始终优于以前的单阶段CycleGAN和其他最先进的SE系统。
2021-09-05 cs.AI cs.SD eess.AS
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
Amicable examples for informed source separation
Sony Group Corporation, Japan（索尼集团公司，日本）
本文讨论了在所谓的\textit{encoding}阶段信源是可访问的情况下的信息声源分离（ISS）问题。以前的工作是在编码阶段计算边信息，并设计声源分离模型来利用边信息来提高分离性能。相比之下，在这项工作中，我们提高了不使用任何边信息的预训练分离模型的性能。为此，我们建议采用对抗攻击，目的相反，即，我们不是计算扰动来降低分离，而是计算称为友好噪声的不可察觉的扰动来改善分离。实验结果表明，该方法选择性地提高了目标分离模型的性能，平均为2.23 dB，并对信号压缩具有鲁棒性。此外，我们还提出了多模型多目的学习，分别控制扰动对不同模型的影响。
2022-02-18 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China（IBM中国研究院）；Shanghai Jiao Tong University（上海交通大学）
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说，我们的损失函数采用Wasserstein距离，直接测量分离的源和每个单独的源的真实源之间的分布距离。此外，增加了一个全局正则化项，以满足谱能量保持性质，而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同，我们的方法几乎不需要对数据进行先验模型规范，并且可以以端到端的方式直接学习。我们表明，所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Complex Cepstrum-based Decomposition of Speech for Glottal Source Estimation
Izmir Institute of Technology（伊兹密尔理工学院）
同态分析是一种用于分离非线性组合信号的众所周知的方法。更具体地说，在各种文章中已经讨论了使用复倒谱进行源道反褶积。然而，目前还没有研究提出了一种基于倒谱的声门流量估计方法，并报道了有效的结果。在本文中，我们表明，复倒谱可以有效地用于声门流量估计，通过分离的因果和anticausal成分的加窗语音信号所做的零的Z变换（ZZT）分解。基于与ZZT分解完全相同的原理，应该应用加窗，使得加窗后的语音信号呈现出符合语音产生模型的混合相位特性，即反音分量主要是由于声门流开放相位。与ZZT分解相比，基于复倒谱的方法的优点是其速度快得多。
2019-12-29 cs.CL cs.SD eess.AS
