Cross-modal variational inference for bijective signal-symbol translation
Sorbonne Université（索邦大学）
从信号中提取符号信息是一个活跃的研究领域，使得许多应用，特别是在音乐信息检索领域。这个复杂的任务，也涉及到其他主题，如音高提取或乐器识别，是一个苛刻的主题，产生了许多方法，主要是基于先进的信号处理算法。然而，这些技术通常是非通用的，允许提取信号的明确的物理属性（音高，倍频程），但不允许任意的词汇表或更一般的注释。最重要的是，这些技术是片面的，这意味着它们可以从音频信号中提取符号数据，但不能执行相反的过程并生成符号到信号。在本文中，我们提出了一个双射的信号/符号转换的方法，把这个问题转化为一个密度估计任务的信号和符号域，考虑相关的随机变量。我们用两个不同的变分自动编码器来估计这个联合分布，每个域一个，其内部表示被迫与加性约束相匹配，允许两个模型分别学习和生成，同时允许信号到符号和符号到信号的推断。在这篇文章中，我们测试我们的模型的音高，八度和动态符号，其中包括音乐转录和标签约束的音频生成的基本步骤。除了它的多功能性之外，这个系统在训练和生成过程中相当轻便，同时允许我们在文章末尾概述的几个有趣的创造性用途。
2020-02-10 cs.LG stat.ML
On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes
University of Oxford（牛津大学）；University College London（伦敦大学学院）
我们证明了在训练具有重要性加权变分推断的深度高斯过程（DGP）中使用的梯度估计容易受到信噪比（SNR）问题的影响。具体而言，我们表明，无论是理论上和通过一个广泛的经验评估，潜在变量的变分参数的梯度估计的SNR降低的重要性样本的数量增加。结果，如果重要性样本的数量太大，则这些梯度估计退化为纯噪声。为了解决这个问题，我们展示了如何双重重新参数化梯度估计，最初提出的训练变分自动编码器，可以适应DGP设置，所得到的估计完全补救的SNR问题，从而提供更可靠的训练。最后，我们证明了我们的修复可以导致DGP模型的预测性能的持续改善。
2021-07-21 cs.AI cs.LG stat.ME
Concentration of tempered posteriors and of their variational approximations
CREST（统计与经济研究中心）；ENSAE（国立统计与经济管理学院）；Capital Fund Management（资本基金管理公司）
虽然贝叶斯方法在统计学和机器学习中非常流行，但它们在大规模数据集上的应用通常具有挑战性。实际上，当模型维数和样本量都很大时，经典的MCMC算法是非常慢的。变分贝叶斯方法的目的是近似后验分布在一个易于处理的家庭。因此，MCMC被更快数量级的优化算法所取代。VB方法已被应用于计算要求高的应用，包括协同过滤，图像和视频处理，NLP和文本处理...然而，尽管在实践中有很好的结果，这些近似的理论性质通常是未知的。本文提出了一种证明分数阶后验变分逼近集中性的一般方法。我们将我们的理论应用于两个例子：矩阵完成和高斯VB。
2019-04-22 cs.LG math.ST stat.TH
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation（电装公司）；Toyohashi University of Technology（丰桥技术科学大学）
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而，在时间序列分析中，大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法，目前还没有得到广泛的讨论。在本文中，我们提出了一种新的聚类算法，侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明，该算法不仅对相移、幅度和信号长度的变化具有鲁棒性，而且基于变分贝叶斯方法的特性，提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
A Multimodal Anomaly Detector for Robot-Assisted Feeding Using an LSTM-based Variational Autoencoder
Georgia Institute of Technology（佐治亚理工学院）
异常执行的检测对于减少辅助操作中的潜在危害具有重要意义。多模态感觉信号可以有助于检测广泛的异常。然而，高维和异构模态的融合是一个具有挑战性的问题。我们介绍了一种基于长短期记忆的变分自编码器（LSTM-VAE），它融合信号并重建它们的预期分布。我们还引入了一个基于LSTM-VAE的检测器，使用基于重建的异常分数和基于状态的阈值。对于包括12种代表性异常类型的1，555次机器人辅助喂食执行的评估，我们的检测器的受试者工作特征曲线（AUC）下的面积为0.8710，高于文献中的其他5种基线检测器。我们还表明，通过LSTM-VAE的多模态融合是有效的，通过比较我们的检测器与17个原始感觉信号与4个手工设计的功能。
2017-11-02 cs.LG cs.RO
Quantum Kolmogorov-Arnold networks by combining quantum signal processing circuits
本研究提出通过分层组合量子信号处理电路在量子计算机上等效实现KAN的方案，为KAN的量子应用提供了强大稳健的新路径。
2024-10-05 cs.LG quant-ph
Multiview Variational Graph Autoencoders for Canonical Correlation Analysis
Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）
提出了一种基于变分方法的多视角典型相关分析模型。这是第一个非线性模型，它考虑了可用的基于图形的几何约束，同时可扩展用于处理具有多个视图的大规模数据集。它基于具有图形卷积神经网络层的自动编码器架构。我们在真实数据集上对我们的分类，聚类和推荐任务进行了实验。该算法与最先进的多视图表示学习技术具有竞争力。
2021-10-04 cs.LG stat.ML
A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning
ARC Centre of Excellence for Mathematical & Statistical Frontiers（ARC数学与统计前沿卓越中心）；Queensland University of Technology（昆士兰科技大学）；Beijing Institute of Technology（北京理工大学）；University of Technology Sydney（悉尼科技大学）
使用非负矩阵分解（NMF）构造字典在信号处理和机器学习中具有广泛的应用。随着深度学习的进步，使用深度神经网络训练紧凑和鲁棒的字典，即，字典的深度特征，已经提出。在这项研究中，我们提出了一个概率生成模型，它采用了变分自编码器（VAE）进行非负字典学习。与现有的VAE模型相比，我们将模型置于一个潜变量服从Gamma分布的统计框架下，并设计了一个新的损失函数来保证非负字典。我们采用了一个接受拒绝采样重新参数化技巧迭代更新的潜变量。我们将从VAE-NMF学习的字典应用于两个信号处理任务，即，语音增强和肌肉提取协同作用。实验结果表明，VAE-NMF在学习潜在的非负字典的最先进的方法相比，表现更好。
2023-01-18 cs.LG eess.SP
A Unified Deep Learning Formalism For Processing Graph Signals
IMT Atlantique（大西洋国立高等矿业电信学院）；MILA（蒙特利尔学习算法研究所）
卷积神经网络在处理定义在离散欧几里德空间上的信号（例如图像）时非常有效。然而，由于它们不能用于定义在任意图上的信号，因此出现了其他模型，旨在扩展其属性。我们建议回顾一些主要的深度学习模型，旨在利用信号的底层图形结构。我们用统一的形式主义来表达它们，给它们一种新的和比较性的解读。
2019-05-01 cs.LG stat.ML
Variational Recurrent Neural Networks for Graph Classification
Telecom ParisTech（巴黎高等电信学院）；Safran（赛峰集团）
我们解决的问题，图的分类只基于结构信息。受自然语言处理技术（NLP）的启发，我们的模型顺序地嵌入信息来估计类成员概率。此外，我们还尝试了NLP类变分正则化技术，使模型在读取序列时预测序列中的下一个节点。我们的实验表明，我们的模型在几个标准分子数据集上实现了最先进的分类结果。最后，我们进行了定性分析，并就节点预测是否有助于模型更好地分类图给出了一些见解。
2019-05-13 cs.LG stat.ML
Augmenting Training Data with Vector-Quantized Variational Autoencoder for Classifying RF Signals
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nexcepta（内克塞克萨公司）
本文针对低信噪比下标记射频信号数据不足的问题，提出用VQ-VAE生成高保真合成信号以增强训练集，显著提升基线分类器的准确率、泛化性与鲁棒性。
2024-10-23 cs.LG cs.NI eess.SP
A variational approach to path estimation and parameter inference of hidden diffusion processes
ETH Zurich（苏黎世联邦理工学院）；Louisiana State University（路易斯安那州立大学）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种变分方法，用于估计隐扩散过程的路径并推断参数，通过高效推理方案提升对随机微分方程参数的估计精度。
2016-10-25 cs.LG cs.SY eess.SY
Modeling neural dynamics during speech production using a state space variational autoencoder
Department of Neurological Surgery（神经外科系）；Center for Integrative Neuroscience（整合神经科学中心）；UC San Francisco（加州大学旧金山分校）
在许多研究领域中，表征行为的神经编码仍然是一项具有挑战性的任务，部分原因是诱发脑活动的复杂和嘈杂的时空动力学。对这些神经编码进行建模的一个重要方面涉及将稳健的、行为相关的信号与背景活动分离，背景活动通常包含来自不相关的大脑过程的信号和来自先前行为事件的衰减信息。为了实现这种分离，我们开发了一个两个分支的状态空间变分自编码器（SSVAE）模型来分别描述瞬时诱发的前景信号和上下文相关的背景信号。我们使用平滑高斯混合模型对自发语音诱发的脑动力学进行建模。通过应用所提出的SSVAE模型来跟踪一个参与者在多个小时内的ECoG动态，我们发现该模型可以比其他潜在因素推理算法更准确地预测语音相关的动态。我们的研究结果表明，分别建模的瞬时语音诱发和缓慢的上下文相关的大脑动力学可以提高跟踪性能，这对先进的神经编码和解码模型在各种神经科学的子学科的发展具有重要意义。
2019-01-13 cs.HC cs.LG cs.NE
Modelling Non-Smooth Signals with Complex Spectral Structure
University of Cambridge（剑桥大学）；Invenia Labs（Invenia实验室）；University of Oxford（牛津大学）；Oxford-Man Institute（牛津曼研究所）
高斯过程卷积模型（GPCM; Tobar等人，2015 a）是具有复杂频谱结构的信号的模型。GPCM的一个重要限制是它假设了一个快速衰减的频谱：它只能模拟平滑信号。此外，GPCM中的推断目前需要（1）平均场假设，导致校准不良的不确定性，以及（2）对大的协方差阵进行繁琐的变分优化。我们重新设计的GPCM模型，以诱导一个更丰富的分布在频谱上与宽松的假设平滑度：因果高斯过程卷积模型（CGPCM）引入了因果关系的假设GPCM，和粗糙高斯过程卷积模型（RGPCM）可以被解释为贝叶斯非参数概括的分数奥恩斯坦-乌伦贝克过程。我们还提出了一个更有效的变分推断计划，超越了平均场假设：我们设计了一个吉布斯采样器，直接从最佳变分解的样本，完全规避任何变分优化。在合成和真实世界的数据实验中，GPCM的建议的变化进行了验证，显示出良好的效果。
2022-04-14 cs.LG eess.SP stat.ML
Gasper: GrAph Signal ProcEssing in R
本文介绍 R 语言 gasper 包，用于图信号处理，并提供 SuiteSparse 矩阵集合接口。
2023-12-28 cs.LG eess.SP stat.CO
VaPar Synth -- A Variational Parametric Model for Audio Synthesis
Indian Institute of Technology Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）
随着数据驱动的统计建模和丰富的计算能力的出现，研究人员越来越多地转向深度学习来进行音频合成。这些方法试图直接在时域或频域中对音频信号进行建模。为了更灵活地控制所生成的声音，利用更直接地对应于诸如音高、动态和音色的音乐属性的信号的参数表示来工作可能更有用。我们提出了VaPar合成器-变分参数合成器，它利用一个条件变分自动编码器（CVAE）训练一个合适的参数表示。我们证明了我们提出的模型的能力，通过重建和生成的乐器音调灵活控制其音高。
2020-03-30 cs.LG cs.SD eess.AS
Extreme Learning Machine for Graph Signal Processing
KTH Royal Institute of Technology（瑞典皇家理工学院）
在本文中，我们使用基于正则化的图信号处理来改进回归任务的极端学习机器。我们假设用于预测或回归的目标信号是图形信号。在这个假设下，我们使用正则化来强制极端学习机的输出在给定的图上是平滑的。真实数据的仿真结果证实，当可用的训练数据大小有限且被噪声破坏时，这种正则化有显著的帮助。
2018-03-12 cs.LG eess.SP stat.ML
Variational decomposition autoencoding improves disentanglement of latent representations
Dept. of Biomedical Engineering, Khalifa University of Science and Technology（生物医学工程系，哈利法大学）；School of Electrical and Computer Engineering, Aristotle University of Thessaloniki（电气与计算机工程学院，亚里士多德大学）
变分分解自编码器通过信号分解模型和对比自监督任务，提升高维动态信号的潜在表示解耦能力，适用于语音识别和情感分类等任务。
2026-11-02 cs.AI cs.LG eess.AS
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University（博阿齐奇大学）；MEF University（MEF大学）
在本文中，我们提出了一种声源分离方法，该方法通过观察混合物和混合物中存在的源的类标签来训练，而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签，而只需要构成混合信号的每个源的单个标签，因此我们将这种情况称为弱类监督。我们将变分自编码器（VAE）与非负（组合）模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后，我们为每个源类获得了一个生成模型，并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明，源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
Signal Processing on Higher-Order Networks: Livin' on the Edge ... and Beyond
RWTH Aachen University（亚琛工业大学）；Rice University（莱斯大学）；Université Paris-Sud（巴黎第十一大学）
在本教程中，我们将对高阶网络上的信号处理这一新兴主题进行教学处理。从离散和图形信号处理中进行类比，我们介绍了用于处理单纯复形和超图数据的构建块，这两种常见的高阶网络抽象可以包含polyadic关系。我们提供简单的复合物和超图的简要介绍，特别强调这些结构上支持的信号处理所需的概念。具体来说，我们讨论傅立叶分析，信号去噪，信号插值，节点嵌入，并通过神经网络的非线性处理，使用这两个高阶网络模型。在单纯复形的背景下，我们特别关注使用霍奇拉普拉斯矩阵的信号处理，霍奇拉普拉斯矩阵是一种多关系运算符，它利用单纯复形的特殊结构，并将拉普拉斯矩阵在图形信号处理中的理想特性推广。对于超图，我们提出了矩阵和张量表示，并讨论了采用一个或另一个的权衡。我们还强调了限制和潜在的研究途径，既告知从业人员，并激励新的研究人员对该领域的贡献。
2022-02-20 cs.LG cs.SI physics.soc-ph
Dirac-Equation Signal Processing: Physics Boosts Topological Machine Learning
School of Mathematical Sciences, Queen Mary University of London（伦敦玛丽女王大学数学科学学院）；Nordita, KTH Royal Institute of Technology（北欧理论物理研究所、皇家理工学院）；Stockholm University（斯德哥尔摩大学）；Center for Systems Biology Dresden（德累斯顿系统生物学中心）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）
本文提出狄拉克方程信号处理框架，利用拓扑狄拉克算子的谱特性，提升信号处理性能，适用于非平滑或非谐振的真实信号。
2024-12-06 cond-mat.dis-nn cs.LG cs.SI
Signal Processing on Cell Complexes
Rice University（莱斯大学）；RWTH Aachen University（亚琛工业大学）；Santa Clara University（圣克拉拉大学）
支持在非欧域上的信号处理近年来引起了人们的极大兴趣。到目前为止，这种非欧几里德域主要被抽象为节点上支持信号的图，尽管也考虑了更一般结构（如单纯复形）上的信号处理。在本文中，我们给出了一个介绍（抽象的）正规细胞复合体，它提供了一个统一的框架，包括图形，单纯形复合体，立方复合体和各种网格作为特殊情况下的信号处理。我们讨论如何适当的霍奇拉普拉斯算子，这些细胞复合体可以派生。这些Hodge Laplacian使得能够构造卷积滤波器，该卷积滤波器可以通过在细胞复合体上定义的神经网络用于线性滤波和非线性滤波。
2022-02-20 cs.LG cs.SI eess.SP
Dirac signal processing of higher-order topological signals
Queen Mary University of London（伦敦玛丽女王大学）；RWTH Aachen University（亚琛工业大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出基于离散狄拉克算子的狄拉克信号处理方法，联合一致地过滤单纯复形节点、链接和三角形上的含噪拓扑信号，并在合成与海洋漂流浮标数据上验证其优于仅用霍奇拉普拉斯算子的算法。
2023-08-23 cond-mat.dis-nn cs.LG cs.SI
