On the Expressiveness of Approximate Inference in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
虽然贝叶斯神经网络（BNN）有望成为灵活的、校准良好的统计模型，但推理通常需要近似，其结果知之甚少。我们研究了常见的变分方法在近似贝叶斯预测分布的质量。对于单隐藏层ReLU BNN，我们证明了在权重空间中定义的两种最常用分布的函数空间中的基本限制：平均场高斯分布和蒙特卡罗dropout分布。我们发现，在一些简单的情况下，两种方法都不能大幅增加低不确定性的分离区域之间的不确定性。我们提供了强有力的经验证据，确切的推理没有这种病理，因此，它是由于近似，而不是模型。相比之下，对于深度网络，我们证明了一个普适性结果，表明在上述类别中存在近似后验，提供了灵活的不确定性估计。然而，我们根据经验发现，当在更深的网络中执行变分推断时，与单隐藏层情况类似形式的病理可以持续存在。我们的研究结果激励仔细考虑BNN近似推理方法的影响。
2020-10-23 cs.LG stat.ML
Variational Collaborative Learning for User Probabilistic Representation
Cooperative Madianet Innovation Center（媒体网络协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
协同过滤（CF）已成功地应用于许多现代推荐系统。传统的基于CF的方法使用用户-项目交互数据作为向用户推荐项目的唯一信息源。然而，基于CF的方法已知遭受冷启动问题和数据稀疏问题。在交互数据之上利用辅助信息的混合模型越来越受到关注。最近提出了一些基于“协作学习”的模型，通过相互正则化将两个异构学习者紧密地连接起来，用于混合推荐。然而，现有方法中的“协作”实际上是异步的，这是由于两个学习器的交替优化。利用变分自编码器~（VAE）的最新进展，本文提出了一种由两个相互关联的VAE流组成的模型，称为变分协作模型（VCM）。与以前的作品中使用的两个学习者异步优化的相互正则化不同，VCM实现了同步协作学习机制。此外，两个流VAE设置允许VCM在协作学习中充分利用贝叶斯概率表示。在三个真实数据集上的大量实验表明，VCM优于几种最先进的方法。
2018-09-22 cs.LG stat.ML
Efficient Approximate Inference with Walsh-Hadamard Variational Inference
EURECOM（欧洲通信学院）
变分推断提供了可扩展和灵活的工具来解决现代统计模型（如贝叶斯神经网络和高斯过程）的棘手贝叶斯推断。然而，对于大部分过参数化模型，变分目标的过正则化性质使得变分推断的应用具有挑战性。受核方法文献的启发，特别是随机矩阵分布的结构化近似，本文提出了Walsh-Hadamard变分推断，它使用基于Walsh-Hadamard的因子分解策略来减少模型参数化，加速计算，并增加近似后验的表达能力。
2019-11-29 cs.LG stat.ML
Expressive recommender systems through normalized nonnegative models
Massachusetts Institute of Technology（麻省理工学院）
我们引入归一化非负模型（NNM）的探索性数据分析。NNM是概率论模型的部分凸化。并以项目推荐为例说明了它们的价值。我们表明，NNM为基础的推荐系统满足三个标准，所有推荐系统应该理想地满足：高预测能力，计算的易处理性，和表达的用户和项目。在实践中，表达性的用户和项目表示对于简洁地总结客户池和项目池非常重要。在NNM中，用户表示是表达性的，因为每个用户的偏好可以被视为常规用户的偏好的归一化混合。项目和用户表示的可解释性允许我们安排项目的属性（例如，电影的类型或文档的主题）或用户（例如，人格特质）。
2015-11-15 cs.LG stat.ML
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定：a）变分分布匹配真实后验的能力和b）识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现，从真正的后验发散往往是由于不完善的识别网络，而不是有限的复杂性的近似分布。我们表明，这部分是由于发电机学习，以适应近似的选择。此外，我们表明，用于增加近似的表达能力的参数在推广推理中发挥作用，而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow（三星莫斯科人工智能中心）；National Research University Higher School of Economics（国立研究型高等经济学院）；NRU HSE（国立研究型高等经济学院）
变分推断是贝叶斯建模工具包中的一个强有力的工具，然而，它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来，变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍，我们引入了一个新的家庭的边际对数密度的情况下，分层模型（也称为潜变量模型）的变分上界。然后，我们给出了一个上界的库尔贝克-莱布勒散度，并推导出一个家庭越来越紧密的变分下界，否则难以处理的标准证据下界分层变分分布，使使用更有表现力的近似后验。我们表明，以前已知的方法，如分层变分模型，半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下，并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Variational Gaussian Process Diffusion Processes
Aalto University（阿尔托大学）；University Pompeu Fabra（庞培法布拉大学）
针对非线性扩散过程先验下推断不可处理的问题，本文提出基于位点指数族的高斯变分过程参数化，将不动点推断转化为类自然梯度的凸优化，并改善参数学习目标。
2024-02-27 cs.LG stat.ML
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology（佐治亚理工学院）；Institute for Robotics Intelligent Machines（机器人与智能机器研究所）
大规模高斯过程推理长期以来一直面临着实际的挑战，由于时间和空间的复杂性，是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习，但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中，我们提出了一种新的变分高斯过程模型，在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明，这种新的参数化推广以前的模型。此外，它产生了一个变分推断问题，可以解决的随机梯度上升的时间和空间的复杂性，只有线性的平均函数参数的数量，无论选择的内核，似然，和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验，结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
A Variational Approach to Bayesian Phylogenetic Inference
Peking University（北京大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
本文提出一种变分推断框架用于贝叶斯系统发育分析，结合子分割贝叶斯网络与分支长度摊销，以更少迭代实现与MCMC相当的性能，并在真实数据基准上验证了有效性。
2024-05-22 cs.LG stat.ML
Top-N recommendations from expressive recommender systems
Massachusetts Institute of Technology（麻省理工学院）
归一化非负模型为用户分配概率分布，为项目分配随机变量;参见[Stark，2015]。对一个项目进行评级被认为是对分配给该项目的随机变量进行采样，该随机变量是关于分配给对该项目进行评级的用户的分布的。那种模特儿的表现力很强。例如，使用规范化的非负模型，我们可以将用户的偏好理解为可解释的用户原型的混合，并且我们可以以分层的方式排列用户和项目的属性。如果标准化非负模型的预测能力很差，这些特征就没有用了。因此，我们在这里分析了用于前N个推荐的归一化非负模型的性能，并观察到它们的性能与在[Cremonesi et al.，2010年]。我们的结论是，规范化的非负模型不仅提供准确的建议，但他们也提供（免费）的表示是可解释的。我们深化规范化的非负模型的讨论，提供进一步的理论见解。特别是，我们引入总变分距离作为操作相似性度量，我们发现的情况下，规范化的非负模型产生的用户和项目的唯一表示，我们证明了最佳规范化的非负模型的推理是NP-难的，最后，我们讨论了规范化的非负模型和非负矩阵分解之间的关系。
2015-11-20 cs.LG stat.ML
Learning to Draw Samples with Amortized Stein Variational Gradient Descent
我们提出了一个简单的算法来训练随机神经网络从给定的目标分布中抽取样本进行概率推理。我们的方法基于迭代调整神经网络参数，使得输出沿着Stein变分梯度方向变化（Liu & Wang，2016），该方向最大限度地降低了目标分布的库尔贝克-莱布勒散度。我们的方法适用于任何由其非归一化密度函数指定的目标分布，并且可以训练任何黑盒架构，这些架构在我们想要适应的参数方面是可微的。我们展示了我们的方法与一些应用程序，包括变分自动编码器（VAE）与表达编码器来模拟复杂的潜在空间结构，和超参数学习的MCMC采样器，允许贝叶斯推断，以自适应地提高自己看到更多的数据。
2017-10-30 stat.ML
Bi-level Doubly Variational Learning for Energy-based Latent Variable Models
Beihang University（北京航空航天大学）；Nanjing Tech University（南京工业大学）；Baidu Research（百度研究院）；University of Technology of Troyes（特鲁瓦技术大学）
基于能量的潜变量模型（EBLVMs）比传统的基于能量的模型更有表现力。然而，其在视觉任务上的潜力受到其基于最大似然估计的训练过程的限制，该过程需要从两个棘手的分布中采样。在本文中，我们提出了双层双变分学习（BiDVL），它是基于一个新的双层优化框架和两个易于处理的变分分布，以促进学习EBLVMs。特别地，我们引入了一个解耦的EBLVM，由基于边缘能量的分布和结构后验组成，以处理在图像上学习深度EBLVM时的困难。通过在我们的框架的较低层次中选择对称KL发散，可以获得用于视觉任务的紧凑BiDVL。我们的模型实现了令人印象深刻的图像生成性能超过相关作品。同时也证明了该算法在测试图像重建和分布外检测方面的显著能力。
2022-03-24 cs.CV cs.LG stat.ML
Recommender Systems meet Mechanism Design
Yale University（耶鲁大学）；MIT（麻省理工学院）
机器学习已经开发了各种工具来学习和表示具有结构的高维分布。近年来，在设计多项机制方面也取得了很大进展。然而，类似于过拟合，这些机制可能对它们所针对的贝叶斯先验极其敏感，当先验仅近似已知时，这就成了问题。与此同时，即使获得精确的贝叶斯先验，它是已知的，最佳的，甚至近似最佳的多项机制运行到样本，计算，表示和通信棘手的障碍。我们考虑一个自然类的多项目机制设计问题，非常大的项目数，但投标人的价值分布可以很好地近似的主题模型，类似于那些在推荐系统中使用非常大量的可能的建议。我们提出了一个机制设计框架，这种设置，建立在最近的鲁棒化框架的Brustle等人，其将估计多维先验的统计挑战与为其设计良好机制的任务分开，并且针对前者的估计误差增强后者的性能。我们提供了一个扩展的框架，适合我们的设置，这使我们能够利用主题模型的表达能力，以减少有效的维度的机制设计问题，并删除依赖的计算，通信和表示的复杂性的项目数。
2022-03-31 cs.GT cs.IR cs.LG
Pseudo-Mallows for Efficient Probabilistic Preference Learning
我们提出了伪Mallow分布的集合上的所有排列的$n$项目，近似的后验分布与Mallow的可能性。Mallow模型已被证明是有用的推荐系统，它可以用来学习个人偏好，从用户提供的高度不完整的数据。然而，基于MCMC的推断是缓慢的，阻止其在实时应用中的使用。伪马洛斯分布是单变量离散类马洛斯分布的乘积，被约束保持在排列空间中。近似的质量取决于用于确定因子分解序列的$n$项的顺序。在变分设置中，我们通过最小化边缘化KL发散来优化变分序参数。我们提出了一个近似算法，这种离散优化，并推测一定形式的最佳变分顺序，取决于数据。经验证据和一些理论支持我们的猜想。当数据以项目的部分排名或点击某些项目的形式存在时，与其他基于MCMC的选项相比，从伪马洛分布中采样允许快速偏好学习。通过模拟和现实生活中的数据案例研究，我们证明了伪马洛模型可以很好地学习个人偏好，并更有效地进行推荐，同时保持与精确贝叶斯马洛模型相似的准确性。
2022-05-27 stat.ME
VFlow: More Expressive Generative Flows with Variational Data Augmentation
Tsinghua University（清华大学）；RealAI（瑞莱智慧）
生成流是有前途的易处理的模型，密度建模，定义概率分布与可逆变换。然而，易处理性对生成流施加了架构约束，使得它们比其他类型的生成模型表现力更差。在这项工作中，我们研究了一个以前被忽视的约束，即由于可逆性，所有中间表示必须与原始数据具有相同的维数，从而限制了网络的宽度。我们通过用一些额外的维度来增强数据，并在变分推断框架下联合学习增强数据的生成流以及增强维度的分布来解决这个约束。我们的方法VFlow是生成流的推广，因此总是表现得更好。结合现有的生成流，VFlow在CIFAR-10数据集上实现了新的最先进的每维2.98位，比以前的模型更紧凑，可达到类似的建模质量。
2020-07-22 cs.LG stat.ML
Exploration-Exploitation Motivated Variational Auto-Encoder for Recommender Systems
Duke University（杜克大学）；Virginia Tech（弗吉尼亚理工大学）
近年来，由于企业越来越需要帮助用户发现新的和相关的项目，协同过滤技术的快速发展，以提高推荐系统的性能。然而，大多数现有的文献集中在提供的项目相匹配的用户模型从用户的过去的喜好。一个好的推荐模型应该推荐已知的喜欢的项目和新奇的尝试项目。在这项工作中，我们引入了一个开发探索动机的变分自动编码器（XploVAE）的协同过滤。为了便于个性化推荐，我们构建了用户特定的子图，其中包含一阶接近捕获观察到的用户-项目交互的剥削和高阶接近探索。利用层次潜在空间模型学习给定用户的个性化项目嵌入，以及所有用户子图的总体分布。最后，在各种真实数据集上的实验结果清楚地表明了我们提出的模型在利用和探索推荐任务方面的有效性。
2021-06-10 cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI，一种基于扩散模型的黑盒变分推断算法，通过迭代优化潜在空间后验，提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Angle-Based Models for Ranking Data
引入了一类新的广义指数排序模型，我们将其标记为基于角度的排序模型。假设一个共识得分向量，它为一组项目分配得分，其中得分反映了项目相对偏好的共识视图。观察排名的概率被建模为与其与共识向量的角度的余弦成比例。贝叶斯变分推断被用来确定相应的预测密度。通过仿真实验可以看出，贝叶斯变分推断方法不仅比传统MCMC方法具有很大的计算优势，而且避免了使用极大似然方法时固有的过拟合问题。该模型也适用于大量的项目进行排名，这通常是一个NP-难的问题，找到其他类别的排名模型的参数估计。模型扩展到不完整的排名和混合模型也被开发。实际数据应用表明，该模型和扩展可以处理不同的任务，排名数据的分析。
2017-12-23 stat.ME
Modeling Item Response Theory with Stochastic Variational Inference
Stanford University（斯坦福大学）
项目反应理论（IRT）是一个普遍存在的模型，用于根据人们对问题的反应来理解人类的行为和态度。大型现代数据集提供了捕捉人类行为中更多细微差别的机会，可能会改善心理测量建模，从而改善科学理解和公共政策。然而，虽然更大的数据集允许更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有大量的计算需求，这禁止了现实世界的应用。为了解决这个瓶颈，我们引入了一个变分贝叶斯推理算法的IRT，并表明它是快速和可扩展的，而不牺牲准确性。将此方法应用于认知科学和教育的五个大规模项目反应数据集，与其他推理算法相比，在填补缺失数据方面产生了更高的对数似然和更高的准确性。使用这种新的推理方法，我们然后将IRT与反应的表达贝叶斯模型进行推广，利用深度学习的最新进展，使用神经网络捕获非线性项目特征曲线（ICC）。使用TIMSS的八年级数学测试，我们表明我们的非线性IRT模型可以捕获有趣的非对称ICC。算法实现是开源的，易于使用。
2022-07-28 cs.LG stat.ML
Item Cold Start Recommendation via Adversarial Variational Auto-encoder Warm-up
Tencent News（腾讯新闻）
随机初始化的项目ID嵌入和经过良好训练的暖项目ID嵌入之间的差距使得冷项目难以适应推荐系统，该推荐系统是在历史暖项目数据上训练的。为了缓解新项目推荐的性能下降，新项目ID嵌入的分布应该接近历史热门项目的分布。为了实现这一目标，我们提出了一个对抗变分自动编码器预热模型（AVAEW）来为冷项生成预热项ID嵌入。具体来说，我们开发了一个条件变分自动编码器模型，以利用项目的边信息来生成预热项目ID嵌入。特别是，我们引入了一个对抗模块来加强热身项目ID嵌入分布和历史项目ID嵌入分布之间的对齐。我们通过在公开数据集上的大量离线实验和在真实世界的大规模新闻推荐平台上的在线A/B测试，证明了所提出的方法的有效性和兼容性。
2023-02-28 cs.AI cs.IR cs.LG
Learning more expressive joint distributions in multimodal variational methods
TU Berlin（柏林工业大学）
数据通常由多种形式组成，共同描述观察到的现象。对多模态数据的联合分布建模需要更大的表达能力来捕获高级概念并提供更好的数据表示。然而，基于变分推理的多模态生成模型是有限的，由于缺乏灵活性的近似后验，这是通过搜索一个已知的参数分布族。我们介绍了一种方法，提高了多峰变分方法的表示能力，使用归一化流。它用一个简单的参数分布近似联合后验，然后转换成一个更复杂的后验。通过几个实验，我们证明了该模型提高了最先进的多模态方法的基础上变分推理的各种计算机视觉任务，如着色，边缘和掩模检测，弱监督学习。我们还表明，学习更强大的近似联合分布提高了生成的样本的质量。我们模型的代码可在https://github.com/SashoNedelkoski/BPFDMVM上公开获得。
2020-09-08 cs.AI cs.CV cs.LG
Variational Temporal IRT: Fast, Accurate, and Explainable Inference of Dynamic Learner Proficiency
Stanford University（斯坦福大学）；Amazon.com LLC（亚马逊公司）
提出变分时间IRT（VTIRT），实现动态学习者能力的快速、准确且可解释推断，在9个真实数据集上优于其他模型。
2023-11-14 cs.LG stat.ML
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
Item Recommendation with Variational Autoencoders and Heterogenous Priors
Columbia University（哥伦比亚大学）；Netflix（网飞）
近年来，变分自动编码器（VAE）已被证明是非常有效的标准协同过滤应用程序和扩展，如纳入隐式反馈。我们将VAE扩展到带有辅助信息的协同过滤，例如当评级与用户的明确文本反馈相结合时。而不是使用一个用户不可知的标准高斯先验，我们将用户相关的先验在潜在的VAE空间编码用户的偏好作为功能的评论文本。综合考虑评分和文本信息，在多模态潜在空间中表示用户，有望提高推荐质量。我们提出的模型优于现有的VAE模型的协同过滤（高达29.41%的排名指标的相对改善）以及其他基线，将用户评级和文本的项目推荐。
2018-10-07 cs.IR cs.LG stat.ML
Conditioned Variational Autoencoder for top-N item recommendation
University of Padova（帕多瓦大学）
在本文中，我们提出了一个有条件的变分自编码器（C-VAE）的约束top-N项目推荐，其中推荐的项目必须满足一个给定的条件。所提出的模型架构类似于标准VAE，其中条件向量被馈送到编码器中。由于考虑了输入条件的新的重建损失，在训练期间学习受约束的排名。我们表明，我们的模型概括了国家的最先进的多VAE协同过滤模型。此外，我们还提供了关于C-VAE在潜在空间中学习的内容的见解，提供了人性化的解释。实验结果强调了C-VAE在约束条件下提供准确建议的潜力。最后，所进行的分析表明，C-VAE可以用于其他推荐场景，如上下文感知推荐。
2020-05-04 cs.IR cs.LG
Incorporating Expressive Graphical Models in Variational Approximations: Chain-Graphs and Hidden Variables
School of Computer Science & Engineering, Hebrew University（希伯来大学计算机科学与工程学院）
图形模型中的全局变分近似方法允许通过使用更简单的模型来有效地近似推断复杂的后验分布。近似模型的选择决定了近似过程的复杂性和近似质量之间的权衡。在本文中，我们考虑变分近似的基础上，比标准的贝叶斯网络，马尔可夫网络或混合模型更丰富的两类模型。因此，这些类允许在近似谱中找到更好的折衷。第一类模型是链图，它捕获部分有向的分布。第二类模型是有向图（贝叶斯网络）与额外的潜在变量。这两个类都允许表示在贝叶斯网络中无法轻松表示的多变量依赖关系。
2013-01-10 cs.AI cs.LG
Item-based Variational Auto-encoder for Fair Music Recommendation
Pohang University of Science and Technology（浦项科技大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
我们为EvalRS DataChallenge提供解决方案。EvalRS DataChallenge旨在构建一个更现实的推荐系统，考虑评估的准确性，公平性和多样性。我们提出的系统是基于一个基于项目的变分自动编码器（VAE）和贝叶斯个性化排名矩阵分解（BPRMF）之间的合奏。为了减轻受欢迎程度的偏差，我们对每个受欢迎程度组使用基于项目的VAE，并附加公平正则化。为了在预测不准确的情况下也能做出合理的推荐，我们将BPRMF的推荐列表和基于项目的VAE的推荐列表相结合。通过实验，我们证明了基于项目的VAE与公平正则化显着减少流行的偏见相比，基于用户的VAE。基于项目的VAE和BPRMF之间的集成使得即使预测不准确，前1项也与地面实况相似。最后，我们提出了一个“系数方差为基础的公平性”作为一种新的评价指标的基础上，我们从广泛的实验反射。
2022-10-24 cs.CY cs.IR cs.LG
Joint Variational Autoencoders for Recommendation with Implicit Feedback
Ontario Tech University（安大略理工大学）
变分自编码器（VAE）最近在隐式反馈的协同过滤中表现出很好的性能。这些现有的推荐模型学习用户表示来重建或预测用户偏好。我们介绍了联合变分自编码器（JoVA），两个VAE的合奏，其中VAE共同学习用户和项目表示，并共同重建和预测用户的喜好。这种设计允许JoVA同时捕获用户-用户和项目-项目的相关性。通过使用基于铰链的成对损失函数（JoVA-Hinge）扩展JoVA的目标函数，我们进一步将其专门用于具有隐式反馈的top-k推荐。我们在几个真实世界数据集上的广泛实验表明，在各种常用指标下，JoVA-Hinge的性能优于一系列最先进的协同过滤方法。我们的实证结果也证实了JoVA铰链优于现有的方法，冷启动用户与有限数量的训练数据。
2020-08-17 cs.IR cs.LG stat.ML
Maximising Quantum-Computing Expressive Power through Randomised Circuits
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）；Graduate School of China Academy of Engineering Physics（中国工程物理研究院研究生院）
针对含噪声中等规模量子时代VQAs受门数和贫瘠高原限制的表达能力问题，提出用人工神经网络参数化随机电路分布的新方法，可通过增加计算时间在固定门数下提升表达能力，还建立了变分量子本征求解器相关参数的明确关系，为实现高表达量子计算提供新途径。
2023-12-04 cs.LG quant-ph
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research（谷歌研究院）
最近的工作已经探索了序列到序列的表达性语音合成（支持韵律和风格的控制和转移）的潜在变量模型，但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中，我们提出了嵌入容量（嵌入包含的信息量的数据）作为一个统一的方法来分析语音的潜变量模型的行为，比较现有的启发式（非变分）的方法，变分方法，能够明确限制容量上界的代表性互信息。在我们提出的模型（Capacitron）中，我们表明，通过将条件依赖性添加到变分后验中，使其与真实后验的形式相匹配，相同的模型可用于高精度韵律传输，文本不可知风格传输和生成自然的先验样本。对于多说话人模型，Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后，我们介绍了一种方法，用于在两组潜伏期中分层分解嵌入容量，允许指定一部分潜伏变异性，其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Variational Bayesian Context-aware Representation for Grocery Recommendation
University of Glasgow（格拉斯哥大学）
杂货推荐是一种重要的推荐用例，其目的是根据用户的购物历史来预测用户将来可能选择购买哪些物品。然而，现有的方法只表示每个用户和项目的单确定性点在一个低维连续空间。此外，这些方法中的大多数都是通过使用简单的基于Skip-gram的公式最大化同现可能性来训练的，这限制了它们嵌入的表达能力和由此产生的推荐性能。在本文中，我们提出了变分贝叶斯上下文感知表示（VBCAR）模型的杂货店推荐，这是一种新的变分贝叶斯模型，学习用户和项目的潜在向量，利用购物篮上下文信息，从过去的用户-项目交互。我们训练我们的VBCAR模型的基础上的贝叶斯Skip-gram框架加上摊销变分推理，使它可以学习更多的表达潜在的表示，集成了非线性和贝叶斯行为。在一个大型的真实世界杂货推荐数据集上进行的实验表明，我们提出的VBCAR模型可以显着优于现有的最先进的杂货推荐方法。
2019-10-29 cs.IR cs.LG
Expressive variational quantum circuits provide inherent privacy in federated learning
JPMorgan Chase（摩根大通）；The University of Melbourne（墨尔本大学）
本文提出用富表达力编码映射与过参数化拟设构建变分量子电路联邦学习模型，借助高阶 Chebyshev 系统求解困难及攻击模型欠参数化，证明其可固有抵御梯度反演导致的数据泄漏。
2023-09-25 cs.CR cs.LG quant-ph
Variational Inference using Implicit Distributions
Twitter（推特）
生成对抗网络（GANs）为我们提供了一个很好的工具，可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布，并且可以对样本对模型参数求导。这些模型是高度表达，我们认为他们可以证明是一样有用的变分推断（VI），因为他们是生成建模。有几篇论文提出了类似GAN的推理算法，然而，与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾，这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次，本文提供了一个框架，用于建立新的算法：根据变分界的方式表示，我们引入先验对比和联合对比的方法，并显示实际的推理算法的基础上，无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Lifted Hybrid Variational Inference
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
各种提升推理算法，利用模型对称性，以减少计算成本，已被提出，使推理在概率关系模型易处理。大多数现有的提升推理算法仅在具有受限势函数的离散域或连续域上操作，例如，高斯。我们研究了两种近似的提升变分方法，它们适用于混合域，并且表达能力足以捕获多模态。我们证明了所提出的变分方法都是可扩展的，可以利用近似模型对称性，即使在大量的连续证据的存在下。我们证明，我们的方法相比，有利现有的基于消息传递的方法在各种设置。最后，我们提出了一个充分条件的Bethe近似产生一个非平凡的估计的边缘多面体。
2020-02-08 cs.LG stat.ML
Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
变分自编码器（VAE）是一种典型的非线性协同过滤方法。然而，VAE的瓶颈在于对所有项目的softmax计算，因此它需要项目数量的线性成本来计算优化的损失和梯度。这阻碍了实际使用，因为在现实世界中有数百万个项目。重要性采样是一种有效的逼近方法，基于此方法导出了采样softmax。然而，现有的方法通常利用均匀或流行的采样器作为建议分布，导致梯度估计的大偏差。为此，我们建议基于反向多指标分解基于内积的softmax概率，从而实现次线性时间和高精度采样。在此基础上，提出了一种快速的变分自编码器（FastVAE）。在三个真实数据集上的实验表明，FastVAE在采样质量和效率方面都优于最先进的基线。
2022-05-30 cs.IR cs.LG
Amortized Inference Regularization
Stanford University（斯坦福大学）；DeepMind（深度思维）
变分自编码器（VAE）是一种流行的密度估计和表示学习模型。正则地，变分原理建议优选表达推理模型，使得变分近似是准确的。然而，它往往被忽视，过度表达的推理模型可能是有害的测试集性能的摊销后验近似，更重要的是，生成密度估计。在本文中，我们利用VAE依赖于摊销推理的事实，并提出了控制推理模型平滑度的摊销推理正则化（AIR）技术。我们证明，通过应用空气，它是可能的，以提高VAE泛化的推理和生成性能。我们的论文挑战的信念，摊销推理只是一种近似极大似然训练的机制，并说明了摊销家庭的正规化提供了一个新的方向，理解和提高泛化VAE。
2019-01-09 cs.AI cs.LG stat.ML
Generative Adversarial Networks for High-Dimensional Item Factor Analysis: A Deep Adversarial Learning Algorithm
University of Toronto（多伦多大学）
针对传统VAEs在高维项目因子分析（IFA）中表达能力受限的问题，提出结合GANs优势的AVB及增强算法IWAVB，通过对抗博弈提升参数估计的灵活性与准确性，实验证明其在似然和多峰分布处理上优于IWAE，并有望推动心理测量与多模态数据整合。
2025-10-31 cs.LG stat.AP stat.CO
Neural Variational Inference and Learning in Belief Networks
Google DeepMind（谷歌DeepMind）
高表达性的有向潜变量模型，如S形信念网络，很难在大型数据集上进行训练，因为在它们中的精确推理是棘手的，并且已经应用于它们的近似推理方法都没有很好的扩展性。我们提出了一种快速的非迭代近似推理方法，使用前馈网络实现有效的精确采样变分后验。该模型和推理网络通过最大化对数似然的变分下界来联合训练。虽然朴素估计的推理模型梯度是太高的方差是有用的，我们通过应用几个简单的模型无关的方差减少技术，使其实用。将我们的方法应用于训练sigmoid信念网络和深度自回归网络，我们证明了它在MNIST上的性能优于唤醒-睡眠算法，并在Reuters RCV 1文档数据集上获得了最先进的结果。
2014-06-04 cs.LG stat.ML
Just Read the Question: Enabling Generalization to New Assessment Items with Text Awareness
Carleton College（卡罗尔顿学院）
本研究扩展LENS部分变分自编码器开发了Text-LENS，利用项目文本嵌入提升机器学习在教育评估中对未见项目的泛化能力，实验证明其在未见项目上表现优于LENS。
2025-07-10 cs.LG
Unsupervised Belief Representation Learning with Information-Theoretic Variational Graph Auto-Encoders
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；College of William and Mary（威廉与玛丽学院）
本文开发了一种新型的无监督算法，用于极化网络中的信念表示学习，该算法（i）揭示底层信念空间的潜在维度，以及（ii）将用户和内容项（与他们交互）联合嵌入到该空间中，以促进许多下游任务，例如立场检测、立场预测和意识形态映射。受信息论中的总相关性的启发，我们提出了信息论变分图自动编码器（InfoVGAE），它学习投影用户和内容项（例如，表示用户视图的帖子）到适当的解开的潜在空间中。为了更好地解开该空间中的潜变量，我们开发了一个总相关正则化模块，比例积分（PI）控制模块，并采用整流高斯分布，以确保正交性。然后，用户和内容的潜在表示可以用于量化他们的意识形态倾向，并检测/预测他们对问题的立场。我们评估了三个真实世界的数据集，其中两个是从Twitter和一个从美国国会投票记录收集的性能建议InfoVGAE。评估结果表明，我们的模型优于最先进的无监督模型，减少了10.5%的用户聚类错误，并实现了12.1%的更高的F1分数的立场分离的内容项目。此外，InfoVGAE产生了与监督模型相当的结果。我们还讨论了它的立场预测和意识形态群体内的用户排名的性能。
2022-05-09 cs.LG cs.SI
Gradient-estimator design overcomes trainability barriers in neural-network-based variational optimization
Nanjing University（南京大学）；University of Massachusetts（马萨诸塞大学）；Collaborative Innovation Center of Advanced Microstructures, Nanjing University（南京大学人工微结构科学与技术协同创新中心）；Jiangsu Physical Science Research Center（江苏物理科学研究中心）；Hefei National Laboratory（合肥国家实验室）；A. Alikhanyan National Science Laboratory（A.阿利哈尼亚国家科学实验室）
本研究提出无偏直接梯度估计器和自适应最小方差相位估计器，通过提高弱梯度信噪比克服神经网络变分优化的训练障碍，实现更高效、更精确的量子多体与化学计算。
2026-09-22 cond-mat.dis-nn cond-mat.str-el cs.LG
Algorithms for item categorization based on ordinal ranking data
Tufts University（塔夫茨大学）
我们提出了一种新的方法来确定潜在的分类项目的基础上，他们的排名。补充最近的工作，使用狄利克雷先验的偏好向量和变分推理，我们表明，这个问题可以有效地处理使用现有的社区发现算法，与社区对应的项目类别。特别是，我们转换的二分排名数据的项目亲和力的单分图，并应用社区发现算法。在这种情况下，我们修改现有的算法-即标签传播算法的变体，使用节点之间的距离加权标签传播-以确定类别。我们提出并分析了一个综合的顺序排序模型，并显示其关系到最近研究的随机块模型。我们测试我们的算法在合成数据和比较性能与几个流行的社区发现算法。我们还测试了电影镜头数据库的电影分类的真实数据集的方法。在所有的情况下，我们的算法是能够识别的类别，一个合适的选择调整参数。
2016-09-29 cs.LG cs.SI
UNVaMP: Neural Knowledge Tracing with Variational Regularization of Latent Knowledge Dynamics
UNVaMP是一种结合学生-题目交互与内部记忆的知识追踪方法，纯神经配置UNVaMP-MLP在多数数据集预测性能最优，混合配置UNVaMP-MIRT兼具可解释性且预测成本低，可应用于教育系统并恢复交互潜在结构。
2026-08-05 cs.CY cs.LG
On barren plateaus and cost function locality in variational quantum algorithms
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
变分量子算法依赖于基于梯度的优化来迭代地最小化通过测量量子处理器的输出而评估的成本函数。贫瘠的高原是指在充分表达的参数化量子线路中梯度指数消失的现象。它已经建立了一个贫瘠的高原政权的发病取决于成本函数，虽然特定的行为已被证明只为某些类的成本函数。在这里，我们推导出一个下界的梯度，这主要取决于电路的因果锥的每一项在泡利分解的成本函数的宽度的方差。我们的结果进一步阐明了贫瘠高原可能发生的条件。
2021-10-25 cond-mat.dis-nn cs.LG quant-ph
