Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets
在本文中，我们研究了贝叶斯矩阵分解的不同先验和似然选择的影响，重点是小数据集。这些选择可以极大地影响方法的预测性能。我们确定了四组方法：高斯似然与实值先验，非负先验，半非负模型，最后泊松似然方法。对于每一组，我们回顾了文献中的几种模型，总共考虑了16种，并讨论了不同先验和矩阵范数之间的关系。我们在三个应用领域的八个真实数据集上广泛比较了这些方法，并进行了组间和组内比较。我们测量收敛运行时速度，交叉验证性能，稀疏和噪声预测性能，以及模型选择鲁棒性。我们提供了几个见解的先验和似然选择之间的权衡贝叶斯矩阵因式分解小数据集-如泊松模型给出差的预测，非负模型比实值的约束。
2017-12-01 stat.ML
Bayesian/Graphoid intersection property for factorisation spaces
我们注意到，珍珠的图形交叉属性，也称为贝叶斯网络中的交叉属性，是一般交叉属性的一种特殊情况，在覆盖交叉的意义上，对于因子分解空间，也被称为因子分解模型，因子图或Lauritzen在他的参考书“图形模型”中作为分层模型子空间。一个特殊的情况下，这种交叉财产出现在劳里岑的书作为一个后果的分解成相互作用的子空间;新的证明，我们给这个结果使我们能够延长它在最一般的设置。它还允许我们给一个直接的和新的证明的Hammersley-Clifford定理转置和减少到一个相应的声明的图形，证明正式的几何直观的独立性，并将其扩展到非有限图。这个相交属性是将分解为相互作用子空间推广到向量空间集合的起点。
2021-05-21 cs.IT math.IT math.ST
Reductions of discrete Bayesian networks via lumping
本文通过满射函数合并状态以降低贝叶斯网络维度，研究因子分解结构的保持性，并探讨与马尔可夫链约简的联系。
2024-02-08 math.ST stat.TH
Bayesian Nonparametric Boolean Factor Models
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Amazon Research（亚马逊研究院）；University of Birmingham（伯明翰大学）
我们建立在布尔矩阵和布尔张量因式分解的概率模型基础上，这些模型最近被证明可以以前所未有的准确性解决这些问题，并使后验推理能够扩展到数十亿次观察。在这里，我们解除了限制的一个预先指定的数量的潜在的维度，通过引入一个印度巴菲特过程之前的因素矩阵。由于模型中的逻辑依赖性，不仅全因子条件采取计算上方便的形式，而且非零潜在维度的数量的后验也非常简单。它相当于计算错误和真正的负面预测的数量，而正面预测可以忽略不计。这构成了一个非常透明的基于采样的后验推理与IBP先验的例子，重要的是，让我们保持非常有效的推理。我们讨论应用程序模拟数据，以及现实世界的数据矩阵与6万个条目。
2019-06-28 cs.LG stat.ML
A Bayesian Boolean Matrix Factorization with Application to Copy Number Analysis in Cancer
Department of Data Science, Dana-Farber Cancer Institute（数据科学部，达纳-法伯癌症研究所）；Department of Biostatistics, Harvard T.H. Chan School of Public Health（生物统计学部，哈佛T.H. 潘克学校公共卫生学院）
提出贝叶斯布尔矩阵分解（BBMF）模型，通过全共轭生成模型和稀疏先验实现布尔约束下的可解释因子分解，并应用于多发性骨髓瘤的染色体臂拷贝数变异分析，揭示肿瘤异质性的离散潜在结构。
2026-06-18 cs.LG stat.ME stat.ML
A Joint Bayesian Boolean Matrix Factorization with Application to Chromosomal Copy Number Alterations in Multiple Myeloma
Dana Farber Cancer Institute（达纳-法伯癌症研究所）；Harvard University（哈佛大学）
研究针对现有布尔矩阵分解未利用相关数据集共享潜在结构的问题，提出JBBMF模型，通过共享潜在结构联合分解二元矩阵，在模拟和多发性骨髓瘤数据应用中提升了因子恢复与分析效果。
2026-08-27 stat.ME
An FCA-based Boolean Matrix Factorisation for Collaborative Filtering
提出了一种基于布尔矩阵分解和形式概念分析的协同过滤方法。在一系列的实验中，真实数据（Movielens数据集），我们比较的方法与SVD和NMF为基础的算法的平均误差（MAE）。实验结果之一是，它是足够的，有一个二进制缩放的评级数据，以获得几乎相同的质量方面的MAE BMF比基于SVD的算法在非缩放数据的情况下。
2013-10-16 cs.DS cs.IR stat.ML
Collaborative Filtering with Side Information: a Gaussian Process Perspective
University of Oxford（牛津大学）
我们通过高斯过程（GP）回归来解决带边信息的协同过滤（CF）问题。驱动的想法，使用内核来显式地模拟用户项目的相似性，我们制定的GP的方式，允许纳入低秩矩阵分解，到达我们的模型，塔克高斯过程（TGP）。因此，TGP概括了经典的贝叶斯矩阵分解模型，并超越了它们，给出了一种自然而优雅的方法，用于合并边信息，增强了CF问题的预测性能。此外，我们表明，这是一种新的回归模型，特别适合于网格结构的数据和问题的协变量的依赖是接近可分离的。
2017-06-08 cs.IR cs.LG stat.ML
Beyond Independence: on Jointly Normal Priors in Bayesian Inversion
University of Auckland（奥克兰大学）；Rocsole Limited（罗克索尔有限公司）；University of Eastern Finland（芬兰东部大学）
本文提出一种联合正态先验模型，用于贝叶斯反演中多个未知参数的联合倒置，通过保留边际分布并允许空间变化的交叉相关性，提升参数间相关性的建模能力。
2026-05-01 cs.NA math.NA stat.ME
Towards Characterising Bayesian Network Models under Selection
现实生活中的统计样本经常受到选择偏差的困扰，这使得对一般人群得出结论变得复杂。当对学习变量之间的因果关系感兴趣时，可以假设样本来自选择下的因果贝叶斯网络（BN）模型中的分布。理解选择模型中的约束是恢复原始模型中因果结构的第一步。条件独立（CI）的约束条件下选择的BN模型已经被表征，但是，存在额外的，非CI的约束条件，在这样的模型。在这项工作中，提供了一些初步的结果，简化了表征问题。此外，还设计了一个从完全部分有向无圈图（CPDAG）中识别受迫祖先（确定原因）的算法。最后，非CI，非因式分解约束下的BN模型的选择计算的第一次。
2018-11-13 math.ST stat.TH
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型，它通过对基础变量的联合概率分布进行因子分解，将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时，参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中，两个弱和一个强信息先验之间的模拟研究。作为弱信息先验，我们使用具有大方差的零均值高斯先验，目前在R包abn中实现。第二个先验属于学生t分布，专门为逻辑斯谛回归设计，最后，强信息先验再次是高斯分布，平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后，我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后，对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
Gradients of Functions of Large Matrices
Technical University of Denmark（丹麦技术大学）
本文推导Lanczos与Arnoldi迭代的伴随系统并在JAX中实现，首次实现大型矩阵函数的高效可微计算，在PDE、Gaussian过程和Bayesian神经网络任务中达到或超过现有方法。
2024-10-24 cs.LG cs.NA math.NA
clusterBMA: Bayesian model averaging for clustering
在集成聚类文献中，已经开发了各种方法来组合跨多组结果的推理以进行无监督聚类。从几个备选聚类模型中选出一个“最佳”模型报告结果的做法通常忽略了模型选择产生的不确定性，并导致对特定模型和所选参数敏感的推论。贝叶斯模型平均（BMA）是一种流行的方法，用于组合多个模型的结果，在这种情况下提供了一些有吸引力的好处，包括组合聚类结构的概率解释和基于模型的不确定性的量化。在这项工作中，我们介绍了clusterBMA，一种方法，使加权模型平均从多个无监督聚类算法的结果。我们使用聚类内部验证标准来开发后验模型概率的近似值，用于对每个模型的结果进行加权。从一个共识矩阵表示的加权平均值的聚类解决方案的模型，我们应用对称单纯形矩阵分解计算最终的概率集群分配。除了在模拟数据上优于其他集成聚类方法外，clusterBMA还提供了独特的功能，包括对平均聚类的概率分配，结合“硬”和“软”聚类算法的分配概率，以及测量平均聚类分配中基于模型的不确定性。此方法在附带的同名R包中实现。
2023-03-26 stat.AP stat.ME stat.ML
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH（浦项科技大学）；Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型，在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常，具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时，需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量，这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法，该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中，在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法，并提出其遗憾分析。数值实验表明，我们的方法显示出令人满意的性能相比，现有的方法。
2022-06-20 cs.LG stat.ML
Adaptive Local Bayesian Optimization Over Multiple Discrete Variables
KAIST（韩国科学技术院）
在机器学习算法中，超参数的选择往往是一门艺术而不是一门科学，需要专家经验的劳动密集型搜索。因此，对超参数优化进行自动化以排除人为干预是很有吸引力的，特别是对于黑箱函数。近年来，人们越来越多地要求解决这些隐藏的任务，以更好地推广，虽然任务相关的问题是不容易解决的。黑盒优化挑战赛（NeurIPS 2020）要求参赛者在标准机器学习问题的不同领域构建一个强大的黑盒优化器。本文以逐步的方式描述了KAIST OSI团队的方法，该方法比基线算法的性能高出20.39%。我们首先在区域可靠性的概念下加强了局部贝叶斯搜索。然后，我们为高斯过程核设计了一个组合核。同样，我们结合贝叶斯方法和多臂强盗（MAB）方法来选择考虑变量类型的值;实数和整数变量与贝叶斯，而布尔和分类变量与MAB。实证评估表明，我们的方法优于现有的方法在不同的任务。
2020-12-07 cs.LG stat.ML
Scalable optimal Bayesian classification of single-cell trajectories under regulatory model uncertainty
单细胞基因表达测量为复杂疾病（包括癌症）的机制理解提供了机会。然而，由于细胞复杂的调控机制，基于这些数据的基因调控网络（GRN）模型推断仍然表现出显著的不确定性。本文的目标是开发最佳分类的单细胞轨迹占潜在的模型的不确定性。部分观测布尔动力系统（POBDS）用于建模通过噪声基因表达数据观察到的基因调控网络。我们推导出精确的最佳贝叶斯分类器（OBC）的单细胞轨迹的二进制分类。由于计算和存储要求，OBC的应用对于大型GRN变得不切实际。为了解决这个问题，我们引入了一种基于粒子的单细胞分类方法，该方法对于大型GRNs具有高度可扩展性，其复杂性比最优解决方案低得多。所提出的基于粒子的方法的性能通过使用POBDS模型的著名的T细胞大颗粒淋巴细胞（T-LGL）白血病网络与噪声的时间序列基因表达数据的数值实验证明。
2019-02-08 q-bio.GN stat.AP
Revisiting clustering as matrix factorisation on the Stiefel manifold
Université Lumière-Lyon-II（里昂第二大学）；The Alan Turing Institute（艾伦·图灵研究所）；The National Physical Laboratory（英国国家物理实验室）；Inria Lille - Nord Europe research centre（法国国家信息与自动化研究所里尔-北欧研究中心）；University College London（伦敦大学学院）
本文研究了可能高维数据（例如图像，时间序列，基因表达数据和许多其他设置）的聚类，并将其重新表述为PAC-Bayesian框架中的低秩矩阵估计。我们的方法利用了著名的Burer-Monteiro因式分解策略从大规模优化，在低秩估计的背景下。此外，我们的Burer-Monteiro因子躺在Stiefel流形。我们提出了一个新的广义贝叶斯估计这个问题，并证明了新的预测范围的聚类。我们还设计了一个分量朗之万采样器的Stiefel流形上计算这个估计。
2020-06-18 cs.LG stat.ML
On Identification of Sparse Multivariable ARX Model: A Sparse Bayesian Learning Approach
University of Cambridge（剑桥大学）；Huazhong University of Science and Technology（华中科技大学）；Cardwell Investment Tech（卡德韦尔投资科技公司）；UC Berkeley（加州大学伯克利分校）
本文提出一种基于稀疏贝叶斯学习的方法，用于识别稀疏多变量ARX模型的布尔结构和节点间动态，无需先验知识，通过最大后验估计结合复杂性和组稀疏性惩罚。
2016-09-30 cs.LG cs.SY eess.SY
Verifying Controllers Against Adversarial Examples with Bayesian Optimization
Microsoft Research, Redmond（微软研究院（红mond））
本文提出基于贝叶斯优化的主动测试框架，用于验证控制器的安全性，通过逻辑定义安全约束并高效搜索行为空间以发现违反安全规范的对抗示例。
2018-02-26 cs.LG cs.RO cs.SY
Width-Robust Learnability in Mean-Field Bayesian Neural Networks
Principles of Intelligence（智能原理）
研究平均场贝叶斯神经网络中无限宽度与多项式宽度下布尔立方体目标的可学习性问题，通过约化熵建立联系，利用子采样证明宽度鲁棒可学习性定理，表明无限宽度平均场极限能清晰描述学习，不引入虚假泛化能力。
2026-07-08 cs.LG stat.ML
A novel algorithmic approach to Bayesian Logic Regression
逻辑回归是十多年前开发的一种工具，用于从二元协变量的布尔组合中构建预测因子。它主要用于遗传关联研究中的上位性效应建模，由于其对描述遗传变异之间相互作用的逻辑表达式的直观解释而非常有吸引力。然而，逻辑回归（部分原因是计算的挑战）仍然不太为人所知，比其他方法上位关联映射。在这里，我们将采用一种先进的进化算法，称为GMJMCMC（基因改造的模式跳跃马尔可夫链蒙特卡罗）执行贝叶斯模型选择的逻辑回归模型的空间。在描述了GMJMCMC的算法细节之后，我们进行了一个全面的仿真研究，说明了它的性能，给出了各种复杂度的逻辑回归项。具体GMJMCMC被证明能够识别三路，甚至四路的相互作用，具有相对较大的功率，一个复杂的水平，这是以前实现的逻辑回归。我们应用GMJMCMC重新分析重组自交系在\textit{Arabidopsis thaliana}和从一个回交群体在\textit{Drosophila}，我们确定了几个有趣的上位效应QTL定位数据。该方法在Github上提供的R包中实现。
2020-04-28 stat.CO
Statistical Model Criticism of Variational Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）
我们提出了一个变分自动编码器（VAE）的统计评估框架，并在手写数字和英语文本语料库的建模图像的背景下测试该框架的两个实例。我们对评估的看法是基于统计模型批评的想法，这种批评在贝叶斯数据分析中很流行，即根据统计模型再现未知数据生成过程的统计数据的能力来评估统计模型，我们可以从中获得样本。VAE在共享样本空间上学习的不是一个，而是两个联合分布，每个分布都利用因子分解的选择，使采样在两个方向（潜伏到数据，数据到潜伏）中的一个方向上易于处理。我们从这些分布中评估样本，评估它们与观察到的数据的（边际）拟合以及我们对先验的选择，我们还通过一个管道来评估样本，该管道从数据样本开始连接两个分布，评估它们是否一起利用和揭示对从业者有用的潜在变异因素。我们表明，这种方法提供了可能性，模型选择定性超越内在的评价指标，并在一个更细的粒度比常用的统计可以提供。
2022-04-06 cs.CV cs.LG stat.ML
Approximations and bounds for binary Markov random fields
离散马尔可夫随机场形成了一种自然的模型来表示图像和空间数据集。然而，这种模型的使用受到计算上难以处理的归一化常数的阻碍。这使得离散马尔可夫随机场的参数估计和完全贝叶斯处理困难。我们应用近似理论的伪布尔函数的二进制马尔可夫随机场和构造的近似和上下界的相关计算难处理的归一化常数。作为这个过程的副产品，我们还得到了二进制马尔可夫随机场的偏序马尔可夫模型近似。我们提出的数值例子与成对的相互作用伊辛模型和高阶相互作用模型，显示我们的近似和边界的质量。我们还提出了模拟的例子和一个真实的数据的例子，演示如何的近似和界限可以应用于参数估计和处理一个完全贝叶斯模型计算。
2015-05-22 stat.CO
Inference of Regulatory Networks Through Temporally Sparse Data
Northeastern University（东北大学）
基因组学的一个主要目标是正确地捕获基因调控网络（GRNs）的复杂动力学行为。这包括推断基因之间的复杂相互作用，可用于广泛的基因组学分析，包括疾病的诊断或预后，以及寻找癌症等慢性疾病的有效治疗方法。布尔网络已经成为一类成功的模型，用于捕获GRN的行为。在大多数实际环境中，GRNs的推断应该通过有限的和时间稀疏的基因组数据来实现。GRNs中大量的基因导致了一个很大的可能拓扑候选空间，由于计算资源的限制，该拓扑候选空间通常不能被穷尽地搜索。本文提出了一种可扩展的和有效的拓扑推理的GRNs使用贝叶斯优化和基于核的方法。该方法不是对可能的拓扑进行穷举搜索，而是构造一个高斯过程（GP），该过程具有拓扑启发的核函数来考虑似然函数中的相关性。然后，使用GP模型的后验分布，贝叶斯优化有效地搜索具有最高似然值的拓扑结构，通过在探索和利用之间进行最佳平衡。所提出的方法的性能证明通过全面的数值实验，使用一个著名的哺乳动物细胞周期网络。
2022-07-21 cs.LG q-bio.MN stat.ME
Structured prior distributions for the covariance matrix in latent factor models
针对潜因子模型协方差矩阵分解，提出一类结构化先验以编码共享变异矩阵的依赖结构，支持数据驱动的收缩与因子数量推断，并扩展至动态因子模型，通过参数扩展MCMC采样器实现高效计算。
2024-06-28 stat.ME
Deep neural networks have an inbuilt Occam's razor
Rudolf Peierls Centre for Theoretical Physics, University of Oxford（鲁道夫·皮埃尔斯理论物理中心，牛津大学）；Physical and Theoretical Chemistry Laboratory, University of Oxford（物理与理论化学实验室，牛津大学）
本文通过贝叶斯框架分析过参数化DNN，发现其成功关键在于结构化数据与内在的奥卡姆剃刀式偏置（偏向简单函数）相结合，该偏置足以抵消函数随复杂度指数增长的影响。
2025-07-08 cs.AI cs.LG stat.ML
