TyXe: Pyro-based Bayesian neural nets for Pytorch
University College London（伦敦大学学院）；Facebook（脸书）
我们介绍Typhoon，一个建立在Pytorch和Pyro之上的贝叶斯神经网络库。我们的主要设计原则是干净地分离架构，先验，推理和可能性规范，允许灵活的工作流程，用户可以快速地将这些组件组合起来。与现有的包相比，Typhoon不实现任何层类，而是依赖于通用Pytorch代码中定义的架构。然后，Typhoon为规范先验、变分指导、推理技术和层选择提供模块化选择，以用于指定架构的贝叶斯处理。减少方差的采样技巧，如局部重新参数化或flipout，作为效果处理程序实现，可以独立于其他规范应用。我们展示了Typhoon的易用性，可以从各种库中探索流行模型的贝叶斯版本：使用纯Pytorch神经网络的玩具回归;使用Torchvision ResNets的大规模图像分类;基于DGL的图形神经网络;以及基于Pytorch 3D构建的神经辐射场。最后，我们提供了方便的变分持续学习的抽象。在所有情况下，从确定性到贝叶斯神经网络的变化都对现有代码进行了最小的修改，为广泛的研究人员和实践者提供了实际的不确定性估计技术。该库可在https://github.com/TyXe-BDL/TyXe上查阅。
2021-10-01 cs.LG stat.ML
Mix-nets: Factored Mixtures of Gaussians in Bayesian Networks With Mixed Continuous And Discrete Variables
Carnegie Mellon University（卡内基梅隆大学）
最近开发的技术使得从低维连续空间中的数据快速学习精确的概率密度函数成为可能。特别是，混合高斯可以非常快地拟合数据使用加速EM算法，采用多分辨率kd树（摩尔，1999年）。在本文中，我们提出了一种贝叶斯网络，在该网络中，在域的变量的不同子集的高斯低维混合物被组合成一个连贯的联合概率模型在整个域。该网络还能够对离散变量和连续变量之间的复杂依赖关系进行建模，而不需要对连续变量进行离散化。我们提出了有效的启发式算法，从数据中自动学习这些网络，并进行比较实验，说明如何以及这些网络模型真实的科学数据和合成数据。我们还简要讨论了一些可能的改进网络，以及可能的应用。
2013-01-16 cs.AI cs.LG stat.ML
Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors
Google Brain（谷歌大脑）；Duke University（杜克大学）；University of Toronto（多伦多大学）；University of California, San Diego（加州大学圣迭戈分校）
贝叶斯神经网络（BNN）在提高现代深度学习的鲁棒性和不确定性量化方面取得了可喜的成功。然而，它们通常在规模和参数效率方面与欠拟合作斗争。另一方面，深度集成已经成为不确定性量化的替代方案，虽然在某些问题上优于BNN，但也存在效率问题。目前尚不清楚如何结合这两种方法的优势并解决其共同问题。为了解决这一挑战，我们提出了一个秩1参数化的BNN，其中每个权重矩阵只涉及一个秩1子空间上的分布。我们还重新审视了使用混合近似后验来捕获多个模式，与典型的混合不同，这种方法允许显着较小的内存增加（例如，对于尺寸10的ResNet-50混合物仅增加0.4%）。我们进行了系统的实证研究的先验，变分后验的选择，并提高培训的方法。对于ImageNet上的ResNet-50，CIFAR-10/100上的Wide ResNet 28-10和MIMIC-III上的RNN，rank-1 BNN在测试集和分布外变量的对数似然，准确性和校准方面实现了最先进的性能。
2020-08-14 cs.LG stat.ML
Improving parameter learning of Bayesian nets from incomplete data
IDSIA（瑞士人工智能研究所）
本文讨论了不完全数据下贝叶斯网络的参数估计问题。通常通过多次运行期望最大化（EM）算法来处理该任务，以获得高对数似然估计。我们认为，选择最大对数似然估计（以及最大惩罚对数似然和最大后验估计）有严重的缺点，受到过拟合和模型不确定性的影响。讨论了两个想法，以克服这些问题：最大熵的方法和贝叶斯模型平均的方法。这两个想法都可以很容易地应用于EM之上，而熵的想法也可以通过一个专用的非线性求解器以更复杂的方式实现。大量的实验表明，这些想法产生显着更好的估计和推理比传统的和广泛使用的最大（惩罚）对数似然和最大后验估计。特别地，如果EM被采用作为优化引擎，则模型平均方法是性能最好的方法;当使用非线性求解器实现时，其性能与熵方法相匹配。结果表明，这些想法的适用性是直接的（它们很容易实现，并集成到目前可用的推理引擎），他们构成了一个更好的方式来学习贝叶斯网络参数。
2011-10-12 cs.AI cs.LG stat.ML
Algebraic causality: Bayes nets and beyond
代数几何和隐变量贝叶斯网络的推理框架之间的关系已经被许多作者卓有成效地探索和利用。最近，因果贝叶斯网络的代数公式也在这方面进行了研究。在回顾了这些新的关系之后，我们继续证明，在“因果模型”的概念中所体现的许多思想可以更一般地直接用偏序和多项式映射族来表达。更传统的图形结构，当可用时，仍然是一个强大的工具。
2007-09-21 stat.ME
On polyhedral approximations of polytopes for learning Bayes nets
我们回顾了贝叶斯网络结构的三种矢量编码。第一个最近由Jaakkola 2010应用，另外两个使用以前引入的特殊积分向量，称为imsets [Studeny 2005，Studeny 2010]。中心议题是比较外多面体近似相应的多面体。我们展示了如何将Jaakkola等人提出的不等式转换到嵌入集的框架中。我们比较的结果是观察到[Studeny 2011]中建议的标准嵌入多面体的隐式多面体近似比[Jaakkola 2010]中的（变换）显式多面体近似更接近。最后，我们证实了[Studeny 2011]中的一个猜想，即标准嵌入多面体的上述隐式多面体近似是多面体的LP松弛。
2011-08-03 math.ST stat.TH
A Bayesian framework with adaptive elastic nets for the inference of Gaussian graphical models
MIA AgroParisTech, INRAE, Université Paris-Saclay（巴黎综合理工学校农业信息学团队，法国国家农业食品与环境研究院，巴黎萨克雷大学）
本文提出一种贝叶斯框架，通过自适应弹性网络和变分期望-最大化算法，实现高维高斯图的条件独立性图推断，控制虚假发现率并保持高检测力。
2026-04-20 math.ST stat.ME stat.TH
A Return to Biased Nets: New Specifications and Approximate Bayesian Inference
本文修正了有偏网络局部设定的不一致性问题，提出马尔可夫设定与抑制性偏差事件，并利用随机森林预测实现近似贝叶斯推断，成功在友谊网络中复现了同胞偏差与关系强度的关联。
2024-05-29 cs.SI stat.ME
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Toric and non-toric Bayesian networks
该研究从交换代数角度研究贝叶斯网络，刻画有向环面贝叶斯网络类，给出首个非有向环面贝叶斯网络实例，证明相关猜想并给出二次关系的图必要条件。
2023-06-27 math.AC math.ST stat.TH
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
Raymond and Beverly Sackler School of Physics and Astronomy（雷蒙德和贝弗利·萨克勒物理与天文学院）；Tel-Aviv University（特拉维夫大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
该研究推导了高维重叠高斯混合模型下贝叶斯最优分类器的闭式解，并通过实验证明深度神经网络能近似该最优分类器，且决策阈值与协方差特征向量相关，为神经网络的概率推理能力提供了理论依据。
2024-05-28 cs.AI cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时，我们建立在证据深度学习的基础上，它既易于实现，又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性，并将其扩展到考虑到认知的不确定性，将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时，我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点，推导出一个空洞的PAC界，包括边际似然预测和复杂性惩罚。我们在回归，分类和域外检测基准上观察到，我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Dynamic transformation of prior knowledge into Bayesian models for data streams
Hanoi University of Science and Technology（河内科技大学）；Institute for Chemical Research, Kyoto University（京都大学化学研究所）
我们考虑如何有效地使用先验知识时，学习贝叶斯模型从流媒体环境中的数据来无限和顺序。这个问题在数据爆炸和丰富的外部知识来源（如预训练模型，本体，维基百科等）的时代非常重要。然后，我们提出了一个新的框架，使不同形式的先验知识纳入一个基础贝叶斯模型的数据流。我们的框架包含了一些现有的流行模型的时间序列/动态数据。大量的实验表明，我们的框架优于现有的方法有很大的利润。特别是，我们的框架可以帮助贝叶斯模型在极短的文本上很好地泛化，而其他方法则过拟合。我们的框架的实现可以在https://github.com/bachtranxuan/TPS.git上获得。
2021-12-26 cs.LG stat.ML
Epistemic irrelevance in credal nets: the case of imprecise Markov trees
Ghent University（根特大学）；IDSIA（瑞士人工智能研究所）
我们专注于credal网，这是图形模型，概括贝叶斯网不精确的概率。我们用较弱的认知无关性概念取代了信用网中常用的强独立性概念，这可以说更适合于概率的行为理论。专注于有向树，我们展示了如何将给定的局部不确定性模型在节点的图形到一个全球性的模型，我们用它来构建和证明一个精确的消息传递算法，计算更新的信念在树中的一个变量。该算法，这是线性的节点数，制定完全一致的较低的previsions方面，并示出满足一些合理性要求。我们提供的算法的操作的例子，并报告一个应用程序，以说明我们的预测方法的优势，在线字符识别。我们评论的观点，开放的可用性，第一次，一个真正有效的算法的基础上认识无关性。
2010-08-15 cs.AI math.PR stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
Tractable Bayesian Learning of Tree Belief Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了可分解的先验，一个家庭的先验结构和参数的树的信念网，贝叶斯学习与完整的意见是易于处理的，在这个意义上说，后验也是可分解的，可以完全确定在多项式时间分析。这遵循两个主要结果：第一，我们证明了图中的生成树上的因子化分布可以以封闭的形式集成。其次，我们检查先验树参数，并表明，一组假设（Heckerman等人，1995年）约束树参数先验是一个复杂的参数化产品的Dirichlet分布。除了允许精确的贝叶斯学习，这些结果使我们能够制定一类新的易处理的潜在变量模型，其中的数据点的可能性是通过整体平均计算超过树结构。
2013-01-16 cs.AI cs.LG stat.ML
De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
尽管有几个值得注意的努力，解释确定性非光滑深度网络的推广，例如，ReLU网络仍然具有挑战性。用于确定性非光滑深度网络的现有方法通常需要限制这种深度网络的Lipschitz常数，但这样的界限非常大，甚至可能随着训练集大小的增加而增加，从而产生空洞的泛化界限。在本文中，我们提出了一个新的家庭的去随机PAC-Bayes边界的确定性非凸和非光滑的预测，例如，ReLU网络。与适用于贝叶斯预测器的PAC-Bayes不同，去随机化边界适用于确定性预测器，如ReLU网。边界的具体实例化取决于训练权重与初始化的（加权）距离和训练预测器的有效曲率（“平坦度”）之间的权衡。为了得到这些界限，我们首先为非凸但平滑的预测器开发一个去随机化参数，例如，线性深度网络（LDN），将确定性预测器的性能与贝叶斯预测器联系起来。然后，我们考虑对于任何给定输入实现为平滑预测器的非平滑预测器，例如，对于任何给定的输入，ReLU网都变成了一些LDN，但是对于不同的输入，实现的平滑预测器可能会有所不同。对于这样的非平滑预测，我们引入了一种新的PAC-Bayes分析，它利用了实现的预测的平滑性，例如，LDN，并避免依赖于非平滑预测器的Lipschitz常数。经过仔细的去随机化，我们得到了一个界的确定性非光滑预测。我们还建立了非均匀样本的复杂性结果的基础上，这样的界限。最后，我们提出了广泛的经验结果，我们的界限在不断变化的训练集大…
2020-11-12 cs.LG stat.ML
Bayesian Discrete Conditional Transformation Models
我们提出了一种新的贝叶斯模型框架的离散序数和计数数据的基础上的条件转换的响应。条件变换函数是从数据中结合先验选择的参考分布来估计的。对于计数响应，由此产生的转换模型是新颖的，在这个意义上，它是一个贝叶斯完全参数但分布自由的方法，可以额外考虑额外的零与添加剂的转换功能规范。对于有序分类响应，我们的累积链接转换模型允许包含线性和非线性协变量效应，这些效应还可以是分类特异性的，从而产生（非）比例优势或风险模型等，具体取决于参考分布的选择。推理是由一个通用的模块化马尔可夫链蒙特卡罗算法，其中多元高斯先验执行特定的属性，如平滑的功能效果。为了说明贝叶斯离散条件转换模型的多功能性，应用程序的专利引用计数在存在多余的零和治疗森林健康类别的离散部分比例优势模型。
2022-05-17 stat.ME stat.ML
From Deep to Shallow: Transformations of Deep Rectifier Networks
The University of Western Australia（西澳大利亚大学）；The University of New South Wales（新南威尔士大学）
在本文中，我们介绍了深整流网络的转换，使深整流网络转换成浅整流网络。我们随后证明，任何整流器网络的任何深度可以表示的最大数量的功能，可以实现一个浅网络与一个单一的隐藏层。通过对深度整流器网络和深度残差网络的变换，证明了残差网络相对于传统神经网络的优势和深度神经网络相对于浅神经网络的优势。总之，对于具有不同深度但具有相同的隐藏单元总数的两个整流器网络，较深网络的对应单个隐藏层表示比较浅网络的对应单个隐藏层表示复杂得多。类似地，对于除了剩余网络中的跳跃连接之外具有相同结构的剩余网络和常规整流器网络，剩余网络的对应的单隐层表示比常规网络的对应的单隐层表示复杂得多。
2017-03-30 cs.LG stat.ML
Inverse Renormalization Group Transformation in Bayesian Image Segmentations
Tohoku University（东北大学）；Yamagata University（山形大学）；Kyoto University（京都大学）
提出了一种新的贝叶斯图像分割算法，该算法将循环置信传播和逆实空间重整化群变换相结合，以减少计算时间。在我们的实验结果中，我们观察到，所提出的方法可以减少计算时间，传统的贝叶斯方法所采取的不到十分之一。
2015-01-05 cond-mat.stat-mech cs.CV stat.ML
A Transformational Characterization of Unconditionally Equivalent Bayesian Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑的问题，表征贝叶斯网络的无条件等价，即，当有向无环图（DAG）具有相同的无条件$d$分离语句集时。每个无条件等价类（UEC）是唯一表示的无向图的团结构编码的类的成员。通过这种结构，我们提供了无条件等价的转换表征;即，我们表明，两个DAG是在同一UEC当且仅当一个可以通过一个有限序列的指定移动到其他转换。我们还扩展了这种特征的基本图表示的马尔可夫等价类（MEC）的UEC。UEC划分MEC的空间，并且很容易从边缘独立性测试中估计。因此，无条件等价的表征在涉及搜索贝叶斯网络的MEC空间的方法中具有应用。
2022-08-10 cs.LG math.CO math.ST
Computationally and statistically efficient learning of causal Bayes nets using path queries
Purdue University（普渡大学）
从经验数据中发现因果关系是许多科学领域的基本问题。观测数据只允许识别马尔可夫等价类。在本文中，我们首先提出了一个多项式时间算法学习的准确正确定向结构的任何因果贝叶斯网络的传递约简的高概率，通过使用介入路径查询。每个路径查询将源节点和目标节点作为输入，并回答是否存在从源到目标的有向路径。这是通过在源节点上进行干预并观察来自目标节点的样本来完成的。我们从理论上展示了连续和离散网络中每个路径查询的干预数据大小的对数样本复杂度。然后，我们展示了如何使用对数样本复杂度来学习传递边（尽管离散网络的最大父节点数量是时间指数），这使我们能够学习完整的网络。我们进一步扩展我们的工作，通过减少学习根树的介入路径查询的数量。我们还提供了不完善的干预措施的分析。
2019-08-16 cs.LG stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
A strong law of large numbers for scrambled net integration
本文给出了嵌套均匀置乱随机化数字网积分的一个强大数律。激励问题是在贝叶斯优化中产生的对积分的某些变量的优化。这个强定律要求被积函数对某些$p>1$有一个有限阶$p$矩。以前已知的结果只对黎曼可积函数有强定律。以前的一般弱大数定律的混乱网需要一个平方可积〔的〕被积函数。我们通过Riesz-Thorin内插定理将$L^2$推广到$L^p$，用于$p>1$
2020-06-27 cs.NA math.NA math.ST
Adaptive Bayesian Very Short-Term Wind Power Forecasting Based on the Generalised Logit Transformation
School of Mathematics and Statistics, University of Glasgow（数学与统计学学院，格拉斯哥大学）
针对双重边界风电功率数据的超短期概率预测，本文提出结合广义 logit 变换与自适应形状参数更新的贝叶斯方法，并在英国百余个风电场验证其 CRPS 与校准优势。
2025-05-08 cs.LG stat.AP
Uncertainty relations and fluctuation theorems for Bayes nets
Santa Fe Institute, Santa Fe, New Mexico（圣菲研究所）；Complexity Science Hub, Vienna（复杂性科学中心）；Arizona State University, Tempe, Arizona（亚利桑那州立大学）
本文针对表示为 Bayes 网的多相互作用系统，推导任意系统集合及条件熵产生的涨落定理，并建立整体熵产生与各系统概率流精度之间的热力学不确定性关系。
2025-08-28 cond-mat.stat-mech cs.LG stat.ML
Learnability of Parameter-Bounded Bayes Nets
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文研究参数有界 Bayes 网的可学习性，证明其承诺搜索版本 LEARN 仍为 NP 难，并给出在 TV 距离下近似恢复目标网络所需的样本复杂度。
2024-08-04 cs.CC cs.LG stat.ML
Efficient Bayesian synthetic likelihood with whitening transformations
无似然方法是一种已建立的方法，用于对具有难处理的似然函数的模型执行近似贝叶斯推断。然而，它们可能需要计算。贝叶斯综合似然（Bayesian synthetic likelihood，BSL）是一种流行的方法，它用已知的、易处理的分布（通常是高斯分布）近似概括统计量的似然函数，然后使用标准的基于似然的技术执行统计推断。然而，随着汇总统计量的增加，精确估计该可能性的协方差阵所需的模型模拟数量迅速增加。这对BSL的应用提出了重大挑战，特别是在模型模拟昂贵的情况下。在这篇文章中，我们提出了白化BSL（wBSL）-一个有效的BSL方法，使用近似白化变换去相关的汇总统计在每个算法迭代。我们的经验表明，这可以减少所需的模型模拟实现BSL的数量超过一个数量级，而不会损失太多的准确性。我们探索了一系列的白化程序，并展示了一系列的模拟和真实的建模方案，从生态学和生物学的wBSL的性能。
2020-02-01 stat.CO stat.ME stat.ML
Monte Carlo inference for semiparametric Bayesian regression
本文提出一种简单高效的蒙特卡洛推断策略，通过贝叶斯自助法实现未知数据变换与回归模型参数的联合后验推断，在多重模型误设下保持一致性，适用于多种数据类型，并在多种模型中验证了其有效性与高效性。
2024-07-29 math.ST stat.CO stat.ME
Bayesian transformation family selection: moving towards a transformed Gaussian universe
转换选择的问题是彻底处理从贝叶斯的角度来看。几个家庭的转换被认为是为了实现正常的：Box-Cox，模，Yeo & Johnson和对偶变换。马尔可夫链蒙特卡罗算法已被构造，以便从与每个竞争家族$T$相关联的变换参数$λ_T$的后验分布中采样。我们研究了不同的方法来构建兼容的先验分布$λ_T$在替代的转换家庭，使用单位信息功率先验的方法和替代的正常前近似单位信息的解释。通过后验模型概率实现不同变换族之间的选择和区分。我们证明了我们的方法使用各种模拟数据集的效率。虽然没有一种转换家族可以普遍适用于所有问题，但经验证据表明，某些特定的数据结构最好由特定的转换家族处理。例如，偏度与Box-Cox族相关联，而厚尾分布则使用模变换进行有效处理。
2013-12-12 stat.ME
Bayesian Conditional Transformation Models
统计回归方法的最新发展从纯均值回归转向分布回归模型。其中一个重要的链是条件转换模型（CTM）。CTM直接通过将转换函数应用于响应，以一组协变量为条件，朝向简单对数凹参考分布，推断整个条件分布。因此，CTM不仅允许方差、峰度或偏度，而且允许完整的条件分布依赖于解释变量。我们提出了一个贝叶斯概念的条件转换模型（BCTM）专注于精确观察到的连续响应，但也将扩展到随机删失和离散响应。而不是依赖于伯恩斯坦多项式，已被认为是在基于似然的CTM，我们实现了基于样条的参数化的单调效应，补充平滑先验。此外，我们能够受益于贝叶斯范式通过容易获得的可信区间和其他数量，而不依赖于大样本近似。模拟研究表明，我们的方法对它的似然性为基础的同行，但也贝叶斯添加剂模型的位置，规模和形状和贝叶斯分位数回归的竞争力。两个应用程序说明了多功能性的BCTM的问题，涉及现实世界的数据，再次包括与各种类型的竞争对手的比较。
2022-05-21 stat.ME
Transformations in Semi-Parametric Bayesian Synthetic Likelihood
贝叶斯合成似然（Bayesian synthetic likelihood，BSL）是一种在似然函数难以处理的情况下进行近似贝叶斯推断的常用方法。在合成似然方法中，似然函数通过模型模拟进行参数近似，然后使用标准的基于似然的技术来执行推断。高斯合成似然估计已成为无处不在的BSL文献，主要是因为它的简单性和易于实现。然而，它通常限制性太强，并可能导致较差的后验近似。最近，一个更灵活的半参数贝叶斯合成似然（semiBSL）估计已被引入，这是显着更强大的不规则分布的汇总统计量。在这项工作中，我们提出了一些扩展semiBSL。首先，我们考虑使用变换核密度估计的边缘分布的更灵活的估计。其次，我们提出了白化semiBSL（wsemiBSL）-显着提高semiBSL的计算效率的方法。wsemiBSL在每次算法迭代时使用近似白化变换来解相关汇总统计量。本文开发的方法显着提高了BSL算法的通用性和效率。
2020-07-03 stat.CO stat.ME
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta（阿尔伯塔大学）
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络，而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为，我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰，这两种方法本质上是几何的，并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码，这是一种经典的二进制编码方案，最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法（EmECS）是我们提出的一种新方法，它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较，并与经典的瓦片编码算法加上线性函数逼近器进行了比较，并在几个在线强化学习任务中，我们表明，瓦片编码或EmECS的神经网络不仅可以实现更快的学习，而且可以实现更准确的逼近。我们的研究结果强烈表明，这种类型的几何输入变换可以有效地减少干扰，使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
Neural Nets via Forward State Transformation and Backward Loss Transformation
Radboud University Nijmegen（奈梅亨拉德堡德大学）
这篇文章研究（多层感知器）神经网络，重点是所涉及的转换-向前和向后-为了开发一个符合标准程序语义的语义/逻辑视角。常见的两遍神经网络训练算法使这一观点特别适合。在正向方向上，神经网络充当状态Transformers。然而，在相反的方向上，神经网络将输出的损失改变为输入的损失，从而像（实值）谓词Transformer一样起作用。通过这种方式，反向传播是构造函数的，正如最近的其他工作中所示。我们通过训练一个简单的神经网络实例来说明这一观点。
2018-03-25 cs.LG cs.NE
Bayesian prediction via nonparametric transformation models
本文通过一种新的贝叶斯方法来解决非参数转换模型（NTM）预测的老问题。由于模型的不可识别性，NTM的估计已知是具有挑战性的，尽管由于其在生存分析中的稳健预测能力而具有吸引力。受后验预测分布唯一性的启发，我们在贝叶斯范式下通过上述NTM实现了有效的预测。我们的策略是将弱信息先验分配给非参数分量，而不是通过在现有文献中添加复杂的约束来识别模型。贝叶斯的成功致敬i）一个微妙的铸造的NTMs的指数变换的目的是压缩空间的无穷维参数的正象限考虑非负的故障时间; ii）一个新构造的弱信息分位数结I样条之前的重铸转换函数连同Dirichlet过程混合模型分配给误差分布。此外，我们提供了一个方便和精确的估计所确定的参数分量的一般单位范数的限制，通过后验修正，使有效的相对风险。在真实数据集上的仿真和应用表明，我们的方法是鲁棒的，优于竞争的方法。R软件包BuLTM可用于预测生存曲线，估计相对风险，并便于事后检查。
2023-02-07 stat.ME
Bayesian spatial transformation models with applications in neuroimaging data
本文的目的是开发一类空间变换模型（STM），在空间上模拟成像措施之间的变化关联在一个三维（3D）体积（或2D表面）和一组协变量。我们的STM包括一个不同的Box-Cox变换模型，用于处理非高斯分布的成像数据和高斯马尔可夫随机场模型的问题，将空间平滑的成像数据。后验计算通过有效的马尔可夫链蒙特卡罗算法进行。仿真和实际数据分析表明，STM在恢复有意义的几何图案方面明显优于带高斯噪声的逐体素线性模型。我们的扫描隧道显微镜能够揭示儿童注意缺陷多动障碍的重要脑区的形态学变化。
2016-07-26 stat.AP
Flexible Transformations for Bayesian Score Calibration
Queensland University of Technology（昆士兰科技大学）；Adelaide University（阿德莱德大学）；National University of Singapore（新加坡国立大学）
本文提出两种灵活变换（多项式扩展和顺序应用）用于贝叶斯评分校准，以修正复杂模型误差，并在模拟研究中展示其优于现有方法。
2026-09-09 stat.CO stat.ME
Near-Optimal Degree Testing for Bayes Nets
National University of Singapore（新加坡国立大学）；University of Sydney（悉尼大学）
本文研究贝叶斯网络最大入度测试问题，证明其样本复杂度为 $\tildeΘ(2^{n/2}/\varepsilon^2)$，并提出基于“先学习后测试”框架的算法，同时开发了近似恰当学习与 $χ^2$ 散度下高概率学习的新方法。
2023-04-13 cs.DS cs.IT cs.LG
Bayesian Point Set Registration
点集配准涉及识别两个点集中的对应点之间的平滑可逆变换，其中一个点集可能小于另一个点集，并且可能被观测噪声破坏。这个问题传统上被分解成两个单独的优化问题：（i）分配或对应，以及（ii）识别有序点集之间的最佳变换。在这项工作中，我们提出了一种同时解决这两个问题的方法。特别是，一个连贯的贝叶斯制定的问题的结果在一个边际后验分布的变换，这是探讨内的马尔可夫链蒙特卡罗计划。受原子探针层析成像（APT）的启发，在高熵合金（HEA）结构推断的背景下，我们重点研究了已知参考构型刚性变换的噪声稀疏观测的配准问题，最后在合成数据集上对我们的方法进行了测试。
2018-12-24 stat.AP
Coordinate Transformation and Polynomial Chaos for the Bayesian Inference of a Gaussian Process with Parametrized Prior Covariance Function
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；LIMSI-CNRS（法国国家科学研究中心 LIMSI 实验室）；Duke University（杜克大学）
本文提出了一种基于坐标变换和多项式混沌的高斯过程贝叶斯推断方法，用于在不确定的协方差函数超参数下进行模型降维和参数估计。
2015-10-08 cs.NA math.NA stat.CO
Learning Class-Level Bayes Nets for Relational Data
School of Computing Science（计算科学学院）；Simon Fraser University（西蒙弗雷泽大学）
许多数据库以关系格式存储数据，具有不同类型的实体和关于实体之间的链接的信息。学习领域的关系学习（SRL）已经开发了一些新的统计模型，这样的数据。在本文中，我们专注于学习类级或一阶依赖关系，它对链接对象和链接的属性（例如，在计算机科学课程中获得A级的百分比）。类级统计关系本身很重要，它们支持诸如策略制定、战略规划和查询优化等应用程序。大多数当前的SRL方法查找类级依赖，但它们的主要任务是支持关于特定实体的属性或链接的实例级预测。我们只关注类级别的预测，并描述了学习类级别模型的算法，这些算法对于这项任务来说要快几个数量级。我们的算法学习贝叶斯网络的关系结构，利用单表非关系贝叶斯网络学习器的效率。我们的方法对三个数据集的评估表明，它们是计算上可行的现实表的大小，和学习的结构表示数据库中的统计信息。在学习将数据库统计信息编译成贝叶斯网络之后，通过贝叶斯网络推理查询这些统计信息比SQL查询更快，并且不依赖于数据库的大小。
2009-10-20 cs.AI cs.LG
From Bayesian Sparsity to Gated Recurrent Nets
Peking University（北京大学）；Microsoft Research（微软研究院）
许多一阶算法的迭代，当应用于最小化常见的正则化回归函数时，通常类似于具有预先指定的权重的神经网络层。这一观察结果促进了基于学习的方法的发展，这些方法旨在用增强的代理来取代这些迭代，这些代理是从可用的训练数据中伪造为DNN模型的。例如，重要的NP难稀疏估计问题最近受益于这种类型的升级，简单的前馈或递归网络取代了基于梯度的迭代。类似地，本文证明了用于促进稀疏性的更强大的贝叶斯算法，它依赖于复杂的多循环优化-最小化技术，反映了更复杂的长短期记忆（LSTM）网络的结构，或先前为序列预测设计的替代门控反馈网络。作为这一发展的一部分，我们研究了在优化过程中跨多个时间尺度运行的潜在变量轨迹之间的相似性，以及旨在自适应地对这些特征序列进行建模的深层网络结构中的激活。由此产生的见解导致一种新的稀疏估计系统，当授予训练数据，可以有效地估计最佳解决方案的制度，其他算法失败，包括实际的方向到达（DOA）和3D几何恢复问题。我们揭示的基本原则也暗示了其他领域中更丰富的多循环算法的学习过程。
2017-08-02 cs.LG
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
深度结构化模型广泛用于语义分割等任务，其中变量之间的显式相关性提供了重要的先验信息，这通常有助于减少深度网络的数据需求。然而，当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制，并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理，以便允许随后的非线性输出空间变换。然而，这些配方的优化是具有挑战性的，并且没有得到很好的理解。在这里，我们开发了一种新的模型，它概括了现有的方法，如结构化预测能量网络，并讨论了一个配方，保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
The Geometry of Neural Nets' Parameter Spaces Under Reparametrization
Vector Institute（向量研究所）；University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
从黎曼几何视角研究神经网络在重参数化下的不变性，指出显式表示度量并使用正确变换规则可保持固有不变性，从而解决平坦度度量和优化分析中的不一致问题。
2023-10-23 cs.LG stat.ML
PAC-Bayes with Backprop
DeepMind（深度思考（DeepMind））
我们探索家庭的方法“PAC贝叶斯与反向传播”（PBB）训练概率神经网络通过最小化PAC贝叶斯界限。我们提出了两个训练目标，一个来自以前已知的PAC贝叶斯界，第二个来自一个新的PAC贝叶斯界。这两个培训目标进行评估MNIST和各种UCI数据集。我们的实验显示了两个惊人的观察：我们获得了有竞争力的测试集误差估计（在MNIST上约为1.4%），同时我们计算了比以前结果更严格的值（在MNIST上约为2.3%）的非空界。这些观察结果表明，由PBB训练的神经网络可能会导致自约束学习，其中可用数据可用于同时学习预测因子并验证其风险，而无需遵循数据拆分协议。
2019-10-04 cs.LG stat.ML
Distribution Learning Meets Graph Structure Sampling
University of Warwick（沃里克大学）；IIT Kanpur（印度理工学院坎普尔分校）；National University of Singapore（新加坡国立大学）；Centre for Quantum Technologies（量子技术中心）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
本研究通过在线学习框架关联高维图模型PAC学习与图结构计数采样任务，基于EWA、RWM的遗憾边界推导贝叶斯网络学习新样本复杂度边界，提出两类高效学习算法。
2025-11-13 cs.DS cs.LG stat.ML
Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
神经随机微分方程模型的动态环境与神经网络分配到他们的漂移和扩散条款。他们的非线性的高表达能力是以牺牲不稳定的大自由参数的识别。本文提出了一个配方，以提高预测精度的模型，在三个步骤：i）占认知不确定性假设概率权重，ii）纳入部分知识的状态动态，和iii）训练所得的混合模型的目标来自PAC贝叶斯泛化界。我们在实验中观察到，这种方法有效地将部分和噪声先验知识转化为改进的模型拟合。
2021-02-26 cs.LG stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Introspective Classification with Convolutional Nets
UC San Diego（加州大学圣迭戈分校）
我们提出了内省卷积网络（ICN），强调具有生成能力的卷积神经网络的重要性。我们采用了重新分类的合成算法进行训练，使用的配方源于贝叶斯理论。我们的ICN尝试迭代：（1）合成伪阴性样本;（2）通过改进分类来增强自身。学习的单个CNN分类器同时是生成的--能够在自己的判别模型中直接合成新样本。我们使用最先进的CNN架构对MNIST、CIFAR-10和SVHN等基准数据集进行实验，并观察到改进的分类结果。
2018-01-05 cs.CV cs.LG cs.NE
Provable Generalization in Overparameterized Neural Nets
针对过参数化神经网络泛化性问题，本研究提出基于注意力矩阵有效秩的替代容量概念，导出与大型语言模型经验缩放律匹配的泛化界，为理解其泛化性提供新视角。
2025-08-24 cs.AI cs.LG stat.ML
The Effects of Image Pre- and Post-Processing, Wavelet Decomposition, and Local Binary Patterns on U-Nets for Skin Lesion Segmentation
University of Waterloo（滑铁卢大学）
皮肤癌是一种广泛的、全球性的、潜在的致命疾病，在过去的三十年里，它在美国折磨着比所有其他形式的癌症加起来还要多的生命。最近有很多很有前途的工作利用深度网络架构，如FCNs，U-Nets和ResNets，用于开发自动皮肤病变分割。本文研究了各种预处理和后处理技术，以提高性能的U-网衡量的Jaccard指数。作为“2017 ISBI皮肤病变分析对黑色素瘤检测的挑战”的一部分提供的数据集用于本次评估，决赛选手的表现是比较的标准。所提出的系统中采用的预处理技术包括对比度增强，伪影去除，和晕影校正。更先进的图像变换，如局部二进制模式和小波分解，也被用来增强原始灰度图像作为网络输入功能。虽然所提出的系统的性能没有达到挑战的获胜者，但确定使用小波分解作为早期变换步骤比单独的预处理和后处理步骤提高了系统的整体性能。
2018-04-30 cs.CV cs.LG physics.med-ph
