A Probabilistic Perspective on Model Collapse
Department of Statistics and Data Science University of California, Los Angeles（统计与数据科学系，加州大学洛杉矶分校）
本文从概率视角研究模型崩溃，将递归训练视为随机游走，证明逐步增大样本量可防止崩溃，并分析合成数据训练的优势概率，通过模拟和真实数据验证。
2025-05-21 cs.LG stat.ML
Function-Space Regularization in Neural Networks: A Probabilistic Perspective
New York University（纽约大学）
本文提出函数空间经验贝叶斯（FSEB）正则化方法，从概率视角将参数空间正则化视为经验先验，实现显式编码期望预测函数，带来语义偏移检测、不确定性校准和任务适应等改进。
2023-12-28 cs.AI cs.LG stat.ML
On the Stability of Graph Convolutional Neural Networks: A Probabilistic Perspective
University of Oxford（牛津大学）；University College London（伦敦大学学院）；UCLA, University of Oxford（加州大学洛杉矶分校、牛津大学）
从概率视角研究图卷积神经网络对图结构扰动的稳定性，提出分布感知公式刻画输出扰动，实验验证其在表示稳定性和对抗攻击上的优势。
2025-10-27 cs.LG eess.SP stat.ML
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge（剑桥大学）
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断，并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
A new perspective on probabilistic image modeling
University of Applied Sciences Fulda（富尔达应用科学大学）
我们提出了深度卷积高斯混合模型（DCGMM），这是一种新的概率图像建模方法，能够进行密度估计，采样和易于推理。DCGMM实例表现出类似CNN的分层结构，其中主要构建块是卷积高斯混合（cGMM）层。一个关键的创新w.r.t.类似于和积网络（SPN）和概率电路（PC）的相关模型的优点在于，每个cGMM层优化独立的损失函数，因此具有独立的概率解释。这种模块化方法允许中间转换层利用CNN可用的（潜在不可逆的）映射的全谱，例如，最大池化或半卷积。DCGMM采样和推理是通过一个深层次的先验链来实现的，其中由给定的cGMM层生成的样本定义了下一个较低cGMM层中的采样参数。对于通过不可逆变换层的采样，我们引入了一种新的基于梯度的锐化技术，该技术利用了例如，半卷积DCGNN可以通过SGD从随机初始条件进行端到端的训练，就像CNN一样。我们表明，DCGRIGHT在推理，分类和采样方面优于最近的几个PC和SPN模型，后者特别适用于具有挑战性的数据集，如SVHN。我们提供了一个公开的TF2实现。
2022-03-21 cs.LG
Multivariate Forecasting of Bitcoin Volatility with Gradient Boosting: Deterministic, Probabilistic, and Feature Importance Perspectives
Faculty of Electrical Engineering, Czestochowa University of Technology（电子工程学院，捷斯托霍瓦技术大学）；Faculty of Computer Science and Artificial Intelligence, Czestochowa University of Technology（计算机科学与人工智能学院，捷斯托霍瓦技术大学）
本文利用LGBM模型从确定性和概率性角度预测比特币波动率，并通过特征重要性分析识别波动驱动因素。
2025-11-25 cs.LG
PReP: Path-Based Relevance from a Probabilistic Perspective in Heterogeneous Information Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
异构信息网络作为网络化和多类型数据的一种强有力的表示范式，无处不在。同时，定义适当的相关性度量一直是网络挖掘任务的一个基本问题，具有重要的实用意义。我们的概率解释现有的基于路径的相关性措施的启发，我们建议从概率的角度来研究HIN的相关性。我们还确定，从现实世界的数据，并建议模型跨元路径的协同作用，这是一个重要的特征定义基于路径的HIN的相关性，并没有被现有的方法建模。一个生成模型的建立，以获得一个新的基于路径的相关性度量，这是数据驱动的，并为每个HIN量身定制。我们开发了一个推理算法，找到最大后验（MAP）估计的模型参数，这需要非平凡的技巧。在两个真实数据集上的实验证明了该模型和相关性度量的有效性。
2019-02-20 cs.LG cs.SI
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度，提出了概率规划近似推理的一种新算法。这种方法是有效的，没有限制的概率程序，它是特别实用的分布，这是不容易分析，包括高度结构化的分布，出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化，并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Normalizing Flows for Probabilistic Modeling and Inference
DeepMind
规范化流提供了一种定义表达性概率分布的通用机制，只需要指定一个（通常是简单的）基本分布和一系列双射变换。最近有很多关于规范化流的工作，从提高流的表达能力到扩展流的应用。我们认为，该领域现已成熟，需要一个统一的视角。在这篇综述中，我们试图通过概率建模和推理的镜头描述流来提供这样一个视角。我们特别强调流程设计的基本原则，并讨论基本主题，如表达能力和计算权衡。我们还扩大了概念框架的流量，将它们与更一般的概率变换。最后，我们总结了流在生成建模、近似推理和监督学习等任务中的使用。
2021-04-08 cs.LG stat.ML
Hybrid Machine Learning Modeling of Engineering Systems -- A Probabilistic Perspective Tested on a Multiphase Flow Modeling Case Study
Norwegian University of Science and Technology (NTNU)（挪威科技大学（NTNU））
为了以安全可靠的方式操作过程工程系统，预测模型通常用于决策。在许多情况下，这些是旨在准确描述过程的机械第一原理模型。在实践中，这些模型的参数需要根据当前的工艺条件进行调整。如果条件发生变化（这在实践中很常见），模型就会变得不准确，需要重新调整。在本文中，我们提出了一个混合建模机器学习框架，允许调整第一原理模型，使用两种不同类型的贝叶斯神经网络的过程条件。我们的方法不仅估计的第一原理模型参数的期望值，但也量化这些估计的不确定性。这种混合机器学习建模的方法在文献中还没有很好的描述，所以我们相信本文将提供一个额外的角度，可以考虑混合机器学习建模的物理系统。作为一个例子，我们选择了一个多相管流过程，我们构建了一个三相稳态模型的基础上的漂移通量的方法，可用于建模的石油和天然气生产系统的管道和井的流动行为，或没有神经网络调整。在模拟结果中，我们展示了如何不确定性估计的混合模型可以用来做出更好的操作决策。
2022-05-18 cs.LG stat.ML
From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective
School of Computing and Engineering University of Huddersfield（计算与工程学院赫德斯菲尔德大学）
本文以概率潜变量模型为统一框架，梳理从经典模型到变分自编码器、扩散模型等现代生成式AI的演进脉络，揭示共享原理与推断策略差异，为生成式AI提供理论路线图。
2025-08-18 cs.AI cs.LG
ProDMPs: A Unified Perspective on Dynamic and Probabilistic Movement Primitives
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
运动基元（MP）是表示和生成模块化轨迹的公知概念。MP可以大致分为两种类型：（a）基于动力学的方法，从任何初始状态生成平滑的轨迹，e。例如，在一个实施例中，动态运动基元（DMP），以及（b）捕获运动的高阶统计的概率方法，例如，在一个实施例中，Probability Movement Primitives（ProMP）。然而，到目前为止，还没有一种方法将两者统一起来，即。e.它可以从任意初始状态生成平滑的轨迹，同时捕获高阶统计量。在本文中，我们介绍了一个统一的角度来看，这两种方法通过解决的ODE基础的DMP。我们将昂贵的在线数值积分的DMPs到可以离线计算的基函数。这些基函数可以用来表示类似于ProMP的轨迹或轨迹分布，同时保持动力系统的所有属性。由于我们继承了这两种方法的属性，我们称我们提出的模型为概率动态运动基元（ProDMPs）。此外，我们将ProDMP嵌入到深度神经网络架构中，并提出了一种新的成本函数，用于高阶轨迹统计的有效端到端学习。为此，我们利用贝叶斯聚合对感官输入进行非线性迭代调节。我们提出的模型实现了平滑的轨迹生成，目标吸引子收敛，相关性分析，非线性条件，并在线重新规划在一个框架。
2022-10-04 cs.LG cs.RO
A Unified Memory Perspective for Probabilistic Trustworthy AI
University of Notre Dame（圣母大学）
本文提出统一内存视角分析概率可信AI，揭示随机需求降低数据访问效率并驱动系统进入熵受限操作，定义内存级评估标准，分析传统架构局限并探讨新型概率计算内存方法。
2026-03-26 cs.AI cs.AR cs.ET
Bayesian symbolic regression: Automated equation discovery from a physicists' perspective
Department of Chemical Engineering, Universitat Rovira i Virgili（罗维拉-维格利大学化学工程系）；ICREA
本文从物理学视角阐述贝叶斯符号回归的概率框架，说明其如何基于信息论与统计物理原则评估模型、提供性能保证并支持模型集成。
2025-07-22 cond-mat.stat-mech cs.LG physics.data-an
A Probabilistic Perspective on Unlearning and Alignment for Large Language Models
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出首个针对LLMs的形式化概率评估框架，通过高概率保证的新指标更可靠地评估模型能力，并引入基于熵优化的损失和自适应温度缩放显著增强概率设置下的遗忘效果。
2025-03-01 cs.AI cs.LG
Understanding and Improving Deep Graph Neural Networks: A Probabilistic Graphical Model Perspective
Southeast University（东南大学）；Chinese Academy of Sciences（中国科学院）；Purple Mountain Laboratories（紫金山实验室）
近年来，为下游任务设计的基于图的模型极大地推进了对图神经网络（GNN）的研究。基于神经消息传递机制（如GCN和GAT）的GNN基线随着网络的深化而表现更差。因此，已经提出了许多GNN变体来解决这个性能下降问题，包括许多深度GNN。然而，仍然缺乏一个统一的框架来连接这些现有的模型，并在高层次上解释其有效性。在这项工作中，我们专注于深度GNN，并提出了一个新的观点来理解它们。我们建立了一个理论框架，通过推理的概率图模型。给定从马尔可夫随机场的变分推理导出的不动点方程（FPE），深度GNN（包括JKNet，GCNII，DGCN）和经典GNN（如GCN，GAT和APPNP）可以被视为FPE的不同近似。此外，在此框架下，FPE的更准确的近似，指导我们设计一个更强大的GNN：耦合图神经网络（CoGNet）。对引文网络和自然语言处理下游任务进行了广泛的实验。结果表明，CoGNet优于SOTA模型。
2023-01-25 cs.LG
A Discrete Perspective Towards the Construction of Sparse Probabilistic Boolean Networks
The University of Hong Kong（香港大学）
本文提出贪婪条目移除算法构建稀疏概率布尔网络，推导理论上界并首次研究下界，实验表明GER在合成和实际数据上优于现有算法，输出最稀疏分解。
2024-07-16 cs.LG cs.NA math.NA
Abstracting Probabilistic Models: A Logical Perspective
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
抽象是一种广泛应用于科学的强大思想，通过省略不相关的细节，在更易处理的搜索空间中对系统的行为进行建模、推理和解释。虽然抽象的概念已经成熟的确定性系统，抽象的概率模型的情况下尚未完全理解。在本文中，我们提供了一个语义框架，分析这种抽象的第一原则。我们开发的框架一般的方式，允许表达语言，包括基于逻辑的承认关系和层次结构与随机原语。我们激励一个高层次的模型和它的低层次的对应之间的一致性的定义，但也治疗的情况下，当高层次的模型是缺少关键信息存在于低层次的模型。我们证明属性的抽象，无论是在参数的水平，以及模型的结构。我们的结论与一些意见，如何抽象可以自动派生。
2020-01-13 cs.AI cs.LG cs.LO
Automated learning with a probabilistic programming language: Birch
Uppsala University（乌普萨拉大学）
这项工作提供了一个广泛的视角概率建模和推理的概率编程，其中模型正式表示在图灵完备编程语言的最新进展。我们考虑一个典型的工作流程，以及概率编程语言如何帮助自动化这个工作流程，特别是在匹配模型与推理方法。我们专注于两个属性的模型，这是至关重要的匹配：它的结构-随机变量之间的条件依赖关系-和它的形式-这些依赖关系的精确数学定义。虽然概率模型的结构和形式通常是先验固定的，但概率编程的好奇心是，它们不需要这样，而是可以根据程序执行期间做出的随机选择而变化。我们介绍了一个正式的描述模型表示为程序，并讨论了一些概率编程语言可以揭示这些的结构和形式的方式，以量身定制的推理方法。我们证明了一个新的概率编程语言称为桦树的想法，多对象跟踪的例子。
2020-04-17 cs.LG stat.ML
Exploring Gradient Explosion in Generative Adversarial Imitation Learning: A Probabilistic Perspective
Shanghai University（上海大学）；Midea Group（美的集团）；East China Normal University（华东师范大学）
本文从概率视角探究两类生成对抗模仿学习的梯度爆炸问题，理论证明确定性策略GAIL必然出现梯度爆炸而随机性策略GAIL无此问题，提出裁剪奖励函数的CREDO策略实现高效稳定训练。
2023-12-18 cs.AI cs.LG
Deciphering RNA Secondary Structure Prediction: A Probabilistic K-Rook Matching Perspective
Zhejiang University（浙江大学）；Westlake University（西湖大学）；The Chinese University of Hong Kong（香港中文大学）；University of Michigan（密歇根大学）
本研究针对现有RNA二级结构预测深度学习方法泛化性差、复杂度高的问题，从概率K-车匹配视角出发提出RFold方法，通过二维优化策略分解匹配问题，在保证输出有效性的同时实现了具竞争力的性能和约8倍于最优方法的推理效率。
2024-06-19 cs.AI cs.LG q-bio.BM
Scaling Tractable Probabilistic Circuits: A Systems Perspective
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出PyJuice，一种针对概率电路的通用GPU实现设计，通过紧凑表示和基于块的并行化，显著提升训练速度并降低内存消耗，支持更大规模模型训练，并在图像和语言数据集上建立新基线。
2025-10-30 cs.LG
Towards Semantic Communication Protocols: A Probabilistic Logic Perspective
Yonsei University（延世大学）；Deakin University（迪肯大学）；Inha University（仁荷大学）；Oulu University（奥卢大学）
经典的媒体访问控制（MAC）协议是可解释的，但其任务不可知的控制信令消息（CM）是不适合新兴的关键任务的应用。相比之下，基于神经网络（NN）的协议模型（NPM）学习生成特定于任务的CM，但它们的原理和影响缺乏可解释性。为了填补这一空白，在这篇文章中，我们提出了，第一次，一个语义协议模型（SPM）构造的NPM转换成一个可解释的符号图写的概率逻辑程序设计语言（ProbLog）。这种转换是可行的，提取和合并常见的CM和它们的连接，同时将NPM作为CM生成器。通过大量的模拟，我们证实，SPM紧密接近其原始的NPM，而只占用0.02%的内存。通过利用其可解释性和内存效率，我们展示了几个SPM启用的应用程序，如SPM的碰撞避免重新配置，以及比较不同的SPM通过语义熵计算和存储多个SPM，以应付非静态环境。
2022-07-08 cs.AI cs.IT cs.LG
Times series averaging and denoising from a probabilistic perspective on time-elastic kernels
UMR CNRS IRISA（法国国家科学研究中心UMR IRISA实验室）；Université Bretagne Sud（南布列塔尼大学）
本文在正则化动态时间规整核的基础上，重新考虑了时间序列的时间弹性质心的概念。我们推导出一个新的算法的基础上的概率解释的内核对齐矩阵。该算法用随机对齐自动机表示平均过程。它使用迭代凝聚探试法来平均对齐的样本，同时也平均对齐样本的出现次数。通过比较45个异构时间序列数据集的第一最近的质心/中心点分类器的分类精度，我们表明：i）基于质心的方法显着优于基于中心点的方法，ii）对于所考虑的数据集，我们的算法，结合平均在样本空间和沿时间轴，出现作为最显着的鲁棒模型的时间弹性平均与一个有前途的降噪能力。我们还证明了它的好处，在一个孤立的手势识别实验和它的能力，以显着减少训练实例集的大小。最后，我们强调它的去噪能力，使用示范性的合成数据：我们表明，它是可能的检索，从几个嘈杂的情况下，信号的成分分散在一个宽的频谱带。
2017-04-24 cs.IR cs.LG
Bayesian Modeling of Collatz Stopping Times: A Probabilistic Machine Learning Perspective
Department of Applied Mathematics, Columbia University（应用数学系，哥伦比亚大学）；Department of Mathematics, Columbia University（数学系，哥伦比亚大学）
本文从概率机器学习角度研究科拉茨停止时间，提出两种模型：基于负二项回归的预测模型和基于奇数块分解的生成模型，揭示低阶模数结构对停止时间异质性的影响。
2026-03-04 cs.LG math.PR math.ST
Policy Message Passing: A New Algorithm for Probabilistic Graph Inference
Borealis AI（北极光人工智能）；Princeton University（普林斯顿大学）；Simon Fraser University（西蒙弗雷泽大学）
一般的图结构神经网络架构通过两个核心组件对图进行操作：（1）足够复杂的消息函数;（2）固定的信息聚合过程。在本文中，我们提出了政策消息传递算法，它需要一个概率的角度来看，并重新制定了整个信息聚合的随机序列过程。该算法可以在更大的搜索空间上进行搜索，利用推理历史进行推理，对噪声边缘具有较好的鲁棒性。我们将我们的算法应用于多个复杂的图推理和预测任务，并表明我们的算法始终优于最先进的图结构模型。
2019-09-29 cs.CV cs.LG stat.ML
Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Technische Universität Darmstadt (TU Darmstadt)（达姆施塔特工业大学）
针对状态空间模型作为世界模型的局限性，提出Hidden-Parameter SSMs和Multi-Time Scale SSMs两种概率形式化体系，实现可扩展的分层时间抽象与不确定性建模，在长程预测任务中超越Transformer变体。
2025-06-30 cs.AI cs.LG
A Probabilistic Theory of Supervised Similarity Learning for Pointwise ROC Curve Optimization
Télécom ParisTech（巴黎高等电信学院）；IDEMIA（亿达美）；INRIA（法国国家信息与自动化研究所）
许多机器学习技术的性能取决于在输入空间上选择适当的相似性或距离度量。相似性学习（或度量学习）旨在从训练数据中构建这样的度量，以便具有相同（或相似）的观察结果。不同）标签是一样接近（分别）。尽可能地（）。本文从成对二分排序的角度研究了相似性学习，其目标是根据相似性得分，按照数据库元素与某个查询数据点共享相同标签的概率的降序来对数据库元素进行排序。在这种情况下，一个自然的性能标准是逐点ROC优化：在固定的假阳性率下最大化真阳性率。我们通过严格的概率框架研究这种新的相似性学习的观点。这个问题的经验版本产生了一个约束优化公式，涉及U-统计，我们得到普遍的学习率以及更快的速度下的数据分布的噪声假设。我们还通过分析基于采样的近似的效果来解决大规模的设置。我们的理论结果支持说明性的数值实验。
2018-07-18 cs.AI cs.LG stat.ML
Operator learning meets inverse problems: A probabilistic perspective
本文从概率视角探讨运算学习与反问题的结合，提出端到端反运算学习范式，解决反问题无需显式正向映射，并讨论噪声处理和结构感知架构。
2025-12-05 cs.LG cs.NA math.NA
Building Expressive and Tractable Probabilistic Generative Models: A Review
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
该综述聚焦概率电路（PCs）领域，梳理可处理概率生成建模的进展，分析表达性与可处理性的权衡，探讨深度混合PCs的构建及未来研究挑战。
2026-09-02 cs.AI cs.LG
Language Models are Bounded Pragmatic Speakers: Understanding RLHF from a Bayesian Cognitive Modeling Perspective
Princeton University（普林斯顿大学）
本文提出受限语用说话者概率认知模型，证明经RLHF微调的大语言模型体现了类似人类的快与慢思维模型，并讨论其局限与扩展途径，强调了认知概率建模对理解语言模型的价值。
2024-01-01 cs.CL cs.LG
On the physics of nested Markov models: a generalized probabilistic theory perspective
QICI Quantum Information and Computation Initiative, School of Computing and Data Science, The University of Hong Kong, Hong Kong SAR, China（量子信息与计算倡议，计算与数据科学学院，香港大学，香港特别行政区，中国）；Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（交叉信息科学研究所，清华大学，北京，中国）；Shanghai Qi Zhi Institute, Shanghai, China（上海启智研究所，上海，中国）；Perimeter Institute for Theoretical Physics, Waterloo, Ontario, Canada（理论物理研究所，滑铁卢，安大略，加拿大）
本文从广义概率理论视角探讨嵌套马尔可夫模型，揭示其与物理实现之间的差距，并展示新的GPT不可侵犯约束。
2025-12-15 cs.LG math.ST quant-ph
On the Relationship Between Probabilistic Circuits and Determinantal Point Processes
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
将概率模型扩展到大型现实问题和数据集是机器学习中的一个关键挑战。这项工作的核心是开发易处理的概率模型（TPM）：模型的结构保证有效的概率推理算法。目前的贸易和预防机制是分散的：存在各种各样的贸易和预防机制，它们有不同的长处和短处。两个最突出的TPM类是决定点过程（DPP）和概率电路（PC）。本文首次系统地研究了它们之间的关系。我们提出了一个统一的分析和共享的语言来讨论DPP和PC。然后，我们建立了理论上的障碍，这两个家庭的统一，并证明，有情况下，DPPs没有紧凑的表示为一类PC。我们关闭统一这些听话的模型的中心问题的观点。
2020-06-26 cs.AI cs.LG
Logic, Probability and Action: A Situation Calculus Perspective
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
逻辑和概率的统一是人工智能中长期关注的问题，更广泛地说，是科学哲学中的问题。从本质上讲，逻辑提供了一种简单的方法来指定必须在每个可能世界中保持的属性，概率允许我们进一步量化必须满足属性的世界的权重和比例。为此，已经进行了许多开发，最终提出了诸如概率关系模型之类的建议。虽然这一进展是值得注意的，一个通用的一阶知识表示语言的原因概率和动态，包括在连续设置，仍然是出现。在本文中，我们调查最近的结果有关集成的逻辑，概率和行动的情况演算，这可以说是最古老和最知名的形式主义之一。然后，我们探讨减少定理和编程接口的语言。这些结果是在认知机器人的背景下（正如Reiter和他的同事所设想的那样）为了具体化而产生的。总的来说，证明这种通用语言的结果的优点是，可以使它们适应任何特殊用途的片段，包括但不限于流行的概率关系模型。
2020-06-17 cs.AI cs.LG cs.LO
Probabilistic computation and uncertainty quantification with emerging covariance
Fudan University（复旦大学）
本文提出基于均值与协方差截断的矩神经网络概率计算框架，发现仅监督均值时协方差可通过非线性耦合自发涌现并捕获预测不确定性，为大规模AI系统集成概率计算提供了简洁途径。
2024-01-12 cs.LG cs.NE math.ST
