We present a Bayesian non-parametric way of inferring stochastic differential equations for both regression tasks and continuous-time dynamical modelling. The work has high emphasis on the stochastic part of the differential equation, also known as the diffusion, and modelling it by means of Wishart processes. Further, we present a semi-parametric approach that allows the framework to scale to high dimensions. This successfully lead us onto how to model both latent and auto-regressive temporal systems with conditional heteroskedastic noise. We provide experimental evidence that modelling diffusion often improves performance and that this randomness in the differential equation can be essential to avoid overfitting.
A variational approximate posterior for the deep Wishart process
University of Cambridge（剑桥大学）；University of Bristol（布里斯托大学）
最近的工作引入了深度内核进程作为NN的完全基于内核的替代方案（Aitchison et al. 2020）。深度内核进程通过交替地从半正定矩阵上的分布中采样内核并执行非线性变换来灵活地学习良好的顶层表示。一个特定的深度核过程，深度Wishart过程（DWP），是特别感兴趣的，因为它的先验可以等效于深度高斯过程（DGP）先验的内核，可以完全表示在革兰氏矩阵。然而，由于缺乏足够灵活的分布在半正定矩阵的DWPs的推理尚未成为可能。在这里，我们给出了一种新的方法来获得灵活的分布在半正定矩阵广义Bartlett分解的Wishart概率密度。我们使用这个新的分布开发一个近似后的DWP，包括跨层的依赖性。我们开发了一个双随机诱导点推理计划的DWP和实验表明，在DWP的推理可以提高性能比在DGP与等效的先验做推理。
Fast and Robust Likelihood-Guided Diffusion Posterior Sampling with Amortized Variational Inference
Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI）；Huawei Lagrange Mathematics and Computing Research Center, Paris, France（华为拉格朗日数学与计算研究中心，法国巴黎）；Mohamed Bin Zayed University of AI, Chair of the ML Department, EPITA, Laboratoire Recherche de l'EPITA（穆罕默德·本·扎耶德人工智能大学，机器学习系主任，EPITA，EPITA研究实验室）
Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Foundation Model Dept（华为基金会模型部门）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Discrete Diffusion Models via Evolving Variational Autoregressive Networks
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）；School of Physics, University of Electronic Science and Technology of China（电子科技大学物理学院）；Key Laboratory of Quantum Physics and Photonic Quantum Information, Ministry of Education, University of Electronic Science and Technology of China（电子科技大学教育部量子物理与光子量子信息重点实验室）；Non-classical Information Science Basic Discipline Research Center of Sichuan Province, University of Electronic Science and Technology of China（电子科技大学四川省非经典信息科学基础学科研究中心）
Variational Optimality of Föllmer Processes in Generative Diffusions
Department of Mathematics, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校数学系）；Machine Learning Lab, Capital Fund Management, Paris, France（Capital Fund Management机器学习实验室）；Courant Institute, New York University, NY, USA（纽约大学Courant研究所）
Submodular Variational Inference for Network Reconstruction
Yale University（耶鲁大学）
在现实世界和在线社交网络中，个体实时的接收和传输信息。级联信息传输（例如，电话呼叫、文本消息、社交媒体帖子）可以被理解为在网络上操作的扩散过程的实现，并且其分支路径可以由有向树表示。该过程仅遍历并因此揭示边缘的有限部分。网络重构/推理问题是推断未揭示的连接。大多数现有的方法得出的可能性，并试图找到网络拓扑最大化的可能性，这是一个非常棘手的问题。在本文中，我们专注于网络重建问题的广泛类的现实世界的扩散过程中，举例说明了网络扩散计划称为响应驱动采样（RDS）。本文证明了在现实的一般网络扩散模型下，观测到的RDS实现的后验分布是贝叶斯对数次模模型，并针对该模型下的网络重构问题，提出了一种新的、精确的、计算效率高的变分推理算法VINE（Variational Inference for Network Reconstruction）。至关重要的是，我们没有为底层网络假设任何特定的概率模型。VINE可以高精度地恢复任何连通图，正如我们在现实网络上的实验结果所示。
