Conformal Prediction Under Generalized Covariate Shift with Posterior Drift
Binghamton University（宾汉姆顿大学）
针对迁移学习中广义协变量偏移与后验漂移下的分类问题，提出一种加权保形分类器，利用源与目标样本，提供目标域覆盖保证，兼具理论渐近性质与数值有效性。
2025-02-25 cs.LG math.ST stat.ML
Adaptive posterior contraction rates for empirical Bayesian drift estimation of a diffusion
由于高斯过程先验的共轭后验，它在估计具有连续时间观测值的随机微分方程的漂移方面具有很大的吸引力。然而，它们的性能在很大程度上取决于超参数的选择。我们采用边际最大似然估计的缩放和/或平滑参数（S）的先验，并显示相应的后验具有最佳的收敛速度。一般定理并不直接适用于这个模型，因为通常的检验函数是关于随机的Hellinger型度量的。我们允许连续和离散，一维和二维的超参数集，其中优化的二维集的平滑度和缩放超参数被证明是有益的自适应范围。
2020-02-03 math.ST stat.ME stat.TH
Amortized Data Borrowing with Exchangeability-Aware Neural Posterior Estimation
Auburn University（奥本大学）
本研究提出摊销式神经后验估计（NPE）作为贝叶斯动态借用的灵活替代方案，通过预训练网络实现快速后验推断，在结局漂移下显著降低偏差并加速计算，并在ADNI数据上验证了有效性。
2026-10-01 cs.LG stat.ML
A linear adjustment based approach to posterior drift in transfer learning
本文提出了一种新的后验漂移问题的模型和方法，其中目标域中的回归函数被建模为线性调整（在适当的尺度上），这是一个继承了经典统计文献中广义线性模型和加速失效时间模型的简单性和实用性的想法，研究了我们提出的估计量在二分类问题中的理论性质。我们的方法被证明是灵活的，适用于各种统计环境，并可以通过转移学习问题，在各个领域，包括流行病学，遗传学和生物医学。作为一个具体的应用程序，我们说明了我们的方法的力量，通过死亡率预测为英国亚洲人借用力量从类似的数据，从更大的英国高加索人，使用英国生物银行的数据。
2021-12-12 stat.ME
Simulation-Free Learning of GP-SDEs from Irregular Observations
提出GP-SDE匹配框架，通过解析边缘化稀疏GP后验实现无模拟贝叶斯漂移学习，并引入非规则时间感知变分后验，在Lorenz-63及五个基准上显著提升漂移恢复、状态重建与预测稳健性。
2026-09-29 cs.LG eess.SP stat.ML
CODA: Temporal Domain Generalization via Concept Drift Simulator
Texas A&M University（德州农工大学）；Rice University（莱斯大学）
针对机器学习模型因概念漂移易过时且现有方法多依赖特定模型的问题，提出模型无关的CODA框架，通过预测特征相关矩阵模拟未来数据训练模型，有效实现跨架构时域泛化。
2023-10-02 cs.LG stat.ML
Non-parametric Bayesian drift estimation for stochastic differential equations
本文考虑一维随机微分方程漂移系数的非参数贝叶斯估计问题。在适当的正则性条件下，弱于文献中先前提出的，我们建立后验一致性在这种情况下。此外，我们表明，后验一致性扩展到多维设置，以及，据我们所知，这是一个新的结果，在这种设置。
2013-02-25 math.ST stat.TH
Parameter Estimation: The Proper Way to Use Bayesian Posterior Processes with Brownian Noise
研究了一类弱极限为具有未知漂移的布朗运动的标度计数过程序列的贝叶斯参数估计问题。本文的主要结果是：后验分布过程的极限一般不等于具有未知漂移的布朗运动的后验分布过程。相反，它等于与具有相同未知漂移和不同标准差系数的布朗运动相关联的后验分布过程。两个标准差系数之间的差可以任意大。然后将后验分布过程极限的刻画应用于一类停时问题。我们证明了寻找停时问题渐近最优解的正确方法是w.r.t.~定标计数过程是通过查看后验分布过程的极限，而不是通过查看定标计数过程本身的极限的简单方法。性能之间的差异可以任意大。
2014-07-27 math.OC math.PR math.ST
Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks
Emory University（埃默里大学）
时间领域泛化是一个有前途但极具挑战性的领域，其目标是在时间变化的数据分布下学习模型，并根据变化的趋势泛化到不可见的数据分布。该领域的进展面临以下挑战：1）表征数据分布漂移及其对模型的影响，2）跟踪模型动态的表达能力，以及3）性能的理论保证。为了解决这些问题，我们提出了一个时间领域泛化与漂移感知动态神经网络（DRAIN）框架。具体来说，我们制定的问题到贝叶斯框架，共同模型之间的关系数据和模型动态。然后，我们建立了一个循环图生成场景来描述在不同时间点学习的动态图结构神经网络。它捕获模型参数和数据分布的时间漂移，并可以在不存在未来数据的情况下预测未来的模型。此外，我们探讨了具有挑战性的时间DG设置下的模型性能的理论保证，并提供理论分析，包括不确定性和泛化误差。最后，在几个具有时间漂移的真实基准测试上的实验证明了该方法的有效性和效率。
2023-02-09 cs.LG
Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions
Nankai University（南开大学）；ByteDance（字节跳动）；Beihang University（北京航空航天大学）
本文提出PTG方法，通过聚合不同训练域后验隐式推断网络参数的域不变后验分布，利用变分推断近似参数分布，在DomainBed基准上表现优异且可与现有方法结合提升性能。
2023-10-25 cs.AI cs.LG
Decreasing flow uncertainty in Bayesian inverse problems through Lagrangian drifter control
海洋学中的常见现象是收集海洋漂流者的位置。海洋漂移器是一种位于海洋表面并随水流移动的设备，通过GPS将其位置传输到陆地上的站点。使用漂移数据，可以获得底层流动的后验。然而，这个问题是高度低估的。通过控制海洋漂流物，我们试图提高我们对底层流动的认识。我们通过指示漂流者探索目前未被绘制的部分流动来做到这一点，从而获得新的观察结果。对照的有效性由其对后验分布方差的影响决定。较小的方差被解释为更好地理解流量。我们表明，可以通过利用控制来系统地减少方差，这些控制允许漂流者导航新的或有趣的流动结构，其中一个很好的例子是漩涡。
2014-08-27 stat.CO
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO（联邦科学与工业研究组织数据61研究院）；Monash University（莫纳什大学）
本文研究分布式预测器的对抗鲁棒性，提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验，并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Approximate Bayes learning of stochastic differential equations
我们介绍了一种非参数方法估计漂移和扩散函数的随机微分方程系统的状态向量的观测。高斯过程被用作这些函数的灵活模型，并且使用高斯过程回归直接从密集数据集计算估计值。我们还开发了一个近似的期望最大化算法来处理未观察到的，稀疏观测之间的潜在动态。后验过状态近似的分段线性化过程的Ornstein-Uhlenbeck型和最大后验估计的漂移是由稀疏高斯过程近似。
2017-02-17 physics.data-an stat.ML
Divide-and-Conquer: Towards Generalizable Amortized Bayesian Inference for the Drift Diffusion Model
KU Leuven（鲁汶大学）；Heidelberg University（海德堡大学）
本文针对摊销贝叶斯推断无法推广至不同研究设计的局限，提出分而治之框架，将DDM数据集分解为成对数据片后单独推断再用共识MCMC结合，在保持与MCMC相当性能的同时大幅降低计算成本，为ABI方法提供通用优化策略。
2026-08-05 cs.LG stat.AP stat.ME
Entropy-MCMC: Sampling from Flat Basins with Ease
Purdue University（普渡大学）
本文提出Entropy-MCMC方法，通过引入辅助引导变量将后验采样偏向泛化误差低的平坦盆地，以最小计算开销实现高效采样，在分类、校准和分布外检测等基准上优于所有基线。
2024-03-25 cs.LG stat.ML
Why flatness does and does not correlate with generalization for deep neural networks
University of Oxford（牛津大学）；Hertford college（赫特福德学院）
损失景观的局部平坦性与深度神经网络（DNN）的更好泛化相关的直觉已经探索了几十年，产生了许多不同的平坦性度量。最近，这种与泛化的联系受到了质疑，因为许多平坦度的度量容易受到参数重新缩放的影响，参数重新缩放任意地改变它们的值而不改变神经网络的输出。在这里，我们表明，此外，一些流行的SGD的变体，如亚当和熵SGD，也可以打破平坦化的相关性。作为平坦度测量的替代方案，我们使用基于函数的图片，并建议使用初始化时贝叶斯先验的对数，$\log P(f)$，作为DNN在训练到零误差后收敛于函数$f$时的泛化预测。对于在测试集上给出零误差的函数，先验与贝叶斯后验成正比。对于图像分类的情况下，我们表明，$\log P(f)$是一个显着更强大的预测比平坦度的措施的推广。虽然局部平坦度测量在参数重新缩放下失败，但作为全局量的先验/后验在重新缩放下保持不变。此外，作为数据复杂性的函数，与泛化的相关性对于SGD的不同变体仍然很好。
2021-06-21 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University（武汉大学）；The University of Adelaide（阿德莱德大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
变分丢弃算法（Variational dropout，VD）是高斯丢弃算法的一种推广，其目的是根据网络权值的对数一致先验知识来推断权值的后验，从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力，而且还支持这种后验的推断。然而，对数均匀先验是不适当的先验（即，它的积分是无穷的），这就导致了后验推理的不适定，从而限制了VD的正则化性能。为了解决这个问题，我们提出了一个新的推广高斯辍学，称为变分贝叶斯辍学（VBD），这反过来利用一个层次的网络权重的先验，并推断一个新的联合后验。具体来说，我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后，我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中，从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是，层次先验是一个适当的先验，使后验推理是适定性的。此外，我们进一步表明，建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
该研究提出分层信息论框架，分解重放式持续学习的泛化差距，通过Wasserstein松弛和SGLD实例化实现可操作的边界，经实验验证了相关预测。
2026-08-13 cs.LG stat.ML
Generalized Variational Inference: Three arguments for deriving new Posteriors
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提倡以优化为中心的观点，并介绍了一种新的概括贝叶斯推断。我们的灵感来自于将贝叶斯规则表示为无限维优化问题（Csiszar，1975; Donsker and Varadhan; 1975; Zellner; 1988）。首先，我们用它来证明一个最优性结果的标准变分推断（VI）：在所提出的观点，标准的证据下限（ELBO）最大化VI后验是更可取的替代近似的贝叶斯后验。接下来，我们主张推广标准的贝叶斯推断。在现实与标准贝叶斯推断的三个基本假设之间严重不一致的情况下，需要这样做：（1）明确指定的先验，（2）明确指定的似然，（3）无限计算能力的可用性。我们的推广解决了这些缺点，有三个参数，被称为三规则（RoT）。我们推导出公理和恢复现有的后验作为特殊情况下，包括贝叶斯后验和其近似标准VI。相反，基于替代ELBO类目标的近似违反了公理。最后，我们研究了RoT的一种特殊情况，我们称之为广义变分推断（GVI）。GVI后验是由三个参数指定的一个大而易处理的信念分布族：损失，发散和变分族。GVI后验具有吸引人的性质，包括一致性和近似ELBO的解释。文章的最后一部分探讨了GVI在流行的机器学习模型中的一些有吸引力的应用，包括鲁棒性和更合适的边缘。在推导出GVI后验的黑盒推理方案后，研究了它们在贝叶斯神经网络和深度高斯过程上的预测性能，其中GVI可以全面改进现有方法。
2019-12-12 cs.AI cs.LG stat.ML
Koopman Operator Identification of Model Parameter Trajectories for Temporal Domain Generalization (KOMET)
South Dakota Mines（南达科他矿业学院）
KOMET通过扩展动态模式分解识别时间域漂移下的模型参数轨迹，利用傅里叶增强的观测字典捕捉周期性结构，实现零重新训练的自适应预测。
2026-03-27 cs.LG math.DS stat.ML
Uncertainty quantification of neural network models of evolving processes via Langevin sampling
Sandia National Laboratories（桑迪亚国家实验室）；University of Maryland（马里兰大学）
本研究提出一种基于朗之万采样的可扩展近似推理超网络框架，用于历史依赖过程NODE模型的不确定性量化，可灵活平衡计算成本，在化学反应与材料物理数据上性能优于标准变分推理。
2025-05-19 cs.LG stat.ML
High-dimensional Asymptotics of VAEs: Threshold of Posterior Collapse and Dataset-Size Dependence of Rate-Distortion Curve
Fujitsu Limited（富士通有限公司）
本文在高维极限下分析最小 VAE，精确刻画了后验坍缩相对超参数 beta 和数据规模的阈值条件，并揭示高速率失真曲线需要较大数据集支撑。
2025-03-28 cs.LG stat.ML
Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation
Department of Statistics and Data Science, Cornell University（统计与数据科学系，康奈尔大学）
本文提出面向决策规则漂移的迁移学习分类方法，利用 Bayes 决策边界几何变换将后验漂移建模转化为低维经验风险最小化，证明一致性与风险界，并在个体化治疗规则、模拟及真实数据中验证其优势。
2025-08-28 cs.LG math.ST stat.ME
Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Electrical and Computer Engineering Department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
本文研究了通过超参数调优实现学习学习的问题，提出兰格文梯度下降算法，并证明其在平方损失下达到贝叶斯最优解，同时给出了泛化保证和经验验证。
2026-09-11 cs.LG stat.ML
Embedding martingale diffusions as binary posteriors in sequential inference
Columbia University（哥伦比亚大学）；University of Copenhagen（哥本哈根大学）
研究将鞅扩散嵌入二元后验概率的问题，通过显式二元序贯实验实现，给出了包括吸收布朗运动等在内的有界鞅扩散的序贯推断解释，揭示了相关条件及不同情况下后验性质。
2026-07-23 math.PR math.ST stat.TH
Nonparametric Bayesian posterior contraction rates for scalar diffusions with high-frequency data
我们考虑了具有离散数据$(X_{jΔ_n})_{0\leq j \leq n}$、$n\to \infty,~Δ_n\to 0$和周期系数的标量扩散模型$dX_t=b(X_t)dt+σ(X_t)dW_t$中的推断。对于$σ$给定的，我们证明了一个一般定理详细的条件下，贝叶斯后验将合同在$L^2$ -距离周围的真实漂移函数$b_0$在频率最小最大率（对数因子）Besov光滑类。我们表现出自然的非参数先验满足我们的条件。我们的研究结果表明，贝叶斯方法适应未知的采样制度和未知的平滑度。
2018-08-23 math.ST stat.TH
A sequential test for the drift of a Brownian motion with a possibility to change a decision
我们构建了一个贝叶斯序贯检验的两个简单的假设值的不可观测的漂移系数的布朗运动，有可能改变初始决定在随后的时刻的一些处罚。这样的测试程序允许在最初的决定被证明是错误的情况下对其进行纠正。该测试基于对后验均值过程的观察，并做出初始决策，并且当该过程越过某些阈值时，可能会在以后更改该决策。通过将问题归结为联合最优停止和最优切换问题，得到了问题的解。
2020-07-25 math.PR math.ST stat.TH
Learning Robust Spectral Dynamics for Temporal Domain Generalization
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney, Australia（澳大利亚人工智能研究所（AAII）、悉尼技术大学）
针对时域泛化中现有方法难应对复杂现实漂移的问题，提出基于频域分析的FreKoo方法，通过Koopman算子处理低频动力学、正则化平滑高频分量，兼具理论保障，在复杂漂移场景下性能优于现有最优方法。
2025-05-19 cs.AI cs.LG
Prompting-based Temporal Domain Generalization
Simon Fraser University（西蒙菲莎大学）；Borealis AI
针对数据分布随时间变化导致模型泛化差的问题，提出基于提示的时序领域泛化方法，通过学习全局、领域特定和感知漂移的提示适应时间漂移，在分类、回归和预测任务上验证了其有效性与通用性。
2024-02-15 cs.LG
Learning under Model Misspecification: Applications to Variational and Ensemble methods
University of Almería（阿尔梅里亚大学）；University of Copenhagen（哥本哈根大学）
事实上，我们在机器学习中用来进行预测的任何模型都不能完美地代表现实。因此，大多数学习都发生在模型错误指定的情况下。在这项工作中，我们对模型误指定和独立同分布下的贝叶斯模型平均的泛化性能提出了一种新的分析数据使用一个新的家庭的二阶PAC-Bayes界限。该分析以简单直观的方式表明，当模型被错误指定时，贝叶斯模型平均提供了次优的泛化性能。因此，我们提供了强有力的理论论据，表明贝叶斯方法不是学习预测模型的最佳方法，除非模型类是完全指定的。使用新的二阶PAC-Bayes界，我们得到了一个新的家庭的贝叶斯算法，它可以实现为变分和集成方法。这些算法的输出是一个新的后验分布，不同于贝叶斯后验，它导致后验预测分布具有更好的泛化性能。贝叶斯神经网络的实验说明了这些发现。
2020-10-22 cs.LG math.ST stat.ML
Online Semi-Supervised Concept Drift Detection with Density Estimation
Monash University（莫纳什大学）
概念漂移被正式定义为一组输入变量X和一个目标变量y的联合分布的变化。广泛研究的两种类型的漂移是真实漂移和虚拟漂移，其中前者是后验概率p（y）的变化|后者是X的分布变化，而不影响后验概率。关于概念漂移检测的许多方法要么假设数据标签y的完全可用性，要么仅处理虚拟漂移。在流环境中，数据标签y的完全可用性的假设受到质疑。另一方面，处理虚拟漂移的方法未能解决真实漂移。本文提出了一个半监督的框架来解决上述问题，而不是改进现有的方法。所提出的框架的目标是从具有有限数据标签的流环境中学习，并同时检测实际漂移。本文提出了一种新的概念漂移检测方法，利用后验概率密度的部分标记的流媒体环境。在合成数据集和真实数据集上的实验结果表明，我们提出的半监督框架能够检测这种环境中的概念漂移，同时实现与最先进方法相当的预测性能。
2019-11-11 cs.LG stat.ML
Nonparametric Bayesian posterior contraction rates for discretely observed scalar diffusions
本文研究了具有离散采样观测值$X_0, X_Δ, \dots, X_{nΔ}$的反射扩散模型$dX_t = b (X_t)dt + σ(X_t) dW_t,$的非参数贝叶斯推断.我们分析的非线性逆问题对应的“低频采样”制度，其中$Δ>0$是固定的和$n \to \infty$。给出了扩散系数$σ$和漂移函数$b$的先验分布$Π$的条件，并证明了该条件可保证Hölder-Sobolev光滑类上后验分布的极小极大最优收缩率.这些条件的非参数随机小波级数先验的自然例子进行了验证。对于证据，我们得出新的浓度不等式的经验过程所产生的离散观察到的扩散是独立的利益。
2016-03-29 math.PR math.ST stat.ME
Bayesian Semiparametric Longitudinal Drift-Diffusion Mixed Models for Tone Learning in Adults
了解成年人如何学习非母语语言类别，如音调信息，为经验依赖的大脑可塑性机制提供了新的见解。传统上，科学家们在多类别决策范式下使用纵向学习实验来研究这些问题。漂移扩散过程在这种情况下很受欢迎，因为它们能够模仿潜在的神经机制。基于这些问题，我们提出了一种新的贝叶斯半参数逆高斯漂移扩散混合模型，用于纵向环境下的多方案决策。我们设计了一个用于后验计算的马尔可夫链蒙特卡罗算法。我们通过合成实验来评估该方法的经验性能。应用于我们的激励纵向音调学习研究，该方法提供了新的见解如何生物学解释的模型参数随着学习的发展，不同的输入-响应音调组合，以及表现良好和表现不佳的成年人之间的差异。
2020-06-15 stat.ME
Generalizations related to hypothesis testing with the Posterior distribution of the Likelihood Ratio
李克比的后验分布是Dempster在1974年提出的，用于简单假设与复合假设情况下的显著性检验。在这个假设检验案例中，经典频率论和贝叶斯假设检验是不可调和的，正如林德利悖论，伯杰和塞尔克在1987年和许多其他人所强调的那样。然而，Dempster表明PLR（内部阈值为1）等于简单高斯情况下的频率p值。1997年，Aitkin通过添加一个讨厌的参数扩展了这个结果，并在更一般的分布下证明了它的渐近有效性。在这里，我们扩展的PLR和频率p值之间的和解有限样本，通过一个框架类似于斯坦的定理框架中，一个可信的（贝叶斯）域等于一个置信度（频率）域。该一般协调结果仅涉及简单与复合假设检验。Aitkin在2010年和Evans在1997年提出的措施具有有趣的性质，并扩展了Dempster的PLR，但只是通过添加一个滋扰参数。在这里，我们提出了两个扩展的PLR概念的一般复合与复合假设检验。一旦后验是正确的，就可以为不正确的先验定义第一扩展。第二个扩展出现从一个新的贝叶斯型奈曼-皮尔逊引理，并强调，从贝叶斯的角度来看，LR作为一个差异变量的假设检验的作用。
2014-06-04 physics.data-an stat.ME
Generalized Power Priors for Improved Bayesian Inference with Historical Data
Research Fellow, School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院研究员）；Professor, School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院教授）
本文提出广义幂先验，通过最小化Amari的$\alpha$-散度线性组合扩展传统幂先验，允许数据自适应选择$\alpha$参数，改进基于历史数据的贝叶斯推断性能，并揭示其几何性质。
2025-05-22 cs.LG math.ST stat.ML
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质，他们的分布，计算的可扩展性和测试集的性能。对于一个有限的分类器集，我们推导出三个距离函数的界限：KL-发散，线性和平方距离。最优后验权重与经验风险的偏差成比例，通常具有子集支持。对于均匀先验，在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划，并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划，KL-发散问题是一个非凸优化（一个凸函数的差）问题。为了计算这样的最佳后验，我们得到快速收敛的不动点（FP）方程。我们将这些方法应用于SVM正则化参数值的有限集，以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较，这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差，暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差，但我们的样本更稳健，具有可量化的泛化保证，并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Posterior Covariance Information Criterion for Weighted Inference
针对基于准后验分布的预测评价问题，提出了一种新的信息准则--后验协方差信息准则（PCIC）。PCIC概括了广泛适用的信息标准WAIC，以便有效地处理预测场景中的估计和评估模型的可能性可能不同。这种情景的一个典型例子是加权似然推断，包括协变量转移下的预测和反事实预测。建议的标准利用后验协方差形式，并计算通过只使用一个马尔可夫链蒙特卡罗运行。通过数值例子，我们展示了如何PCIC可以在实践中应用。此外，我们证明了PCIC是渐近无偏的拟贝叶斯推广误差在温和的条件下，在加权推断与正规和奇异统计模型。
2023-01-25 math.ST stat.ME stat.ML
Practical calibration of the temperature parameter in Gibbs posteriors
EPFL（洛桑联邦理工学院）；RIKEN（理化学研究所）
PAC-Bayesian算法和Gibbs后验因其对模型误设的鲁棒性而越来越受欢迎，即使在Bayesian推断不一致的情况下。PAC-Bayesian alpha-posterior是标准贝叶斯后验的推广，可以使用参数alpha来处理不一致性。已经提出了用于调整alpha的数据驱动方法，但仍然很少，并且通常计算量很大。此外，在我们使用变分近似而不是精确的α-后验的情况下，这些方法的充分性尚不清楚。这将它们的使用范围缩小到简单的模型，并防止它们应用于大规模的问题。因此，我们需要快速的方法来调整alpha，同时使用精确和变分的alpha后验。首先，我们提出了两种数据驱动的方法来调整alpha，分别基于样本分裂和自举。其次，我们制定了（精确或变分）后验的三个流行的统计模型，并修改成α后验。对于每个模型，我们测试我们的策略，并将其与标准贝叶斯和Grunwald的SafeBayes进行比较。虽然自举实现了混合的结果，样本分裂和SafeBayes表现良好的精确和变化的α后验，我们描述，并实现更好的结果比标准贝叶斯在错误指定或复杂的模型。此外，样本分割在速度方面优于SafeBayes。样本分割提供了一个快速和简单的解决方案，不一致，通常执行类似或优于贝叶斯推理。我们的研究结果提供了在PAC贝叶斯和吉布斯后验的α校准的提示，并可能有助于在大型和复杂的模型中使用这些方法。
2020-04-22 cs.LG math.ST stat.ML
Flexible Bayesian inference for diffusion processes using splines
本文提出用样条基建模漂移与波动率函数的变换形式，并通过 MCMC 进行非参数贝叶斯后验推断，在金融、古气候和天体物理数据上揭示了常用参数扩散模型的可疑之处。
2023-09-29 stat.AP stat.CO stat.ME
FreKoo++: Learning Continuous Spectral Dynamics for Temporal Domain Generalization
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney (UTS)（悉尼科技大学（UTS））
针对时间域泛化中复杂流场景的局限，提出FreKoo++框架，统一连续Koopman模态动力学与自适应谱解耦，在TDG基准上实现最先进性能。
2026-08-25 cs.AI cs.LG
Adaptive particle-based approximations of the Gibbs posterior for inverse problems
Duke University（杜克大学）；George Mason University（乔治梅森大学）
在这项工作中，我们采用了一个通用的框架的基础上吉布斯后更新信念分布的偏微分方程（PDE）的反问题。吉布斯后验公式是标准贝叶斯推断的推广，其仅依赖于将未知参数连接到数据的损失函数。当真实数据生成机制（或噪声分布）未知或难以指定时，它特别有用。吉布斯后验符合贝叶斯更新时，一个真正的似然函数是已知的，损失函数对应于负对数似然，但在更一般的设置提供主观推断。我们采用序贯蒙特卡罗（SMC）的方法来近似吉布斯后验粒子。为了管理通过损失函数传播越来越多的粒子的计算成本，我们采用了最近开发的局部缩减基方法来构建一个有效的替代损失函数，该函数用于吉布斯更新公式中代替真实损失。我们推导出我们的近似误差界，并提出了一种自适应的方法来构建代理模型，在一个有效的方式。我们证明了我们的方法的效率，通过几个数值例子。
2019-07-02 cs.LG stat.CO
Power-Expected-Posterior Priors as Mixtures of g-Priors
构造客观贝叶斯方法的先验分布的主要方法之一是随机虚观测值的概念。在这种设置下，期望后验先验（EPP）提供了几个优点，其中它具有很好的和简单的解释，并提供了一种有效的方法来建立模型之间的先验的兼容性。本文研究了正态线性模型下客观贝叶斯模型选择中幂期望后验先验的推广。我们证明，它可以表示为混合物的$g$先验，像一个广泛的先验分布下的正态线性模型，从而后验分布和贝叶斯因子推导出封闭的形式，因此保持计算易处理。比较与其他混合物的$g$先验和重点是在后验分布的g和它的效果贝叶斯模型选择和模型平均。
2020-10-08 stat.ME
Consistency of Bayesian nonparametric inference for discretely observed jump diffusions
我们引入可验证的标准弱后验一致性的可识别贝叶斯非参数推断跳跃扩散与单位扩散系数和一致Lipschitz漂移和跳跃系数在任意维。该标准用描述该过程的随机微分方程的系数来表示，并且不依赖于跃迁密度等棘手的量。我们还表明，产品的离散网络和狄利克雷混合模型先验满足我们的条件下，再次可识别的假设。这概括了已知的结果，将跳跃到以前的工作单位扩散一致Lipschitz漂移系数。
2018-09-14 math.PR math.ST stat.TH
Nonparametric Bayesian inference for reversible multi-dimensional diffusions
本文研究周期漂移可逆多维扩散的非参数贝叶斯推断，利用可逆性建立漂移梯度向量场的一般后验收缩速率定理，并证明高斯先验与p-指数先验在任意维Sobolev类上达到极小极大最优速率。
2022-08-01 cs.NA math.NA math.PR
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程，它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察，贝叶斯过程是基于吉布斯后验推理，一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下，证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的，并推广了K。McGoff，S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性，而不是连接。
2022-01-13 math.DS math.PR math.ST
Gibbs posterior convergence and the thermodynamic formalism
在本文中，我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验，标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括（隐藏）马尔可夫链模型，包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时，Gibbs后验分布在参数空间上的渐近行为。特别是，我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统，我们表明，吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下，我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系，这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
Predictive posteriors under hidden confounding
针对隐藏混杂导致外部领域预测困难且缺乏不确定性量化的问题，提出一种贝叶斯框架，能跨域提供校准良好的预测分布并实现随数据集增加而改善的后验收缩率。
2025-10-11 stat.ME
Asymptotics for parametric martingale posteriors
University of Hong Kong（香港大学）；University of Oxford（牛津大学）
本文研究参数鞅后验的渐进行为，提出预测中心极限定理和伯恩斯坦-冯-米塞斯结果，通过模拟和实际数据验证理论有效性。
2024-10-23 math.ST stat.ME stat.TH
Modeling Neural Switching via Drift-Diffusion Models
本文提出基于非马尔可夫状态空间模型和漂移-扩散过程的统计框架，并开发新MCMC算法，用于识别神经元多路复用编码并揭示下丘切换动力学。
2025-03-11 stat.ME
Drift vs Shift: Decoupling Trends and Changepoint Analysis
提出结合贝叶斯动态线性模型与惩罚似然估计的解耦方法，在复杂噪声下同时实现趋势平滑估计与变点精准检测，具有鲁棒性且可扩展至时变参数模型。
2024-01-07 stat.ME
Sequential Maximal Updated Density Parameter Estimation for Dynamical Systems with Parameter Drift
本研究在数据一致性（DC）框架下提出序列最大更新密度（MUD）估计算法，可实时处理分批时空数据以估计动力系统参数、检测参数漂移，并通过三类模型验证了方法的有效性。
2024-05-14 cs.NA math.NA stat.ME
Bayesian Generalization Error of Poisson Mixture and Simplex Vandermonde Matrix Type Singularity
泊松混合模型是计算机科学、生物学和社会学中的一个重要模型。然而，由于后验分布不能用任何正态分布来近似，因此其理论性质尚未得到研究。这样的模型被称为奇异的，它是已知的，实对数典型阈值（RLCT）是等于贝叶斯推广误差的渐近主项的系数。本文导出了单形Vandermonde矩阵型奇异性的RLCT，它在一般情况下与Poisson混合的RLCT相等。
2019-12-31 math.ST stat.TH
Posterior distributions of Gibbs-type priors
针对Gibbs型先验通用类后验分布未知的问题，本文利用其独有Gibbs性质提出新颖证明方法，给出该类先验的后验分布描述，并通过多个具体案例验证说明。
2023-08-28 math.PR math.ST stat.TH
