Deep Active Inference as Variational Policy Gradients
University of Edinburgh（爱丁堡大学）
主动推理是一种源自神经科学的行动理论，它将行动和规划视为一个贝叶斯推理问题，通过最小化单个量（变分自由能）来解决。主动推理承诺一个统一的行动和感知的帐户，加上生物学上合理的过程理论。尽管有这些潜在的优势，当前的主动推理实现只能处理小的、离散的策略和状态空间，并且通常需要知道环境动态。在本文中，我们提出了一种新的深度主动推理算法，该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度，这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法，并获得了与常见强化学习基线相当的性能。此外，我们的算法显示出与最大熵强化学习和策略梯度算法的相似性，这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Post hoc inference via joint family-wise error rate control
本研究提出大规模多重检验框架下的事后推断通用方法，定义联合族错误率（JER）准则，提出多种JER控制程序，可纳入相关性并适配未知信号量，涵盖已有方法为特例，理论结论获数值实验支持。
2018-01-08 math.ST stat.TH
Exact Semiparametric Inference and Model Selection for Load-Sharing Systems
序贯顺序统计量作为一种特殊的比例风险率模型，可以用来描述负荷分担系统的寿命。这些系统的推断需要考虑小样本量，这在可靠性应用中是普遍的。通过利用序贯顺序统计量的概率结构，我们推导出精确的有限样本推理程序来测试的负载分担参数和非参数化指定的基线分布，治疗各自的其他部分作为一个滋扰量。这改进了以前的方法的模型，它要么假设一个完全参数化的规格或依赖于渐近的结果。仿真结果表明，所得到的测试是能够检测偏离原假设在小样本量。一个突出的情况下的临界值列表。
2019-09-16 stat.ME
Statistical Inference with Local Optima
我们研究了多模态似然函数的梯度上升方法的估计量的统计性质。我们推导了该估计量的目标种群数量，并研究了由渐近正态性和Bootstrap方法构造的置信区间的性质。特别是，我们分析了由于有限数量的随机初始化的覆盖不足。我们还通过反转似然比检验、得分检验和Wald检验来研究CI，并且我们表明所得CI可能非常不同。我们提出了一个两个样本的测试程序，即使当MLE是棘手的。此外，我们分析了随机初始化下的EM算法的性能，并推导出有限数量的初始化CI的覆盖范围。
2022-01-03 math.ST stat.ME stat.ML
Prior Preference Learning from Experts:Designing a Reward with Active Inference
POSTECH（浦项工科大学）
主动推理可以被定义为用代理的生物学上合理的模型对大脑进行贝叶斯建模。它的基本思想依赖于自由能原理和代理人的优先偏好。智能体将选择一个导致其对未来观察的优先偏好的动作。在本文中，我们声称，主动推理可以解释使用强化学习（RL）算法，并找到它们之间的理论联系。本文推广了主动推理中的核心量--期望自由能的概念，并指出期望自由能可以看作是一个负的价值函数。受先验偏好概念和理论联系的启发，我们提出了一种简单但新颖的方法，用于从专家那里学习先验偏好。这说明了逆RL的问题可以用主动推理的新视角来处理。先验偏好学习的实验结果显示了基于EFE的奖励的主动推理的可能性及其在逆向RL问题中的应用。
2021-12-13 cs.LG
Inference on the Miss Distance in a Conjunction
本文批判了航天器交会评估中基于碰撞概率的传统方法，因其存在稀释和虚假信心问题，并提出基于漏检概率的替代方法，通过显著性检验或置信区间，利用最大似然处理干扰变量，以实际数据验证其有效性。
2025-03-28 stat.AP
Statistical inference for the doubly stochastic self-exciting process
本文引入并证明了具有指数递减核的Hawkes自激点过程的存在性，其中参数是时变的。感兴趣的量被定义为积分参数$T^{-1}\int_0^Tθ_t^*dt$，其中$θ_t^*$是时变参数，并且我们考虑高频渐近性。为了简单地估计它，我们将数据分成几个块，计算每个块的最大似然估计（MLE），并取局部估计的平均值。渐近偏差渐近爆炸，因此，我们提供了一个非朴素估计器，该估计器在将一阶偏差减少应用于局部MLE时被构造为朴素估计器。我们证明了相关的中心极限定理。蒙特卡罗模拟显示了偏差校正的重要性，该方法在有限样本中表现良好，而实证研究讨论了在实践中的实施，并记录了参数的随机行为。
2017-06-27 math.ST q-fin.ST stat.TH
Network Inference from TraceRoute Measurements: Internet Topology `Species'
互联网映射项目通常包括使用traceroute探测器从有限的一组源中对网络进行采样。这种方法，类似于从不同的源到一组目的地的生成树的合并，必然导致部分的，不完整的互联网地图。因此，从这样的采样地图确定互联网拓扑特征部分地是统计推断的问题。我们的贡献首先观察到，许多最基本的拓扑数量的推断-包括网络的大小和程度的特点-从traceroute测量实际上是所谓的“物种问题”的一个版本的统计。这一观察结果具有重要意义，因为物种问题往往相当具有挑战性。我们在这里关注的是traceroute互联网物种最基本的例子：网络中的节点数量。具体来说，我们的特点是通过一组分析参数估计这个数量的难度，我们使用统计抽样的原则，以获得两个建议的估计，我们说明了这些估计的性能与各种拓扑特征的网络。
2005-10-03 cond-mat.stat-mech cs.NI math.ST
Concentration of the bootstrap empirical process, with applications to statistical inference
University of Rennes, ENSAI, CNRS, CREST-UMR 9194（雷恩大学、ENSai、CNRS、CREST-UMR 9194）
本文研究了基于可交换权重的自助经验过程的集中性，推导了其上界不等式，并应用于均值估计的置信区域和两样本置换检验的非渐近界。
2026-04-03 math.PR math.ST stat.TH
Cytometry inference through adaptive atomic deconvolution
在本文中，我们考虑一个统计估计问题，称为原子反卷积。引入可靠性，该模型有一个直接的应用程序时，考虑生物数据产生的流式细胞仪。在这些实验中，生物学家测量处理过的细胞的荧光发射，并将其与自然发射进行比较，以研究细胞表面上特定分子的存在。他们观察到一个信号，该信号由噪声（自然荧光）加上一些与表面上存在的分子量相关的附加信号（如果有的话）组成。从统计学的角度来看，我们的目标是推断表达所选分子的细胞的百分比和与其荧光发射相关的概率分布函数。我们在这里提出了一个自适应估计程序的基础上，以前的反卷积程序介绍[vEGS08，GvES11]。为了自动估计混合参数和混合密度，我们使用Lepskii方法，该方法基于使用偏差方差分解的带宽的最佳选择。然后，我们推导出一些浓度不等式，我们的估计和获得的收敛速度，这是证明是最小最大最优的（一些对数项）在Sobolev类。最后，我们将我们的算法应用于模拟和真实的生物数据。
2017-10-11 math.ST stat.TH
Regression for the Mean: Auto-Evaluation and Inference with Few Labels through Post-hoc Regression
Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文针对少标签场景下PPI++推断性能退化问题，通过回归视角分析原因，并提出两种基于稳健回归的新PPI技术以降低估计方差。
2025-07-08 cs.LG stat.ML
Valid confidence intervals for post-model-selection predictors
我们考虑线性回归模型选择后的推理。在这种情况下，Berk et al.（2013）最近引入了一类置信集，即所谓的PoSI区间，其以用户指定的最小覆盖概率覆盖特定的非标准感兴趣量，而不管正在使用的模型选择程序。在本文中，我们推广PoSI区间后模型选择的预测。
2017-01-27 math.ST stat.ME stat.TH
On the Dynamics of Inference and Learning
Queen Mary University of London（伦敦玛丽女王大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois（伊利诺伊大学）
统计推断是确定给定数据集的模型参数空间上的概率分布的过程。随着更多的数据变得可用，通过应用贝叶斯定理，该概率分布变得更新。我们提出了一个治疗的贝叶斯更新过程作为一个连续的动态系统。然后，统计推断由一阶微分方程控制，该微分方程描述由参数模型族确定的信息几何中的轨迹或流。我们解决这个方程的一些简单的模型，并表明，当Cramér-Rao界饱和的学习率是由一个简单的$1/T$幂律，与$T$的时间变量表示的数据量。隐变量的存在可以被合并到该设置中，从而导致在所得到的流方程中的附加驱动项。我们说明了这与分析和数值例子的基础上高斯和高斯随机过程和推断的耦合常数在一维伊辛模型。最后，我们比较贝叶斯流所表现出的定性行为，以各种神经网络的基准数据集，如MNIST和CIFAR 10的训练，并显示如何表现出小的最终损失的网络简单的幂律也得到满足。
2022-04-19 cond-mat.dis-nn cs.LG hep-th
Estimating Linear Mixed-effects State Space Model Based on Disturbance Smoothing
本文对线性混合效应状态模型进行了扩展，使其包含相关个体，并研究了其参数和基于干扰平滑的状态估计。对于参数估计，考虑EM和基于分数的算法。首先研究了期望最大化算法的中间量，并对两个给定的模型导出了中间量最大化的显式递推公式。对于基于得分的算法，给出了得分向量的显式表达式，并由此证明了极大似然估计与矩估计的等价性。对于状态估计，我们主张在不假定随机效应事先已知的情况下进行估计，特别是当纵向观测稀疏时。为此，提出了一种核平滑混合卡尔曼滤波算法（MKF-KS）。数值研究进行了调查所提出的算法，验证了所提出的推理方法的有效性。
2014-09-02 stat.ME
Parametric-Rate Inference for One-Sided Differentiable Parameters
假设一个人有一个参数的集合，由一个（可能是无限维的）集合索引。给定从某个分布生成的数据，目标是估计在该分布下评估的该集合中的最大参数。当最大化参数不唯一时，这个估计问题通常是不规则的，因此标准的渐近技术通常在这种情况下失败。我们提出了一种技术，用于开发参数率置信区间的数量感兴趣的这些非常规设置。我们证明了当最大化参数是唯一的时，我们的估计是渐近有效的，从而使得正则估计是可能的。我们将我们的技术应用到最近的一个例子，从文献中，其中一个希望报告的最大绝对相关性之间的预先指定的结果和p预测。我们的技术的简单性，使以前开放的情况下，P增长与样本量的分析。具体来说，我们只要求log（p）的增长速度慢于n的平方根，其中n是样本量。我们表明，与以前的方法不同，我们的方法可扩展到大量的数据集：点估计和置信区间可以在O（NP）时间内构建。
2016-05-24 stat.ME
Constructing Prediction Intervals Using the Likelihood Ratio Statistic
统计预测在大学预算等决策过程中起着重要作用（取决于将注册的学生人数），资本预算（取决于一组系统的剩余寿命），保修费用所需的现金储备量（取决于保修退货的数量），以及是否需要产品召回（取决于可能危及生命的产品故障的数量）。在统计推断中，似然比具有用于与模型参数有关的决策的长期历史（例如，循证医学和法医学）。我们提出了一个通用的预测方法，基于似然比（LR），涉及的数据和未来的随机变量。这种通用方法提供了一种识别具有优良统计特性的预测区间方法的方法。例如，如果一个预测方法可以基于一个关键量，我们的基于LR的方法通常会识别它。对于不存在关键量的应用，基于LR的方法提供了一个具有良好覆盖特性的过程，用于连续或离散数据预测应用。
2021-10-13 stat.ME
Computational Inertia as a Conserved Quantity in Frictionless and Damped Learning Dynamics
Department of Computer Science University of Basel（计算机科学系 巴塞尔大学）
本文在连续时间优化动力学中发现并形式化了“计算惯性”守恒量，即动能与势能之和，推导其衰减行为，为分析学习轨迹与训练几何提供新视角。
2025-05-25 cs.LG math.OC
Fundamental Limits of Membership Inference Attacks on Machine Learning Models
Université Paris-Saclay, CNRS, Laboratoire de mathématiques d’Orsay（巴黎萨克雷大学，CNRS，奥赛数学实验室）
本文从理论上刻画了机器学习模型成员推断攻击的基本统计极限，证明过拟合非线性回归中攻击可高概率成功，并发现数据离散化可增强安全性，其界限由数据分布多样性常数决定。
2025-10-07 cs.AI cs.LG stat.ML
Optimizing Feature Selection in Causal Inference: A Three-Stage Computational Framework for Unbiased Estimation
Northeastern University（东北大学）
提出增强的三阶段计算框架优化因果推断中的特征选择，通过减少处理相关变量和虚假变量的影响来降低偏差与方差，并在合成数据和真实阿片类药物政策数据上验证了其优越性与可扩展性。
2025-02-01 cs.AI cs.LG stat.ME
Towards an Adaptive Dynamic Mode Decomposition
North South University（南北大学）
动态模式分解（DMD）是一种基于数据的建模工具，它识别一个矩阵，将某个时刻的量映射到未来的相同量。我们设计了一个新版本，我们称之为自适应动态模式分解（ADMD），它根据数据的性质利用时间延迟坐标，投影方法和滤波器来创建可用问题的模型。过滤器对于降低高维数据集的排名非常有效。我们采用了“离散傅里叶变换”和“增广拉格朗日乘子”作为滤波器在我们的方法。建议的ADMD进行了测试，不同的复杂性和它的性能似乎是有前途的几个数据集。
2020-12-11 cs.LG cs.NA eess.SP
Machine Learning for Initial Value Problems of Parameter-Dependent Dynamical Systems
Universität Greifswald（格赖夫斯瓦尔德大学）；Universität Stuttgart（斯图加特大学）
本文研究一类含有物理参数的非线性动力系统的初值问题。观察到取决于溶液的感兴趣的量。离散化产生在许多时间点的感兴趣的量的轨迹。我们研究的映射从一组参数的离散值的轨迹。这个映射的评估需要解决一个初始值问题。或者，我们使用机器学习的概念来确定近似，其中评估需要低计算工作。我们采用前馈神经网络，这是适合从样本的轨迹数据。数值计算的结果给出了一个测试例子模拟电路。
2021-01-12 cs.LG cs.NA math.NA
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich（慕尼黑工业大学）；Autonomous Intelligent Driving GmbH（自主智能驾驶有限公司）；Google（谷歌）
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量，因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作，使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量（例如蒙特卡洛dropout）。我们的主要贡献是近似的认识不确定性估计这些方法，不需要采样，从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务（即，语义分割和深度回归），以证明我们的方法相比，基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Bayesian Sensitivity of Causal Inference Estimators under Evidence-Based Priors
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
本文提出贝叶斯敏感性值（BSV）框架，用于评估因果推断估计在假设违反下的稳健性，通过实证研究展示其在糖尿病治疗与体重损失关系中的应用。
2026-05-08 cs.LG stat.ME
Implementation of the Critical Wave Groups Method with Computational Fluid Dynamics and Neural Networks
Naval Surface Warfare Center Carderock Division（卡德洛克海军水面作战中心）；The University of Michigan（密歇根大学）
准确有效地预报船舶的极端响应一直是船舶水动力学中的一个具有挑战性的问题。概率框架结合计算效率高的数值流体动力学工具已经开发出来，使研究人员和设计人员更好地了解极端。然而，这些流体动力学工具在极端事件期间定量表示物理的能力是有限的。以往的研究成功地实现了临界波群（CWG）概率方法与计算流体动力学（CFD）。虽然CWG方法允许比蒙特卡罗方法更少的模拟时间，但是所需的大量模拟是成本过高的。本文的目标是通过构建长短期记忆（LSTM）神经网络来降低CFD实现CWG的计算成本。在用有限数量的模拟训练模型之后，模型可以提供更大量的预测来计算概率。新的框架演示了2-D的海军研究办公室Tumblehome（ONRT）船体在海况7和梁海在零速度的船中段。新的框架能够产生的预测是一个纯粹的CFD驱动的CWG框架的代表，两个数量级的计算成本节省。
2023-01-24 cs.LG cs.NA math.NA
CIMLA: Interpretable AI for inference of differential causal networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出 CIMLA，将特征归因模型与因果解释相结合，用于推断不同生物条件下的差异基因调控网络，并在模拟和阿尔茨海默病单细胞数据中验证其准确性与发现能力。
2023-04-25 cs.LG q-bio.QM stat.ME
BayesFlow 2: Multi-Backend Amortized Bayesian Inference in Python
TU Dortmund University（图卢兹-多特蒙德大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Heidelberg University（海德堡大学）；University of Bonn（波恩大学）
本文介绍BayesFlow 2.0，通过训练神经网络实现快速推断，支持多种深度学习后端和生成网络，提供定制化接口和超参数优化等功能，展示其在动态系统参数估计中的应用潜力。
2026-03-23 cs.LG stat.CO stat.ML
Scalable Data Assimilation with Message Passing
University College London（伦敦大学学院）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
针对数值天气预报中数据同化的分布式计算同步开销问题，将其建模为贝叶斯推理问题，采用基于局部计算的消息传递算法结合GPU加速，实现大网格规模下高精度、低计算与内存开销的可扩展数据同化。
2024-10-01 cs.DC cs.LG stat.AP
