Gaussian One-Armed Bandit and Optimization of Batch Data Processing
考虑Gaussian单臂强盗问题的Minimax设置,即收入服从Gaussian分布且第一臂的分布已知的双臂强盗问题,当考虑批量数据处理的优化时,这种设置自然出现,并且有两种可供选择的处理方法,第一种方法的效率先验已知.应该估计第二种方法的效率,并提供两者中最有效的方法的主要用途。根据博弈论的主要定理,寻找最小极大策略和最小极大风险作为最坏先验分布下的贝叶斯策略。结果得到了当批数趋于无穷大时的极限情形下的递归积分-差分方程和二阶偏微分方程。这使得用数值方法确定极小极大风险和极小极大策略成为可能。如果批次的数量是足够大的,我们表明,批量数据处理几乎不影响控制性能,即极小极大风险的值。此外,在伯努利收益和大量批次的情况下,批次数据处理提供了几乎相同的最佳逐个数据处理的极大极小风险。
2019-01-25 math.ST stat.TH
Nonlinear Gaussian process tomography with imposed non-negativity constraints on physical quantities for plasma diagnostics
本文提出非线性高斯过程成像方法,通过拉普拉斯近似对非负物理量施加约束,提升等离子体诊断的重建精度。
2026-03-16 cs.LG physics.plasm-ph
Gaussian Measures Conditioned on Nonlinear Observations: Consistency, MAP Estimators, and Simulation
Courant Institute of Mathematical Science, New York University(纽约大学柯朗数学研究所);University of Washington(华盛顿大学)
本文系统研究高斯随机变量在非线性观测下的条件化问题,提出表示定理、条件测度众数新概念及拉普拉斯近似变体,用于高效模拟和不确定性量化。
2024-05-21 cs.LG cs.NA math.NA
Integrated Pre-Processing for Bayesian Nonlinear System Identification with Gaussian Processes
提出GP-FNARX模型,通过集成数据预处理与稀疏高斯过程回归,实现从原始数据到辨识模型的自动化流程,并利用边际似然最大化同时优化预处理参数和超参数,获得能报告不确定性的贝叶斯动力学模型。
2013-09-17 cs.AI cs.RO cs.SY
Bayesian testing of linear versus nonlinear effects using Gaussian process priors
提出了一种贝叶斯因子,用于检验关键预测变量对因变量的影响是线性还是非线性的,同时可能控制某些协变量。该检验可用于(i)当人们对量化线性与非线性关系的数据中的相对证据感兴趣时,以及(ii)量化数据中有利于线性关系的证据时(在基于变换变量构建线性模型时有用)。在非线性模型下,采用类似于Zellner的$g$先验的参数化的高斯过程先验,从而得到尺度不变的检验。此外,贝叶斯因子提出了单侧检验的非线性效应是否始终是积极的,始终是消极的,或两者都没有。应用程序提供了从各个领域,包括社会网络研究和教育。
2021-09-15 stat.ME
Dynamic Term Structure Models with Nonlinearities using Gaussian Processes
针对动态期限结构模型仅考虑线性交互的局限,提出引入高斯过程先验的广义非线性建模及序贯蒙特卡洛预测方案,发现该模型在核心通胀预测中较线性模型产生显著的经济价值收益。
2023-05-18 stat.AP stat.ME stat.ML
Combining Gaussian processes and polynomial chaos expansions for stochastic nonlinear model predictive control
模型预测控制是一种适用于具有约束条件的多变量系统的先进控制方法,它依赖于精确的动态模型。然而,大多数真实的动态模型受到不确定性的影响,这可能导致闭环性能恶化和约束违反。在本文中,我们引入了一个新的算法显式考虑时不变的随机不确定性的最优控制问题。将高斯过程与多项式混沌展开相结合,解决了随机变量通过非线性函数传播的困难。本文的主要新颖之处是使用这种组合在一个有效的方式来获得非线性变换的均值和方差估计。使用该算法,它是如何制定的机会约束和概率目标的最优控制问题。在一个间歇反应器的案例研究中,我们首先验证了新方法的能力,以准确地近似所需的概率分布。其次,一个易于处理的随机非线性模型预测控制方法制定了一个经济的目标,证明了该方法的闭环性能,通过蒙特卡洛模拟。
2021-03-09 math.OC stat.ML
Control Barrier Functions for Unknown Nonlinear Systems using Gaussian Processes
Technical University of Munich(慕尼黑工业大学);University of Pennsylvania(宾夕法尼亚大学);University of Colorado Boulder(科罗拉多大学博尔德分校);LMU Munich(慕尼黑大学)
本文主要研究在保证安全性约束的前提下,未知非线性系统的控制器综合问题。我们的方法包括两个步骤,一个学习步骤,使用高斯过程和控制器的合成步骤,是基于控制障碍函数。在学习步骤中,我们使用一种数据驱动的方法,利用高斯过程来学习未知的控制仿射非线性动力学以及学习模型精度的统计界限。在第二个控制器综合步骤中,我们开发了一个系统的方法来计算控制障碍函数,明确考虑到学习模型的不确定性。控制障碍函数不仅通过构造产生安全控制器,而且还提供满足安全规范的概率的严格下限。最后,我们通过合成一个喷气发动机的安全控制器的例子来说明所提出的结果的有效性。
2020-10-12 cs.LG cs.SY eess.SY
Gaussian Process State-Space Modeling and Particle Filtering for Time Series Decomposition and Nonlinear Signal Extraction
Tokyo University of Marine Science and Technology(东京海洋大学);The Institute of Statistical Mathematics(统计数学研究所)
本文提出基于高斯过程状态空间模型和粒子滤波的方法,用于时间序列分解和非线性信号提取,展示了其在复杂动态下的有效性。
2025-12-01 stat.ME
Estimating densities with nonlinear support using Fisher-Gaussian kernels
当密度集中在非线性子空间或流形附近时,用于多变量密度估计的当前工具很困难。大多数方法需要选择一个内核,与多元高斯到目前为止最常用的。虽然已经提出了重尾和倾斜的扩展,这样的内核不能捕获曲率的数据的支持。除非相对于数据维度而言,样本量非常大,否则这会导致性能较差。本文提出了一种新的广义高斯分布,其中包括一个额外的曲率参数。我们将所提出的类称为Fisher-Gaussian(FG)内核,因为它们是通过从球体上的von Mises-Fisher密度采样并添加高斯噪声而产生的。FG密度具有解析形式,并且适合于使用马尔可夫链蒙特卡罗在贝叶斯混合模型内直接实现。我们提供理论上的大支持,并说明增益相对于竞争对手在模拟和真实的数据应用程序。
2019-07-12 math.ST stat.ME stat.TH
A comparison of nonlinear extensions to the ensemble Kalman filter: Gaussian Anamorphosis and Two-Step Ensemble Filters
包围卡尔曼滤波器基于高斯假设,这可能会限制其在某些非高斯设置中的性能。本文综述了Ensemble卡尔曼滤波器的两种非线性、非高斯扩展:高斯变形(GA)方法和两步更新,其中秩直方图滤波器(RHF)是一个典型的例子。GA-EnKF方法在应用EnKF之前对状态和观测变量应用单变量变换,以使它们的分布更具高斯性。两步法第一步使用标量贝叶斯更新,第二步使用线性回归。两步框架的连接到完整的贝叶斯问题,这打开了大门,更先进的两步方法在完整的贝叶斯设置。提出了一种新的方法的两步框架的第一部分,类似的形式,但不同的动机,称为“改进的RHF”(iRHF)的RHF。Lorenz-'96模型的一系列实验证明了GA-EnKF方法与EnKF相似的情况,以及它们优于EnKF的情况。实验还强烈支持RHF和iRHF滤波器对非线性和非高斯观测的准确性;这些方法在本文报告的实验中一致击败了EnKF和GA-EnKF方法。新的iRHF方法只是在这里报道的实验中,在小的系综尺寸下比RHF更准确。
2022-01-28 stat.CO stat.ME
Bayesian analysis of nonlinear structured latent factor models using a Gaussian Process Prior
针对显变量与潜因子间的非线性关系,提出带 Gaussian process prior 的贝叶斯结构化潜因子模型,证明可识别性与估计一致性,并通过模拟和油流数据验证其有效性。
2025-01-06 stat.ME
Inferring Parsimonious Coupling Statistics in Nonlinear Dynamics with Variational Gaussian Processes
证伪是检验现有假设的基础,当结果不正确地拒绝我们先前的概念(假阳性)时,会带来很大的危险。虽然揭示耦合的非参数和非线性探索性方法为研究网络配置和发现因果图提供了一个灵活的框架,但多重比较分析更有可能导致误报,加剧了对控制的需求。我们的目标是通过变分贝叶斯高斯过程建模(VGP-CCM)的高斯过程收敛交叉映射(GP-CCM)方法的鲁棒。我们通过平均场近似减轻了与条件超参数分布集成的计算成本。这种近似模型,结合零分布的置换抽样,允许显著性统计比点超参数的置换抽样更鲁棒。模拟单向Lorenz-Rossler系统以及神经血管系统的机械模型被用来评估该方法。结果表明,所提出的方法产生了改进的特异性,显示出对抗假阳性的希望
2022-06-07 stat.ME
An Improved Data Assimilation Scheme for High Dimensional Nonlinear Systems
非线性/非高斯滤波在生命科学的许多领域有着广泛的应用,这些领域要么是动态的非线性,要么是不确定状态的概率密度函数是非高斯的。在这样的问题中,估计量的准确性高度依赖于如何准确地近似其后验概率密度函数。在低维状态空间中,基于序贯重要性抽样(SIS)的方法可以很好地逼近后验概率密度函数。然而,对于更高维的问题,这些技术通常是不合适的,因为所需的粒子数量,以达到满意的估计增长指数与状态空间的维度。另一方面,集合卡尔曼滤波(EnKF)及其变体更适合于大规模的问题,由于在贝叶斯更新步骤中的粒子的变换。它已被证明,后一类的方法可能会导致次优解的强非线性问题,由于高斯假设的更新步骤。在本文中,我们介绍了一种新的技术的基础上的高斯和扩展,捕捉非高斯特征更准确,而所需的计算工作量仍然在合理的高维问题。我们通过几个例子,包括强非线性洛伦兹模型的非高斯过程的方法的性能。结果表明,显着改善的均方误差相比,EnKF,和一个理想的收敛行为的粒子数的增加。
2012-08-01 math.OC nlin.CD physics.data-an
Deep Nonlinear Non-Gaussian Filtering for Dynamical Systems
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
滤波是在给定观测值的情况下推断动力系统状态的总称。最常见的滤波方法是高斯滤波(GF),其中推断状态的分布是高斯分布,其均值是观测值的仿射函数。在这个模型中有两个限制:高斯性和亲和性。我们提出了一个模型来放松这两个假设的基础上,最近的进展,内隐生成模型。实验结果表明,该方法给出了显着的优势,GF和非线性方法的基础上固定的非线性内核。
2018-11-14 cs.LG eess.SP stat.ML
Gaussian Variational State Estimation for Nonlinear State-Space Models
University of Newcastle(纽卡斯尔大学);Uppsala University(乌普萨拉大学)
本文研究了非线性状态空间模型的滤波和平滑的状态估计问题。由于模型的非线性性质,状态估计问题通常是棘手的,因为它涉及一般非线性函数的积分,并且滤波和平滑的状态分布缺乏封闭形式的解决方案。因此,通常近似状态估计问题。在本文中,我们开发了一个假设的高斯解的基础上变分推断,它提供了一个灵活的,但原则性,近似所需的分布机制的关键优势。我们的主要贡献在于一个新的配方的状态估计问题作为一个优化问题,然后可以使用标准的优化程序,采用精确的一阶和二阶导数来解决。由此产生的状态估计方法涉及最少数量的假设,并直接适用于高斯和非高斯概率模型的非线性系统。我们的方法的性能证明了几个例子,一个具有挑战性的标量系统,一个简单的机器人系统的模型,和一个目标跟踪问题,使用冯米塞斯-费舍尔分布和优于替代假设高斯方法状态估计。
2021-10-01 cs.LG stat.ML
On Approximate Nonlinear Gaussian Message Passing On Factor Graphs
Institute for Electrical Engineering in Medicine, University of Lübeck(医学电气工程研究所,吕贝克大学)
本文提出了一种基于因子图的近似高斯信息传递规则,用于处理确定性非线性变换节点,通过数值求积和Rauch-Tung-Striebel型近似方法,为非线性问题的求解提供了新的算法框架。
2019-03-21 cs.LG cs.SY eess.SP
Rethinking Nonlinearity: Trainable Gaussian Mixture Modules for Modern Neural Architectures
Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Great Bay University(大湾大学);University of Massachusetts at Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出高斯混合启发式非线性模块(GMNM),利用GMM密度逼近与高斯核距离属性,可灵活集成于MLP、CNN、注意力及LSTM等架构,端到端训练并持续提升性能。
2025-10-08 cs.LG math.PR