Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH CLS(马克斯·普朗克-苏黎世联邦理工计算与系统神经科学中心);MPI-IS Tübingen(图宾根马克斯·普朗克智能系统研究所)
动态系统的参数辨识与比较在许多领域都是一个具有挑战性的课题。基于时间序列数据的高斯过程回归的贝叶斯方法已经成功地应用于推断动态系统的参数,而无需显式求解它。我们提供了一个新的解释,导致更好地理解和改进的最先进的性能方面的非线性动力系统的准确性。
2019-03-01 cs.LG stat.ML
dynoGP: Deep Gaussian Processes for dynamic system identification
School of Computer Science and Statistic, Trinity College Dublin(都柏林三一学院计算机科学与统计学院);SUPSI(瑞士南部应用科学大学);IDSIA - Dalle Molle Institute for Artificial Intelligence(IDSIA - 达勒·莫勒人工智能研究所)
本研究提出dynoGP方法,通过互连线性动态GP与静态GP构建深度高斯过程模型,结合数据驱动方法优势与概率分布输出能力,实现含不确定性量化的动态系统辨识,经模拟与真实数据验证有效。
2025-02-08 cs.LG stat.ML
Identification of Gaussian Process State Space Models
高斯过程状态空间模型(GPSSM)是一个非线性动力学系统,其中未知的转移和/或测量映射由GP描述。GPSSM中的大多数研究集中在状态估计问题上,即,在给定所述模型的情况下计算所述潜在状态的后验。然而,GPSSM中的关键挑战尚未得到令人满意的解决:系统识别,即,学习模型。为了解决这一挑战,我们施加一个结构化的高斯变分后验分布的潜在状态,这是一个双向递归神经网络的形式的识别模型参数化。这种结构的推理使我们能够恢复一个后验平滑的数据序列。我们提供了一个实用的算法,有效地计算上的边缘似然使用reparameterisation技巧的下限。这进一步允许在GPSSM内使用任意内核。我们证明,学习的GPSSM可以有效地产生合理的未来轨迹的识别系统后,只观察少量的情节从真正的系统。
2017-11-07 stat.ML
Parameter identification in linear non-Gaussian causal models under general confounding
Technical University of Munich(慕尼黑工业大学)
本文提出了一种在一般混杂情况下线性非高斯因果模型中参数识别的图示标准及算法,解决了潜在变量模型的可识别性问题。
2026-03-04 stat.ME stat.ML
Stochastic Expectation Propagation for Large Scale Gaussian Process Classification
最近提出了一种基于期望传播(EP)的大规模高斯过程分类方法。这样的方法允许在非常大的数据集上训练高斯过程分类器,这些数据集超出了EP的先前部署的范围,并且已经被证明与基于随机变分推断的相关技术具有竞争力。然而,与变分方法不同,所需的内存资源随数据集大小线性扩展。当实例数量非常大时,这是一个严重的限制。在这里,我们表明,这个问题是避免随机EP用于训练模型时。
2015-12-04 stat.ML
Lenient Regret and Good-Action Identification in Gaussian Process Bandits
National University of Singapore(新加坡国立大学)
在本文中,我们研究的问题,高斯过程(GP)的强盗放宽优化标准,说明任何函数值超过一定的阈值是“足够好”。在理论方面,我们研究了各种{ \em宽大后悔}的概念,其中所有接近最优的行动招致零惩罚,并提供了上限的宽大后悔的GP-UCB和消除算法,绕过通常的$O(\sqrt{T})$长期(与时间范围$T$)导致的缩放非常接近的功能最大值。此外,我们补充这些上限与算法无关的下限。在实践方面,我们认为,根据一个已知的预先指定的阈值找到一个单一的“好的行动”的问题,并介绍了几个好的行动识别算法,利用知识的阈值。我们通过实验发现,此类算法通常比标准的基于优化的方法更快地找到好的操作。
2021-05-26 cs.IT cs.LG math.IT
Leveraging Gaussian Process and Voting-Empowered Many-Objective Evaluation for Fault Identification
University of Connecticut(康涅狄格大学)
由于压电阻抗/导纳传感器电路设计简单,且具有高频询问能力,因此将其用于结构健康监测是很有前途的。然而,使用阻抗/导纳测量的故障位置和严重性的实际识别仍然是一个极具挑战性的任务。基于第一性原理的有限元离散化结构模型需要高维度来表征高频响应。因此,使用灵敏度矩阵的直接反演通常会产生欠定问题。可替代地,识别问题可以被投射到优化框架中,在该优化框架中,通过重复的正向有限元分析来识别故障参数,然而,这通常在计算上是禁止的。本文提出了一种有效的数据辅助优化方法,用于故障识别,而无需迭代使用有限元模型。我们制定了一个多目标优化问题,以确定故障参数,其中阻抗测量的响应面通过高斯过程为基础的校准。为了平衡解的多样性和收敛性,建立了一种多目标模拟退火算法。由于多个解决方案的预期,投票得分计算程序的开发,以进一步确定这些解决方案,产生更好的影响,结构健康状况。所提出的方法的有效性证明了系统的数值和实验案例研究。
2018-10-29 cs.CE cs.LG stat.ML
Quadruply Stochastic Gaussian Processes
University of Toronto(多伦多大学)
我们引入了一个随机变分推断过程训练可扩展高斯过程(GP)模型,其每次迭代的复杂性是独立的训练点的数量,$n$,和核近似,$m$中使用的数量基函数。我们的主要贡献包括一个无偏随机估计的证据下限(ELBO)的高斯似然,以及一个随机估计,下界ELBO的其他几个似然,如拉普拉斯和逻辑。$n$和$m$上的随机最优化更新复杂度的独立性使得能够使用大容量GP模型对巨大数据集进行推断。我们展示了准确的推理大型分类和回归数据集使用GP和相关向量机高达$m = 10^7$基函数。
2020-06-04 cs.LG stat.ML
Performance Boundary Identification for the Evaluation of Automated Vehicles using Gaussian Process Classification
Coventry University(考文垂大学);HORIBA MIRA(堀场米拉)
安全是促进自动化车辆部署的一个重要方面。目前的测试实践是不够的,超越这些实践会导致不可行的测试要求,例如需要在公共道路上行驶数十亿公里。自动驾驶汽车面临着无数的场景。应对最具挑战性的情况进行测试,这就引出了如何确定此类极端情况的问题。我们提出了一种方法来确定性能边界,这些角落的情况下,使用高斯过程分类。我们还展示了一个典型的交通堵塞的方法的情况下,表明它是可行的,并会导致更有效的测试实践的分类。
2019-07-11 cs.LG cs.RO stat.AP
Large Bayesian VARs with Factor Stochastic Volatility: Identification, Order Invariance and Structural Analysis
具有多元随机波动率的向量自回归(VAR)被广泛用于结构分析。通常,结构模型是通过经济上有意义的限制来确定的,例如,符号限制,应该与因变量的排序无关。但由于简化形式的模型不是阶不变的,结构分析的结果取决于变量的阶数。我们考虑一个VAR的基础上的因素随机波动率,构造为顺序不变的。我们表明,存在的多元随机波动允许统计识别的模型。我们进一步证明了,与一组适当的符号限制,相应的结构模型是点识别。所提出的方法的另一个吸引力是,它可以很容易地处理大量的因变量以及符号限制。我们通过一个结构性分析来证明这种方法,在这个分析中,我们使用一个带有符号限制的20个变量的VAR来识别5个结构性冲击。
2022-07-08 econ.EM stat.ME
Let Time Tell: Identification and Gaussian Process Estimation for Interrupted Time Series
University of California, Los Angeles(加州大学洛杉矶分校)
该研究针对中断时间序列设计中同期控制变量不可用的问题,提出基于高斯过程回归的反事实估计方法,通过偏差分解和不确定性量化保证估计合理性,并用R包gpss实现。
2026-08-24 stat.ME stat.ML
A Bayesian approach with Gaussian priors to the inverse problem of source identification in elliptic PDEs
本文研究椭圆型偏微分方程中未知源函数的统计线性反问题,采用基于高斯先验的非参数贝叶斯方法进行后验推断,回顾了相关理论保证,并在高斯级数先验和Matérn过程先验下通过数值模拟验证了方法性能。
2024-07-25 math.ST stat.ME stat.TH
System Identification in Wireless Relay Networks via Gaussian Process
我们提出了一个灵活的随机模型的一类合作无线中继网络,其中的中继处理功能是未知的目的地。在解决这个问题,我们开发了有效的算法来执行中继识别在无线中继网络。我们首先构建了一个统计模型的基础上表示的系统使用高斯过程在一个非标准的方式,由于我们对待不完美的信道状态信息。然后,我们制定的估计问题进行系统辨识,考虑到复杂性和计算效率。接下来,我们开发了一组三个算法来解决识别问题,每个算法的复杂性降低,权衡估计偏差的计算效率。联合优化问题是通过贝叶斯框架使用迭代条件的模式方法来解决的。我们为识别问题开发了一个下界和几个计算效率次优的解决方案,以供比较。我们说明了我们的方法广泛使用的中继功能的范围内的估计性能。我们的算法达到的相对总误差相比,下限被发现在最坏的9%,低信噪比值下考虑的所有功能。中继功能估计误差的影响也通过BER仿真研究,并示出小于2dB的下限。
2012-01-17 cs.IT math.IT stat.AP
Stochastic analysis on Gaussian space applied to drift estimation
本文考虑高斯过程漂移的Paley-Wiener和Karhunen-Loève展开式的非参数泛函估计。我们构造有效的估计,这样的过程中的漂移,并证明其minimaxity使用贝叶斯估计。我们还构造超有效的估计Stein型的漂移使用Malliavin的分部积分法公式和随机分析高斯空间,其中超调和泛函的过程路径发挥了特殊的作用。我们的结果通过数值模拟得到了验证,推广了Berger和Wolper关于高斯过程的James-Stein型估计的构造.
2018-08-17 math.PR math.ST stat.TH
Bayesian Structural Identification using Gaussian Process Discrepancy Models
近年来,基于高斯过程(GP)模型的贝叶斯模型更新受到关注,它结合了基于核的GP来提供增强的保真度响应预测。虽然大多数核函数在训练数据集中提供了很高的拟合精度,但它们的样本外预测可能非常不准确。本文研究了这个问题,重新制定了一致的概率基础上的问题,审查核协方差函数的共同选择,并提出了一个新的贝叶斯模型选择的核函数选择,旨在创建一个拟合精度,泛化和模型简约之间的平衡。计算方面通过拉普拉斯近似和采样技术,提供详细的算法和策略。数值和实验的例子来证明所提出的框架的准确性和鲁棒性。因此,指数-三角协方差函数的特点和理由的基础上贝叶斯模型选择方法和响应差异的样本自相关函数的观察。
2022-11-01 stat.AP
Dominant-feature identification in data from Gaussian processes applied to Finnish forest inventory records
在空间数据中,位置相关的变化导致了被称为特征的连接结构。变化发生在不同的空间尺度上,可能源于不同的底层过程。每一种尺度都有其自身的主要特征。在这里,我们介绍了一种统计方法,用于识别这些尺度和它们的主要特征的数据从高斯过程。这种识别包括通过尺度空间分解来识别主导特征,并通过估计潜在过程的协方差函数参数及其与潜在驱动因素的关联来评估特征属性。我们分析芬兰森林资源清查数据从20世纪20年代使用这种优势特征识别方法,并确定最常见的芬兰树木,包括苏格兰松,挪威云杉,桦树,和其他本土落叶树木的断面积估计的变化尺度。比较这些树种的尺度相关特征及其属性,我们确定了土壤和人为驱动因素对其断面积空间分布的不同影响。这些数据进行了分析,第一次在其规模的变化,并由此产生的规模依赖的地图和估计是一个重要的贡献,芬诺斯堪的纳维亚的历史森林生态。到目前为止,这种分析是不可能的传统方法。
2022-03-07 stat.AP stat.ME
Diagnostics for Stochastic Gaussian Process Emulators
计算机模型,也被称为模拟器,运行起来可能在计算上是昂贵的,因此经常使用被称为仿真器的统计代理。任何统计模型,包括模拟器,在使用之前都应该进行验证,否则可能会误导最终的决策。我们讨论如何验证高斯过程仿真器的确定性模型的方法是不够的随机计算机模型的仿真器,并开发一个框架,诊断随机仿真器中的问题。这些诊断基于使用样本外、重复、模拟器运行独立验证均值和方差预测。然后,我们还使用建筑性能模拟器作为案例研究的例子。
2021-01-25 stat.ME
Non-stochastic Best Arm Identification and Hyperparameter Optimization
University of Wisconsin(威斯康星大学);UCLA(加州大学洛杉矶分校)
受超参数优化任务的启发,我们引入了非随机最佳臂辨识问题。在多臂强盗文献中,累积后悔目标在非随机和随机环境下都有算法和分析,而据我们所知,最佳臂识别框架仅在随机环境下被考虑。我们在这个框架下引入非随机设置,确定一个已知的算法,非常适合这种设置,并分析其行为。接下来,通过利用标准机器学习算法的迭代性质,我们将超参数优化作为非随机最佳臂识别的实例,并根据经验评估我们提出的算法。我们的实证结果表明,通过分配更多的资源,有前途的超参数设置,我们通常实现可比的测试精度比基线方法快一个数量级。
2015-02-27 cs.LG stat.ML
The Stochastic Occupation Kernel Method for System Identification
Portland State University(波特兰州立大学);Translational Genomics Research Institute(转化基因组学研究所)
针对随机微分方程的漂移与扩散项学习问题,提出基于占用核的两步法:先用占用核算法学习漂移项,再用半定规划学习扩散项平方,为随机系统非参数辨识提供新方法。
2024-06-21 cs.LG cs.SY eess.SY
Finite Sample Analysis of Stochastic System Identification
Department of Electrical and Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系)
本文基于机器学习和统计学的现代工具,研究了随机系统辨识的有限样本复杂性。通过子空间辨识算法和有限数量的输出样本,提供了系统参数估计误差的非渐近高概率上界,证明了在高概率下估计误差以1/√N的速度减小。
2019-03-21 cs.LG cs.SY eess.SY
Variational Deep Learning for the Identification and Reconstruction of Chaotic and Stochastic Dynamical Systems from Noisy and Partial Observations
IMT Atlantique(大西洋国立高等矿业电信学院)
数据驱动的动力系统未知控制方程的恢复近年来受到越来越多的关注。然而,当处理噪声和部分观测时,控制方程的识别仍然具有挑战性。在这里,我们解决这一挑战,并研究变分深度学习方案。在所提出的框架内,我们共同学习一个推理模型,从一系列噪声和部分数据中重建系统的真实状态和这些状态的支配规律。在这样做的过程中,这个框架桥接了经典的数据同化和最先进的机器学习技术。我们还证明了它概括了最先进的方法。重要的是,推理模型和控制模型都嵌入了随机组件,以考虑随机变量、模型误差和重建不确定性。各种实验混沌和随机动力系统支持我们的计划w.r.t.的相关性。最先进的方法。
2021-02-16 cs.LG stat.ML
A Non-asymptotic Approach to Best-Arm Identification for Gaussian Bandits
我们提出了一种新的策略,最佳臂识别与固定的置信度的高斯变量有界的均值和单位方差。这种策略被称为探索偏置采样(Exploration-Biased Sampling),它不仅是渐近最优的:据我们所知,它是第一个具有非渐近边界的策略,渐近匹配样本复杂度。但与其他算法(如Track-and-Stop)相比,它的主要优点是改进了探索行为:探索偏置采样以一种微妙但自然的方式偏向于探索,使其更加稳定和可解释。这些改进是允许通过一个新的分析样本的复杂性最优化问题,这产生了一个更快的数值解决方案和几个定量规律性的结果,我们相信高的独立利益。
2022-03-07 math.ST stat.ML stat.TH
Drift Identification for Lévy alpha-Stable Stochastic Systems
University of California, Merced(加州大学默塞德分校)
研究了一类随机系统辨识问题:给定Lévy $α$ -稳定噪声驱动的随机微分方程的时间序列观测值,估计其漂移场.对于间隔$[1,2)$中的$α$,噪声是重尾的,导致计算物理空间中的转变密度和/或似然性的方法的计算困难。我们提出了一种傅立叶空间方法,该方法以计算时间相关的特征函数为中心,即,含时密度的傅里叶变换。使用傅立叶级数参数化未知的漂移场,我们制定了一个损失的预测和经验特征函数之间的平方误差。我们通过伴随方法计算梯度来最小化这种损失。对于各种一维和二维的问题,我们证明了这种方法是能够学习漂移场的定性和/或定量协议与地面真理字段。
2022-12-06 cs.LG math.OC stat.CO
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh(匹兹堡大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对稀疏正则化损失最小化问题,提出加速双随机梯度下降(ADSGD)方法,通过消除非活动系数实现显式模型识别,理论证明线性收敛与识别速率,实验验证其高效性。
2022-08-11 cs.LG stat.ML
Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
研究了$\textit{contaminated}$随机多臂强盗中的最佳臂识别问题。在这种情况下,从任何手臂获得的奖励都被来自概率为$\varepsilon$的对抗模型的样本所取代。被认为是一个固定的信心(无限地平线)设置,其中学习者的目标是确定最大的平均值的手臂。由于奖励的对抗性污染,每个手臂的平均值只能部分识别。本文提出了两种算法,一个基于间隙的算法和一个基于逐次消除,在亚高斯强盗最佳手臂识别。这些算法涉及的平均估计,实现了最佳的误差保证的偏差的真实均值从估计渐近。此外,这些算法渐近达到最佳的样本复杂度。具体而言,对于基于间隙的算法,样本复杂度是渐近最优的常数因子,而对于连续消除的算法,它是最优的对数因子。最后,数值实验来说明与现有的基线相比,算法的增益。
2021-11-14 cs.LG stat.ML
Best of both worlds: Stochastic & adversarial best-arm identification
Adobe Research, USA(Adobe研究院,美国);University of California, Berkeley, USA(加州大学伯克利分校,美国);Queensland University of Technology - ACEMS, Australia(昆士兰理工大学 - ACEMS,澳大利亚);Massachusetts Institute of Technology, USA(麻省理工学院,美国);SequeL team, INRIA Lille - Nord Europe, France(INRIA里尔 - 北欧,法国)
研究在任意对抗性奖励下的多臂老虎机最佳臂识别问题,探讨在随机和对抗场景下如何设计鲁棒的最优算法,证明无法同时满足两种场景的最优性,并提出一种参数无关算法在随机场景下达到下界,同时对抗鲁棒。
2026-10-20 cs.LG stat.ML
A Bernstein-type inequality for stochastic processes of quadratic forms of Gaussian variables
本文引入了一个Bernstein型不等式,它用于一致控制高斯变量的二次型。后者可以例如用于通过惩罚来导出用于线性回归和线性逆问题中的线性估计的尖锐模型选择准则,并且我们不排除其应用范围可以变得更广。
2009-09-19 math.PR math.ST stat.ML
Blind identification of stochastic block models from dynamical observations
Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学);Rice University(莱斯大学)
我们考虑一个盲识别问题,在这个问题中,我们的目标是恢复一个网络的统计模型,而不知道网络的边缘,但仅仅基于节点观测的某个过程。更具体地说,我们专注于观察,包括从一个扩散过程的多个轨迹,在未知的网络演变的单个快照。我们将网络建模为从潜在随机块模型(SBM)的独立绘制中生成的,我们的目标是推断节点到块的分区以及该SBM的参数。我们讨论了一些不可识别的问题,这个问题,并提出了简单的谱算法,可证明解决分区恢复和参数估计问题,具有高精度。我们的分析依赖于随机矩阵理论和协方差估计的最新结果,以及相关的浓度不等式。我们用几个数值实验来说明我们的结果。
2019-12-03 cs.LG cs.SI physics.soc-ph