Bayesian active learning for choice models with deep Gaussian processes
Northwestern University（西北大学）
在本文中，我们提出了一个主动学习算法和模型，可以逐步学习个人的偏好，通过两两比较。主动学习方案的目的是找到个人的最喜欢的选择与最小数量的成对比较。基于选择模型和深度高斯过程的假设，将成对比较编码到概率模型中。下一个比较的决定是由一个新的采集功能。我们使用具有多个局部最优值和一个公共航空公司行程数据集的函数对所提出的算法和模型进行基准测试。实验结果表明了该主动学习算法和模型的有效性。
2018-05-04 cs.LG stat.ML
Uncertainty Disentanglement with Non-stationary Heteroscedastic Gaussian Processes for Active Learning
IIT Gandhinagar（印度理工学院甘地纳加尔分校）；Google（谷歌）
高斯过程是贝叶斯非参数模型，在许多领域都有应用。在这项工作中，我们提出了一个非平稳异方差高斯过程模型，可以学习与基于梯度的技术。我们证明了所提出的模型的可解释性分离成任意（不可约）和认知（模型）的不确定性的整体不确定性。我们说明了派生的认知不确定性的主动学习问题的可用性。我们证明了我们的模型与多个数据集上的各种消融的有效性。
2022-10-20 cs.LG stat.ML
Active Learning of Linear Embeddings for Gaussian Processes
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种主动学习方法，用于发现高维高斯过程（GP）任务中的低维结构。这些问题日益频繁和重要，但迄今为止已造成严重的实际困难。我们进一步介绍了一种新的技术，近似边缘化GP超参数，产生边际预测超参数错误指定的鲁棒性。我们的方法提供了一个有效的手段，执行GP回归，正交，或贝叶斯优化在高维空间。
2013-10-24 cs.LG stat.ML
Safety Guarantees for Planning Based on Iterative Gaussian Processes
高斯过程（GP）由于其对不确定性的原则性处理而被广泛应用于控制和学习。然而，跟踪迭代的不确定性，多步预测一般会导致一个分析上棘手的问题。虽然存在近似方法，但它们没有保证，因此难以估计其可靠性并信任其预测。在这项工作中，我们推导出正式的概率误差界迭代预测和规划的GP。基于GP属性，我们限制了随机轨迹位于预测值周围特定区域的概率。即，给定容差$ε> 0 $，我们计算预测轨迹值周围的区域，使得保证GP轨迹以至少$1-ε$的概率位于它们内部。我们通过实验验证，我们的方法正确跟踪预测的不确定性，即使当前的近似技术失败。此外，我们展示了如何在安全的强化学习框架内使用所提出的界限来验证候选控制策略的安全性，从而指导可证明安全的控制器的合成。
2020-09-07 cs.LG stat.ML
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK（华为英国研发部）；Technical University Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
在本文中，我们提出了SAMBA，一个新的安全强化学习框架，结合了概率建模，信息论和统计学方面。我们的方法建立在PILCO的基础上，通过支持条件风险价值约束的多目标问题，使用新的（半）样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准，涉及低维和高维状态表示。我们的研究结果显示，与最先进的方法相比，样本和违规行为的数量级减少。最后，我们通过对我们的主动指标和安全约束的详细分析，提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Batch Active Learning in Gaussian Process Regression using Derivatives
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本文提出在高斯过程回归批量主动学习中利用导数信息，并借助预测协方差矩阵选择批次，理论分析与实验表明其在多种应用中更有效。
2024-08-03 cs.LG stat.ML
Error Bounds For Gaussian Process Regression Under Bounded Support Noise With Applications To Safety Certification
University of Colorado Boulder（科罗拉多大学博尔德分校）；Delft University of Technology（代尔夫特理工大学）
本文针对有界支撑噪声下的高斯过程回归（GPR），利用集中不等式和RKHS复杂度假设推导出概率与确定性误差界，并证明其在深度核学习（DKL）中表现优异，结合随机障碍函数显著提升了未知动态系统的安全概率。
2024-12-19 cs.LG stat.ML
Efficiently Computable Safety Bounds for Gaussian Processes in Active Learning
OWL University of Applied Sciences and Arts（OWL应用科学与艺术大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；RWTH Aachen University（亚琛工业大学）；TU Delft（代尔夫特理工大学）
针对GP主动学习中安全评估计算成本高的问题，提出基于后验GP上确界自适应采样中位数的可证明安全界方法，在保证精度与探索速度的同时提升评估效率，经仿真与真实发动机案例验证有效。
2024-04-15 cs.LG
Uniform Error Bounds for Gaussian Process Regression with Application to Safe Control
Technical University of Munich（慕尼黑工业大学）
本文针对高斯过程回归在较弱假设下推导出一种新的一致误差界，利用高斯过程分布推导概率Lipschitz常数并分析渐近行为，基于此为未知动态系统控制推导安全条件并在机械臂仿真中验证。
2019-12-19 cs.LG cs.SY eess.SY
Active learning for enumerating local minima based on Gaussian process derivatives
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）；National Institute for Materials Science（物质材料研究机构）
我们研究主动学习（AL）的基础上高斯过程（GP）的有效枚举所有的局部最小解的黑盒函数。这个问题是具有挑战性的，因为局部解的特征在于它们的零梯度和正定Hessian性质，但这些导数不能直接观察到。我们提出了一种新的AL方法，在该方法中，输入点被顺序选择，从而有效地更新GP导数的置信区间，以枚举局部最小解。我们从理论上分析了所提出的方法，并通过数值实验证明了其有效性。
2019-03-08 cs.LG stat.ML
Active Learning for Manifold Gaussian Process Regression
Dept. of Applied Mathematics（应用数学系）；Illinois Institute of Technology（伊利诺伊理工学院）；Dept. of Mathematics and Statistics（数学与统计学系）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Dept. of Mathematics（数学系）；University of California Riverside（加州大学河滨分校）
本文提出一种结合manifold学习和策略性数据选择的主动学习框架，用于高维空间中的高斯过程回归。通过联合优化神经网络和高斯过程回归器，提升预测准确性，实验显示优于随机顺序学习。
2025-06-26 cs.LG stat.ML
Revisiting Active Sets for Gaussian Process Decoders
Technical University of Denmark (DTU)（丹麦技术大学）
由于非线性函数空间的边缘化，基于高斯过程（GP）构建的解码器非常诱人。这样的模型（也称为GP-LVMs）通常是昂贵的，并且在实践中训练非常困难，但是可以使用变分推断和诱导点来缩放。在本文中，我们重新活跃集近似。我们开发了一个新的随机估计的对数边际似然最近发现的链接交叉验证的基础上，并提出了一个计算效率的近似。我们证明，由此产生的随机活动集（SAS）近似显着提高了GP解码器训练的鲁棒性，同时降低了计算成本。SAS-GP在潜在空间中获得更多的结构，扩展到许多数据点，并比变分自编码器学习更好的表示，这对于GP解码器来说是罕见的。
2022-11-24 cs.LG stat.ML
Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning
本文提出深度内在共区域化多输出高斯过程代理模型deepICMGP，通过分层共区域化结构建模多输出间的非线性依赖，并结合主动学习优化序贯设计，在多输出系统模拟实验中表现优异。
2025-08-22 cs.LG stat.ML
Safe Exploration in Finite Markov Decision Processes with Gaussian Processes
ETH Zurich（苏黎世联邦理工学院）
在经典的强化学习中，当探索环境时，智能体接受任意的短期损失以获得长期收益。这对于安全关键应用是不可行的，例如机器人，其中甚至单个不安全的动作都可能导致系统故障。在本文中，我们解决的问题，安全地探索有限马尔可夫决策过程（MDP）。我们定义安全的一个先验未知的，安全约束，取决于状态和行动。我们的目标是探索在此约束下的MDP，假设未知函数满足通过高斯过程先验表示的正则性条件。我们开发了一种新的算法，这项任务，并证明它是能够完全探索的安全可达部分的MDP不违反安全约束。为了实现这一目标，它谨慎地探索安全的状态和动作，以便从导航环境时收集的噪声观测中获得关于未访问的状态-动作对的安全性的统计置信度。此外，该算法在探索MDP时显式地考虑可达性，确保它不会陷入任何没有安全出路的状态。我们展示了我们的方法，数字地形模型的任务，探索一个未知的地图与漫游车。
2016-11-15 cs.AI cs.LG cs.RO
Information-Theoretic Safe Exploration with Gaussian Processes
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们考虑一个顺序的决策任务，我们不允许评估参数，违反了先验未知（安全）约束。一种常见的方法是将高斯过程放在未知约束的前面，并且只允许在具有高概率的安全区域中进行评估。目前大多数方法依赖于域的离散化，不能直接扩展到连续的情况下。此外，他们利用约束的正则性假设的方式引入了一个额外的临界超参数。在本文中，我们提出了一个信息理论的安全探索标准，直接利用GP后，以确定最翔实的安全参数进行评估。我们的方法自然适用于连续域，并且不需要额外的超参数。我们从理论上分析的方法，并表明，我们不违反安全约束的概率很高，我们探索学习的约束到任意精度。实证评估表明，数据效率和可扩展性得到了提高。
2022-12-09 cs.LG
Optimal experimental design via Bayesian optimization: active causal structure learning for Gaussian process networks
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Amazon（亚马逊）；The Alan Turing Institute（艾伦·图灵研究所）
我们通过有针对性的干预措施来研究因果发现的问题。从几个观测测量开始，我们遵循贝叶斯主动学习方法来执行这些实验，这些实验在当前模型的预期中，最大限度地提供有关潜在因果结构的信息。与以前的工作不同，我们考虑设置连续随机变量与非线性函数关系，建模与高斯过程先验。为了解决所产生的问题，选择从一个不可数的一组可能的干预措施，我们建议使用贝叶斯优化，有效地最大限度地提高预期的信息增益的蒙特卡罗估计。
2019-10-09 cs.LG stat.ML
Deeper Connections between Neural Networks and Gaussian Processes Speed-up Active Learning
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（斯科尔科沃理工学院））
神经网络的主动学习方法通常基于贪婪准则，该准则最终给出用于评估的单个新设计点。这样的方法需要在一次主动学习迭代中对一批设计点进行采样的一些算法，或者在添加每个数据点之后重新训练神经网络，这在计算上是低效的。此外，神经网络的不确定性估计有时对远离训练样本的点过于自信。在这项工作中，我们提出通过高斯过程来逼近贝叶斯神经网络（BNN），这使我们能够有效地更新预测的不确定性估计，而无需重新训练神经网络，同时避免对样本点的过度自信的不确定性预测。在一系列的实验中，包括大规模的化学和物理建模问题的真实世界的数据，我们显示出所提出的方法比国家的最先进的方法的优越性。
2019-02-27 cs.LG stat.ML
Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Georgia Institute of Technology（佐治亚理工学院）；The Boeing Company（波音公司）
在机器学习领域，主动学习是一种迭代数据选择算法，用于在有限的训练样本下最大化信息获取并提高模型性能。这是非常有用的，特别是在工业应用中，训练样本是昂贵的，耗时的，或难以获得。现有的方法主要集中在主动学习的分类，和一些方法被设计为回归，如线性回归或高斯过程。实验数据中不可避免地存在着不受测量误差影响的输入噪声，这进一步影响了建模性能。对于高斯过程，现有的主动学习方法没有考虑这些不确定性。本文针对不确定性高斯过程提出了两种新的主动学习算法：基于方差的加权主动学习算法和D-最优加权主动学习算法。通过数值研究，我们表明，所提出的方法可以考虑不确定性的影响，并实现更好的预测性能。该方法已被应用于改进复合材料机身自动形状控制的预测建模。
2020-04-23 cs.LG stat.AP stat.ML
Active Learning in Gaussian Process State Space Model
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Berlin（柏林工业大学）
研究了高斯过程状态空间模型（GPSSM）中的主动学习问题。我们的问题是积极引导系统通过潜在的状态，通过确定其输入，使潜在的动态可以最佳地学习的GPSSM。为了选择信息量最大的输入，我们采用互信息作为我们的主动学习标准。特别是，我们提出了两种方法的近似互信息的GPSSM给定的潜在状态。所提出的方法进行评估，在几个物理系统中，我们积极学习底层的非线性动态表示的状态空间模型。
2021-07-30 cs.AI cs.LG stat.ML
Uniform Error and Posterior Variance Bounds for Gaussian Process Regression with Application to Safe Control
Technical University of Munich（慕尼黑工业大学）
在数据生成成本高的应用领域，高斯过程由于其高数据效率而成为优选的监督学习模型。特别是在基于模型的控制中，高斯过程允许使用概率模型误差界来推导性能保证。为了使这些方法在实践中适用，必须解决两个开放的挑战i）现有的误差范围依赖于先验知识，这可能不适用于许多现实世界的任务。(ii)训练数据和后验方差之间的关系，主要驱动误差界，没有得到很好的理解，并防止渐近分析。本文解决了这些问题，提出了一种新的统一的误差界使用Lipschitz连续性和分析后验方差函数的一大类内核。此外，我们展示了如何这些结果可以用来保证安全控制的一个未知的动力系统，并提供数值说明的例子。
2021-01-13 cs.LG cs.SY eess.SY
Amortized Safe Active Learning for Real-Time Data Acquisition: Pretrained Neural Policies From Simulated Nonparametric Functions
Technical University of Berlin（柏林工业大学）；University of Helsinki（赫尔辛基大学）；Robotics Institute Germany（德国机器人研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Baden-Württemberg Cooperative State University, Mannheim（巴登-符腾堡州立合作大学曼海姆校区）
本文提出了一种用于回归的 amortized 主动学习和 amortized 安全主动学习方法，通过预训练神经策略替代昂贵的在线计算，提升实时决策效率，同时保持学习质量。
2026-04-06 cs.LG
Gaussian Control Barrier Functions : A Non-Parametric Paradigm to Safety
Georgia Institute of Technology（佐治亚理工学院）；Meiji University（明治大学）
受控制障碍函数（CBFs）在解决安全性方面的成功以及数据驱动建模函数技术的兴起的启发，我们提出了一种使用高斯过程（GP）在线合成CBFs的非参数方法。数学构造（例如CBF）通过先验地设计候选函数来实现安全性。然而，设计这样的候选函数可能具有挑战性。这种设置的一个实际示例是在需要确定安全和可导航区域的灾难恢复场景中设计CBF。在这样的示例中，安全性的决策边界是未知的，并且不能先验地设计。在我们的方法中，我们使用安全样本或观察值，通过假设这些样本上的灵活GP先验来在线构建CBF，并将我们的公式称为高斯CBF。GPS具有良好的性能，除了是非参数，如分析易处理性和鲁棒的不确定性估计。这允许通过结合方差估计来实现具有高安全性保证的后验分量，同时还以封闭形式计算相关的偏导数以实现安全控制。此外，从我们的方法合成的安全功能允许改变相应的安全设置任意的数据的基础上，从而允许非凸的安全集。我们验证了我们的方法实验上的四旋翼演示安全控制固定，但任意的安全集和碰撞避免的安全集在线构建。最后，我们并置高斯CBF与常规CBF在噪声状态的存在下，突出其灵活性和鲁棒性的噪声。实验视频可以在https://youtu.be/HX6uokvCiGk上看到。
2022-08-01 cs.LG cs.SY eess.SY
Safe Time-Varying Optimization based on Gaussian Processes with Spatio-Temporal Kernel
ETH Zurich（苏黎世联邦理工学院）；Norwegian University of Science and Technology（挪威科技大学）；Zurich University of Applied Sciences（苏黎世应用科技大学）
针对未知时变安全约束下的优化问题，提出基于时空核贝叶斯优化的TVSafeOpt算法，可安全跟踪时变安全区域，在平稳时提供最优性保证，并在合成数据和气体压缩机案例中验证了其安全性与最优性。
2024-09-26 cs.LG math.OC
Predictive Active Set Selection Methods for Gaussian Processes
我们提出了一个积极的集合选择框架高斯过程分类的情况下，数据集是足够大，使其推理禁止。我们的方案由活动集更新规则和基于边际似然最大化的超参数优化的两步交替过程组成。活动集更新规则依赖于高斯过程分类器的预测分布的能力，以估计数据点在被包括或从模型中移除时的相对贡献。这意味着我们可以使用它来包含对分类器决策过程具有潜在高影响的点，同时删除那些不太相关的点。我们介绍了两个基于不同标准的活动集规则，第一个更喜欢一个模型与可解释的活动集参数，而第二个把计算复杂性放在第一位，因此一个模型与活动集参数，直接控制其复杂性。我们还提供了理论和经验支持，我们的积极集选择策略是一个很好的近似一个完整的高斯过程分类。我们广泛的实验表明，我们的方法可以与国家的最先进的分类技术与合理的时间复杂度。源代码可在http://cogsys.imm.dtu.dk/passgp上公开获取。
2011-06-23 stat.ML
Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications
Technical University of Munich（慕尼黑工业大学）
高斯过程已经成为各种安全关键设置的有前途的工具，因为后验方差可以用来直接估计模型误差和量化风险。然而，用于安全关键设置的最新技术取决于内核超参数已知的假设，这通常不适用。为了缓解这一问题，我们在未知超参数的设置中引入了鲁棒高斯过程均匀误差界。我们的方法在超参数空间中计算置信区域，这使我们能够获得具有任意超参数的高斯过程的模型误差的概率上界。我们不需要先验地知道超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中推导出边界。我们还采用所提出的技术来获得性能保证一类基于学习的控制问题。实验表明，该边界的性能显着优于香草和完全贝叶斯高斯过程。
2022-07-20 cs.LG cs.RO cs.SY
Actively Learning Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MINES ParisTech（巴黎高等矿业学院）；PSL University（巴黎文理研究大学）
尽管通过现代传感器和计算机技术可以获得更多的数据，但以样本有效的方式学习动力系统仍然是一个悬而未决的问题。我们提出了主动学习策略，利用高斯过程回归过程中自然产生的信息理论属性，同时尊重系统动态对采样过程的约束。样本点在具有高不确定性的区域中选择，从而导致模型的探索性行为和数据有效性训练。所有结果最终验证了广泛的数值基准。
2020-04-26 cs.LG cs.RO stat.ML
Multi-Agent Safe Planning with Gaussian Processes
Stanford University（斯坦福大学）
多智能体安全系统已经成为一个越来越重要的研究领域，因为我们现在可以轻松地让多个人工智能驱动的系统一起运行。在这种情况下，我们不仅需要确保每个个体代理的安全，还要确保整个系统的安全。在本文中，我们介绍了一种新的多代理安全学习算法，使分散的安全导航时，有多个不同的代理在环境中。该算法对其他代理进行了温和的假设，并以分散的方式进行训练，即对其他代理的策略只有很少的先验知识。实验表明，我们的算法表现良好的机器人运行其他算法时，优化各种目标。
2020-08-10 cs.AI cs.LG cs.MA
Future Aware Safe Active Learning of Time Varying Systems using Gaussian Processes
OWL University of Applied Sciences and Arts（OWL应用科学与艺术大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对时变系统实验探索的高成本与安全约束问题，提出T-IMSPE安全主动学习框架，通过最小化当前和未来状态后验方差优化信息收集，提升模型质量，明确适用的高斯过程核等要素。
2025-04-16 cs.AI cs.LG math.OC
Networked Online Learning for Control of Safety-Critical Resource-Constrained Systems based on Gaussian Processes
Technical University of Munich（慕尼黑工业大学）
在未知环境中运行的安全关键技术系统需要能够快速调整其行为，这可以通过从运行期间生成的数据流在线推断模型来实现控制。基于高斯过程的学习特别适合于安全关键型应用，因为它确保了有界的预测误差。虽然存在用于在线推理的计算上有效的近似，但是这些方法缺乏对预测误差的保证并且具有高存储器要求，并且因此不适用于具有严格存储器约束的安全关键系统。在这项工作中，我们提出了一种新的基于高斯过程回归的网络在线学习方法，它通过在云中采用远程数据管理来解决本地资源有限的问题。我们的方法形式上保证了一个有界的跟踪误差与高概率，这是用来识别最相关的数据，以实现一定的控制性能。我们进一步提出了一个有效的本地系统和云之间的数据传输方案，考虑到传输信道的带宽限制和时间延迟。仿真结果表明了该方法的有效性。
2022-02-23 cs.LG cs.SY eess.SY
Active Learning for Derivative-Based Global Sensitivity Analysis with Gaussian Processes
Stanford University（斯坦福大学）；Meta；Washington State University（华盛顿州立大学）
本文提出直接针对导数型全局敏感性度量（DGSMs）的主动学习采集函数，在高斯过程代理模型下通过方差缩减和信息增益策略提升昂贵黑盒函数敏感性分析的样本效率，并在合成与真实问题上验证了其在有限预算下的显著优势。
2024-10-19 cs.AI cs.LG stat.ML
Near-Optimal Active Learning of Multi-Output Gaussian Processes
National University of Singapore（新加坡国立大学）
研究了多输出高斯过程模型的主动学习问题。与现有的工作相比，我们的主动学习问题不仅涉及选择要观察的信息量最大的采样位置，而且还涉及选择每个选定位置处的测量类型，以最小化预测不确定性（即，后验联合熵）。不幸的是，这样的熵准则在优化时在候选采样位置和所选观测的数量上的比例很差。为了解决这个问题，我们首先利用稀疏MOGP模型的共同结构，推导出一种新的主动学习标准。然后，我们利用我们的新标准，设计一个多项式时间近似算法，保证了一个常数因子近似的最佳的一组选定的意见，实现了一个宽松的形式的子模块属性。在真实数据集上的实验结果表明，该方法在MOGP和单输出GP模型的主动学习方面优于现有算法。
2015-11-24 cs.AI cs.LG stat.ML
AdLift: Lifting Adversarial Perturbations to Safeguard 3D Gaussian Splatting Assets Against Instruction-Driven Editing
Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学）；University of Technology Sydney（技术大学悉尼）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港 Baptist 大学）；Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed 人工智能大学）
AdLift通过提升2D对抗扰动至3D高斯表示，有效保护3DGS资产免受指令驱动编辑攻击。
2025-12-08 cs.CR cs.CV cs.LG
Safe Real-Time Optimization using Multi-Fidelity Gaussian Processes
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出了一类新的实时的【形】优化方案，以克服不确定过程的系统-模型失配。这项工作的新颖之处在于在贝叶斯优化框架内集成无导数优化方案和多保真度高斯过程。该方案使用两个高斯过程的随机系统，一个模拟（已知）的过程模型，另一个，通过测量的真实系统。以这种方式，可以经由模型获得低保真度样本，而通过系统的测量获得高保真度样本。该框架以非参数方式捕获系统的行为，同时通过采集功能驱动探索。使用高斯过程表示系统的好处是能够实时的【形】执行不确定性量化，并允许以高置信度满足机会约束。这导致在一个实际的方法，说明在数值案例研究，包括半批光生物反应器优化问题。
2021-11-10 cs.LG math.OC
Towards safe and tractable Gaussian process-based MPC: Efficient sampling within a sequential quadratic programming framework
ETH Zürich（苏黎世联邦理工学院）；ETH AI center（苏黎世联邦理工学院人工智能中心）
针对现有GP-MPC方法可达集近似过于保守或削弱安全保证的问题，提出鲁棒GP-MPC公式及序列二次规划框架内的采样方法，实现高概率约束满足与实时可行计算。
2024-09-13 cs.LG cs.SY eess.SY
Real-Time Adaptive Safety-Critical Control with Gaussian Processes in High-Order Uncertain Models
Technical University of Munich（慕尼黑工业大学）；University of Macau（澳门大学）；University of Science and Technology Beijing（北京科技大学）
针对非平稳环境下不确定系统的安全关键控制问题，提出结合带遗忘因子的稀疏变分GP与HOCBF安全滤波器的两阶段框架，通过复合核与单诱导点更新提升实时性与高维适配性，经仿真与7-DOF机器人避障实验验证有效。
2024-03-05 cs.LG cs.SY eess.SY
Active Learning for Abrupt Shifts Change-point Detection via Derivative-Aware Gaussian Processes
Arizona State University（亚利桑那州立大学）
针对变化点检测中数据采集昂贵耗时的问题，提出DACD方法，利用GP导数过程和多种采集函数顺序选择采样点，在多种场景下优于现有主动学习CPD方法。
2023-12-05 cs.LG
Finite-Sample-Based Reachability for Safe Control with Gaussian Process Dynamics
ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心）；Institute for Dynamic Systems and Control, ETH Zurich（苏黎世联邦理工学院动态系统与控制研究所）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
针对现有GP-MPC缺乏保证或过于保守的问题，提出基于有限后验动力学样本传播不确定性的可达集构造与安全MPPC框架，并以高概率保证递归可行性、闭环安全与稳定。
2025-05-12 cs.LG cs.SY eess.SY
Motion Prediction with Gaussian Processes for Safe Human-Robot Interaction in Virtual Environments
School of Engineering and Technology, Soroti University（索罗蒂大学工程与技术学院）；Intelligent Materials and Systems (IMS) Laboratory, Institute of Technology, University of Tartu（塔尔图大学科技学院智能材料与系统实验室）；Institut des Systèmes Intelligents et de Robotique (ISIR), Université Pierre-et-Marie-Curie（皮埃尔和玛丽·居里大学智能系统与机器人研究所）；Laboratoire des Sciences du Numérique de Nantes (LS2N), École Centrale de Nantes（南特中央理工数字科学实验室）；Dipartimento di ingegneria meccanica, energetica, gestionale e dei trasporti (DIME), Università di Genova（热那亚大学机械、能源、管理与运输工程系）
针对虚拟环境中协作机器人安全与效率难以兼顾的问题，提出基于高斯过程的手部运动预测方法，结合视线检测意图，有效提升了机器人运行效率与人机交互安全性。
2024-05-18 cs.AI cs.LG cs.RO
Contraction $\mathcal{L}_1$-Adaptive Control using Gaussian Processes
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了$\mathcal{CL}_1$ - $\mathcal{GP}$，一个控制框架，使安全的同时学习和控制系统的不确定性。两个主要组成部分是基于收缩理论的$\mathcal{L}_1$（$\mathcal{CL}_1$）控制和高斯过程（GP）回归形式的贝叶斯学习。$\mathcal{CL}_1$控制器确保在提供安全证书的同时满足控制目标。此外，$\mathcal{CL}_1$ - $\mathcal{GP}$将任何可用数据合并到不确定性的GP模型中，这提高了性能并使运动规划器能够安全地实现最优。这样，即使在学习瞬态期间，也始终保证系统的安全操作。我们提供了一些说明性的例子，在各种环境中的平面四旋翼系统的安全学习和控制。
2021-11-30 cs.LG cs.RO cs.SY
Active Learning with Gaussian Processes for High Throughput Phenotyping
Carnegie Mellon University（卡内基梅隆大学）
在机器人植物表型分析能力对作物改良计划产生重大影响之前，必须解决的一个迫在眉睫的问题是可扩展性。高产量表型分析（HTP）使用机器人技术来分析作物，以确定具有有利性状的物种，然而，目前的实践依赖于从育种实验下被监测的整个作物田的详尽覆盖和数据汇集。这在相对较小的农业领域效果很好，但不能扩展到较大的领域，从而限制了遗传学研究的进展。在这项工作中，我们提出了一个主动学习算法，使一个自治的系统，以收集最翔实的样本，以准确地学习在该领域的表型分布的帮助下，高斯过程模型。我们证明了我们提出的算法相比，高粱表型数据汇集目前的做法优越的性能。
2019-01-21 cs.AI cs.LG cs.RO
Active Learning for Multiple Change Point Detection in Non-stationary Time Series with Deep Gaussian Processes
Arizona State University（亚利桑那州立大学）
针对非平稳时间序列多变点检测难题，提出融合主动学习与深度高斯过程的算法，利用频谱分析识别变化并策略采样，在模拟和真实数据上提升了检测准确性与采样效率。
2025-05-26 cs.LG
Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty
University of California, Berkeley（加州大学伯克利分校）
控制障碍函数和控制李雅普诺夫函数分别是增强被控系统安全性和稳定性的常用工具。它们通常用于建立约束，这些约束可以并入求解安全关键控制输入的最小范数二次规划（CBF-CLF-QP）中。然而，由于这些约束依赖于系统的模型，当该模型不准确时，安全性和稳定性的保证很容易丧失。在本文中，我们提出了一种基于高斯过程（GP）的方法来解决使用CBF和CLF的安全关键控制器中的模型不确定性问题。所考虑的模型的不确定性是受状态和控制输入。我们推导出这样的模型的不确定性对CBF和CLF的动态的影响的概率界。然后，我们使用这些界限来建立安全性和稳定性的机会约束，可以纳入一个最小范数凸优化为基础的控制器，称为GP-CBF-CLF-SOCP。作为本文的主要理论结果，我们提出了所提出的优化问题的逐点可行的必要条件和充分条件。我们认为，这些条件可以作为理解从真实系统收集的数据分布的最低要求的起点，以保证安全。最后，我们验证了所提出的框架与数值模拟的自适应巡航控制器的汽车系统。
2021-10-01 cs.LG cs.SY eess.SY
Combining additivity and active subspaces for high-dimensional Gaussian process modeling
Secondmind（第二思维）
针对高维高斯过程建模中的维度灾难，提出结合可加性与活动子空间，并引入多保真度策略，实验验证了其优势。
2026-10-08 math.OC stat.ML
A computationally lightweight safe learning algorithm
Aalto University（阿尔托大学）；Uppsala University（乌普萨拉大学）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对高斯过程推断计算成本高的问题，提出基于Nadaraya-Watson估计器的轻量化安全学习算法，在提供概率安全保证的同时将对数级扩展性应用于七自由度机械臂实验。
2023-09-07 cs.LG cs.SY eess.SY
Online Parameter Estimation for Safety-Critical Systems with Gaussian Processes
Georgia Institute of Technology（佐治亚理工学院）
参数估计对于复杂动态系统的建模、跟踪和控制至关重要。然而，参数的不确定性会损害系统性能的控制器依赖于标称参数值。通常，参数估计使用数值回归方法作为反问题。然而，由于存在多个局部最优解、依赖梯度、大量实验数据或稳定性问题，它们具有非唯一性。针对这些缺点，我们提出了一个贝叶斯优化框架的基础上高斯过程（GP）的在线参数估计。它使用一个有效的搜索策略在参数空间的响应面上找到全局最优值与最小的功能评估。响应面被建模为相关的代理人使用GPS噪声数据。GP后验预测方差用于智能自适应采样。这平衡了探索与开发的权衡，这是在有限预算下达到全局最优的关键。我们证明了我们的技术驱动平面摆和安全关键的四旋翼在模拟与变化的参数。我们还基准我们的结果对求解器使用内点法和序列二次规划。通过重新配置控制器与新的优化参数迭代，我们大大提高了系统的轨迹跟踪与标称情况下和其他求解器。
2020-02-18 cs.LG cs.RO
Control Barrier Functions for Unknown Nonlinear Systems using Gaussian Processes
Technical University of Munich（慕尼黑工业大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；LMU Munich（慕尼黑大学）
本文主要研究在保证安全性约束的前提下，未知非线性系统的控制器综合问题。我们的方法包括两个步骤，一个学习步骤，使用高斯过程和控制器的合成步骤，是基于控制障碍函数。在学习步骤中，我们使用一种数据驱动的方法，利用高斯过程来学习未知的控制仿射非线性动力学以及学习模型精度的统计界限。在第二个控制器综合步骤中，我们开发了一个系统的方法来计算控制障碍函数，明确考虑到学习模型的不确定性。控制障碍函数不仅通过构造产生安全控制器，而且还提供满足安全规范的概率的严格下限。最后，我们通过合成一个喷气发动机的安全控制器的例子来说明所提出的结果的有效性。
2020-10-12 cs.LG cs.SY eess.SY
Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields
Carnegie Mellon University（卡内基梅隆大学）
许多真实世界的数据集可以以图的形式表示，其边权重指定实例之间的相似性。离散高斯随机场（GRF）模型是一个有限维高斯过程（GP），其先验协方差是图拉普拉斯算子的逆。最小化GRF上的预测协方差Sigma（V-最优性）的迹已被证明在具有预算约束的批量主动学习分类问题中是成功的。然而，它的最坏情况界限一直缺失。我们表明，作为批量查询集的函数的GRF上的V-最优性是次模的，因此其贪婪选择算法保证了（1-1/e）的近似比。此外，GRF模型具有抑制子缺失（AofS）条件。对于主动调查问题，我们提出了一个类似的调查标准，最小化1 '（西格玛）1。在实践中，V-最优性准则比具有互信息增益准则的GP执行得更好，并且允许不同节点的非均匀代价。
2012-09-17 cs.AI cs.DS cs.LG
Hierarchical-Hyperplane Kernels for Actively Learning Gaussian Process Models of Nonstationary Systems
Bosch Center for Artificial Intelligence（博世人工智能中心）
学习复杂计算机模拟和物理机器的精确代理模型通常需要长期或昂贵的实验。此外，建模的物理依赖性表现出非线性和非平稳的行为。因此，用于产生代理模型的机器学习方法应当通过提供一种方案来解决这些问题，该方案例如通过使用主动学习来保持查询的数量较小，并且能够捕获系统的非线性和非平稳特性。非平稳性建模的一种方法是引入输入划分，这是一个已被证明在高斯过程的主动学习中具有优势的原则。然而，这些方法要么假设已知的分区，需要引入复杂的采样方案，要么依赖于非常简单的几何形状。在这项工作中，我们提出了一个简单但功能强大的内核家族，它包含一个分区：i）通过基于梯度的方法可以学习，ii）使用比以前更灵活的几何形状，同时仍然适用于低数据状态。因此，它为主动学习过程提供了良好的先验。我们在经验上证明了在各种主动学习任务上的出色表现。
2023-03-17 cs.AI cs.LG
Safe Learning of Quadrotor Dynamics Using Barrier Certificates
本文提出基于高斯过程的数据驱动方法，通过屏障证书确保四旋翼在部分未知环境中的安全学习，结合自适应采样方案和递归高斯过程预测实现动态建模。
2017-10-16 cs.LG cs.SY eess.SY
Decentralized Event-Triggered Online Learning for Safe Consensus of Multi-Agent Systems with Gaussian Process Regression
Technical University of Munich（慕尼黑工业大学）；Harbin Institute of Technology（哈尔滨工业大学）；Robert Koch Institute（罗伯特·科赫研究所）；Freie Universität Berlin（柏林自由大学）
本文提出一种基于高斯过程回归的分散事件触发在线学习控制律，用于多智能体系统在未知动力学下的安全共识，并通过Lyapunov理论保证性能，对比实验验证其优于传统及离线方法。
2024-02-05 cs.LG cs.SY eess.SY
Gaussian process modeling for stochastic multi-fidelity simulators, with application to fire safety
为了评估在火灾情况下疏散建筑物的可能性，标准方法包括使用有限差分法模拟火灾的传播，并考虑火灾的随机行为，使得模拟的结果是不确定的。网格精细度调整了数值模型的质量和计算成本。根据网格的精细程度，一次模拟可以持续几分钟到几周。在这篇文章中，我们专注于预测火灾模拟器在细网格的行为，使用更便宜的结果，在粗网格。在计算机实验设计和分析的文献中，这样的问题被称为多保真度预测。我们的贡献是将Picheny和Ginsbourger（2013）和Tuo等人（2014）提出的贝叶斯多保真度模型扩展到随机模拟器的情况。
2016-05-09 stat.AP stat.ME
Active Learning with Safety Constraints
University of Washington（华盛顿大学）
主动学习方法在减少学习所需的样本数量方面表现出很大的希望。随着自动学习系统被应用到实时、真实的决策流程中，在设计此类算法时考虑到安全性变得越来越重要。在这项工作中，我们研究的复杂性，学习最好的安全决策在交互式环境中。我们减少这个问题的约束线性土匪问题，我们的目标是找到满足某些（未知）安全约束的最佳手臂。我们提出了一个自适应的实验设计为基础的算法，我们有效地权衡之间的困难，显示手臂是不安全的与次优的。据我们所知，我们的结果是第一个最佳臂识别线性土匪的安全约束。在实践中，我们证明了这种方法在合成和真实世界的数据集上表现良好。
2022-06-22 cs.LG stat.ML
Safe Active Feature Selection for Sparse Learning
Texas A&M University（得克萨斯农工大学）；University of Washington（华盛顿大学）
我们提出了安全的主动增量特征选择~（SAIF）来扩展LASSO解决方案的计算。SAIF不需要像在顺序筛选中那样来自较重惩罚参数的解决方案，也不需要像在动态筛选中那样针对每次迭代更新完整模型。与这些现有的筛选方法不同，SAIF从少量特征开始，逐步招募活跃特征并更新显著减少的模型。因此，它在计算上更加高效，并且随着特征的数量而可扩展。更重要的是，SAIF具有安全保证，因为它具有对原始完整LASSO问题的最优解的收敛保证。这种增量过程和理论收敛保证可以扩展到融合LASSO问题。与现有的筛选方法、工作集方法和同伦方法相比，SAIF方法在处理极高维数据集时，在保证安全性的前提下，具有更高的效率和可扩展性。使用合成和真实世界数据集的实验表明，SAIF可以比动态筛选快50倍，比计算LASSO或融合LASSO解决方案快数百倍。
2018-06-19 cs.LG stat.ML
Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种新的适应主动学习基于图的半监督学习（SSL）下的非高斯贝叶斯模型。我们提出了一个近似的非高斯分布，以适应以前高斯为基础的采集功能，这些更一般的情况下。我们开发了一个有效的排名一更新应用“前瞻”为基础的方法，以及模型再培训。我们还介绍了一种新的“模型变化”采集功能的基础上，这些近似，进一步扩大了可用的收集主动学习采集功能的方法。
2020-07-21 cs.LG stat.ML
