The trace norm constrained matrix-variate Gaussian process for multitask bipartite ranking
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种新的多任务二分排序的层次模型。该方法结合了矩阵变量高斯过程与生成模型的任务明智的二分排名。此外，我们采用了一种新的迹约束变分推理方法，对后验矩阵变量高斯过程施加低秩结构。由此产生的后验协方差函数推导出封闭的形式，后验均值函数是一个矩阵变量回归与一个新的谱弹性网络正则化的解决方案。此外，我们证明了迹约束矩阵变量高斯过程的变分推断与二分排序模型的最大似然参数估计相结合是联合凸的。我们的激励应用程序是候选疾病基因的优先级。这项任务的目标是帮助识别人类基因和疾病之间的未观察到的关联，使用一小部分观察到的关联，以及由基因-基因相互作用网络和疾病本体引起的内核。我们的实验结果说明了所提出的模型在现实世界的数据集上的性能。此外，我们发现，与基线模型相比，由此产生的低秩解决方案提高了训练和测试的计算可扩展性。
2013-02-11 cs.LG stat.ML
Intrinsic Gaussian processes on complex constrained domains
Plymouth University（普利茅斯大学）；The University of Notre Dame（圣母大学）；The University of Sheffield（谢菲尔德大学）；Duke University（杜克大学）
我们提出了一类内在的高斯过程（在GP）的插值，回归和分类流形上的主要重点复杂的约束域或不规则形状的空间产生的子集或R，R2，R3及以上的子流形。例如，in-GP可以适应作为欧几里得空间的复杂子集而产生的空间域。在GP尊重潜在的复杂的边界或内部条件，以及内在的几何空间。所提出的方法的关键新颖性是利用热内核和布朗运动的流形上的过渡密度之间的关系，用于构建和近似有效的和计算上可行的协方差内核。这使得在GP实际应用中的很大的一般性，而现有的方法用于平滑约束域仅限于简单的特殊情况。通过模拟研究和数据实例说明了GP方法的广泛实用性。
2018-01-03 cs.LG stat.ML
Constrained Bayesian Optimization under Bivariate Gaussian Process with Application to Cure Process Optimization
针对约束贝叶斯优化中目标与约束函数独立性假设不成立的问题，提出利用二元高斯过程刻画二者依赖关系并开发约束期望改进获取函数，在固化过程优化中验证了其有效性。
2025-05-30 stat.AP stat.CO stat.ML
Learning Constrained Dynamics with Gauss Principle adhering Gaussian Processes
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
机械系统的约束动力学的识别往往是具有挑战性的。学习方法有望简化分析，但需要大量数据进行训练。我们建议将分析力学的见解与高斯过程回归相结合，以提高模型的数据效率和约束完整性。其结果是一个高斯过程模型，它结合了先验的约束知识，使其预测坚持高斯的最小约束原则。作为回报，系统的加速度的预测自然尊重潜在的非理想（非）完整等式约束。作为推论的结果，我们的模型能够从受约束系统的数据中推断出无约束系统的加速度，并能够在不同的约束配置之间进行知识转移。
2020-04-23 cs.LG cs.RO cs.SY
Mode-Shape Expansion Using Physics-Constrained Gaussian Process Regression
California Geological Survey（加州地质调查局）；The B. John Garrick Institute for the Risk Sciences, University of California, Los Angeles（加州大学洛杉矶分校B.约翰·加里克风险科学研究所）
针对稀疏传感器数据重构全场结构模态振型的问题，提出一种物理约束单输出高斯过程框架，通过质量正交惩罚耦合独立模态核，实现更准确可靠的振型扩展。
2026-05-21 cs.NA math.NA stat.ML
Determination of Particle-Size Distributions from Light-Scattering Measurement Using Constrained Gaussian Process Regression
Aalto University, Department of Electrical Engineering and Automation (EEA)（阿alto大学电子工程与自动化学院）；Aalto University, Department of Electrical Engineering（阿alto大学电子工程学院）
本文提出约束高斯过程回归方法，通过归一化约束和谱展开低秩表示，从光散射测量中稳健、高效地估计粒径分布，解决不适定逆问题。
2025-07-04 cs.LG physics.optics stat.ME
Data-Driven Chance Constrained AC-OPF using Hybrid Sparse Gaussian Processes
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
交流（AC）机会约束最优潮流（CC-OPF）问题解决了发电量不确定情况下发电和输电的经济性。后者是现代电网所固有的，因为可再生能源的数量很高。尽管其学术上的成功，AC CC-OPF问题是高度非线性和计算要求，这限制了它的实际影响。为了改善AC-OPF问题的复杂性/精度权衡，本文提出了一种快速的数据驱动设置，使用稀疏和混合高斯过程（GP）框架来建模的潮流方程与输入的不确定性。我们提倡的效率，所提出的方法的数值研究多个IEEE测试用例显示高达两倍的速度和更准确的解决方案相比，国家的最先进的方法。
2022-08-30 cs.LG cs.SY eess.SY
A Survey of Constrained Gaussian Process Regression: Approaches and Implementation Challenges
Sandia National Laboratories（桑迪亚国家实验室）
高斯过程回归是一种流行的贝叶斯框架，用于昂贵数据源的替代建模。作为科学机器学习更广泛努力的一部分，许多最近的工作已经在高斯过程回归中纳入了物理约束或其他先验信息，以补充有限的数据并规范模型的行为。我们提供了一个概述和调查的几类高斯过程的约束，包括积极性或边界约束，单调性和凸性约束，微分方程约束提供的线性偏微分方程，边界条件约束。我们比较了每种方法背后的策略以及实施中的差异，最后讨论了限制带来的计算挑战。
2021-01-06 cs.LG math.ST stat.ML
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories（桑迪亚国家实验室）
我们开发了一个框架，高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件，但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换，并使用了由边界值问题的特征函数中的谱展开给出的核。因此，它受益于协方差矩阵的降秩属性。我们证明，所得到的框架产生更准确和稳定的解决方案的推理相比，物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Efficient Bayesian shape-restricted function estimation with constrained Gaussian process priors
本文重新审视贝叶斯形状限制推理的问题，在最近开发的近似高斯过程，承认一个等价的制定的形状约束的基础系数。我们提出了一种策略，以有效地从所产生的约束后采样吸收的可能性和使用循环嵌入技术的约束的平滑松弛，从无约束的修改前。我们还特别注意减轻由更新高斯过程的协方差核内的超参数引起的计算复杂性。所开发的算法被证明是准确和高效的模拟和真实数据的例子。
2019-02-13 stat.ME
Inference of dynamic systems from noisy and sparse data via manifold-constrained Gaussian processes
利用噪声和稀疏数据对由常微分方程表示的非线性动态系统模型进行参数估计是许多领域中的重要课题。我们提出了一个快速和准确的方法，MAGI（MAnifold-constrained高斯过程推断），为这项任务。MAGI在时间序列数据上使用高斯过程模型，明确地以高斯过程的导数必须满足ODE系统的流形约束为条件。通过这样做，我们完全绕过了数值积分的需要，并实现了大量节省计算时间。MAGI还适用于对未观察到的系统组件进行推理，这在实际实验中经常发生。MAGI与现有的方法不同，因为我们在贝叶斯框架下提供了一个原则性的统计结构，该框架通过流形约束结合了ODE系统。我们证明了MAGI的准确性和速度使用基于物理实验的现实例子。
2021-02-22 math.DS stat.ME
Marginally Constrained Nonparametric Bayesian Inference through Gaussian Processes
非参数贝叶斯模型通常用作复杂数据的灵活和强大的模型。很多时候，统计学家可能对感兴趣的数据分布有额外的信息信念，例如，它的均值或子集分量，不是非参数先验的一部分，甚至与非参数先验不相容。一个重要的挑战是将这种部分先验信念纳入非参数贝叶斯模型。在本文中，我们的动机设置从业者有额外的分布信息的一个子集的坐标的观测建模。我们的方法将这个问题与条件密度模型联系起来。我们的主要思想是一种新的约束贝叶斯模型，基于一个扰动的参数分布与变换高斯过程之前的扰动函数。我们还开发了相应的后验抽样方法的基础上的数据增强。我们说明了我们提出的约束非参数贝叶斯模型在各种现实世界的情况下，包括建模环境和地震数据的有效性。
2022-11-05 stat.CO stat.ME
MAGI: A Package for Inference of Dynamic Systems from Noisy and Sparse Data via Manifold-constrained Gaussian Processes
MAGI是一个贝叶斯框架下的软件包，利用流形约束高斯过程从噪声稀疏数据中推断非线性常微分方程动态系统的未知参数，并处理未观测组件，支持R、MATLAB和Python。
2023-10-16 stat.CO
An Incremental Path-Following Splitting Method for Linearly Constrained Nonconvex Nonsmooth Programs
问题2的不动点不是问题1的不动点。很抱歉，我们正在努力修复此错误。
2018-08-04 cs.LG math.OC
Linearly Constrained Neural Networks
The University of Newcastle（纽卡斯尔大学）；Uppsala University（乌普萨拉大学）
我们提出了一种新的方法来建模和学习向量场的物理系统，使用神经网络，明确满足已知的线性算子约束。为了实现这一点，目标函数被建模为潜在的势场的线性变换，该势场又由神经网络建模。选择该变换，使得目标函数的任何预测都保证满足约束。模拟和真实数据的例子证明了这种方法。
2021-04-28 cs.LG physics.comp-ph stat.ML
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本文揭示了神经网络中预激活值非零均值的激活偏移现象，提出线性约束权重（LCW）方法减少该偏移，有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications
Peking University（北京大学）
在这项工作中，我们研究了一类新的基于投影的线性约束问题（LCP）的算法，在统计，优化和机器学习中有很多应用。传统的基于原始梯度的LCP方法在每次（随机）梯度下降之后调用投影，导致所需的投影数量等于梯度下降（或总迭代）的数量。受分布式优化的最新进展的启发，我们提出了延迟投影技术，每隔一段时间调用一次投影，降低投影频率，提高投影效率。相应地，我们设计了一系列的随机方法的LCP使用的技术，包括方差减少的方法和加速的。我们从理论上证明了在强凸和一般凸情形下提高投影效率是可行的。我们的分析是简单和统一的，可以很容易地扩展到其他方法使用延迟投影。当我们的新算法应用到联邦优化，一个新兴的分布式优化和隐私保护的子域，我们不仅得到了一个方差减少联邦算法的收敛速度优于以往的作品，但也是第一个加速方法能够处理数据异构性的联邦优化固有的。
2021-01-05 cs.LG math.OC stat.ML
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization
University of Virginia（弗吉尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Meta
本文提出了一种单循环一阶算法，用于解决具有线性约束的双层优化问题，通过改写问题并分析收敛率，提升了算法效率。
2026-02-04 cs.IT cs.LG math.IT
First-Order Methods for Linearly Constrained Bilevel Optimization
Weizmann Institute of Science（魏兹曼科学研究所）；Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
针对线性约束双层优化，提出一阶方法，实现有限时间超梯度平稳性保证，分别对等式和不等式约束达到近最优及维度无关的复杂度，并辅以数值实验验证。
2025-04-20 cs.LG math.OC
Hessian barrier algorithms for linearly constrained optimization problems
Universität Wien（维也纳大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Maastricht University（马斯特里赫特大学）
本文提出Hessian障碍算法（HBA），结合Hessian黎曼梯度流前向欧拉离散化与Armijo回溯步长策略，证明其收敛性及收敛率，并通过数值实验验证。
2019-05-08 cs.LG math.OC
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University（理海大学）
本文拓展了梯度-本征步算法的分析，证明其在特定条件下具备局部线性收敛速率，还可作为子问题求解器应用于渐进采样策略，以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, USA（机械与工业工程系，东北大学，波士顿，美国）
本文研究线性约束下在线 LQG 控制问题，提出基于黎曼流形的在线牛顿法（ONM）算法，利用代价函数二阶信息即时生成控制器，并证明了基于路径长度的遗憾界限。
2025-07-13 cs.LG cs.SY eess.SY
Large Deviations of Gaussian Neural Networks with ReLU activation
Quirin Vogel 1,2
本文研究了具有ReLU激活函数的高斯神经网络的大偏差原理，推导了速率函数并给出了幂级数展开。
2026-02-09 cs.LG math.PR stat.ML
Asymptotics of Linear Regression with Linearly Dependent Data
University of Pennsylvania（宾夕法尼亚大学）
本文针对非高斯线性相关数据的高维线性回归场景，证明高斯普适性定理并通过不动点方程刻画估计误差，分析相关数据下的最优正则化等问题，仿真验证了理论预测。
2024-12-07 cs.LG cs.SY eess.SY
