Hyper-optimization with Gaussian Process and Differential Evolution Algorithm
Innovatrics s.r.o(Innovatrics 有限责任公司)
高计算能力需求的优化问题是一项具有挑战性的任务。这种优化的概率方法称为贝叶斯优化,通过求解数学上更简单的问题模型来降低性能要求。选定的方法,高斯过程,模型问题使用高斯函数的混合。本文介绍了从现有的科学图书馆高斯过程优化组件的具体修改。提出的修改提交给BlackBox 2020挑战,在那里它优于一些传统的优化库。
2021-01-26 cs.LG
Machine Learning of Linear Differential Equations using Gaussian Processes
Division of Applied Mathematics, Brown University(应用数学系,布朗大学)
本文利用概率机器学习最新进展,通过高斯过程先验发现参数化的线性守恒律方程,包括常微分、偏微分、积分微分及分数阶算子。
2017-01-10 cs.LG cs.NA math.NA
Constraining Gaussian Processes to Systems of Linear Ordinary Differential Equations
OWL University of Applied Sciences and Arts(OWL应用科学与艺术大学)
许多应用中的数据遵循常微分方程(ODE)系统。本文提出了一种新的算法和符号构造的协方差函数的高斯过程(GP)的实现严格遵循一个系统的线性齐次常系数常微分方程,我们称之为LODE-GP。将这种强归纳偏差引入GP中可以改进此类数据的建模。使用史密斯范式算法,一种符号技术,我们克服了两个当前的限制,在现有技术中:(1)需要某些唯一性条件的解决方案,通常假设在经典的ODE求解器和他们的概率对应,和(2)可控系统的限制,通常假设在协方差函数中编码微分方程。我们在一些实验中显示了LODE-GP的有效性,例如通过最大化可能性来学习物理上可解释的参数。
2022-08-26 cs.LG cs.SC stat.ML
Differentially Private Regression and Classification with Sparse Gaussian Processes
University of Sheffield(谢菲尔德大学)
机器学习的一个持续挑战是提供对数据执行计算的方法,同时确保数据保持私有。在本文中,我们建立在可证明的隐私保证的差分隐私已结合高斯过程,通过以前出版的\emph{cloaking method}。在本文中,我们解决了这种方法的几个缺点,从低数据密度区域的预测问题开始。我们的实验与诱导点的使用,以提供一个稀疏的近似,并表明,这些可以提供强大的差分隐私在离群区域和更高的维度。然后,我们看看分类,并修改拉普拉斯近似方法,以提供不同的私人预测。然后,我们将其与稀疏近似相结合,并展示了在高维中进行分类的能力。最后,我们探讨了超参数选择的问题,并开发了一种方法,他们的私人选择。本文和相关的库提供了一个强大的工具包,结合差分隐私和GPS在一个实用的方式。
2019-09-19 cs.CR cs.LG stat.ML
No-Regret Algorithms for Private Gaussian Process Bandit Optimization
数据驱动决策的广泛扩散引发了最近对隐私保护算法设计的兴趣。本文从隐私保护统计的角度研究了高斯过程(GP)的强盗优化问题。我们提出了一个解决方案,差分私有GP强盗优化,结合了均匀核近似随机扰动,提供了一个通用的框架,以创建差分私有(DP)高斯过程强盗算法。对于两个特定的DP设置-联合和局部差分隐私,我们提供了基于高效的正交傅立叶特征近似器的算法,这是计算效率高,可证明没有遗憾流行的固定核函数。我们的算法在整个优化过程中保持差分隐私,并且严格地不依赖于样本路径进行预测,从而使参数也可以直接发布。
2021-02-24 cs.CR cs.LG stat.ML
On solving Ordinary Differential Equations using Gaussian Processes
我们描述了一套基于高斯过程的方法,可以用来解决非线性常微分方程。我们提出了一个显式的概率求解器和两个隐式的方法,一个类似于Picard迭代和其他梯度匹配。所有方法都比以前提出的高斯过程方法具有更高的精度。我们还提出了一个通用的方法,可以从任何标准的ODE求解器产生误差估计。
2014-08-17 cs.NA math.NA stat.CO
Gaussian Processes with Differential Privacy
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
高斯过程(GP)是一种非参数贝叶斯模型,广泛用于各种预测任务。先前通过差分隐私(DP)向GP添加强隐私保护的工作仅限于保护预测目标(模型输出)的隐私而不保护输入。我们打破了这一限制,引入GP与DP保护模型的输入和输出。我们实现了这一点,通过使用稀疏GP方法和出版的私人变分近似已知的诱导点。调整近似协方差以近似地考虑来自DP噪声的增加的不确定性。该近似可用于使用标准稀疏GP技术计算任意预测。我们提出了一种超参数学习的方法,使用私人选择协议应用于验证集对数似然。实验结果表明,在足够的数据量下,该方法可以在强隐私保护下生成准确的模型。
2021-11-11 cs.CR cs.LG stat.ML
Feature Space Adaptation for Effortless Gaussian Process Flows
University of Cambridge(剑桥大学);University College London(伦敦大学学院);University of New South Wales(新南威尔士大学);Lancaster University(兰开斯特大学)
本文针对FlowGP的缺陷,引入核近似与边际似然获取方法,首次实现其超参数优化,并在三类任务中验证了所提方法的有效性。
2026-10-09 cs.LG stat.ME stat.ML
On the Inverse Flow Matching Problem in the One-Dimensional and Gaussian Cases
Applied AI Institute(应用人工智能研究所);Graz University of Technology(格拉茨技术大学)
本文研究了一维和高斯情况下流匹配的逆问题,建立了解的唯一性,为生成AI中的模型蒸馏提供了理论支持。
2025-12-29 cs.LG
Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
本文提出了一种通过随机微分方程实现完全贝叶斯微分高斯过程的方法,以提升模型的灵活性和适应性。
2025-12-15 cs.AI cs.LG
Numerical Gaussian Processes for Time-dependent and Non-linear Partial Differential Equations
我们引入数值高斯过程的概念,我们定义为高斯过程的协方差函数产生的时间离散的时间依赖的偏微分方程。数值高斯过程,通过构造,旨在处理以下情况:(1)我们观察到的都是黑箱初始条件下的噪声数据,以及(2)我们有兴趣量化与时间相关偏微分方程解中的噪声数据相关的不确定性。我们的方法绕过了空间离散的微分算子的适当位置的高斯过程先验。这是构建结构化和数据高效的学习机器的一种尝试,这些机器明确地由可能生成观察数据的底层物理学告知。通过几个涉及线性和非线性时变算子的基准问题证明了所提出方法的有效性。在所有的例子中,我们能够恢复精确的近似的潜在解决方案,并始终传播不确定性,即使在涉及很长时间的积分的情况下。
2017-03-29 cs.NA math.AP math.DS
A unified perspective of Gaussian process approximation for differential equations
Centre for Mathematical Sciences, Lund University(隆德大学数学中心)
研究微分方程高斯过程近似方法,提出统一贝叶斯视角,将技术置于通用概率框架,基于导数匹配纳入微分方程约束,支持参数估计和解近似,巩固现有发展并为未来研究奠基。
2026-07-08 cs.CE cs.NA math.NA
Non-parametric Estimation of Stochastic Differential Equations with Sparse Gaussian Processes
随机微分方程(Stochastic Differential Equations,SDEs)由于能够用物理上可解释的方程描述复杂的动力学过程,在时态数据分析中的应用越来越受到人们的关注。在本文中,我们介绍了一种非参数方法估计的漂移和扩散项的随机微分方程从密集观察离散时间序列。使用高斯过程作为先验允许直接在函数空间视图中工作,因此推理直接在该空间中发生。为了应对需要使用高斯过程的计算复杂性,提供了稀疏高斯过程近似。这种近似允许通过使用伪样本的一个小子集上的分布来有效地计算漂移和扩散项的预测。利用模拟数据和实际的经济和古气候数据对所提出的方法进行了验证。实际数据的应用表明,该方法能够捕捉复杂系统的行为。
2017-07-10 physics.data-an stat.ML
Explicit Estimation of Derivatives from Data and Differential Equations by Gaussian Process Regression
在这项工作中,我们采用的贝叶斯推断框架来解决的问题,估计的解决方案,特别是其衍生物,满足一个已知的微分方程,从给定的噪音和稀缺的观测的解决方案的数据。为了解决导数估计的准确性和鲁棒性的关键问题,我们使用高斯过程来联合建模的解决方案,导数和微分方程。将线性微分方程视为线性约束,提出了一种带约束的高斯过程回归方法(GPRC),以提高导数的预测精度。对于非线性微分方程,我们提出了一个Picard迭代近似的线性化周围的高斯过程只得到的数据,使我们的GPRC仍然可以迭代适用。此外,采用专家乘积法确保初始或边界条件被考虑,以进一步提高导数的预测精度。我们提出了几个数值结果来说明我们的新方法相比,标准的数据驱动的高斯过程回归的优势。
2020-10-08 stat.CO stat.OT
Gaussian Mixture Flow Matching Models
Stanford University(斯坦福大学);Adobe Research(Adobe研究)
针对扩散与流匹配模型少步采样性能差、CFG下易过饱和的问题,提出高斯混合流匹配模型GMFlow,通过预测动态高斯混合参数学习多模态流速分布,结合GM-SDE/ODE求解器与概率引导方案,在ImageNet上仅6步采样即达0.942精确率,显著提升生成质量。
2025-08-30 cs.CV cs.LG
Differentially Private Bayesian Inference for Gaussian Copula Correlations
Washington University in Saint Louis(华盛顿大学圣路易斯分校);Duke University(杜克大学)
本文提出基于差分隐私的高斯Copula相关性贝叶斯推断方法,通过噪声添加和复合似然估计实现隐私保护下的相关性估计。
2026-07-28 stat.ME
Approximate Bayes learning of stochastic differential equations
我们介绍了一种非参数方法估计漂移和扩散函数的随机微分方程系统的状态向量的观测。高斯过程被用作这些函数的灵活模型,并且使用高斯过程回归直接从密集数据集计算估计值。我们还开发了一个近似的期望最大化算法来处理未观察到的,稀疏观测之间的潜在动态。后验过状态近似的分段线性化过程的Ornstein-Uhlenbeck型和最大后验估计的漂移是由稀疏高斯过程近似。
2017-02-17 physics.data-an stat.ML
A Novel Exact Representation of Stationary Colored Gaussian Processes (Fractional Differential Approach)
本文提出了一种新的函数表示形式,称为广义泰勒形式,并将其应用于白噪声过程的滤波。证明了每一个高斯色噪声都可以表示为一组线性分数阶随机微分方程的输出,该方程的解是分数阶布朗运动的加权和。给出了加权系数的精确形式,并证明了加权系数与色噪声目标谱密度的分数阶矩有关。
2013-03-06 cond-mat.stat-mech math-ph math.MP
Sparse discovery of differential equations based on multi-fidelity Gaussian process
ShanghaiTech University(上海科技大学);Chongqing University(重庆大学)
针对含噪、稀疏及多保真度数据下的微分方程识别难题,提出基于GPR与MFGP的不确定性量化方法,以稳健恢复方程并通过数值实验验证有效性。
2024-01-22 cs.LG cs.NA math.NA
Gaussian Process Learning-based Probabilistic Optimal Power Flow
在这封信中,我们提出了一种新的高斯过程学习的概率最优潮流(GP-POPF)解决POPF下的可再生能源和任意分布的负荷不确定性。所提出的方法依赖于一个非参数贝叶斯推理为基础的不确定性传播方法,称为高斯过程(GP)。我们还利用对GP-POPF超参数可解释性的观察,提出了一种新型灵敏度,称为子空间灵敏度。对14节点和30节点系统的仿真结果表明,与Monte-Carlo Simulations(MCS)解决方案相比,该方法在不同水平的不确定性可再生能源渗透率以及负荷不确定性下提供了合理准确的解决方案,同时需要更少的样本数量和运行时间。
2020-04-16 cs.SY eess.SY stat.ML
Normalizing field flows: Solving forward and inverse stochastic differential equations using physics-informed flow models
Shanghai Normal University(上海师范大学);Tongji University(同济大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
在这项工作中,我们介绍了归一化场流(NFF)学习随机场从分散的测量。更准确地说,我们构建了一个双射变换(一个归一化流表征的神经网络)之间的高斯随机场与Karhunen-Loève(KL)展开结构和目标随机场,其中KL展开系数和可逆网络的训练,通过最大化的对数似然分散的测量。该NFF模型可以在统一的框架下求解数据驱动的正、逆以及正/逆混合随机偏微分方程。我们证明了所提出的NFF模型学习非高斯过程和不同类型的随机偏微分方程的能力。
2021-09-07 cs.LG cs.NA math.NA
Modeling Advection on Directed Graphs using Matérn Gaussian Processes for Traffic Flow
交通流的输运可以用平流方程来模拟。本文采用有限差分和有限体积法在网格上数值求解这一双曲型方程。平流也已离散建模有向图使用图平流运算符[4,18]。在本文中,我们首先表明,我们可以重新制定这个图平流算子作为一个有限差分格式。然后,我们提出了有向图平流Matérn高斯过程(DGAMGP)模型,该模型将该图平流算子的动力学引入到可训练Matérn高斯过程的内核中,以有效地将交通流及其不确定性建模为有向图上的平流过程。
2022-02-17 cs.NA math.NA stat.ML
Inference for Delay Differential Equations Using Manifold-Constrained Gaussian Processes
针对含时间延迟的动态系统参数推断难题,提出流形约束高斯过程扩展方法,结合贝叶斯框架与线性插值方案,通过仿真和真实COVID-19数据验证了有效性。
2024-06-21 stat.ME
On the characterization of flowering curves using Gaussian mixture models
在本文中,我们开发了一种统计方法,适用于使用高斯混合模型的开花曲线的表征。我们的研究依赖于一组玫瑰开花数据,高斯混合模型主要用于量化每一个的再开花属性。在这方面,我们也建议我们自己的选择标准,以考虑到大多数开花曲线的对称性。三个类创建的基础上进行的主成分分析的一组再开花指标,并使用纵向$k$ -手段算法,也突出了早熟的开花所发挥的作用的子分类。通过这种方式,我们获得了我们决定保留在每条曲线上的特征之间的相关性的概述。特别是,结果表明,缺乏相关性之间的再开花和开花早熟。本研究中获得的相关指标将是理解这些生物过程的环境和遗传控制的第一步。
2016-04-18 q-bio.QM stat.AP
Differential equations, splines and Gaussian processes
我们探讨格林函数的某些微分方程,协方差函数的高斯过程,和光滑样条问题之间的联系。传统上,光滑样条问题被认为是在再生核希尔伯特空间的设置,但在这里,我们提出了一个更直接的方法。利用这种方法,在再生核希尔伯特空间设置中隐含的一些选择脱颖而出,一个例子是边界条件的选择和更精细的形状限制。本文首先探讨了拉普拉斯算子和泊松方程,并在各种边界条件和约束下研究了相应的格林函数。在一系列的例子中推导出显式的函数形式。这些例子包括几种新形式的格林函数,据作者所知,以前没有提出过。接下来,我们提出了一个光滑样条问题,我们惩罚的集成平方导数的功能进行估计。然后,我们将展示如何使用拉普拉斯算子的格林函数来显式计算解决方案。在本文的最后一部分,我们探讨高斯过程和微分方程之间的连接,并显示如何拉普拉斯算子是相关的布朗过程,以及如何出现的过程,由于边界条件和形状的限制,可以被视为条件高斯过程。Laplace算子的格林函数与布朗过程的协方差函数之间的联系使我们能够引入几个新的具有特定行为的布朗过程。最后,我们考虑高斯过程先验和光滑样条之间的联系。
2021-01-24 math.CA math.ST stat.ME
Inferring the unknown parameters in Differential Equation by Gaussian Process Regression with Constraint
微分方程(DE)是金融学、生物学等学科中常用的建模方法。DE模型中的参数通常有有趣的科学解释,但它们的值通常是未知的,需要从DE的测量值中估计。在这项工作中,我们提出了一个贝叶斯推断框架来解决估计的DE模型的参数的问题,从给定的噪声和稀缺的意见的解决方案。在这个问题中的一个关键问题是鲁棒地估计的衍生物的功能,从噪声的观察只有在给定的位置点的功能值,在一个物理模型的形式的微分方程的假设下,控制的功能和它的衍生物。为了解决这个关键问题,我们使用了高斯过程回归与约束(GPRC)的方法,联合模型的解决方案,衍生物,和参数微分方程,估计的解决方案和它的衍生物。对于非线性微分方程,采用Picard迭代近似的线性化方法,使GPRC仍然可以迭代适用。一个新的潜在的数据和方程的信息相结合,提出并用于我们的推理的可能性。数值算例表明,该方法与现有的估计DEs中未知参数的方法相比具有很好的性能。
2020-11-22 stat.CO
Improving the Gaussian Mechanism for Differential Privacy: Analytical Calibration and Optimal Denoising
Amazon Research(亚马逊研究院);Amazon Web Services(亚马逊云科技)
高斯机制是众多差异隐私数据分析算法中使用的基本构建块。在本文中,我们重新审视高斯机制,并表明原来的分析有几个重要的局限性。我们的分析表明,原机制的方差公式是远离紧密的高隐私制度($\varepsilon \to 0$),它不能扩展到低隐私制度($\varepsilon \to \infty$)。我们通过开发一种最佳高斯机制来解决这些限制,该机制的方差直接使用高斯累积密度函数而不是尾界近似来校准。我们还建议配备高斯机制的后处理步骤的基础上,自适应估计技术,利用扰动的分布是已知的。我们的实验表明,分析校准消除了至少三分之一的噪声方差相比,经典的高斯机制,去噪显着提高了精度的高斯机制在高维制度。
2018-06-07 cs.LG stat.ML
On Choosing the $μ$ Parameter in Gaussian Differential Privacy
Lausanne University Hospital(拉索恩大学医院);University of Helsinki(赫尔辛基大学)
本文通过匹配强对手成员推理攻击的最坏情况成功度,提供从纯-DP ε到GDP μ的原则性映射,并推荐 μ≈ε/5 作为保守通用转换。
2026-06-08 cs.LG stat.ML
Rényi Differential Privacy of the Sampled Gaussian Mechanism
Google Research(谷歌研究院)
采样高斯机制(SGM)--一种子采样和加性高斯噪声的组合--已经成功地用于许多机器学习应用中。该机制的意想不到的权力是来自隐私放大采样,其中一个单一的评价的隐私成本减少二次,而不是线性的,与采样率。SGM的精确隐私特性的特点激励了差分隐私概念的几个放松的发展。这项工作统一并填补了SGM已发表结果的空白。我们描述了一个数值稳定的过程,精确计算SGM的雷尼差分隐私,并证明了一个几乎紧(在一个小的常数因子)的封闭形式的界限。
2019-08-28 cs.CR cs.LG stat.ML
Neural Stochastic Differential Equations: Deep Latent Gaussian Models in the Diffusion Limit
University of Illinois(伊利诺伊大学)
在深层潜高斯模型中,潜变量由时间非齐次马尔可夫链生成,在每个时间步,我们将当前状态通过参数非线性映射(如前馈神经网络),并添加一个小的独立高斯扰动。这项工作考虑了这种模型的扩散极限,其中层数趋于无穷大,而步长和噪声方差趋于零。极限潜在对象是一个Itô扩散过程,它求解一个随机微分方程(ε),其漂移和扩散系数由神经网络实现。我们开发了一个变分推理框架,这些\textit{neural SDEs}通过随机自动微分在Wiener空间中,其中的变分近似的后验得到的Girsanov(均值漂移)变换的标准Wiener过程和梯度的计算是基于随机流理论。这就允许使用黑盒解算器和自动微分进行端到端推理。实验结果与合成数据提供。
2019-10-28 cs.LG stat.ML
Large Margin Multiclass Gaussian Classification with Differential Privacy
Carnegie Mellon University(卡内基梅隆大学)
随着越来越多的敏感个人信息被聚集到数据存储库中,开发用于处理数据而不泄露关于个体数据实例的信息的机制变得重要。差分隐私模型为这种机制的发展和理论分析提供了一个框架。在本文中,我们提出了一种算法,用于学习一个判别式训练的多类高斯分类器,满足差分隐私使用一个大的利润损失函数与扰动正则化项。我们提出了一个理论上的上限的扰动引入的分类器的超额风险。
2010-07-28 cs.CR cs.LG stat.ML
The Gaussian Mixing Mechanism: Renyi Differential Privacy via Gaussian Sketches
Massachusetts Institute of Technology(麻省理工学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Boston University(波士顿大学)
本文通过Renyi差分隐私重新分析高斯草图机制,提出更紧的隐私界限,并在线性回归任务中验证了其在效用和运行时间上的改进。
2025-06-04 cs.LG
Fully Adaptive Composition for Gaussian Differential Privacy
Boston University(波士顿大学);Google Research(谷歌研究院)
我们发现,高斯差分隐私,一个变种的差分隐私适合高斯噪声的分析,组成优雅,即使在存在一个完全自适应的分析师。这样的分析师自适应地选择机制(在敏感数据集上运行)及其隐私预算,也就是说,基于来自先前在同一数据集上运行的其他机制的答案。用罗杰斯、罗斯、厄尔曼和瓦丹的话来说,这给出了一个GDP滤波器,其参数与非自适应合成滤波器的参数相同。
2022-10-31 cs.CR cs.LG
Rejoinder: Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
在本答辩中,我们的目标是解决两个广泛的问题,涵盖了讨论中提出的大多数意见。首先,我们讨论了我们工作的一些理论方面,并评论这项工作可能会如何影响隐私保护数据分析的理论基础。从实用的角度来看,我们接下来讨论f-差分隐私(f-DP)和高斯差分隐私(GDP)如何在一系列应用中发挥作用。
2021-06-26 cs.CR cs.LG math.ST
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology(数学系,皇家理工学院)
建立统一的包含性KL推理梯度流和PDF框架,表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理,还开发了直接针对包含性KL散度的梯度流,为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Heterogeneous Gaussian Mechanism: Preserving Differential Privacy in Deep Learning with Provable Robustness
New Jersey Institute of Technology(新泽西理工学院);Kent State University(肯特州立大学);University of Oregon(俄勒冈大学);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
在本文中,我们提出了一种新的异构高斯机制(HGM),以保持差分隐私在深度神经网络,具有可证明的鲁棒性对抗性的例子。首先将传统高斯机制中的隐私预算约束从(0,1]放宽到(0,\infty),并引入一个新的噪声尺度上界来保持差分隐私。在我们的机制中的噪声可以任意重新分配,提供了一个独特的能力,以解决模型效用和隐私损失之间的权衡。为了获得可证明的鲁棒性,我们的HGM被应用于将高斯噪声注入到第一隐藏层中。然后,提出了一个更严格的鲁棒性界。理论分析和全面的评估表明,我们的机制显着提高了不同的私人深度神经网络的鲁棒性,与基线方法相比,在各种模型的攻击。
2019-06-02 cs.CR cs.LG
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
Shanghai Jiao Tong University(上海交通大学);UCL School of Management(伦敦大学学院管理学院);Imperial Business School(帝国理工学院商学院)
针对已知敏感度的标量实值查询函数,设计了一类混合高斯加性噪声机制,在中等和低隐私预算下显著降低噪声幅度和方差,接近最优性。
2026-05-27 cs.AI cs.CR cs.LG
Improved Matrix Gaussian Mechanism for Differential Privacy
Shanghai Jiao Tong University(上海交通大学)
近年来,机器学习的广泛应用对大规模、高维数据产生了巨大的需求,而数据的隐私问题也引起了人们的严重关注。差分隐私(DP)机制传统上是针对标量值而不是针对像矩阵这样的结构数据开发的。基于$ (\varepsilon,δ) $ -差分隐私的充要条件,提出了一种改进的矩阵高斯机制(IMGM)。IMGM只对噪声协方差矩阵的奇异值施加约束,这为设计留下了空间。在矩阵值DP的合法噪声分布中,我们发现最佳分布是i.i.d.。高斯噪声,并且DP约束成为每个元素上的噪声下限。我们进一步推导出IMGM的紧合成方法。除了理论分析外,在各种模型和数据集上的实验也验证了IMGM在相同的隐私保证下比现有的机制产生更高的效用。
2021-04-30 cs.CR cs.LG
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut(康涅狄格大学);CWI Amsterdam(阿姆斯特丹数学与计算机科学研究中心);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而,在原始同步联邦学习的情况下,客户端设备遭受等待时间,并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感,因此,对大量客户端的可扩展性较小或有限,并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法,它消除了等待时间,减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析,并提供了仿真结果。通过添加高斯噪声,我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
FreeGaussian: Annotation-free Control of Articulated Objects via 3D Gaussian Splats with Flow Derivatives
本文提出FreeGaussian方法,通过流导数分离相机自身运动与关节运动,实现无需控制信号的动态高斯运动优化,实验显示其在关节物体上的视觉性能和精确可控性。
2026-03-17 cs.CV cs.LG
A unified interpretation of the Gaussian mechanism for differential privacy through the sensitivity index
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院)
高斯机制是实现差分隐私的一种普遍采用的工具,大量的研究工作都致力于它的分析。我们认为,三个流行的解释GM,即$(\varepsilon, δ)$ -DP,f-DP和雷尼DP可以表示通过使用一个单一的参数$ψ$,我们的术语的敏感性指数。$ψ$通过封装GM的两个基本量来唯一地表征GM及其属性:查询的灵敏度和噪声扰动的幅度。与ROC曲线和DP的假设检验解释有很强的联系,$ψ$为从业者提供了一个强大的方法来解释,比较和交流高斯机制的隐私保证。
2021-09-22 cs.CR cs.IT cs.LG
Stochastic differential equations for limiting description of UCB rule for Gaussian multi-armed bandits
Yaroslav-the-Wise Novgorod State University(智者雅罗斯拉夫诺夫哥罗德国立大学)
本文针对高斯多臂老虎机UCB策略,用随机微分方程和常微分方程构建极限描述,并通过蒙特卡洛模拟验证,估计最小控制视界。
2023-05-11 cs.LG math.OC math.ST
Dithered Gaussian Mechanism for Randomness-Efficient Differential Privacy
Institute of Science and Technology Austria(奥地利科学与技术研究所);BARC University of Copenhagen(哥本哈根大学BARC)
研究提出抖动高斯机制用于差分隐私,将离散化用于隐私输出,继承高斯机制隐私保证且避免浮点漏洞。该机制随机性高效,通过分离随机性来源减少随机比特数,应用于模型训练可实现安全噪声生成且开销适度。
2026-10-02 cs.CR cs.LG
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology(查尔姆斯理工大学)
我们表明,算法2(Agrawal & Goyal,2013)中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明,在T轮后,它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后,定理2表明,通过适当增加高斯后验样本的方差,可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果((Mishra & Thakurta,2015))相比是有利的,该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外,我们的结果使用了基本的汤普森采样,几乎没有修改,而(Mishra & Thakurta,2015)的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG