MOCK: an Algorithm for Learning Nonparametric Differential Equations via Multivariate Occupation Kernel Functions
Department of Mathematics(数学系);Portland State University(波特兰州立大学)
本文提出 MOCK,一种基于向量值再生核 Hilbert 空间和多元占据核函数的非参数 ODE 学习方法,实现随状态维度线性扩展,并在多维模拟与真实数据上验证了预测优势。
2025-07-25 cs.LG stat.ML
Task-similarity Aware Meta-learning through Nonparametric Kernel Regression
KTH Royal Institute of Technology(瑞典皇家理工学院);Linköpings University(林雪平大学)
本文研究了使用非参数核回归来获得任务相似性感知的元学习算法。我们的假设是,使用tasksimilarity有助于元学习时,可用的任务是有限的,可能包含离群值/不相似的任务。虽然现有的元学习方法隐含地假设任务是相似的,但通常不清楚如何量化这种任务相似性并将其用于学习。因此,大多数流行的元学习方法不主动使用任务之间的相似性/相异性,而是依赖于大量任务的可用性。我们的贡献是一个新的框架,明确使用任务相似性的内核和相关的元学习算法的形式的元学习。我们将特定于任务的参数建模为属于再生核希尔伯特空间,其中核函数捕获任务之间的相似性。该算法迭代学习一个元参数,用于为每个任务分配一个特定于任务的描述符。任务描述符,然后使用量化的任务相似性,通过核函数。我们展示了我们的方法如何在概念上概括流行的元学习方法模型不可知元学习(MAML)和Meta-随机梯度下降(Meta-SGD)方法。回归任务的数值实验表明,我们的算法优于这些方法时,任务的数量是有限的,即使在存在离群值或不相似的任务。这支持了我们的假设,即任务相似性有助于提高元学习绩效的任务限制和不利的设置。
2020-10-12 cs.LG stat.ML
Learning Data-adaptive Nonparametric Kernels
KU Leuven(鲁汶大学);Shanghai Jiao Tong University(上海交通大学);Nanjing University of Science and Technology(南京理工大学);Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
在本文中,我们提出了一个数据自适应的非参数核学习框架,在间隔为基础的核方法。在模型建立中,给定一个初始核矩阵,一个数据自适应矩阵与两个约束施加在一个条目式计划。以无公式化策略学习这种数据自适应矩阵可以扩大类之间的差距,从而提高模型的灵活性。在我们的模型中,引入的两个约束条件是精确的(在小数据集上)或近似的(在大数据集上),这提供了一个可控的模型灵活性和复杂性之间的权衡与理论论证。在算法优化中,我们的学习框架的目标函数被证明是梯度Lipschitz连续的。因此,内核和分类器/回归学习可以通过Nesterov的加速在统一的框架中有效地优化。对于可扩展性问题,我们研究了大样本情况下模型的基于分解的方法。这种近似的有效性说明了实证研究和理论保证。在各种分类和回归基准数据集上的实验结果表明,与其他代表性的基于核学习的算法相比,我们的非参数核学习框架具有良好的性能。
2020-10-14 cs.LG stat.ML
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务,如采样,重建,最小均方误差插值和预测,可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步,促进了本文所倡导的非参数基追求,作为基于核的学习(KBL)方法融合的总体框架,利用稀疏线性回归,核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法,并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响,说明通过测试案例,从认知无线电传感,微阵列数据填补,网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
Nonparametric Kernel Clustering with Bandit Feedback
Technical University of Munich, Munich, Germany(慕尼黑技术大学)
本文提出基于老虎机反馈的非参数聚类框架,利用核方法在再生核希尔伯特空间中进行聚类,提供理论保证并分析采样预算,适应未知信号噪声比。
2026-10-14 cs.LG stat.ML
Nonparametric, Nonasymptotic Confidence Bands with Paley-Wiener Kernels for Band-Limited Functions
Eötvös Loránd University (ELTE)(厄特沃什·罗兰大学(ELTE));Budapest University of Technology and Economics (BME)(布达佩斯技术与经济大学(BME))
本文介绍了一种基于有限样本输入输出对构造有界、带限函数置信带的方法。该方法是无分布的w.r.t.假设观测噪声和仅输入分布的知识。它是非参数的,也就是说,它不需要回归函数的参数模型,并且区域具有非渐近保证。该算法基于Paley-Wiener再生核Hilbert空间理论。本文首先研究了完全可观测变量,当没有噪音的观察,只有输入是随机的,然后它推广的想法,噪声的情况下,使用梯度扰动方法。最后,数值实验证明这两种情况下。
2022-06-27 cs.LG eess.SP stat.ML
Regularized $f$-Divergence Kernel Tests
Google Research(谷歌研究);University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文提出了一种基于正则化 f-散度的核检验方法,适用于两样本检验和机器遗忘评估,通过不同 f-散度的敏感性分析展示了多样化统计信息的重要性。
2026-01-27 cs.LG stat.ML
Kullback-Leibler and Renyi divergences in reproducing kernel Hilbert space and Gaussian process settings
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在这项工作中,我们提出了正则化Kullback-Leibler和Rényi分歧的公式,通过两种不同设置下Hilbert空间上的正Hilbert-Schmidt算子之间的Alpha对数行列式(Log-Det)分歧,即(i)定义在再生核Hilbert空间(RKHS)上的协方差算子和高斯测度;(ii)具有平方可积样本路径的高斯过程。对于特征核,第一个设置导致在一个完整的、可分离的度量空间上任意Borel概率测度之间的分歧。我们证明了Alpha Log-Det发散在Hilbert-Schmidt范数下是连续的,这使得我们能够对Hilbert空间值随机变量应用大数定律。因此,我们表明,在这两种情况下,无限维的分歧可以一致和有效地估计从其有限维的版本,使用有限维的革兰氏矩阵/高斯措施和有限的样本数据,{ \it维数无关}的样本复杂性在所有情况下。RKHS方法在这两种环境中的理论分析中起着核心作用。数值实验表明,数学公式。
2022-07-18 cs.LG stat.ML
Reproducing kernels based schemes for nonparametric regression
在这项工作中,我们开发和研究解决非参数回归问题的经验投影算子计划。该方案基于回归函数在合适的再生核希尔伯特空间(RKHS)上的近似投影。本文考虑的RKHS是由Legendre Christoffel-Darboux和卷积Sinc核给出的Mercer核生成的。在假设回归函数属于某些合适的函数空间的条件下,我们给出了该方案的误差和收敛性分析。我们还考虑了流行的RKHS正则化最小二乘最小化非参数回归。特别是,我们检查的数值稳定性,这第二个计划,我们提供其收敛速度的特殊情况下的Sinc内核。最后,我们通过各种数值模拟来说明所提出的方法。
2020-02-01 math.ST stat.TH
Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods
正则化的核方法,例如,支持向量机和最小二乘支持向量回归构成了机器学习中一类重要的标准学习算法。近年来,关于渐近性质的理论研究主要集中在收敛速度上,而关于统计推断的结果却很少且有限。由于这是一个严重的限制,他们在数理统计中的使用,本文的目标是填补这一空白。基于这些方法的渐近正态性,本文导出了极限正态分布的未知协方差阵的强相合估计量。通过这种方式,我们获得了渐近正确的置信集$ψ(f_{P,λ_0})$其中$f_{P,λ_0}$表示再生核Hilbert空间$H$中正则化风险的最小值,并且$ψ:H\rightarrow\mathds{R}^m$是任何Hadamard可微泛函。应用包括$f_{P,λ_0}$值的(多变量)逐点置信集和梯度、积分和范数的置信集。
2012-03-20 stat.ML
Nonparametric Envelopes for Flexible Response Reduction
本文提出核包络(KENV)估计器,在再生核希尔伯特空间中同时估计响应包络子空间和非参数条件均值,通过新惩罚项利用包络结构,证明其预测风险最优且优于核岭回归,并在模拟和真实数据中展现更优预测性能。
2025-09-08 stat.ME stat.ML
The Alpha-Beta-Symetric Divergence and their Positive Definite Kernel
LMA-Laboratoire de Mathématiques Appliquées(应用数学实验室);Université Cheikh Anta Diop(谢赫·安塔·迪奥普大学)
本文研究了概率测度上的希尔伯特度量和正定核,它们对核方法有着浓厚的兴趣。首先,我们将研究基于Alpha-Beta-divergence的Hilbercan度量,通过构建它来改进这种发散,使其对称于Alpha-Beta-Symmetric-Divergence(ABS-divergence),并对这些特性进行一些研究,同时还提出与这种发散相关的内核。其次,我们将进行数值研究,将所有建议的度量/内核到支持向量机(SVM)。最后,我们提出了一个算法的图像分类使用我们的分歧。
2018-09-15 cs.LG stat.ME
Kernel Bayes' rule
基于再生核希尔伯特空间中概率的表示,提出了一种实现贝叶斯规则的非参数核方法。概率唯一地由到RKHS的典型映射的平均值来表征。先验概率和条件概率用经验样本的RKHS函数表示:这些量不需要明确的参数模型。后验同样是加权样本的RKHS均值。估计的期望函数的后验推导,并显示率的一致性。核贝叶斯规则的一些代表性的应用,包括贝叶斯计算无似然和滤波与非参数状态空间模型。
2011-09-28 stat.ML
Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence
Ioannis Kalogridis
针对再生核希尔伯特空间中的正则化M估计,在温和损失条件下建立估计量的存在性和可测性,证明基于新复杂度测度的偏差-方差分解的锐利收敛速度,并揭示张量积Sobolev空间中的新速率以规避维数灾难。
2026-06-23 cs.LG math.ST stat.ML
Multi-Layer Kernel Machines: Fast and Optimal Nonparametric Regression with Uncertainty Quantification
本文提出多层核机器框架,通过多层结构和随机特征近似核岭回归,在保持极小极大最优性的同时将计算时间降至$O(n^2\log^2 n)$,并利用共形预测实现不确定性量化。
2024-03-14 stat.ME
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下,从噪声观测值中恢复潜在的回归函数。在在线设置中,当观测值以流的形式出现时,重复地重新拟合整个模型在计算上通常是不可行的。到目前为止,还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是,我们的估计是一个经验风险最小化(ERM)在一个确定性的线性空间,这是很大的不同,从现有的方法使用随机功能和功能随机梯度。理论分析表明,当已知回归函数存在于再生核Hilbert空间中时,该估计器具有速率最优的推广误差。我们还表明,理论和经验,我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
A Kernel Test for Three-Variable Interactions
我们引入核非参数测试兰开斯特三变量的相互作用和完全独立,使用嵌入到再生核希尔伯特空间的措施。由此产生的检验统计量是简单的计算,并用于强大的相互作用测试,这是一致的,对所有的替代品的一个大家庭的再生内核。我们表明,兰开斯特测试是敏感的情况下,两个独立的原因分别有微弱的影响第三个因变量,但他们的组合效果有很强的影响。这使得Lancaster检验特别适合于在有向图模型中发现结构,在检测这种V结构方面,它优于竞争的非参数检验。
2013-06-10 stat.ME stat.ML
A Spectral Series Approach to High-Dimensional Nonparametric Regression
现代统计学中的一个关键问题是如何对复杂的高维数据进行快速可靠的推断。虽然稀疏技术引起了人们的极大兴趣,但目前的方法不能很好地推广到具有非线性结构的数据。在这项工作中,我们提出了一个正交系列的预测是复杂的聚合对象,如自然图像,星系光谱,轨迹和电影估计。我们的系列方法将内核机器学习和傅立叶方法的思想联系在一起。我们扩展未知回归的数据方面的特征函数的内核为基础的运营商,我们利用正交的基础上的基本数据分布,P,以加快计算和调整参数。如果核被适当地选择,则特征函数适应于数据的内在几何形状和维度。我们提供了理论上的保证,径向内核具有不同的带宽,我们与光滑的回归函数相对于P稀疏的特征基。最后,使用模拟和真实世界的数据,我们系统地比较了经典的核平滑,k-最近邻回归,核岭回归,和国家的最先进的流形和局部回归方法的性能的谱序列方法。
2016-02-01 stat.ME stat.ML
Nonparametric inference of doubly stochastic Poisson process data via the kernel method
双随机Poisson过程,又称Cox过程,在各个科学领域中经常出现。在这篇文章中,动机主要是通过分析生物物理学中的Cox过程数据,我们提出了一种非参数核推理方法。我们进行了详细的研究,包括渐近分析,所提出的方法,并提供其实际使用的指导方针,介绍了一种快速,稳定的回归方法的带宽选择。我们将我们的方法应用于最近的单分子生物物理实验的真实光子到达数据,研究蛋白质的构象动力学。结果表明,蛋白质体系中普遍存在着构象涨落,并且这种涨落的时间尺度范围很广,突出了蛋白质结构的动态性和复杂性。
2011-01-06 stat.AP
Wasserstein Gradient Flows for Moreau Envelopes of f-Divergences in Reproducing Kernel Hilbert Spaces
Institute of Mathematics, TU Berlin(柏林工业大学数学研究所);Institute of Mathematics, TU Chemnitz(开姆尼茨工业大学数学研究所)
本文利用核均值嵌入将 MMD 正则化的 f-散度表示为再生核希尔伯特空间中的 Moreau 包络,据此分析其梯度及 Wasserstein 梯度流,并通过数值实验验证了有限与无限后退常数情形下的流行为。
2025-04-11 cs.LG math.FA math.OC
A Kernel-Based Nonparametric Test for Anomaly Detection over Line Networks
研究了一维线网上异常区间存在性的非参数判别问题。对应于异常间隔(如果存在)的节点接收由分布q生成的样本,该分布q不同于为其他节点生成样本的分布p。如果不存在异常间隔,则所有节点接收由p生成的样本。假设分布p和q是任意的,并且是未知的。为了检测异常区间是否存在,基于分布在再生核希尔伯特空间(RKHS)中的均值嵌入和最大均值偏差(MMD)度量,建立了异常区间检测方法.结果表明,当网络规模n趋于无穷大时,如果候选异常区间的最小长度大于一个阶为O(log n)的阈值,则该检验是渐近成功的,即,检测误差的概率渐近地接近零。提出了一种有效的算法进行测试与大量的计算复杂性减少,并被证明是渐近成功的,如果候选异常区间的最小长度的条件得到满足。给出了数值计算结果,其结果与理论结果一致.
2016-04-07 cs.IT math.IT stat.ML
Early Stopping for Nonparametric Testing
迭代算法的早期停止是一种算法正则化方法,以避免估计和分类中的过拟合。在本文中,我们表明,早期停止也可以适用于获得最小最大最优检验在一般的非参数设置。具体地说,在再生核希尔伯特空间中,基于函数梯度下降算法产生的迭代估计,得到Wald型检验统计量.一个值得注意的贡献是建立了一个“尖锐”的停止规则:当迭代次数达到最佳顺序时,测试最优性是可以实现的;否则,测试最优性变得不可能。作为一个副产品,在[11]和[19]中研究的早停止下的极小极大最优估计也得到了类似的清晰度结果。所有得到的结果适用于各种内核类,包括Sobolev平滑类和高斯内核类。
2018-09-17 math.ST stat.ML stat.TH
The reproducing kernel Hilbert space approach in nonparametric regression problems with correlated observations
本文研究了观测值相关模型中回归函数的估计问题。数据是从几个实验单元中获得的,每个单元形成一个时间序列。我们提出了一个新的估计的基础上的自协方差矩阵的观测,假设已知和可逆的逆。利用再生核希尔伯特空间的性质,给出了其偏差和方差的渐近表达式。此外,我们给出了理论上的比较,通过计算的IMSE,这种新的估计和经典的Gasser和Muller提出的。最后,我们进行了模拟研究,调查所提出的估计的性能,并将其与Gasser和Muller的估计在有限样本集。
2019-06-12 math.ST stat.TH
A General Framework of Nonparametric Feature Selection in High-Dimensional Data
高维数据中的非参数特征选择是统计学和机器学习领域中的一个重要且具有挑战性的问题。现有的大多数特征选择方法都是基于参数化或可加性模型,这可能会导致模型误指定。在本文中,我们提出了一个新的框架来执行回归和分类问题的非参数特征选择。在这个框架中,我们通过再生核希尔伯特空间上的经验风险最小化来学习预测函数。该空间是由一个新的张量积核,这取决于一组参数,确定的功能的重要性。在计算上,我们最大限度地减少了经验风险,同时估计预测和核参数。该解可以通过迭代求解凸优化问题来获得。我们研究了核特征空间的理论性质,证明了我们提出的方法的预言选择性质和Fisher相容性。最后,我们证明了我们的方法相比,现有的方法,通过广泛的模拟研究和应用程序在动物眼睛疾病的微阵列研究的优越性能。
2021-03-30 stat.ME
Nonparametric approximation of conditional expectation operators
本文在最小假设下研究了条件期望算子的非参数逼近,证明了通过修改定义域可用有限秩算子一致逼近非紧致算子,展示了核方法优于Galerkin等参数投影方法,并为Markov谱分析和核条件均值嵌入提供了新视角。
2023-08-05 cs.NA math.NA math.ST
A Kernelization-Based Approach to Nonparametric Binary Choice Models
Department of Economics, University of Melbourne(墨尔本大学经济学系)
本文提出了一种基于核方法的非参数二元选择模型估计器,通过核方法和频谱截断正则化提升计算效率,并在模型失规范情况下提升了有限样本性能。
2026-01-11 econ.EM stat.ME
Nonparametric likelihood based estimation of linear filters for point processes
我们考虑模型的多变量点过程的强度给出非参数的再生核希尔伯特空间中的函数。该似然函数涉及时间积分,因此不是在有限数量的内核评价方面。主要结果是对数似然的梯度的表示,我们使用它来获得可计算的近似的对数似然和梯度的时间离散化。然后,这些近似值被用来最小化近似惩罚对数似然。对于时间和内存效率的实现依赖于使用稀疏矩阵。作为一个例子,我们考虑神经元网络建模,我们使用这个例子来研究近似的计算成本如何取决于时间离散化的分辨率。该实现在R包ppstat中提供。
2014-02-12 stat.CO
Variable Selection for Nonparametric Learning with Power Series Kernels
RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);Nagoya University(名古屋大学);Tokyo Institute of Technology(东京工业大学)
本文提出了一般非参数核估计的变量选择方法。该方法包括两步估计:(1)构造目标函数的相合估计量,(2)用较少的变量用l1-型惩罚估计逼近估计量。我们看到,所提出的方法可以应用于各种核非参数估计,如核岭回归,基于核的密度和密度比估计。证明了当采用幂级数核时,该方法具有变量选择一致性的性质。这一结果被认为是非负绞喉估计的变量选择相合性在核估计中的推广。仿真研究和实际数据应用表明了该方法的有效性。
2018-12-04 cs.LG stat.ML
Learning Nonparametric Volterra Kernels with Gaussian Processes
University of Sheffield(谢菲尔德大学)
本文介绍了一种非参数贝叶斯学习的非线性算子,通过使用的Volterra系列的核表示为高斯过程(GP),我们称之为非参数Volterra核模型(NVKM)。当算子的输入函数不可观测且具有GP先验时,NVKM构成了单输出和多输出回归的强大方法,并且可以被视为非线性和非参数潜在力模型。当输入函数被观测时,NVKM可用于进行贝叶斯系统辨识。我们使用最新的进展,在有效的采样显式功能,从GP映射过程实现通过Volterra系列,而不诉诸数值积分,允许通过双重随机变分推断的可扩展性,并避免需要高斯近似的输出过程。我们证明了多输出回归和系统识别使用标准的基准模型的性能。
2021-06-10 cs.LG stat.ML
Influence Functions for Machine Learning: Nonparametric Estimators for Entropies, Divergences and Mutual Informations
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学)
我们提出并分析了非参数假设下一个或多个分布的统计泛函的估计量。我们的估计是基于理论的影响函数,出现在半参数统计文献。我们发现,估计的基础上,无论是数据分裂或留一法技术享受快速收敛速度和其他有利的理论属性。我们应用这个框架来获得几个流行的信息理论量的估计,并通过实证评估,显示这种方法比现有的估计的优势。
2015-06-19 cs.AI cs.LG stat.ML
Parametric Adversarial Divergences are Good Losses for Generative Modeling
Mila;University of Montreal(蒙特利尔大学);Facebook AI Research
参数对抗发散是用于训练生成对抗网络(GANs)的损失的概括,通常被描述为非参数对应物的近似,例如Jensen-Shannon发散,可以在所谓的最优假设下导出。在这份立场文件中,我们认为,尽管是“非最优”,参数发散有不同的属性,从他们的非参数对应,这可以使他们更适合学习高维分布。一个关键的属性是,参数偏差只对分布的某些方面/矩敏感,这取决于神经网络的架构和训练时的损失。相比之下,诸如Kullback-Leibler发散的非参数发散对被忽略的矩敏感,但它们不一定与样本质量相关(Theis等人,2016)。同样,我们表明,互信息可以导致不直观的解释,并探索更直观的替代方案的基础上参数的分歧。我们的结论是,参数分歧是一个灵活的框架,用于定义统计量相关的一个特定的建模任务。
2021-10-21 cs.LG stat.ML
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
U. Cambridge(剑桥大学);MIT(麻省理工学院)
尽管它的重要性,在非参数回归的内核的结构形式的选择仍然是一个黑色的艺术。我们定义了一个空间的内核结构,这是由添加和乘以少量的基本内核组成。我们提出了一种方法来搜索这个空间的结构,反映了科学发现的过程。学习的结构通常可以将函数分解为可解释的组件,并在时间序列数据集上进行长距离外推。我们的结构搜索方法在各种预测任务上优于许多广泛使用的内核和内核组合方法。
2013-05-13 cs.LG stat.ME stat.ML
Nonparametric estimation of continuous DPPs with kernel methods
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
决定性点过程(DPP)是排斥点模式的统计模型。采样和推理对于DPP来说都是容易处理的,这是具有负相关性的模型中的一个罕见特征,这解释了它们在机器学习和空间统计中的流行。参数和非参数推理方法已被提出在有限的情况下,即当点模式生活在一个有限的地面集。在连续的情况下,只有参数的方法进行了研究,而非参数的最大似然DPPs -一个优化问题的跟踪类运营商-仍然是一个悬而未决的问题。在本文中,我们表明,这个最大似然(MLE)问题的限制版本属于最近的代表性定理的范围内的非负函数的RKHS。这导致了一个有限维问题,与原始MLE有很强的统计联系。此外,我们提出,分析,并证明了一个不动点算法来解决这个有限维问题。最后,我们还提供了一个控制估计的相关内核的DPP,从而提供更多的解释。
2021-11-27 cs.LG stat.ML
Nonparametric Canonical Correlation Analysis
Technion–Israel Institute of Technology(以色列理工学院);TTI-Chicago(芝加哥丰田技术研究所)
典型相关分析(CCA)是一种经典的表示学习技术,用于在多视图数据中发现相关变量。已经提出了几种原始线性CCA的非线性扩展,包括核和深度神经网络方法。这些方法在用户指定(通过选择内核或神经网络结构)的函数族之间寻求最大相关投影,并且在计算上要求很高。有趣的是,Lancaster在20世纪50年代就已经在人口背景下研究了无功能限制的非线性CCA理论,但这些结果并没有激发实用算法。我们重温Lancaster的理论,设计一个实用的算法非参数CCA(NCCA)。具体来说,我们表明,该解决方案可以表示在奇异值分解的某个运营商与联合密度的意见。因此,通过从数据估计人口密度,NCCA减少到求解特征值系统,表面上类似于核CCA,但重要的是,不需要任何核矩阵的求逆。我们还推导出一个部分线性CCA(PLCCA)的变体,其中一个视图进行线性投影,而另一个是非参数。使用基于少量最近邻的核密度估计,我们的NCCA和PLCCA算法具有内存效率,通常运行速度更快,并且比内核CCA和深度CCA表现更好。
2016-02-07 cs.LG stat.ML
Nonparametric variational inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分方法被广泛用于近似后验推理。然而,它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制,我们提出了一个家庭的变分近似的启发,非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化,以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式,这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型,标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Online nonparametric regression with Sobolev kernels
University of Potsdam(波茨坦大学);Centre de Recherche INRIA de Paris(法国国家信息与自动化研究所巴黎研究中心);IRT Saint Exupéry(圣埃克苏佩里技术研究院);Institut de Mathématiques de Toulouse(图卢兹数学研究所)
在这项工作中,我们调查的变化,在线核岭回归算法的设置$d-$维对抗非参数回归。本文给出了索伯列夫空间类$W_{p}^β(\mathcal{X})$,$p\geq 2, β>\frac{d}{p}$的遗憾上界.最小最大遗憾分析支持的上界,这表明,在情况下$β> \frac{d}{2}$或$p=\infty$,这些利率是(基本上)最优的。最后,我们比较了核岭回归预测器的性能,已知的非参数预测器的遗憾率和计算复杂性,以及在统计(i.i.d.)非参数回归。
2021-07-13 cs.LG math.ST stat.ML
Nonparametric Score Estimators
Tsinghua University(清华大学)
估计分数,即,来自由未知分布生成的一组样本的对数密度函数的梯度是涉及灵活但棘手的密度的概率模型的推断和学习中的基本任务。基于Stein方法或分数匹配的核估计已经显示出希望,但是它们的理论性质和关系尚未完全理解。我们提供了一个统一的看法,这些估计的框架下,正规化非参数回归。它允许我们分析现有的估计和构造新的期望的性质,通过选择不同的假设空间和正则化。一个统一的收敛性分析提供了这样的估计。最后,我们提出了基于迭代正则化的分数估计,享受计算的好处,从卷曲的内核和快速收敛。
2020-06-30 cs.LG stat.ML
Near-Linear Time Local Polynomial Nonparametric Estimation with Box Kernels
Warrington College of Business, University of Florida(佛罗里达大学沃顿商学院);Institute of Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
局部多项式回归(Fan and Gijbels 1996)是非参数密度估计和回归问题的一类重要方法。然而,局部多项式回归的直接实现具有二次时间复杂度,这阻碍了其在大规模数据分析中的适用性。在本文中,我们显着加速计算的本地多项式估计的新应用程序的多维二进制索引树(Fenwick 1994)。该算法的时间复杂度和空间复杂度与输入数据点的个数近似成线性关系。仿真结果证实了我们所提出的方法的效率和有效性。
2020-08-31 cs.DS cs.LG stat.CO
Bayesian Deconditional Kernel Mean Embeddings
University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
条件核均值嵌入形成了一个有吸引力的非参数框架来表示函数的条件均值,描述了许多复杂模型的观测过程。然而,恢复的原始基础功能的利益,其条件平均值被观察到是一个具有挑战性的推理任务。我们正式deconciliar内核意味着嵌入作为这个逆问题的解决方案,并表明,它可以自然地被视为一个非参数贝叶斯规则。关键的是,我们引入了任务转换高斯过程的概念,并建立deconciliar内核的手段作为其后验预测的意思。这种联系为去卷积核均值嵌入提供了贝叶斯解释和不确定性估计,解释了它们的正则化超参数,并揭示了核超参数学习的边际似然性。这些启示进一步实现了实际应用,如无似然推理和学习大数据的稀疏表示。
2019-06-01 cs.LG stat.ML
Gaussian Process Tilted Nonparametric Density Estimation using Fisher Divergence Score Matching
Columbia University(哥伦比亚大学);Capital One Labs(Capital One 实验室)
本文提出GP倾斜非参数密度估计器,基于Fisher散度得分匹配推导三种闭式学习算法,无需迭代优化仅需单次遍历数据,适配大规模数据集场景。
2025-11-14 cs.LG
On the Decreasing Power of Kernel and Distance based Nonparametric Hypothesis Tests in High Dimensions
Carnegie Mellon University(卡内基梅隆大学)
本文研究了两个相关的决策理论问题:非参数两样本检验和独立性检验。有一个信念,最近提出的两个解决方案,基于内核和点对之间的距离,在高维环境中表现良好。我们确定了导致上述信念的误解的不同来源。具体来说,我们区分硬度的估计检验统计量的硬度测试这些统计量是否为零或没有,并明确讨论了一个概念,这些问题的“公平”的替代假设,作为尺寸的增加。然后,我们证明,这些测试的力量实际上下降多项式增加对公平的替代品的尺寸。最后,我们给出了一些理论上的见解,并阐明了用于内核带宽选择的\textit{median heuristic}。我们的工作推进了当前对现代非参数假设检验在高维中的作用的理解。
2014-11-24 cs.IT cs.LG math.IT
Nonparametric likelihood-free inference with Jensen-Shannon divergence for simulator-based models with categorical output
Helsinki Institute of Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学);University of Oslo(奥斯陆大学);Wellcome Sanger Institute(惠康桑格研究所);KTH Royal Institute of Technology(瑞典皇家理工学院)
基于模拟器的统计模型的无可能性推理最近在机器学习和统计社区都引起了极大的兴趣。这些研究领域的主要焦点是通过各种类型的蒙特卡罗采样算法或基于深度神经网络的代理模型来近似模型参数的后验分布。迄今为止,基于模拟器的模型的频率论推理受到的关注要少得多,尽管它特别适用于大数据应用,其中可能性的隐式渐近近似预计是准确的,并且可以利用计算效率高的策略。在这里,我们得出了一组理论结果,使估计,假设检验和置信区间的模型参数使用渐近性质的詹森-香农发散的建设。这样的渐近近似提供了一个快速的替代计算密集型的方法,可以是基于模拟器的模型的各种应用程序的吸引力。61
2022-05-26 cs.LG stat.ME
Kernel-Based Nonparametric Tests For Shape Constraints
本文提出基于核的非参数检验方法,用于金融中正性、单调性和凸性等形状约束的推断与验证。
2026-01-23 cs.LG math.ST stat.ME
Estimating Koopman operators for nonlinear dynamical systems: a nonparametric approach
University of Padova(帕多瓦大学)
Koopman算子是一种数学工具,它允许对非线性系统进行线性描述,但在无限维空间中工作。动态模式分解和扩展动态模式分解是最流行的有限维近似。在本文中,我们捕捉他们的核心本质作为一个双重版本的同一个框架,将它们纳入内核框架。为此,我们利用RKHS作为学习Koopman动力学的合适空间,这要归功于其内在的有限维性质,由数据塑造。最后,我们建立了核方法和Koopman算子之间的强有力的联系,导致后者通过核函数的估计。我们还提供模拟与标准程序进行比较。
2021-03-25 cs.LG
Auditing Differential Privacy in High Dimensions with the Kernel Quantum Rényi Divergence
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);IBM Research AI(IBM研究院人工智能部门)
差分隐私(Differential Privacy,DP)是私有数据发布和私有机器学习的事实标准。审计黑盒DP算法和机制,以证明他们是否满足一定的DP保证是具有挑战性的,特别是在高维。我们提出了放松的差分隐私的基础上新的分歧的概率分布:核Rényi分歧及其正则化版本。我们表明,正则化的内核Rényi分歧,甚至可以估计从高维样本,从而产生$\varepsilon$ -DP,$(\varepsilon,δ)$ -DP和$(α,\varepsilon)$ -Rényi DP的审计程序。
2022-05-27 cs.CR cs.IT cs.LG
Boosting in Univariate Nonparametric Maximum Likelihood Estimation
Tsinghua University(清华大学)
非参数极大似然估计的目的是推断未知的密度分布,同时尽可能少的假设。为了减轻非参数数据拟合中的过度参数化,通常将平滑假设合并到估计中。本文提出了一种新的基于boosting的单变量非参数估计方法。通过非参数对数似然的二阶近似,推导出boosting算法。在Boosting算法中,高斯核和光滑样条被选为弱学习器,以满足光滑假设。仿真和实际数据实验证明了该方法的有效性。
2021-01-21 cs.LG eess.SP stat.ME
Nonparametric Goodness-of-fit Testing under Covariate Shift
Hong Kong University of Science and Technology(香港科技大学)
本文针对协变量偏移场景,提出结合截断重要性加权核岭回归与乘数自助法的非参数拟合优度检验方法,经理论证明与数值实验验证其有效性。
2026-08-07 cs.LG math.ST stat.ME
DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能学院);Meta AI;Amazon AI(亚马逊人工智能公司)
本文提出DPO-Kernels,通过核化表示、多种散度替代、数据驱动选择和分层核混合,解决直接偏好优化的固定散度与特征变换限制,在12个数据集上实现最先进性能。
2025-01-20 cs.AI cs.CL cs.LG
Causal Inference with Treatment Measurement Error: A Nonparametric Instrumental Variable Approach
University College London(伦敦大学学院);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个基于核的非参数估计的因果效应时,原因被错误损坏。我们这样做是通过在工具变量设置中推广估计。尽管在具有测量误差的回归方面做了大量的工作,但在连续设置中处理未观察到的混杂是不平凡的:我们几乎没有看到以前的工作。作为我们研究的副产品,我们澄清了均值嵌入和特征函数之间的联系,以及如何同时学习一个允许一个学习另一个。这为核方法研究在特征函数估计中利用现有结果开辟了道路。最后,我们的经验表明,我们提出的方法,MEKIV,提高了基线和测量误差的强度和类型的误差分布的变化下是强大的。
2022-06-18 cs.LG stat.ME
Bayes Risk Consistency of Nonparametric Classification Rules for Spike Trains Data
University of Manitoba(曼尼托巴大学);AGH University of Krakow(克拉科夫AGH大学)
本文针对非参数强度函数刻画的脉冲序列二分类问题,推导最优贝叶斯规则并构造插件式非参数核分类器,证明其渐近收敛到贝叶斯规则,并用模拟实验验证。
2023-08-09 cs.IT cs.LG math.IT
Generalising maximum mean discrepancy: kernelised functional Bregman divergences
Department of Data Science and AI, Monash University, Australia(数据科学与人工智能系,墨尔本大学,澳大利亚);Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室,Inc.)
本文提出核化函数Bregman散度,用于函数空间中的统计与机器学习任务,通过希尔伯特空间和核方法提升估计与生成建模能力。
2026-04-27 cs.CV cs.IT cs.LG
Federated Neural Nonparametric Point Processes
Macquarie University(麦考瑞大学);Aalborg University(奥胡斯大学);Renmin University of China(中国人民大学);Iowa State University(爱荷华州立大学)
FedPP通过整合神经嵌入和SGCPs,有效解决联邦系统中稀疏和不确定事件建模问题,提升隐私保护与个性化性能。
2025-01-20 cs.AI cs.CR cs.LG