Fast Optimal Bandwidth Selection for RBF Kernel using Reproducing Kernel Hilbert Space Operators for Kernel Based Classifiers
IRISA（法国信息与随机系统研究所）
基于核的方法在许多遥感分类任务中表现出了有效的性能。然而，它们的性能显着依赖于其超参数。估计参数的常规技术具有高计算复杂度。因此，这封信的目的是提出一种快速有效的方法来选择高斯核的带宽参数在基于核的分类方法。提出的方法是基于再生核希尔伯特空间中的算子，并在支持向量机和PerTurbo分类方法上进行评估。高光谱数据集进行的实验表明，我们提出的方法优于国家的最先进的方法在计算时间和分类性能。
2018-04-14 cs.LG stat.ML
Kullback-Leibler and Renyi divergences in reproducing kernel Hilbert space and Gaussian process settings
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们提出了正则化Kullback-Leibler和Rényi分歧的公式，通过两种不同设置下Hilbert空间上的正Hilbert-Schmidt算子之间的Alpha对数行列式（Log-Det）分歧，即（i）定义在再生核Hilbert空间（RKHS）上的协方差算子和高斯测度;（ii）具有平方可积样本路径的高斯过程。对于特征核，第一个设置导致在一个完整的、可分离的度量空间上任意Borel概率测度之间的分歧。我们证明了Alpha Log-Det发散在Hilbert-Schmidt范数下是连续的，这使得我们能够对Hilbert空间值随机变量应用大数定律。因此，我们表明，在这两种情况下，无限维的分歧可以一致和有效地估计从其有限维的版本，使用有限维的革兰氏矩阵/高斯措施和有限的样本数据，{ \it维数无关}的样本复杂性在所有情况下。RKHS方法在这两种环境中的理论分析中起着核心作用。数值实验表明，数学公式。
2022-07-18 cs.LG stat.ML
Adaptive Learning in Cartesian Product of Reproducing Kernel Hilbert Spaces
Keio University（庆应义塾大学）
提出了一种新的基于多再生核Hilbert空间（RKHS）笛卡尔积上的迭代正交投影的自适应学习算法。该任务是估计/跟踪非线性函数，这些函数应该包含多个分量，例如（i）线性和非线性分量，（ii）高频和低频分量等。在这种情况下，使用多个RKHS允许多分量函数的紧凑表示。该算法是作者提出的两种不同方法的结合：多核自适应滤波和沿仿射子空间的超平面投影算法（HYPASS）。在某种特殊情况下，RKHS的和空间同构于乘积空间，因此所提出的算法也可以被视为和空间中的迭代投影方法。数值算例表明了该算法的有效性。
2014-11-05 cs.LG stat.ML
Computing Functions of Random Variables via Reproducing Kernel Hilbert Space Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Institute for Statistical Mathematics（统计数理研究所）；ETH Zürich（苏黎世联邦理工学院）
我们描述了一种对随机变量的概率分布进行函数运算的方法。该方法使用概率分布的再生核希尔伯特空间表示，并且它适用于可以应用于从各个分布中提取的点的所有操作。我们将我们的方法称为{ \em内核概率编程}。我们说明它的合成数据，并显示它如何可以用于非参数结构方程模型，与应用程序的因果推断。
2015-01-27 cs.DS cs.LG stat.ML
On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces
Universität Hamburg（汉堡大学）
本文分析再生核希尔伯特空间中不规则采样算法的收敛性，在极简假设下推导核回归的逼近性质、RKHS范数误差估计及紧域一致收敛新结果，并给出Lipschitz和Hölder连续核的收敛速率。
2025-04-18 cs.LG cs.NA math.NA
Representation of Reinforcement Learning Policies in Reproducing Kernel Hilbert Spaces
McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所（Mila））；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Facebook AI Research（Facebook人工智能研究）；CIFAR AI chair（CIFAR人工智能主席职位）；DeepMind；Université de Montréal（蒙特利尔大学）
我们提出了一个一般的框架政策表示的强化学习任务。这个框架涉及到找到一个低维嵌入的再生核希尔伯特空间（RKHS）的政策。使用RKHS为基础的方法，使我们能够得到强有力的理论保证的预期回报的重建政策。这种保证在黑盒模型中通常是缺乏的，但在需要稳定性的任务中是非常可取的。我们在经典的RL域上进行了几个实验。结果表明，该策略可以鲁棒地嵌入到一个低维空间中，而嵌入的策略几乎不会导致收益减少。
2020-10-15 cs.LG stat.ML
Singular Value Decomposition of Operators on Reproducing Kernel Hilbert Spaces
再生核希尔伯特空间（RKHS）在从支持向量机到高斯过程和分布的核嵌入的许多统计和机器学习应用中起着重要作用。例如，作用于这样的空间的运算符需要嵌入条件概率分布，以便实现内核贝叶斯规则并构建顺序数据模型。最近表明，转移算子，如Perron-Frobenius或Koopman算子也可以近似在一个类似的方式使用协方差和互协方差算子，这些算子的本征函数可以通过解决相关的矩阵本征值问题。本文的目的是为RKHS算子的特征值分解提供一个坚实的泛函分析基础，并将该方法推广到奇异值分解。用简单的指导性例子说明了结果。
2020-03-16 math.FA stat.ML
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University（庆应义塾大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方（KNLMS）算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说，我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补，但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下，我们首先建立了核岭回归插补估计的根$n$相合性，并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Reproducing kernel Hilbert spaces in the mean field limit
RWTH Aachen University（亚琛工业大学）
核方法是机器学习中最流行和最成功的方法之一，它有成熟的理论支持和高效的算法。从数学的角度来看，这些方法依赖于核和由核生成的函数空间的概念，所谓的再生核希尔伯特空间。受最近发展的学习方法的背景下，相互作用的粒子系统，我们研究核方法的数据与许多测量变量。我们显示严格的平均场极限的内核，并提供了一个详细的分析限制再生核希尔伯特空间。此外，核的几个例子，允许严格的平均场限制，提出。
2023-03-17 cs.LG cs.NA math.FA
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题，提出基于Horvitz-Thompson加权的经验风险最小化子采样方法，通过协方差算子迹的最优采样方案，实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Reproducing kernel Hilbert space based estimation of systems of ordinary differential equations
非线性微分方程组由于其灵活性和描述动力系统的能力而引起了系统生物学、生态学或生物化学等领域的兴趣。尽管这些模型在许多科学分支中具有重要性，但直到最近它们才成为系统统计分析的焦点。在这项工作中，我们提出了一个一般的方法来估计系统的微分方程测量噪声的参数。我们的方法是基于最大化的惩罚可能性的微分方程系统被用作罚款。要做到这一点，我们使用再生核希尔伯特空间的方法，允许制定的估计问题作为一个无约束的数值最大化问题容易解决。所提出的方法进行了测试与综合模拟数据，它是用来估计未观察到的转录因子CdaR在天蓝色链霉菌使用基因表达数据的基因调控。
2014-05-08 stat.ME stat.ML
Analysis via Orthonormal Systems in Reproducing Kernel Hilbert $C^*$-Modules and Applications
NTT Network Technology Laboratories, NTT Corporation（日本电信电话公司网络技术实验室）；Keio University（庆应义塾大学）；RIKEN（理化学研究所）；Kyushu University（九州大学）
核方法是机器学习中最流行的技术之一，其中学习任务使用再生核希尔伯特空间（RKHS）的性质来解决。在本文中，我们提出了一个新的数据分析框架与再生核希尔伯特$C^*$ -模块（RKHM），这是另一个推广的RKHS比向量值RKHS（vv-RKHS）。与RKHM分析使我们能够更明确地处理变量之间的结构比vv-RKHS。我们证明了在Hilbert $C^*$ -模中构造标准正交系统的理论有效性，并在数值计算中利用这些理论性质导出了RKHM中标准正交化的具体步骤.此外，我们将这些推广与RKHM核主成分分析和Perron-Frobenius算子的动力系统的分析。我们的方法的经验性能也通过使用合成和真实世界的数据进行了研究。
2020-03-02 cs.LG math.DS math.OA
Nonlinear functional models for functional responses in reproducing kernel Hilbert spaces
再生核希尔伯特空间（RKHS）理论的扩展为具有功能性反应的函数回归模型建模提供了一个新的框架。该方法只假设一个一般的非线性回归结构，而不是以前研究的线性回归模型。提出了一种自动平滑参数估计的广义交叉验证方法。新的RKHS估计适用于模拟和真实数据作为例证。
2007-02-05 math.ST stat.TH
Reproducing kernel Hilbert spaces of Gaussian priors
我们审查的定义和性质的再生核希尔伯特空间附加到高斯变量和过程，着眼于应用在非参数贝叶斯统计使用高斯先验。基于高斯先验的后验分布的收缩率可以通过在再生希尔伯特空间中表示的浓度函数来描述。高斯测度的绝对连续性和浓度不等式在理解和推导这一结果中起着重要的作用。高斯变量的级数展开及其再生核希尔伯特空间在线性映射下的变换是计算浓度函数的有用工具。
2008-05-21 math.FA math.OA math.ST
On Power-law Kernels, corresponding Reproducing Kernel Hilbert Space and Applications
Indian Institute of Science（印度科学学院）
内核的作用是机器学习的核心。基于幂律分布在统计建模中的重要性，本文提出了幂律核的概念来研究学习问题中的幂律分布。我们通过推广高斯核和拉普拉斯核提出了两个幂律核。这种推广是基于分布的，它产生于被称为非广延熵的广义信息测度的最大化，在统计力学中得到了很好的研究。我们证明了所提出的内核是正定的，并提供了一些见解，关于相应的再生核希尔伯特空间（RKHS）。我们还研究了这两种核在分类和回归中的实际意义，并给出了一些模拟结果。
2013-04-01 cs.IT cs.LG math.IT
RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces
Northeastern University（东北大学）
在使用核方法的监督学习中，我们经常遇到再生核希尔伯特空间（RKHS）上的大规模有限和极小化问题。大规模的有限和问题可以使用牛顿法的有效变体来解决，其中Hessian通过数据的子样本来近似。然而，在RKHS中，惩罚函数对内核的依赖使得标准的子采样方法不适用，因为gram矩阵不容易以低秩形式获得。在本文中，我们观察到，对于这类问题，人们可以很自然地使用核近似来加速牛顿方法。针对核函数逼近的随机特性，提出了一种新的二阶算法，该算法具有局部超线性收敛性和全局线性收敛性（具有高概率）。我们推导出理论上的下界的随机特征的数量所需的近似Hessian接近真正的Hessian在规范意义上。我们对真实数据的数值实验验证了我们的方法相比，几个基准的效率。
2022-06-06 cs.LG stat.ML
Balanced Reduction of Nonlinear Control Systems in Reproducing Kernel Hilbert Space
基于机器学习和统计降维的最新进展，提出了一种新的非线性控制系统数据驱动降阶方法。该方法依赖于假设的非线性系统线性行为时，提升到一个高（或无限）维的特征空间，平衡截断可以进行隐式。这导致了一个非线性的减少映射，它可以与属于再生核希尔伯特空间的系统的表示相结合，以给出一个封闭的，减少了顺序的动力系统，它捕获了原始模型的基本输入-输出特性。还提供了说明该方法的实证模拟。
2010-11-12 math.DS math.OC math.ST
Minimax Prediction for Functional Linear Regression with Functional Responses in Reproducing Kernel Hilbert Spaces
本文研究了带有函数响应的函数线性回归的收敛速度，其中线性系数位于再生核Hilbert空间（RKHS）中。在不假设再生核和协变量协方差核对齐的情况下，或者假设协方差核的特征值的多项式衰减率的情况下，建立预测风险的收敛率。相应的利率下限是通过减少标量响应的情况下。仿真研究和两个基准数据集被用来说明所提出的方法可以显着优于功能PCA方法的预测。
2012-11-17 stat.ME
A Reproducing Kernel Hilbert Space log-rank test for the two-sample problem
加权对数秩检验可以说是最广泛使用的测试，由从业者的两个样本问题的背景下，右删失数据。许多方法已被认为是加权对数秩检验更强大的对更广泛的家庭的替代品，其中，考虑加权对数秩检验的线性组合，并采取最大的一个有限的集合。在本文中，我们提出的检验统计量的上确界的一个集合（潜在的无限）的重量指标的对数秩检验的索引空间是单位球的再生核希尔伯特空间（RKHS）。通过使用RKHS的一些理想的属性，我们提供了一个准确和简单的评价的检验统计量，并建立与以前的测试在文献中的连接。此外，我们表明，对于一个特殊的家庭的RKHS，建议的测试是综合性的。最后，我们通过执行所提出的方法的实证评估，并显示一个应用程序的一个真实的数据场景。我们的理论结果证明了使用技术的双重积分的鞅，可能是独立的利益。
2020-04-29 stat.ME stat.ML
ROCK: A variational formulation for occupation kernel methods in Reproducing Kernel Hilbert Spaces
Department of Mathematics（数学系）；Portland State University（波特兰州立大学）；Translational Genomics Research Institution（转化基因组研究机构）
本文提出弱形式问题的表示定理，并据此推广多元占用核（MOCK）方法，提出更通用的 Riesz 占用核（ROCK）方法用于从数据学习动态系统，在多数基准上提升了计算效率与性能。
2025-06-30 cs.LG stat.ML
Optimal Sampling Points in Reproducing Kernel Hilbert Spaces
基追踪和压缩感知的最新发展寻求从尽可能少的样本中提取信息。在这样的应用中，由于样本的数量是有限的，应该明智地部署采样点。我们的动机是研究有限采样点的最优分布。在最优重建的框架下制定产生一个最小化问题。在离散的情况下，我们估计从一般的Karhunen-Loeve变换的最佳子空间和核空间之间的距离，以获得另一种算法，是计算上有利的。数值实验，然后提出来说明搜索最佳采样点的算法的性能。
2012-07-25 cs.IT math.IT stat.ML
Gaussian Processes and Reproducing Kernel Hilbert Spaces: Connections and Equivalences
本专著研究机器学习等领域中基于正定核的高斯过程概率方法与再生核希尔伯特空间非概率方法的联系与等价性，建立统一视角以衔接相关研究。
2026-09-10 cs.LG cs.NA math.NA
Which Spaces can be Embedded in Reproducing Kernel Hilbert Spaces?
本文研究巴拿赫函数空间嵌入再生核希尔伯特空间的条件，给出充分必要条件，并证明所需光滑性与底层维数成比例增长。
2024-02-20 math.FA math.ST stat.TH
Reproducing kernel Hilbert C*-module and kernel mean embeddings
NTT Network Service Systems Laboratories, NTT Corporation（NTT网络服务系统实验室，NTT公司）；Graduate School of Science and Technology, Keio University（庆应义塾大学科学与技术研究生院）；Center for Data Science, Ehime University（爱媛大学数据科学中心）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）；Faculty of Science and Technology, Keio University（庆应义塾大学科学与技术学部）
核方法是机器学习中最流行的技术之一，其中学习任务使用再生核希尔伯特空间（RKHS）的性质来解决。本文提出了一个新的数据分析框架，再生核希尔伯特$C^*$ -模块（RKHM）和核均值嵌入（KME）在RKHM。由于RKHM包含比RKHS或向量值RKHS（vvRKHS）更丰富的信息，因此使用RKHM进行分析使我们能够捕获和提取功能数据中的结构属性。我们展示了RKHM应用于数据分析的一个分支理论，包括表示定理，以及所提出的KME的内射性和普适性。我们还表明RKHM推广RKHS和vvRKHS。然后，我们提供了具体的程序，采用RKHM和建议的KME数据分析。
2021-12-21 cs.LG math.OA stat.ML
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后，Mercer核，Hilbert和Banach空间，再生核Hilbert空间（RKHS），Mercer定理及其证明，常用的核，核构造距离度量，重要的核类别（包括有界，整体正定，泛，平稳，和特征核），核中心化和归一化，和特征函数进行了详细的解释。然后，我们介绍了核在机器学习中的使用类型，包括核方法（如核支持向量机），半定规划核学习，Hilbert-Schmidt独立性准则，最大均值差异，核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域，包括机器学习，降维，数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Eigendecompositions of Transfer Operators in Reproducing Kernel Hilbert Spaces
Zalando Research（扎兰多研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传递算子如Perron-Frobenius算子或Koopman算子在复杂动力系统的全局分析中起着重要的作用。这些运营商的本征函数可以用来检测亚稳态集，项目的动态上占主导地位的慢过程，或分离叠加信号。我们将转移算子理论扩展到再生核希尔伯特空间，并表明这些算子与条件分布的希尔伯特空间表示有关，在机器学习界称为条件均值嵌入。此外，计算这些嵌入的经验估计的数值方法类似于用于近似传递算子的数据驱动方法，例如扩展动态模式分解及其变体。提出的基于核的方法的一个主要好处是，这些方法可以应用于任何域的相似性度量的内核是可用的。我们说明的结果与指导性的例子的帮助下，并强调在分子动力学以及视频和文本数据分析的潜在应用。
2019-08-13 cs.LG math.DS stat.ML
Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors
UC San Diego（加州大学圣迭戈分校）
本文提出在再生核希尔伯特空间中通过主向量进行Koopman子空间修剪的方法，解决传统欧几里得方法的局限性，通过主角计算提升子空间不变性。
2026-06-07 cs.SY eess.SY stat.ML
Reproducing kernel Hilbert spaces, polynomials and the classical moment problems
我们表明，多项式不属于再生核希尔伯特空间的无穷可微的不变性的内核，其谱测度的时刻对应于一个确定的时刻问题。我们的证明是基于有关这个问题的最佳线性估计问题的连续时间单参数回归模型的平稳误差过程定义的核。特别是，我们表明，存在一个序列的方差收敛到$0$的估计意味着回归函数不能再生核希尔伯特空间的元素。这个问题，然后有关的确定性的汉堡矩问题的谱测度对应的内核。在文献中，观察到非零常数函数不属于与高斯核相关联的再生核希尔伯特空间（参见Steinwart和Christmann，2008年的推论4.44）。我们的结果提供了一个统一的观点，这种现象，并表明，上述结果可以扩展到任意多项式和广泛的一类的双不变核。
2021-08-12 cs.NA math.NA math.ST
Metric on random dynamical systems with vector-valued reproducing kernel Hilbert spaces
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Kyushu University（九州大学）
在机器学习和相关领域中，为结构化数据生成机制开发度量是基础。在本文中，我们给出了一个一般的框架来构造随机非线性动力系统的度量，定义与向量值再生核希尔伯特空间（vvRKHS）中的Perron-Frobenius算子。我们采用vvRKHS设计数学上可管理的指标，并引入算子值内核，这使我们能够处理系统中的随机性。我们的度量提供了一个扩展的现有度量确定性系统，并给出了一个规格的核最大均值差异的随机过程。此外，通过考虑随机过程的时间独立性，我们澄清了我们的度量和独立性准则之间的联系与内核，如希尔伯特-施密特独立性准则。我们凭经验说明我们的度量与合成数据，并评估它的背景下，随机过程的独立性测试。我们还评估了性能与实时序列数据通过集群任务。
2019-10-27 cs.LG math.DS math.PR
Distribution regression model with a Reproducing Kernel Hilbert Space approach
本文介绍了一种新的概率分布的分布回归模型。该模型基于再生核希尔伯特空间（RKHS）回归框架，其中通用核是使用Wasserstein距离为属于W 2的分布（$Ω$）构建的，并且$Ω$是R的紧致子空间.我们证明了这种内核的通用内核属性，并使用此设置来执行函数回归。不同的回归模型进行了比较，提出了一个模拟功能数据。然后，我们将我们的回归模型应用于瞬态诱发耳声发射（TEOAE）分布响应和年龄的真实预测。
2019-10-04 math.ST stat.TH
Composition operators on reproducing kernel Hilbert spaces with analytic positive definite functions
在本文中，我们指定什么功能导致再生核希尔伯特空间（RKHS）上的有界复合算子与定义在$\mathbf{R}^d$上的解析正定函数。我们证明，只有仿射变换可以这样做，在一个相当大的类RKHS。我们的结果不仅涵盖了Paley-Wiener空间上的真正的线，在以前的作品中研究，但也更一般的RKHS对应的解析正定函数，现有的方法不工作。我们的方法只依赖于RKHS的一个内在性质，并且我们建立了复合算子的行为与实直线上加权$L^2$ -空间上正交多项式最大零点的渐近性质之间的联系.我们还研究了复合算子的紧性，并证明了任何有界复合算子在我们的情况下都不可能是紧的。
2021-03-09 math.CV math.FA stat.ML
The reproducing kernel Hilbert space approach in nonparametric regression problems with correlated observations
本文研究了观测值相关模型中回归函数的估计问题。数据是从几个实验单元中获得的，每个单元形成一个时间序列。我们提出了一个新的估计的基础上的自协方差矩阵的观测，假设已知和可逆的逆。利用再生核希尔伯特空间的性质，给出了其偏差和方差的渐近表达式。此外，我们给出了理论上的比较，通过计算的IMSE，这种新的估计和经典的Gasser和Muller提出的。最后，我们进行了模拟研究，调查所提出的估计的性能，并将其与Gasser和Muller的估计在有限样本集。
2019-06-12 math.ST stat.TH
Data-Driven Stochastic Optimal Control in Reproducing Kernel Hilbert Spaces
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）
本文提出一种完全数据驱动的非线性控制仿射系统随机最优控制方法，通过将状态概率密度嵌入RKHS学习马尔可夫转移算子，并与随状态维度线性扩展的凸HJB递归结合，有效解决了动力学与成本未知的最优控制问题。
2026-10-12 cs.LG cs.SY eess.SY
Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces
ETH Zürich（苏黎世联邦理工学院）
最优实验设计旨在确定最具信息量的实验分配，以推断未知的统计量。本文研究再生核Hilbert空间中线性泛函的\em估计的最优实验设计。这个问题已被广泛研究的线性回归设置下的可估计性条件下，它允许估计参数没有偏见。我们将此框架推广到RKHS，并允许线性泛函仅近似推断，即，一个固定的偏差。这个场景涵盖了许多重要的现代应用，例如梯度图的估计、积分和微分方程的求解。我们提供了算法，用于构造线性泛函的偏置感知设计。我们得到了非渐近置信集的固定和自适应设计下的亚高斯噪声，使我们能够证明估计有界误差的概率很高。
2023-01-15 cs.AI math.ST stat.TH
Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence
Ioannis Kalogridis
针对再生核希尔伯特空间中的正则化M估计，在温和损失条件下建立估计量的存在性和可测性，证明基于新复杂度测度的偏差-方差分解的锐利收敛速度，并揭示张量积Sobolev空间中的新速率以规避维数灾难。
2026-06-23 cs.LG math.ST stat.ML
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下，从噪声观测值中恢复潜在的回归函数。在在线设置中，当观测值以流的形式出现时，重复地重新拟合整个模型在计算上通常是不可行的。到目前为止，还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是，我们的估计是一个经验风险最小化（ERM）在一个确定性的线性空间，这是很大的不同，从现有的方法使用随机功能和功能随机梯度。理论分析表明，当已知回归函数存在于再生核Hilbert空间中时，该估计器具有速率最优的推广误差。我们还表明，理论和经验，我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
Practical Tikhonov Regularized Estimators in Reproducing Kernel Hilbert Spaces for Statistical Inverse Problems
正则化核方法，如支持向量机（SVM）和支持向量回归（SVR）构成了一个广泛和灵活的一类方法，理论上研究得很好，通常用于非参数分类和回归问题。由于这些方法都是基于一个Tikhonov正则化，这也是常见的反问题，本文研究使用正则化核方法的反问题，在一个统一的方式。正则化核方法基于再生核希尔伯特空间（RKHS）的使用，其导致非常好的计算性质。结果表明，类似的属性仍然是真实的，在解决统计逆问题，标准的软件实现开发的普通回归问题仍然可以用于逆回归问题。这些方法的一致性和收敛速度的风险是在相当弱的假设和收敛速度的估计显示在某种程度上更强的假设。这些方法的适用性证明在模拟。
2013-05-06 stat.ME
Functional Autoregressive Processes in Reproducing Kernel Hilbert Spaces
本文研究了函数自回归~（FAR）过程的估计和预测，这是一种用于函数时间序列数据建模的统计工具。由于FAR过程的无限维性质，现有文献通过降维来解决其推理问题，并且其中的理论结果需要完全观察到的功能时间序列的（不切实际的）假设。本文提出了一种基于再生核Hilbert空间RKHS的推理框架。具体而言，核范数正则化方法提出了直接从函数时间序列的离散样本估计的FAR过程的转移算子。我们推导出一个表示定理的FAR过程，这使得无限维推理没有降维。尖锐的理论保证建立在（更现实的）假设下，我们只有有限的离散样本的FAR过程。大量的数值实验和能源消耗预测的实际数据应用进一步进行说明所提出的方法相比，在文献中的国家的最先进的方法有前途的性能。
2020-11-27 stat.ME
Optimal Functional Bilinear Regression with Two-way Functional Covariates via Reproducing Kernel Hilbert Space
针对二维函数协变量回归中估计二维系数函数效率低的问题，提出函数双线性回归模型与三项粗糙度惩罚，在再生核希尔伯特空间下实现极小极大最优预测，并通过迭代广义交叉验证提升计算效率。
2024-11-25 stat.ME
Flexible Expectile Regression in Reproducing Kernel Hilbert Space
期望值最早由Newey和Powell（1987）在计量经济学文献中提出，由于其具有一致性和可启发性等特性，近年来在金融机构的风险管理和资本配置中越来越受欢迎。目前的标准工具，期望回归分析是多元线性期望回归提出的纽维和鲍威尔在1987年。期望回归的日益广泛的应用促使我们在再生核Hilbert空间中发展一种更加灵活的非参数多元期望回归。由此产生的估计量被称为KERE，它通过在最终估计量中引入非线性、非可加性和复杂的相互作用，比经典的多元线性期望回归具有多个优点。建立了KERE的核学习理论。我们开发了一个有效的算法的启发优化最小化原则，解决整个解决方案的KERE路径。结果表明，该算法至少以线性速度收敛。大量的仿真结果表明，非常有竞争力的有限样本性能的KERE。我们进一步展示了应用KERE通过使用个人电脑的价格数据。
2015-08-27 stat.ME
Distance-based and RKHS-based Dependence Metrics in High Dimension
在本文中，我们研究了距离协方差，希尔伯特-施密特协方差（又名希尔伯特-施密特独立性标准[Gretton et al.（2008）]）和相关的独立性测试在高维场景下。我们证明了两个随机向量之间的样本距离/Hilbert-Schmidt协方差可以近似为分量方向样本互协方差的平方和，直到一个渐近常数因子，这表明基于距离/Hilbert-Schmidt协方差的检验只能捕获高维线性相关。因此，当两个随机向量非线性相关但分量不相关时，Szekely和Rizzo（2013）开发的基于距离相关的独立性t检验具有平凡的限制能力。这种新的和令人惊讶的现象，这似乎是第一次发现，在我们的模拟研究中得到进一步证实。作为一种补救措施，我们提出了测试的基础上聚集的边际样本距离/希尔伯特-施密特协方差，并显示其优越的权力行为对他们的联合同行在模拟中。我们进一步将基于距离相关的t检验扩展到基于希尔伯特-施密特协方差和边缘距离/希尔伯特-施密特协方差的t检验。提出了一种新的统一的方法来分析零假设和备择假设下的学生化样本距离/Hilbert-Schmidt协方差以及学生化样本边缘距离协方差。我们的理论和模拟结果揭示了距离/希尔伯特-施密特协方差的限制时，联合使用的高维设置，并建议聚合的边缘距离/希尔伯特-施密特协方差作为一个有用的替代。
2019-02-08 math.ST stat.ME stat.TH
Measuring Partial Exchangeability with Reproducing Kernel Hilbert Spaces
本文提出基于再生核希尔伯特空间的指标，度量贝叶斯多层模型中参数与非参数模型的部分可交换性，该指标可估计且适用于后验，并应用于层次狄利克雷过程及参数模型比较。
2025-09-24 math.PR math.ST stat.TH
A reproducing kernel Hilbert space framework for functional data classification
当我们试图借用经典分类器的力量来分类函数数据时，我们遇到了瓶颈。主要的问题是，功能数据本质上是无限维的，因此经典的分类器不能直接应用或由于维数灾难而性能不佳。为了解决这个问题，我们建议将功能数据投影到一个特定的方向上，然后在投影分数的基础上建立一个距离加权的歧视DWD分类器。投影方向是通过最小化的经验风险函数，其中包含特定的损失函数在DWD分类器，在再生核希尔伯特空间。因此，我们提出的分类器可以避免过拟合，并享受DWD分类器的吸引力。这个框架进一步扩展，以适应功能性数据分类问题，涉及标量协变量。与以前的工作相比，我们建立了一个非渐近的相对误分类率的估计误差界。在有限样本的情况下，我们证明了所提出的分类器相比，毫不逊色于一些常用的功能分类器的预测精度，通过模拟研究和现实世界中的应用。
2021-03-08 stat.ME
A Reproducing Kernel Hilbert Space Approach to Functional Calibration of Computer Models
本文提出了一种功能校准问题的频率论解决方案，其中允许计算机模型中的校准参数的值随物理系统中的控制变量的值而变化。功能校准的需要是由工程应用的动机，其中使用恒定的校准参数的结果在从计算机模型和物理实验的输出之间的显着不匹配。再生核希尔伯特空间（RKHS）被用来模拟最佳校准函数，定义为校准参数和控制变量之间的函数关系，给出最佳的预测。这个最佳的校准函数估计通过惩罚最小二乘与RKHS范数惩罚和使用物理数据。一个不确定性量化程序也开发了这样的估计。所提出的方法的理论保证提供的预测一致性和一致性估计的最佳校准函数。所提出的方法进行了测试，使用真实和合成数据，并表现出更强大的性能，在预测和不确定性量化比现有的参数功能校准方法和最先进的贝叶斯方法。
2021-07-17 stat.AP stat.ME
A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
Seoul National University（首尔国立大学）；Korea University（高丽大学）
变量选择在高维数据分析中至关重要。虽然已经开发了各种变量选择方法，但大多数依赖于线性模型假设。提出了一种基于再生核希尔伯特空间（RKHS）的大间隔分类器的非参数变量选择方法。我们提出了一种基于梯度的大间隔分类器的表示，然后通过组套索惩罚来正则化梯度函数，以获得自然导致变量选择的稀疏梯度。提出了分组优化下降算法（GMD，Yang和Zou，2015），以有效地解决具有大量参数的所提出的问题。我们采用强顺序规则（Tibshirani等人，2012年），以促进调整程序。该方法的选择一致性是通过获得估计分类器的风险界及其梯度来建立的。最后，我们通过仿真和实际数据说明了所提出的方法有前途的性能。
2021-09-29 cs.LG stat.ML
Gaussian Processes with Sample Paths in Reproducing Kernel Banach Spaces
Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学）；Technical University of Denmark（丹麦技术大学）
研究高斯过程与再生核巴拿赫空间中高斯随机元之间的联系，通过γ-拉德尼化算子刻画协方差算子对应的正定函数，并将经典Driscoll定理推广到巴拿赫空间。
2026-10-22 math.FA math.PR stat.ML
Estimation of Riemannian distances between covariance operators and Gaussian processes
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在这项工作中，我们研究了两个黎曼距离之间的无穷维正定希尔伯特-施密特算子，即仿射不变黎曼和对数希尔伯特-施密特距离，在上下文中的协方差算子与功能随机过程，特别是高斯过程。我们的第一个主要结果表明，这两个距离收敛于希尔伯特-施密特范数。利用Hilbert空间值随机变量的集中结果，我们证明了这两个距离可以从（i）样本协方差算子，（ii）有限的，归一化的协方差阵，和（iii）由给定过程产生的有限样本中一致和有效地估计，所有这些都具有与维数无关的收敛性。我们的理论分析广泛利用再生核希尔伯特空间（RKHS）的协方差和互协方差算子的方法。理论公式说明了高斯过程的协方差算子的数值实验。
2021-08-26 cs.LG stat.ML
