Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
Deep Kernel Learning via Random Fourier Features
Shanghai Jiao Tong University（上海交通大学）
核学习方法是最有效的学习方法之一，在过去的几十年里得到了广泛的研究。然而，当处理复杂的任务，经典的核方法是不够灵活或“丰富”的描述数据，因此不能产生令人满意的性能。在本文中，通过随机傅立叶特征（RFF），我们成功地将深度架构融入到内核学习中，这显着提高了内核机器的灵活性和丰富性，同时保持了内核处理小数据的优势。使用RFF，我们可以建立一个深层结构，并使RFF层中的每个内核都可以端到端地训练。由于具有不同分布的RFF可以表示不同的内核，因此我们的模型能够为每一层找到合适的内核，这比传统的基于内核的方法更加灵活，其中内核是预先选择的。这一事实也有助于在架构中产生更复杂的内核级联连接。在小数据集（小于1000个样本）上，由于过度拟合，深度学习通常不适合，与高级内核方法相比，我们的方法具有更好的性能。在大规模数据集上，包括非图像和图像分类任务，我们的方法也具有竞争力的性能。
2019-10-07 cs.LG stat.ML
Random at First, Fast at Last: NTK-Guided Fourier Pre-Processing for Tabular DL
Seattle, WA 98121（西雅图，华盛顿州）；Herndon, VA 20171（赫尔顿，弗吉尼亚州）；Minneapolis, MN 55414（明尼阿波利斯，明尼苏达州）
本文针对表格深度学习训练不稳定与调参成本高的问题，提出以随机傅里叶映射作为无参数预处理，并借助NTK分析证明其能稳定初始核谱、加速优化，实现更快收敛和更强性能。
2025-06-03 cs.AI cs.LG stat.ML
RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features
Federal University of São Carlos（圣卡洛斯联邦大学）；Universidade de São Paulo（圣保罗大学）；Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo（圣保罗大学数学与计算机科学学院）
针对现有可扩展核方法无法消除无关特征影响的问题，该研究为ARD核设计随机傅里叶特征并提出RFFNet，通过一阶随机优化学习核相关性，兼具低内存、低误差和高可解释性，还提供了符合scikit-learn API的PyTorch库与复现代码。
2024-04-12 cs.LG stat.ML
Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology（代尔夫特理工大学）
本文分析了DONE，在线优化算法，迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开（RFE）的形式维护未知函数的代理。每当有新的测量值可用时，替代值就会更新，然后用于确定下一个测量点。该算法与贝叶斯优化算法相当，但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果，提供洞察力的超参数的算法应该如何选择。该算法相比，贝叶斯优化算法的基准问题和三个应用程序，即，光学相干断层扫描，光学波束形成网络调整，和机器人手臂控制。结果发现，DONE算法是明显快于贝叶斯优化在讨论的问题，同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
Learning Random Fourier Features by Hybrid Constrained Optimization
Tsinghua University（清华大学）
核嵌入算法是使核方法适应大数据集的重要组成部分。由于该算法在测试阶段消耗了大量的计算成本，我们提出了一种新的教师-学习者框架，从特定的数据中学习计算效率高的内核嵌入。在该框架中，高精度嵌入（教师）将数据信息传递给计算效率高的内核嵌入（学习者）。我们共同选择信息嵌入函数，并追求两个嵌入之间的正交变换。本文提出了一种新的约束变分期望最大化方法，在最大化步骤中，将交替方向乘子法应用于非凸区域。我们还提出了两个具体的配方的基础上流行的随机傅立叶特征（RFF），掩蔽和阻塞版本的计算效率RFF（CERF），通过施加一个随机的二进制掩码或块结构的变换矩阵。通过在不同真实数据集上的几个应用的实证研究，我们证明了CERF显著提高了RFF的核方法的性能，在一定的算术运算要求下，并适用于快餐型算法中的结构化矩阵乘法。
2017-12-07 cs.CV cs.LG stat.ML
Fast Fourier Correlation is a Highly Efficient and Accurate Feature Attribution Algorithm from the Perspective of Control Theory and Game Theory
School of Computer Science（计算机科学学院）；Wuhan University（武汉大学）；Brain Research Center Second Clinical School（脑科学研究中心第二临床学院）
针对神经网络所学傅里叶特征缺乏明确归因方法的问题，提出基于信号分解理论的新型傅里叶特征归因方法，实验证明其仅需少量特征即可维持高准确率且具更强类间区分度。
2025-07-15 cs.LG
Wind Field Reconstruction with Adaptive Random Fourier Features
我们调查使用空间插值方法重建水平近地面风场给定稀疏的测量。特别是，随机傅立叶特征相比，一组基准方法，包括克里格和反距离加权。随机傅立叶特征是近似速度场的线性模型$β(\pmb x) = \sum_{k=1}^K β_k e^{iω_k \pmb x}$，其中频率$ω_k$被随机采样并且幅度$β_k$被训练以使损失函数最小化。我们包括一个物理动机的发散惩罚项$|\nabla \cdot β(\pmb x)|^2$，以及Sobolev范数的惩罚。我们推导出的泛化误差的界限，并得出一个采样密度，最大限度地减少了边界。根据（arXiv：2007.10683 [math.NA]），我们设计了一种自适应Metropolis-Hastings算法，用于对最优分布的频率进行采样。在我们的实验中，我们的随机傅立叶特征模型优于基准模型。
2021-02-04 cs.NA math.NA stat.AP
Orthogonal Random Features: Explicit Forms and Sharp Inequalities
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息科学与系统实验室）
本文分析了基于Haar正交矩阵的正交随机特征对高斯核近似的偏差与方差，给出基于归一化贝塞尔函数的显式表达式，证明其实际近似贝塞尔核，并推导出锐利指数界表明其分散性低于随机傅里叶特征。
2024-10-19 cs.LG math.PR stat.ML
A Multi-parameter Updating Fourier Online Gradient Descent Algorithm for Large-scale Nonlinear Classification
大规模非线性分类是支持向量机领域中一个具有挑战性的课题。在线随机傅立叶特征映射算法是处理大规模非线性分类问题的重要方法。这些方法的主要缺点是：（1）由于在学习过程中只更新超平面向量，而随机方向是固定的，因此不能保证这些在线方法在数据逐个到来时能够适应数据分布的变化。(2)为了获得更好的分类精度，随机方向的维数往往更高，这导致更长的测试时间。为了克服这些缺点，提出了一种基于随机特征映射的多参数更新傅立叶在线梯度下降算法（MPU-FOGD）.在该方法中，所提出的随机特征映射具有较低的维数，而多参数更新策略可以保证学习模型在数据逐个到来时能够更好地适应数据分布的变化。从理论上证明了与现有的随机傅立叶特征映射相比，所提出的随机傅立叶特征映射可以给出更严格的误差界。在多个基准数据集上的实验结果表明，与现有的在线随机傅立叶特征映射方法相比，该方法具有更好的测试精度.
2022-03-16 cs.LG eess.SP
Error Estimation for Random Fourier Features
University of California, Davis（加利福尼亚大学戴维斯分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
随机傅立叶特征（RFF）是最流行和广泛适用的方法之一，用于按比例放大核方法。从本质上讲，RFF允许用户通过快速随机近似来避免在大型内核矩阵上进行昂贵的计算。然而，应用RFF的普遍困难在于用户不知道近似的实际误差，或者该误差将如何传播到下游学习任务中。到目前为止，RFF文献主要使用理论误差界限来处理这些不确定性，但从用户的角度来看，这样的结果通常是不切实际的-因为它们是高度保守的或涉及未知量。为了以数据驱动的方式解决这些一般性问题，本文开发了一种自举方法来数值估计RFF近似的误差。这种方法的三个主要优点是：（1）误差估计是特定于手头的问题，避免了最坏情况下的界限的悲观。(2)该方法对于RFF的不同用途是灵活的，甚至可以估计下游学习任务中的错误。(3)该方法支持自适应计算，因此用户可以快速检查粗略初始核近似的误差，然后预测需要多少额外的工作。最后，作为所有这些益处的交换，可以以适度的计算成本获得误差估计。
2023-02-22 cs.LG stat.ME stat.ML
Optimal Rates for Random Fourier Features
Pennsylvania State University（宾夕法尼亚州立大学）
核方法是机器学习中最强大的工具之一，可以解决用函数值和导数表示的问题，因为它们能够表示和建模复杂的关系。虽然这些方法显示出良好的通用性，但它们是计算密集型的，并且由于它们需要对Gram矩阵进行操作而对大数据具有较差的可扩展性。为了减轻这一严重的计算限制，最近随机结构已被提出在文献中，它允许应用快速线性算法。随机傅立叶特征（RFF）是最流行和应用最广泛的构造之一：它们为移位不变核提供了一种易于计算的低维特征表示。尽管RFF很受欢迎，但理论上对它们的近似质量知之甚少。在本文中，我们提供了一个详细的有限样本理论分析的近似质量的RFF（i）建立最佳的（在RFF维数，和不断增长的集大小）性能保证在统一的规范，和（ii）提出保证$L^r$（$1\le r<\infty$）规范。我们还提出了一个RFF近似的核的衍生物的理论研究，其近似质量。
2015-11-04 cs.LG math.FA math.ST
Robust Fourier Neural Networks
本文提出在傅里叶嵌入层后引入对角层以提升网络对测量噪声的鲁棒性，促使网络学习稀疏傅里叶特征，并给出理论依据与数值实验验证。
2024-09-03 cs.LG
Harmonic analysis on directed graphs and applications: from Fourier analysis to wavelets
我们介绍了一种新的调和分析的功能定义在一个强连接的有向图的随机游动运营商是基石的顶点。作为第一步，我们考虑的随机游动算子的本征向量的集合作为一个非正交的傅立叶型基的功能在有向图。我们发现了一个频率的解释，通过连接的变化的随机游动运营商从他们的狄利克雷能量的实部，其相关的本征值的特征向量。从这个傅立叶基，我们可以进一步进行，并建立多尺度分析的有向图。我们提出了一个冗余小波变换和抽取小波变换的扩散小波框架由Coifman和Maggioni的有向图。因此，我们的调和分析的发展有向图，使我们考虑半监督学习问题和信号建模问题的图形应用到有向图突出我们的框架的效率。
2021-11-01 math.FA stat.ML
Kernel-based potential mean-field games with unbiased random Fourier $U$-statistics
Department of Mathematical and Computing Science, Institute of Science Tokyo（东京科学研究院数学与计算科学系）
针对运行交互成本和终端目标成本均由再生核最大均值差异（MMD）惩罚表示的势均场博弈子类，提出一种利用核结构的计算框架，通过无偏随机傅里叶U-统计量估计成本，并证明样本级几乎必然收敛定理和显式收敛速率。
2026-09-22 cs.LG cs.NA math.NA
Double Descent for Random Fourier Series Models
Zhejiang Sci-Tech University（浙江理工大学）
本研究通过随机矩阵理论分析随机部分DFT矩阵的最小二乘回归，推导出Moore-Penrose估计器的精确非渐近风险界，并刻画了双重下降现象，数值实验验证了理论结果。
2026-09-28 cs.IT math.IT math.ST
Harmonics of Learning: Universal Fourier Features Emerge in Invariant Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；Science Corporation（科学公司）
本文证明有限群不变神经网络的权重可恢复该群上的 Fourier 变换，并可据此近似恢复未知群结构，为不变表示的代数学习理论提供基础。
2024-06-14 cs.AI cs.LG eess.SP
Optimal Learning via the Fourier Transform for Sums of Independent Integer Random Variables
University of Edinburgh（爱丁堡大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究了独立整数随机变量和的结构和可学习性。对于$k \in \mathbb{Z}_{+}$，阶数为$n \in \mathbb{Z}_{+}$的$k$是各自在$\{0, 1, \dots, k-1\}$上支持的$n$独立随机变量之和的概率分布.我们用${\cal S}_{n,k}$表示所有$n$阶的$k$ -SIIRV的集合。在本文中，我们严格的样本和计算复杂性的学习$k$ -SIIRV的特点。更准确地说，我们设计了一个计算效率高的算法，使用$\widetilde{O}(k/ε^2)$样本，并学习一个任意的$k$ -SIIRV内的错误$ε,$的总变化距离。此外，我们证明了这个学习问题的{ \em最优}样本复杂度是$Θ((k/ε^2)\sqrt{\log(1/ε)}).$。我们的算法通过学习目标$k$ -SIIRV的傅立叶变换来进行。它的正确性依赖于$k$ -SIIRV的傅立叶变换的{ \em近似稀疏性}-我们建立的结构性质，大致说明$k$ -SIIRV的傅立叶变换在小集合之外具有小幅度。一路上，我们证明了几个新的结构结果有关$k$ -SIIRV。作为我们的主要结构贡献之一，我们给出了一个有效的算法来构造${\cal S}_{n,k},$在全变差距离上的稀疏{ \em proper} $ε$ -覆盖。我们还得到了$k$ -SIIRV空间的一个新的几何特征。我们的特征使我们能够证明一个…
2015-11-23 cs.DS cs.IT cs.LG
The Error Probability of Random Fourier Features is Dimensionality Independent
我们表明，重建核矩阵的随机傅立叶特征的高斯核函数的错误概率是最多$\mathcal{O}(R^{2/3} \exp(-D))$，其中$D$是随机特征的数量和$R$是数据域的直径。我们还提供了一个信息论方法无关的下限$Ω((1-\exp(-R^2)) \exp(-D))$。与以前的工作相比，我们首次证明了随机傅立叶特征的错误概率与数据点的维数无关。作为我们理论的应用，我们得到了核岭回归和支持向量机的维数无关界。
2021-11-08 cs.LG stat.ML
Sharp Analysis of Random Fourier Features in Classification
University College London（伦敦大学学院）
研究了支持向量机和逻辑斯谛回归等Lipschitz连续损失函数在随机傅立叶特征分类中的理论性质。利用规律性条件，我们首次表明，随机傅立叶特征分类可以实现$O(1/\sqrt{n})$学习率只有$Ω(\sqrt{n} \log n)$功能，而不是$Ω(n)$功能建议以前的结果。我们的研究涵盖了标准的特征采样方法，我们减少了所需的特征数量，以及一个问题依赖的采样方法，进一步减少了特征的数量，同时仍然保持最佳的泛化性能。此外，我们证明了随机傅立叶特征分类可以获得一个快速的$O(1/n)$学习率下Massart的低噪声假设的采样方案。我们的研究结果表明，随机傅立叶特征近似在降低计算复杂度（大致从时间上的$O(n^3)$和空间上的$O(n^2)$分别到$O(n^2)$和$O(n\sqrt{n})$）方面具有潜在的有效性，而不必权衡统计预测精度。此外，在我们的分析中实现的权衡至少是相同的最坏情况下的最佳结果在文献中，并显着提高了良性的正则条件下的最佳结果。
2021-09-22 cs.LG stat.ML
Data-driven Random Fourier Features using Stein Effect
CMU（卡内基梅隆大学）
大规模核逼近是机器学习研究中的一个重要问题。使用随机傅立叶特征的方法已经变得越来越流行[Rahimi和Recht，2007]，其中核近似被视为通过蒙特卡罗（MC）或准蒙特卡罗（QMC）积分的经验均值估计[Yang等人，2014年]。当前方法的局限性在于所有特征接收总和为1的相等权重。本文从“Stein效应”出发，提出了一种新的收缩率估计方法，该方法为随机特征提供了一种数据驱动的加权策略，并在降低经验风险方面得到了理论上的证明。我们进一步提出了一个有效的随机算法的大规模应用所提出的方法。我们的实证结果表明，在六个基准数据集上，这种方法在内核近似和监督学习任务中的代表性基线的优越性能。
2017-05-23 cs.LG stat.ML
A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；G-STATS Data Science Chair, GIPSA-lab（G-STATS数据科学教席，GIPSA实验室）
本文在数据样本数$n$、样本维数$p$和特征空间维数$N$都很大且具有可比性的实际环境中，刻画了随机傅立叶特征（RFF）回归的精确渐近性。在这种情况下，随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵（当$N \to \infty$单独使用时），但它仍然具有我们的分析所捕获的易于处理的行为。该分析还为大型$n,p,N$提供了训练和测试回归误差的准确估计。基于这些估计，两个定性不同的学习阶段，包括它们之间的相变，提供了一个精确的表征;和相应的双下降测试误差曲线来自这个相变行为。这些结果不依赖于对数据分布的强假设，并且它们完全符合真实世界数据集的经验结果。
2020-12-19 cs.LG stat.ML
Random Fourier Features via Fast Surrogate Leverage Weighted Sampling
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
在本文中，我们提出了一种快速代理杠杆加权采样策略，以产生细化的随机傅立叶特征的核近似。与目前使用杠杆加权方案的最先进方法[Li-ICML 2019]相比，我们的新策略更简单，更有效。该算法利用核对齐来指导采样过程，并且在计算杠杆函数时避免了矩阵求逆运算。给定n个观测值和s个随机特征，我们的策略可以将时间复杂度从O（ns^2+s^3）降低到O（ns^2），同时在应用于核岭回归（KRR）时实现相当（甚至略好）的预测性能。此外，我们提供了理论上的保证，我们的方法的泛化性能，特别是表征所需的随机特征的数量，以实现统计保证KRR。在几个基准数据集上的实验表明，与[Li-ICML 2019]相比，我们的算法实现了相当的预测性能，并且花费的时间更少。
2019-11-20 cs.LG stat.ML
Trigonometric Quadrature Fourier Features for Scalable Gaussian Process Regression
Duke University（杜克大学）
提出三角求积傅里叶特征（TQFF）方法，利用新型非高斯求积规则解决高度振荡求积导致的病态问题，在更少特征下实现更精确的高斯过程近似。
2023-10-23 cs.LG stat.ML
Learning Landmark-Based Ensembles with Random Fourier Features and Gradient Boosting
CNRS（法国国家科学研究中心）；Inria Lille - Nord Europe（法国里尔-北欧数字科学研究所）
我们提出了一种梯度提升算法，用于学习适应手头任务的核函数集合。与使用预先计算的核函数字典进行选择的最先进的多核学习技术不同，在每次迭代中，我们通过将其近似为随机傅立叶特征（RFF）的加权和并通过优化其重心来拟合内核。这使我们能够获得更通用的方法，更容易设置，并且可能具有更好的性能。我们的研究建立在最近的结果表明，可以学习一个内核RFF通过计算最小的PAC贝叶斯约束的内核对齐泛化损失，这是有效地从一个封闭的形式的解决方案。我们进行了实验分析，以突出我们的方法w.r.t.基于Boosting和内核学习的最先进的方法。
2019-06-14 cs.LG stat.ML
Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于约翰逊-林登施特劳斯（JL）引理以及线性和非线性随机投影的教程和调查论文。首先从线性随机投影出发，利用JL引理证明了它的正确性。然后，引入了具有$\ell_1$范数和插值范数的稀疏随机投影。介绍了随机投影在超立方体上的两个主要应用：低秩矩阵逼近和随机投影的近似最近邻搜索。随机傅立叶特征（RFF）和随机厨房水槽（RKS）被解释为非线性随机投影的方法。本文还介绍了非线性随机投影的其他方法，包括极限学习机、随机加权神经网络和随机投影集成。
2021-08-09 cs.DS cs.LG math.PR
Sampled Softmax with Random Fourier Features
Google Research（谷歌研究院）
使用softmax交叉熵损失进行训练的计算成本随着类的数量线性增长。对于涉及大量类的设置，加速训练的常见方法是对类的子集进行采样，并利用基于这些类的损失梯度的估计，称为采样softmax方法。然而，采样的softmax提供了梯度的有偏估计，除非样本是从精确的softmax分布中提取的，这又是昂贵的计算。因此，广泛采用的实用方法涉及从更简单的分布中采样，希望近似精确的softmax分布。在本文中，我们首次从理论上理解了不同采样分布在确定采样softmax质量方面所起的作用。受我们的分析和基于核的采样工作的启发，我们提出了随机傅立叶Softmax（RF-softmax）方法，该方法利用强大的随机傅立叶特征，从近似softmax分布中实现更有效和更准确的采样。我们表明，RF-softmax导致低偏差的估计在两个完整的softmax分布和完整的softmax梯度。此外，RF-softmax的成本仅与类的数量成比例。
2019-12-31 cs.LG stat.ML
Index Set Fourier Series Features for Approximating Multi-dimensional Periodic Kernels
School of Information Technologies, The University of Sydney（悉尼大学信息技术学院）；The University of Sydney（悉尼大学）
周期性经常在时间序列建模中使用自回归方法进行研究，但在内核文献中不太受欢迎，特别是对于更高维的问题，如纹理，晶体学和量子力学。大型数据集通常使得建模周期性对于其他强大的非参数方法（如高斯过程（GP））来说是站不住脚的，高斯过程（GP）通常会产生$\mathcal{O}(N^3)$计算负担，因此无法扩展到更大的数据集。为此，我们引入了一种称为\emph{Index Set Fourier Series Features}的方法，可追溯地利用多元傅立叶级数，并有效地将高维数据的周期核分解成一系列的基函数。我们表明，我们的近似产生显着更少的预测误差比替代方法，如基于随机傅立叶特征，并实现更好的概括与周期性数据的回归问题。
2018-05-14 cs.LG stat.ML
Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；Aalto University（阿尔托大学）
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中，我们提出了新的协调混合内核（HMK），一个家庭的表现力，可解释的，非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理，HMK支持协调协方差，包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征，一个域间稀疏GP推理框架，提供了一组代表性的“诱导频率”。我们表明，调和混合内核插值局部模式之间，变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
Large-Scale Cox Process Inference using Variational Fourier Features
高斯过程调制泊松过程为时空点模式的建模提供了一个灵活的框架。到目前为止，这一直局限于一维，将其合并到预先确定的网格，或多达几千个数据点的小数据集。本文介绍了基于傅立叶特征的Cox过程推断。这种稀疏表示在函数空间上引入全局约束而不是局部约束，并且计算效率高。这使我们能够制定一个无网格的近似，以及与数据点的数量和域的大小的规模。我们证明，这使得MCMC近似的非高斯后验。我们还发现，在实践中，傅立叶特征具有更一致的优化行为比以前的方法。我们的近似贝叶斯方法可以在单个GPU上以三维形式拟合超过100，000个具有复杂时空模式的事件。
2018-04-03 cs.LG stat.ML
Adaptive RKHS Fourier Features for Compositional Gaussian Process Models
Department of Computer Science The University of Manchester（计算机科学系 曼彻斯特大学）
本文将基于常微分方程的自适应 RKHS 傅里叶特征扩展至组合型高斯过程，通过卷积操作实现幅度与相位调制，并嵌入双重随机变分推断框架，提升了各类回归任务的预测性能。
2025-04-27 cs.LG stat.ML
Optimal Online Change Detection via Random Fourier Features
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Department of Decision Analytics and Operations（决策分析与运营系）；City University Hong Kong（香港城市大学）
针对多元数据流在线非参数变化点检测问题，提出基于随机傅里叶特征的序贯检验算法，具备对数级时空复杂度、无需预训练数据和窗口参数的优势，且检测延迟达极小极大最优，性能与现有最优方法相当。
2025-10-30 cs.LG stat.ML
Quantization Algorithms for Random Fourier Features
Rutgers University（罗格斯大学）；Baidu Research（百度研究院）
随机投影（RP）方法是机器学习和许多其他领域的标准技术，用于降维，近似近邻搜索，压缩感知等。基本上，RP提供了一个简单而有效的方案，用于近似大量数据中的成对内积和欧氏距离。与RP密切相关的随机傅立叶特征（RFF）方法也变得流行，用于近似高斯核。RFF对来自随机投影的投影数据应用特定的非线性变换。在实践中，使用（非线性）高斯核通常会导致比线性核（内积）更好的性能，部分原因是由于高斯核中引入的调谐参数$(γ)$。近年来，人们对RFF的研究兴趣大增。在随机投影之后，量化是有效数据存储、计算和传输的重要步骤。RP的量化在文献中也得到了广泛的研究。在本文中，我们专注于开发RFF的量化算法。由于高斯核中的调谐参数$γ$，该任务在某种意义上是具有挑战性的。例如，量化器和量化数据可以与每个特定的调谐参数$γ$相关联。我们的贡献始于一个有趣的发现，即RFF的边缘分布实际上是免费的高斯核参数$γ$。这个小的发现显著地简化了用于RFF的最大（LM）量化方案的设计，因为对于RFF将只有一个LM量化器（不管$γ$）。我们还开发了一个名为LM $^2$ -RFF量化器的变体，在某些情况下更准确。实验结果表明，所提出的量化方案性能良好。
2021-02-25 cs.LG stat.ML
ANOVA-boosting for Random Fourier Features
Chemnitz University of Technology（开姆尼茨工业大学）
本文提出两种基于ANOVA分解的随机傅里叶特征提升算法，用于高维函数逼近，可识别重要变量交互，提升可解释性并显著降低逼近误差。
2025-06-24 cs.LG cs.NA math.NA
Convergence for adaptive resampling of random Fourier features
Umeå University（于默奥大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；RWTH Aachen University（亚琛工业大学）；Kungl. Tekniska Högskolan（皇家理工学院）
本文研究了高维数据中基于随机傅里叶特征的机器学习方法的收敛性，通过自适应重采样频率的方法证明了在节点数和数据量趋于无穷时的收敛性，并通过数值实验验证了回归和分类问题的分析结果。
2026-05-18 cs.NA math.NA stat.ML
Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation
Stanford University（斯坦福大学）
我们研究如何训练核近似方法，以及推广下的内存预算。最近的理论工作的基础上，我们定义了一个核近似误差的措施，我们发现是更预测的经验泛化性能的核近似方法比传统的度量。这个定义的一个重要结果是，核近似矩阵必须是高秩的，以达到接近的近似。由于存储高阶近似是内存密集型的，我们建议使用随机傅立叶特征（LP-RFFs）的低精度量化来构建一个高阶近似下的内存预算。从理论上讲，我们表明，量化的泛化性能在重要的设置可以忽略不计的影响。从经验上讲，我们在四个基准数据集上证明了LP-RFF可以与全精度RFF和Nyström方法的性能相匹配，内存分别减少了3x-10 x和50 x-460 x。
2019-03-20 cs.AI cs.LG stat.ML
Denoising Score Matching with Random Fourier Features
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
密度估计是统计学中的核心问题之一。尽管如此，现有的技术，如最大似然估计是计算效率低下，由于棘手的归一化常数。由于这个原因，对分数匹配的兴趣增加了，而与归一化常数无关。然而，这样的估计是一致的，只有与充分的空间支持的分布。使其一致的方法之一是将噪声添加到输入数据中，这被称为去噪得分匹配。在这项工作中，我们推导出解析表达式的去噪得分匹配使用核指数族作为模型分布。核指数族的使用是由这类密度的丰富性所激发的。为了解决计算复杂性，我们使用基于随机傅立叶特征的核函数近似。解析表达式允许删除基于高阶导数的额外正则化项，因为它们已经隐含地包含在内。此外，所获得的表达式显式地依赖于噪声方差，因此验证损失可以直接用于调整噪声水平。随着基准实验，该模型在各种合成分布进行了测试，以研究模型在不同情况下的行为。实证研究表明，可比的质量竞争的方法，而所提出的方法是计算速度更快。后者可以扩展到复杂的高维数据。
2021-01-13 cs.LG stat.ML
Orthogonally Decoupled Variational Fourier Features
Dalle Molle Institute for Artificial Intelligence (IDSIA)（Dalle Molle人工智能研究所 (IDSIA)）；Università della Svizzera Italiana (USI)（瑞士意大利语区大学 (USI)）；University of Limerick (UL)（利默里克大学 (UL)）
稀疏诱导点长期以来一直是将高斯过程拟合到大数据的标准方法。在过去的几年中，谱方法，利用近似的协方差核已被证明是有竞争力的。在这项工作中，我们利用最近推出的正交解耦变分基结合谱方法和稀疏诱导点方法。我们表明，该方法是有竞争力的最先进的合成和真实世界的数据。
2020-07-13 cs.LG stat.ML
On Kernel Derivative Approximation with Random Fourier Features
École Polytechnique（巴黎综合理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
随机傅立叶特征（RFF）代表了机器学习中最流行和最广泛的技术之一，以扩展内核算法。尽管RFF的许多成功的应用，不幸的是，相当少的理解理论上的最优性和其性能的限制。直到最近，已经建立了精确的数学计算权衡RFFs的近似核值，核岭回归，核PCA和SVM分类。我们的目标是引发调查的最优性RFF为基础的近似任务，不仅涉及函数值，但衍生物，这自然会导致优化问题的内核衍生物。特别是，在本文中，我们专注于核衍生物的RFF的逼近质量，并证明现有的有限样本的保证，可以提高指数的领域，他们持有，使用最近的工具，从无界经验过程理论。我们的结果意味着，相同的近似保证是可实现的内核衍生物使用RFF实现内核值。
2019-02-09 cs.LG math.PR stat.ML
Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features
University of California San Diego（加州大学圣地亚哥分校）
我们建议使用低位深Σ-Δ和分布式噪声整形方法来量化与移位不变内核相关的随机傅立叶特征（RFFs）。我们证明，我们的量化RFFs -即使在$1$位量化的情况下-允许一个高精度的近似的底层内核，和近似误差衰减至少多项式快的RFFs的尺寸增加。我们还表明，量化的RFFs可以进一步压缩，产生一个很好的权衡内存使用和精度之间。也就是说，近似误差现在作为所使用的比特的函数呈指数衰减。此外，我们经验表明，通过测试我们的方法在几个机器学习任务上的性能，我们的方法相比，在这种情况下，其他国家的最先进的量化方法。
2022-04-13 cs.IT cs.LG math.IT
Deep Learning without Global Optimization by Random Fourier Neural Networks
Sandia National Laboratories（桑迪亚国家实验室）；The University of New Mexico（新墨西哥大学）
提出一种基于随机复指数激活函数的深度神经网络训练算法，利用马尔可夫链蒙特卡洛采样迭代训练网络层，避免全局和梯度优化，实现高效多尺度高频特征学习且无吉布斯现象。
2025-03-05 cs.LG cs.NA math.NA
Random Fourier Signature Features
University of Oxford（牛津大学）；London School of Economics（伦敦政治经济学院）
本文提出基于随机傅里叶特征的签名核加速方法，将计算复杂度从二次降为线性，并结合张量投影推导出两种可扩展的时间序列特征，在几乎不损失精度的情况下支持百万级时间序列数据集。
2024-11-22 cs.LG stat.ME stat.ML
Sparse Recovery With Non-Linear Fourier Features
Uppsala University（乌普萨拉大学）
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发，本文重点介绍了稀疏非线性傅立叶特征（NFF）模型。我们提供了足够数量的数据点，保证完美的恢复未知参数的高概率的表征。特别是，我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界，并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Bayesian Non-linear Latent Variable Modeling via Random Fourier Features
University of Hong Kong（香港大学）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
针对高斯过程潜变量模型似然受限、推断易过拟合或后验表征不准的问题，提出基于随机傅里叶特征的RFLVM，实现非高斯观测下的MCMC推断，性能达到当前最优水平。
2023-06-14 cs.AI cs.LG stat.ML
Regularized Random Fourier Features and Finite Element Reconstruction for Operator Learning in Sobolev Space
本文提出正则化随机傅里叶特征与有限元重建方法，用于在噪声数据中学习算子，通过多变量t分布随机特征和频率加权Tikhonov正则化抑制高频噪声，实现稳健性和高效性。
2025-12-19 cs.LG cs.NA math.NA
Quantum-assisted Gaussian process regression using random Fourier features
针对经典高斯过程回归随训练数据增长计算复杂度过高的问题，提出基于随机傅里叶特征核近似的量子辅助算法，通过量子编码、谱分解及检验操作实现多项式阶计算加速。
2025-07-30 quant-ph stat.CO stat.ML
A spectral mixture representation of isotropic kernels with application to random Fourier features
Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；EDF Lab Paris-Saclay（法国电力集团巴黎-萨克雷实验室）
本文提出各向同性核的谱混合表示方法，为多种核函数提供简单的谱采样公式，适用于支持向量机等机器学习技术。
2026-02-22 cs.LG math.PR stat.CO
Computational-Statistical Trade-off in Kernel Two-Sample Testing with Random Fourier Features
Department of Statistics and Data Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）；Department of Mathematical Sciences, KAIST（韩国科学技术院数学科学系）
本文研究了使用随机傅里叶特征近似MMD检验在计算复杂度与统计功效之间的权衡，证明通过合理选择随机特征数量可以在亚二次时间内达到与MMD检验相同的最小最大分离率。
2026-05-20 cs.LG math.ST stat.ML
