首页/论文/1809.01353

arXiv 1809.013532018-09-05cs.LGcs.NAmath.NAstat.ML

IKA：独立核近似器

IKA: Independent Kernel Approximator

Matteo Ronchetti

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

AI总结：

本文提出IKA方法，通过线性组合任意选择的函数进行低秩核近似，优于Nyström方法，在STL-10数据集上表现更优。

摘要：

本文提出IKA方法，通过线性组合任意选择的函数进行低秩核近似，优于Nyström方法，在STL-10数据集上表现更优。

英文摘要：

This paper describes a new method for low rank kernel approximation called IKA. The main advantage of IKA is that it produces a function $ψ(x)$ defined as a linear combination of arbitrarily chosen functions. In contrast the approximation produced by Nyström method is a linear combination of kernel evaluations. The proposed method consistently outperformed Nyström method in a comparison on the STL-10 dataset. Numerical results are reproducible using the source code available at https://gitlab.com/matteo-ronchetti/IKA

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

机器学习中的Kolmogorov宽度衰减和差逼近器：浅神经网络，随机特征模型和神经切核

Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels

Princeton University（普林斯顿大学）

在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。

2020-10-02cs.LGmath.FAstat.ML

浅随机前馈网络对马尔可夫核的通用逼近

Universal Approximation of Markov Kernels by Shallow Stochastic Feedforward Networks

Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）

我们建立了隐单元的最小数量的上界，其中一个二进制随机前馈网络与sigmoid激活概率和一个单一的隐藏层是一个普遍的近似马尔可夫核。我们表明，每个可能的概率分配的$n$输出单元的状态，给定的$k\geq1$输入设备的状态，可以近似任意以及由网络与$2^{k-1}(2^{n-1}-1)$隐藏的单位。

2015-03-24cs.LGstat.ML

具有核函数和神经函数逼近的无报酬RL：单智能体MDP和Markov博弈

On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game

University of Michigan（密歇根大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）

为了在强化学习（RL）中实现样本效率，需要有效地探索底层环境。在离线设置下，解决探索挑战在于收集具有足够覆盖率的离线数据集。出于这样的挑战，我们研究了无奖励RL问题，其中代理的目标是彻底探索环境，而没有任何预先指定的奖励函数。然后，给定任何外部奖励，代理通过规划算法使用在探索阶段收集的离线数据来计算策略。此外，我们在函数逼近的背景下解决这个问题，利用强大的函数逼近器。具体来说，我们建议通过结合内核和神经函数近似的值迭代算法的乐观变体进行探索，其中我们采用相关的探索奖金作为探索奖励。此外，我们设计的探索和规划算法的单代理MDP和零和马尔可夫游戏，并证明我们的方法可以实现$\widetilde{\mathcal{O}}(1 /\varepsilon^2)$样本复杂度生成一个$\varepsilon$ -次优策略或$\varepsilon$ -近似纳什均衡时，给出了任意的外在奖励。据我们所知，我们建立了第一个可证明有效的无奖励RL算法与核函数和神经函数逼近器。

2022-02-13cs.GTcs.LGstat.ML

不需要激活函数：

Activation functions are not needed: the ratio net

School of Engineering, Dali University（大理大学工程学院）；RoyalFlush Information Network Co.,Ltd（同花顺信息网络有限公司）

用于分类任务的深度神经网络基本上由两个组件组成：特征提取器和函数逼近器。它们通常作为一个整体工作，然而，对任何组件的改进都可以提高整个算法的性能。本文主要研究了一种新的函数逼近器的设计。传统上，为了建立函数逼近器，人们通常使用基于非线性激活函数或非线性核函数的方法，并产生经典的网络，例如前馈神经网络（MLP）和径向基函数网络（RBF）。本文提出了一种新的函数逼近器，是有效的和高效的。新提出的网络使用分数形式，而不是设计新的激活函数或核函数。为了方便起见，我们将该网络命名为比率网。在手写体数字的mnist数据库和二进制情感分析数据集的互联网电影数据库（IMDb）上，比较了比率网络、RBF和MLP与各种激活函数在分类任务中的有效性和效率。结果表明，在大多数情况下，比率网络收敛速度更快，性能优于MLP和RBF。

2021-12-03cs.LGcs.NE

关系函数与注意力机制的逼近

Approximation of relation functions and attention mechanisms

Yale University（耶鲁大学）；Wu Tsai Institute（吴茨艾研究所）；Institute for Foundations of Data Science（数据科学基础研究所）

本文证明神经网络内积可通用逼近对称与非对称关系函数，给出神经元数界，并用于解释 Transformers 注意力可逼近预序检索机制。

2024-06-15cs.LGstat.ML

核上的函数空间分布

Function-Space Distributions over Kernels

Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Microsoft（微软）

高斯过程是灵活的函数逼近器，具有由协方差核控制的归纳偏差。学习核是表示学习和强预测性能的关键。在本文中，我们开发了函数核学习（FKL），直接推断核函数后验。特别是，我们把一个变换的高斯过程的谱密度，诱导核函数的非参数分布。由此产生的方法，使学习丰富的表示，支持任何固定内核，内核的值的不确定性，和一个可解释的规范的先验直接在内核，而不需要复杂的初始化或手动干预。我们通过椭圆切片采样进行推理，这是特别适合于边缘化后验与典型的函数空间建模的强相关先验。我们开发了我们的方法，用于非均匀，大规模，多任务和多维数据，并在广泛的设置，包括插值，外推和内核恢复实验中表现出良好的性能。

2019-10-29cs.LGstat.ML

更多相关论文收起更多论文

使用核平方和学习PSD值函数

Learning PSD-valued functions using kernel sums-of-squares

INRIA Paris（法国国家信息与自动化研究所巴黎中心）；ENS - Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机科学系）；PSL Research University（巴黎文理研究大学）

形状约束，如矩阵的半正定性（PSD）或函数的凸性，在机器学习和科学（包括度量学习、最优运输和经济学）的许多应用中起着核心作用。然而，很少有函数模型存在，强制PSD性或凸性具有良好的经验性能和理论保证。在本文中，我们介绍了一个内核的平方和模型的功能，采取值的PSD锥，扩展内核平方和模型，最近提出的编码非负标量函数。我们提供了这类PSD函数的表示定理，它构成了一个普遍的逼近PSD函数，并推导出特征值界的情况下，子采样等式约束。然后，我们将我们的研究结果建模凸函数，通过执行内核的平方和表示他们的Hessian，并表明，任何光滑和强凸函数，因此可以表示。最后，我们说明了我们的方法PSD矩阵值回归任务，标量值凸回归。

2022-01-24cs.LGstat.ML

接近比专注更重要？光滑径向核推理的一种近似观点

Approximation beats concentration? An approximation view on inference with smooth radial kernels

Ohio State University（俄亥俄州立大学）

正定核及其相关的再生核希尔伯特空间为从数据中学习提供了一个数学上令人信服且实际上具有竞争力的框架。在本文中，我们采取近似理论的观点来探讨光滑核的各个方面与它们的推理性质。我们分析了核算子和矩阵的特征值衰减，特征函数/特征向量的性质和“傅立叶”系数的功能限制在一个离散的数据点的核空间。我们还研究了核的拟合能力，给出了再生核希尔伯特空间中球的脂肪粉碎维数的明确界限。有趣的是，使核函数在其“原生”核空间中非常有效的逼近器的相同属性，也限制了它们表示任意函数的能力。我们讨论了各种影响，包括那些梯度下降型方法。值得注意的是，我们的大多数边界都是测度独立的。此外，至少在中等维度上，特征值的界限比通常的矩阵集中结果所能得到的界限要严格得多。例如，我们看到核矩阵的特征值显示出近似指数衰减，常数仅取决于核和域。我们称之为“近似节拍集中”现象，因为即使数据是从概率分布中采样的，它们的一些方面在近似理论中也能得到更好的理解。

2018-08-02cs.LGstat.ML

核神经算子（KNOs）：可扩展、内存高效、几何灵活的算子学习

Kernel Neural Operators (KNOs) for Scalable, Memory-efficient, Geometrically-flexible Operator Learning

Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）；Department of Mathematics（数学系）；Sandia National Laboratories（桑迪亚国家实验室）；Scientific Machine Learning（科学机器学习）；Scientific Computing and Imaging (SCI) Institute（科学计算与成像（SCI）研究所）

提出核神经算子（KNO），通过组合深度核积分算子实现算子学习，具有收敛性、低内存和几何灵活性，在基准测试中以更少参数达到可比或更高精度。

2026-06-02cs.LGcs.NAmath.NA

使用内核学习RoboCup-Keepaway

Learning RoboCup-Keepaway with Kernels

University of Mainz（美因茨大学）；University of Hertfordshire（赫特福德大学）

我们采用基于核的方法来解决困难的强化学习问题的3vs2 keepaway在RoboCup模拟足球。Keepaway的关键挑战是状态空间的高维性（使得传统的基于离散化的函数近似，如平铺编码不可行），由于噪声和多个学习代理需要合作（这意味着环境的确切动态是未知的）和实时学习（这意味着需要有效的在线实现）而引起的随机性。我们采用近似的政策迭代与最小二乘为基础的政策评估的一般框架。作为底层函数逼近器，我们考虑了具有回归子子集逼近的正则化网络族。我们提出的解决方案的核心是一个有效的递归实现与相关的基函数的自动监督选择。模拟结果表明，通过我们的方法学习的行为明显优于Stone等人（2005）早期使用平铺编码获得的最佳结果。

2012-01-31cs.AIcs.LGcs.MA

论深度全卷积神经网络的万能逼近性质

On the Universal Approximation Property of Deep Fully Convolutional Neural Networks

本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近，证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近，并验证了这些条件的必要性。

2023-05-18cs.CVcs.LG

基于黎曼优化的强化学习高斯混合模型 Q 函数

Gaussian-Mixture-Model Q-Functions for Reinforcement Learning by Riemannian Optimization

Tokyo Institute of Technology（东京工业大学）

本文提出 GMM-QFs，用高斯混合模型逼近 Q 函数损失并通过黎曼优化学习高斯核参数，作为策略迭代中的新评估步骤，且在无经验数据时优于含 DQN 在内的方法。

2024-09-10cs.LG

克服神经值逼近的谱偏差

Overcoming the Spectral Bias of Neural Value Approximation

NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)（NSF人工智能与基本相互作用研究所（IAIFI））；Computer Science and Artificial Intelligence Laboratory (CSAIL)（计算机科学与人工智能实验室（CSAIL））；Improbable AI Lab（Improbable人工智能实验室）；Massachusetts Institute Technology（麻省理工学院）

使用深度神经网络的值近似是离线深度强化学习的核心，通常是向算法的其余部分提供学习信号的主要模块。虽然多层感知器网络是通用函数逼近器，但最近的神经核回归研究表明存在谱偏差，其中拟合价值函数的高频分量需要比低频分量更多的梯度更新步骤。在这项工作中，我们通过核回归的镜头重新审视了政策外强化学习，并提出通过复合神经切线核来克服这种偏差。只需一个单一的线变化，我们的方法，傅立叶特征网络（FFN）产生最先进的性能上具有挑战性的连续控制域，只有一小部分的计算。更快的收敛和更好的偏离策略稳定性也使得可以在不遭受灾难性发散的情况下移除目标网络，这进一步降低了TD（0）对一些任务的估计偏差。

2022-06-09cs.LGstat.ML

浅表示是深：学习不确定性感知和最坏情况随机特征动态

Shallow Representation is Deep: Learning Uncertainty-aware and Worst-case Random Feature Dynamics

Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）

随机特征是一种强大的通用函数逼近器，继承了核方法的理论严谨性，可以扩展到现代学习任务。本文将不确定系统模型看作是泛再生核Hilbert空间中的未知或不确定光滑函数。通过直接近似的一步动力学函数使用随机功能与不确定的参数，这是等效的浅贝叶斯神经网络，我们然后把整个动力系统看作是一个多层神经网络。利用哈密顿动力学的结构，我们表明，使用庞特里亚金的最小值原理找到最坏情况下的动力学实现相当于在深层网络上执行Frank-Wolfe算法。动态学习的各种数值实验展示了我们的建模方法的能力。

2021-06-24cs.LGcs.SYeess.SY

大脑中的加法函数近似

Additive function approximation in the brain

University of Washington（华盛顿大学）

许多生物学习系统，如蘑菇体、海马体和小脑，都是由稀疏连接的神经元网络构成的。为了对这种网络有一个新的理解，我们研究了由稀疏随机特征引起的函数空间，并描述了哪些函数可以学习，哪些不能学习。每个神经元具有$d$输入的网络被发现等价于阶数为$d$的加性模型，而具有度分布的网络结合了不同阶数的加性项。我们确定了稀疏性的三个具体优势：加性函数近似是一个强大的归纳偏差，限制了维数灾难，稀疏网络对输入中的离群噪声是稳定的，稀疏随机特征是可扩展的。因此，即使是简单的大脑架构也可以是强大的函数逼近器。最后，我们希望这项工作有助于在计算神经科学家中推广网络的核心理论。

2019-09-13cs.LGcs.NEq-bio.NC

关于强化学习中的函数逼近：面对大状态空间的乐观主义

On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces

Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of California, Berkeley（加州大学伯克利分校）

强化学习（RL）的经典理论集中于价值函数的表格和线性表示。进一步的进展取决于将RL与核函数和深度神经网络等现代函数逼近器相结合，事实上，在大规模应用中利用这种组合已经取得了许多经验性的成功。然而，在开发一种理论来支持这一企业方面存在着深刻的挑战，最值得注意的是需要考虑RL核心的探索-利用权衡，以及现代基于函数近似的学习系统中出现的计算和统计权衡。我们通过研究最小二乘值迭代算法的乐观修改来接近这些挑战，在由核函数或过参数化神经网络表示的动作价值函数的上下文中。我们建立多项式运行时复杂度和多项式样本复杂度的算法，没有额外的假设的数据生成模型。特别是，我们证明了该算法招致的$\tilde{\mathcal{O}}(δ_{\mathcal{F}} H^2 \sqrt{T})$遗憾，其中$δ_{\mathcal{F}}$的特点是内在的复杂性的功能类$\mathcal{F}$，$H$是每个情节的长度，和$T$是情节的总数。我们的遗憾界是独立的状态的数量，这一结果清楚地表现出在RL函数逼近的好处。

2020-12-29cs.AIcs.LGmath.OC

测度的结构化逼近

Structured Approximations of Measures

Department of Mathematics, The University of Texas at Arlington（德克萨斯理工大学数学系）；Division of Data Science, The University of Texas at Arlington（德克萨斯理工大学数据科学分校）；Department of Applied Mathematics, Brown University（布朗大学应用数学系）

研究在Wasserstein-p距离下用结构化逼近器近似概率测度，证明函数逼近方案以线性速率转移为测度逼近，并给出具体方案和误差界。

2026-06-25cs.LGcs.NAmath.NA