Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University(普林斯顿大学)
在线性映射序列在某个子空间上收敛快得多的条件下,建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术,然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维,和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能,也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University(庆应义塾大学);CNRS(法国国家科学研究中心)
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方(KNLMS)算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Average Gradient Outer Product in kernel regression provably recovers the central subspace for multi-index models
Department of Mathematics, University of Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195);Wharton Department of Statistics and Data Science, University of Pennsylvania, Philadelphia, PA 19104, USA(宾夕法尼亚大学沃顿统计与数据科学系,美国费城19104);Department of Mathematics, U. Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195);Department of Electrical & Computer Engineering, University of Washington, Seattle, WA 98195, and Amazon, Inc(华盛顿大学电气与计算机工程系,华盛顿州西雅图98195,亚马逊公司)
本文研究了在有限样本下通过核岭回归恢复多索引模型中心子空间的方法,证明了平均梯度外积的前r个特征空间能有效恢复中心子空间,展示了预测与表示的分离性。
2026-05-14 cs.LG math.ST stat.ML
Large-scale Kernel-based Feature Extraction via Budgeted Nonlinear Subspace Tracking
University of Minnesota(明尼苏达大学)
基于核的方法在处理各种学习任务时具有强大的泛化能力。当这样的方法提供有足够的训练数据,广泛适用的类的非线性函数可以近似所需的精度。然而,基于核的估计的非参数性质所固有的计算和内存要求,成为大规模数据集的禁止。为了应对这一艰巨的挑战,目前的工作提出了一个低秩,基于内核的,特征提取方法,特别是针对在线操作,其中数据流不需要存储在内存中。一种新的生成模型被引入到近似高维(可能是无限的)的功能,通过一个低秩的非线性子空间,学习导致一个直接的核函数近似。离线和在线求解器的子空间学习任务,以及负担得起的版本,其中存储的数据向量的数量被限制在一个预定义的预算。分析结果提供了性能界限如何以及内核矩阵以及基于内核的分类和回归任务可以近似利用预算在线子空间学习和特征提取方案。合成和真实数据集上的测试表明,当线性分类和回归应用于提取的特征时,所提出的方法的效率和基准。
2017-12-26 cs.LG stat.ML
Models Parametric Analysis via Adaptive Kernel Learning
本文提出一种自适应核学习方法,通过调整核形状和权重进行模型参数分析,以扩展传统核SVM的灵活性,并通过最小化测试误差选择正则化参数。
2025-01-24 math.OC math.ST stat.TH
Kernel dimension reduction in regression
提出了一种新的充分降维方法。我们的方法直接从SDR的公式中推导出协变量$X$与响应$Y$的条件独立性,给定$X$在中心子空间上的投影[cf. J. Amer. Statistist. Assoc.86(1991)316- 342和Regression Graphics(1998)Wiley]。我们表明,这种条件独立断言可以在再生核希尔伯特空间的条件协方差算子的特点,我们展示了这种特性如何导致中央子空间的$M$估计。由此产生的估计是一致的弱条件下,特别是,我们不必施加线性或椭圆性条件的SDR方法通常调用的种类。我们还提出了实证结果表明,新的方法在实践中是有竞争力的。
2009-08-13 math.ST stat.TH
Disturbance Grassmann Kernels for Subspace-Based Learning
University of Science and Technology of China(中国科学技术大学)
在本文中,我们专注于基于子空间的学习问题,其中数据元素是线性子空间而不是向量。为了处理这类数据,提出了格拉斯曼核来测量空间结构并与分类器一起使用,例如,支持向量机。然而,现有的判别算法大多忽略了子空间的不稳定性,这将导致分类器被干扰的例子误导。因此,我们建议在学习过程中考虑子空间的所有潜在干扰,以获得更强大的分类器。首先,我们推导出一个已知分布的干扰线性分类器的对偶优化,从而产生一个新的内核,扰动格拉斯曼(DG)内核。其次,我们研究了与基的子空间矩阵和奇异值有关的两类扰动,利用这两类扰动,我们将Grassmann流形上的投影核推广为两种新的核。对动作数据的实验表明,所提出的内核相比,最先进的基于子空间的方法,即使在更恶劣的环境下,执行更好。
2018-06-18 cs.LG
A weighted subspace exponential kernel for support tensor machines
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);University of Bath(巴斯大学);TU Chemnitz(开姆尼茨工业大学)
张量形式的高维数据对于核分类方法是具有挑战性的。为了降低计算复杂度并提取信息特征,已经提出了基于低秩张量分解的核。然而,这些内核利用张量的哪些决定性特征通常是不清楚的。在本文中,我们提出了一种新的内核,是基于塔克分解。对于这个内核的塔克因子计算的基础上重新加权的塔克矩阵与可调功率的奇异值从HOSVD分解。这提供了一种平衡Tucker核心的贡献和数据因子的机制。我们在几个数据集上使用这个新内核对支持张量机器进行了基准测试。首先,我们生成合成数据,其中两个类在Tucker因子或核心方面不同,并比较我们的新内核和以前存在的内核。我们展示了新内核的鲁棒性,这两个分类方案。我们进一步在真实世界的数据集上测试了新方法。所提出的核已被证明比最先进的张量训练多路多级核具有更高的测试精度,并且计算时间显著降低。
2023-02-16 cs.LG stat.ML
Feature Extraction for Change-Point Detection using Stationary Subspace Analysis
检测高维时间序列的变化很困难,因为它涉及到需要从有限样本中估计的概率密度的比较。在本文中,我们提出了第一个特征提取方法,专门针对变化点检测,这是基于一个扩展版本的平稳子空间分析。我们将数据的维度降低到最不稳定的方向,这对于检测时间序列中的状态变化是最有用的。在广泛的模拟合成数据,我们表明,三个变化点检测算法的准确性显着增加了前特征提取步骤。这些发现证实了在工业故障监测的应用。
2011-08-11 cs.LG
Towards Robust Nonlinear Subspace Clustering: A Kernel Learning Approach
Université de Sherbrooke(谢布鲁克大学)
本文提出DKLM,一种数据驱动的核学习非线性子空间聚类方法,通过自适应核学习与块对角亲和矩阵优化,提升聚类鲁棒性并在实验中验证其有效性。
2025-01-20 cs.CV cs.LG stat.ML
Fisher and Kernel Fisher Discriminant Analysis: Tutorial
University of Waterloo(滑铁卢大学)
这是一篇详细的教程论文,解释了Fisher判别分析(FDA)和内核FDA。我们从投影和重建开始。然后,一维和多维FDA子空间。在FDA中解释了两类和多类的分散。然后,我们讨论了散射点的秩和子空间的维数。还提供了一个真实的例子来解释FDA。然后,可能的奇异性的散射进行了讨论,介绍了强大的FDA。PCA和FDA的方向也进行了比较。我们还证明了FDA和线性判别分析是等价的。Fisher森林也被引入作为一个集合的Fisher子空间有用的处理数据与不同的功能和维度。之后,内核FDA解释了一维和多维子空间与两个和多个类。最后,在AT&T人脸数据集上进行了一些模拟,以说明FDA并将其与PCA进行比较。
2022-08-01 cs.LG stat.ML
Gaussian Mixture Models with Component Means Constrained in Pre-selected Subspaces
IBM Almaden Research Center(IBM阿尔马登研究中心);The Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了一个分量均值约束在一个预先选定的子空间中的高斯混合模型。分类和聚类的应用进行了探讨。EM型估计算法的推导。我们证明了包含具有公共协方差阵的GMM的分量均值的子空间也包含密度和类均值的模。这促使我们通过对核密度和类均值的模式应用加权主成分分析来找到子空间。为了避免核带宽难以确定的困难,我们从基于带宽序列的核密度中获得多个子空间。对每个子空间约束下的GMM进行估计,并选择产生极大似然的模型。一个降维属性被证明在意义上的分类或聚类的信息。在真实数据集和模拟数据集上进行了实验,研究了几种确定子空间的方法,并与降秩混合判别分析(MDA)进行了比较。我们的新方法与简单的技术,跨越子空间,只有类的手段往往优于降秩MDA时,子空间维数很低,使它特别吸引人的可视化。
2015-08-26 cs.LG stat.ML
Roweis Discriminant Analysis: A Generalized Subspace Learning Method
University of Waterloo(滑铁卢大学)
提出了一种基于特征值和广义特征值问题的子空间学习方法。这种方法,Roweis判别分析(RDA),是以Sam Roweis的名字命名的,他在子空间学习领域有着重要的贡献。RDA是一系列无限数量的算法,其中主成分分析(PCA)、监督PCA(SPCA)和Fisher判别分析(FDA)是特殊情况。一个极端的特殊情况,我们称之为双重监督判别分析(DSDA),使用两次标签;它是新颖的,并没有出现在其他地方。我们提出了一个双重的RDA的一些特殊情况。我们还提出了核RDA,推广核PCA,核SPCA和核FDA,使用双重RDA和表示理论。我们的理论分析解释了以前已知的事实,如为什么SPCA可以使用回归,但FDA不能,为什么PCA和SPCA有卷积,但FDA没有,为什么内核PCA和内核SPCA使用内核技巧,但内核FDA没有,以及为什么PCA是最好的线性重建方法。Roweisfaces和内核Roweisfaces也提出了推广的特征脸,Fisherfaces,监督特征脸,和他们的内核变种。我们还报告了一些基准数据集上的实验表明RDA和内核RDA的有效性。
2019-10-11 cs.CV cs.LG stat.ML
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University(哈佛大学);George Washington University(乔治华盛顿大学)
本文提出基于旋转的更新机制,在再生核希尔伯特空间中向新样本旋转子空间估计,结合鲁棒影响函数抑制异常值,实现流式数据上核PCA的动态跟踪,实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Expanding the Family of Grassmannian Kernels: An Embedding Perspective
Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息与通信技术研究院)
将视频和图像集建模为线性子空间已经证明对许多视觉识别任务是有益的。然而,它也带来了挑战,因为线性子空间不服从欧几里得几何,而是位于一种特殊类型的黎曼流形上,称为格拉斯曼流形。为了利用为具有子空间的欧几里德空间开发的技术(例如,支持向量机),最近的一些研究提出通过利用正定核将格拉斯曼嵌入到希尔伯特空间中。不幸的是,只有两个格拉斯曼核是已知的,其中没有一个-正如我们将要展示的-是通用的,这限制了它们任意逼近目标函数的能力。在这里,我们介绍了几个正定格拉斯曼内核,包括通用的,并证明他们的优越性,在各种任务,如分类,聚类,稀疏编码和散列比以前已知的内核。
2014-07-04 cs.CV cs.LG stat.ML
Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UnifyID AI Labs(UnifyID人工智能实验室)
在CNN内核中通常观察到内核稀疏性(“垂死的ReLU”)和缺乏多样性,这降低了模型容量。从信息论和无线通信中汲取灵感,我们通过CNN中的格拉斯曼子空间填充问题展示了编码理论和深度学习的交叉。我们提出了Grassmannian包装的初始内核层被初始化最大程度地远离弦或Fubini学习距离的基础上。用格拉斯曼填充初始化的卷积核表现出不同的特征,并得到不同的表示。我们发现,格拉斯曼包装,特别是在初始层中,解决了内核稀疏性并鼓励多样性,同时提高了浅层和深层CNN的分类精度,具有更好的收敛速度。
2019-11-18 cs.IT cs.LG math.IT
Dynamic Regret for Online Regression in RKHS via Discounted VAW and Subspace Approximation
Institute of Mathematics, Mechanics and Computer Sciences of the Southern Federal University(南方联邦大学数学、力学与计算机科学研究所)
本文提出在RKHS中利用折扣VAW和子空间逼近方法,研究在线回归的动态遗憾问题,通过有限维子空间近似将有限维折扣VAW方法扩展到RKHS,并通过正交截断方法实现快速和慢速情形下的动态遗憾界。
2026-08-11 cs.LG
A Labeled Graph Kernel for Relationship Extraction
INESC-ID;IST(高等技术学院)
在本文中,我们提出了一种基于标记图核的关系抽取(RE)方法。我们提出的内核是一个特殊化的随机游走内核,利用先前在RE文献中研究的两个属性:(i)候选实体之间的单词或在句法表示中连接它们的单词特别可能携带有关关系的信息;以及(ii)将来自不同来源的信息结合在一个内核中可以帮助RE系统做出更好的决策。我们在蛋白质-蛋白质相互作用的数据集上进行了实验,结果表明,我们的方法获得的有效性值与最先进的核方法相当。此外,我们的方法是能够优于国家的最先进的内核时,与其他内核方法相结合。
2013-02-20 cs.CL cs.LG
Eigenfunction Extraction for Ordered Representation Learning
Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系)
本研究针对现有表示学习方法仅能恢复核顶部本征函数线性张成空间、无法实现精确谱分解的问题,提出提取有序可辨识本征函数的通用框架,验证了其在特征选择与效率-准确率权衡上的有效性。
2025-10-28 cs.LG stat.ML
Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation
Department of Automation, Shanghai Jiao Tong University(上海交通大学自动化系);Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系);School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);China Mobile (Shanghai) Information and Communication Technology Co., Ltd.(中国移动(上海)信息技术有限公司);School of Computing, Macquarie University(麦考瑞大学计算机学院)
研究针对深度神经网络分布外检测问题,利用核主成分分析框架,通过选择余弦 - 高斯核及近似技术,有效刻画分布外与分布内数据差异,提高检测功效和效率,为非线性特征子空间检测提供新见解与方法。
2026-07-15 cs.CV cs.LG
Random features for Grassmannian kernel approximation with bounded rank-one projections
UCLouvain(天主教鲁汶大学);INMA;ICTEAM
该研究提出带约束秩一投影的随机特征,用于近似Grassmann核,可降低计算内存开销,在合成数据和ETH-80分类任务上表现良好,为经典Grassmann核提供可扩展替代方案。
2026-08-06 cs.LG eess.SP
Robust Kernel Sparse Subspace Clustering
Ruđer Bošković Institute(鲁杰·博什科维奇研究所)
针对现有核子空间聚类无法处理非高斯稀疏损坏的问题,提出首个鲁棒核稀疏子空间聚类算法,经两个数据集和Wilcoxon检验验证,性能显著优于线性鲁棒基线,且原理可推广至其他子空间聚类算法。
2024-01-30 cs.LG
Quasiparticle Interference Kernel Extraction with Variational Autoencoders via Latent Alignment
Department of Computer Science \& \ University of Notre Dame South Bend, IN, USA;Department of Physics \& Astronomy University of Notre Dame South Bend, IN, USA
本文提出基于变分自编码器和潜在对齐的AI框架,实现复杂散射条件下准粒子干涉核的高效提取。
2026-02-13 cs.LG
Subspace Kernel Learning on Tensor Sequences
Griffith University(格里菲斯大学);Data61 CSIRO;University of New South Wales(新南威尔士大学)
本文提出UKTL框架,通过不确定性驱动的子空间加权和可扩展的Nyström线性化,实现对多模式张量的高效学习,取得最先进的性能和有意义的模式洞察。
2026-03-20 cs.AI cs.CV cs.LG
Multiple Kernel Learning and Automatic Subspace Relevance Determination for High-dimensional Neuroimaging Data
Işık University(伊希克大学);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);University of Southern California(南加州大学)
阿尔茨海默病是痴呆症的主要原因。其诊断需要对疾病阶段敏感的准确生物标志物。在这方面,我们把概率分类作为设计疾病分期的概率生物标志物的方法。概率生物标志物自然支持决策的解释和与之相关的不确定性的评估。在本文中,我们通过高斯过程获得概率生物标志物。高斯过程使概率核机器能够提供灵活的方法来完成多核学习。利用这种灵活性,我们提出了一种新的变化的自动相关性确定和解决的挑战,通过多个内核的高维。我们的研究结果表明,高斯过程模型是竞争或优于著名的支持向量机的分类性能,即使在单核学习的情况下。将基本方案扩展到多核学习,我们提高了高斯过程模型的有效性及其在疾病的已知解剖学相关性方面的可解释性。例如,疾病的病理学开始于海马体和内嗅皮层及其周围。通过使用高斯过程和多核学习,我们已经自动有效地确定了神经成像数据的这些部分。除了可解释性之外,我们的高斯过程模型在类似设置下与最近的深度学习解决方案相比具有竞争力。
2017-06-02 cs.LG q-bio.NC stat.ML
On the Use of Different Feature Extraction Methods for Linear and Non Linear kernels
Institute of Computer Science of Tunis (ISI)(突尼斯计算机科学研究所);National School of Engineer of Tunis (ENIT)(突尼斯国家工程师学院)
语音特征提取一直是鲁棒语音识别研究的重点,它对识别性能有着重要的影响。在本文中,我们首先研究了一组不同的特征提取方法,如线性预测编码(LPC),梅尔频率倒谱系数(MFCC)和感知线性预测(PLP)与几个特征归一化技术,如拉斯塔滤波和倒谱均值减法(CMS)。在此基础上,这些功能的比较评估的文本无关的说话人辨识使用高斯混合模型(GMM)和线性和非线性内核之间的组合基于支持向量机(SVM)的任务。
2014-06-27 cs.CL cs.LG
CobBO: Coordinate Backoff Bayesian Optimization with Two-Stage Kernels
Alibaba Group(阿里巴巴集团)
贝叶斯优化是一种用于优化昂贵的黑盒函数的流行方法。然而,它经常在计算可能过于繁重的高维空间中挣扎。为了缓解这个问题,我们引入了具有两阶段内核的协调退避贝叶斯优化(CobBO)。在每一轮中,第一阶段使用一个简单的粗糙内核,牺牲近似精度以提高计算效率。它通过有意消除局部波动来捕捉全球景观。然后,在同一轮的第二阶段中,将全空间中的过去观测点投影到所选择的子空间以形成虚拟点。这些虚拟点,连同使用第一阶段的简单内核估计的其未知函数值的均值和方差,在第二阶段中被拟合到更复杂的内核模型。在所选择的低维子空间内,在其中进行贝叶斯优化的计算成本变得负担得起。为了进一步提高性能,在同一子空间中收集一系列连续的观测值,这可以有效地改进函数的近似。这种细化一直持续到满足停止规则,确定何时从某个子空间后退并切换到另一个子空间。这种解耦显著降低了高维中的计算负担,这充分利用了整个空间中的观测,而不是仅依赖于每个坐标子空间中的观测。广泛的评估表明,CobBO找到了与其他最先进的方法相当或更好的解决方案,尺寸范围从几十到几百,同时降低了试验的复杂性和计算成本。
2022-04-19 cs.AI cs.LG math.OC
Kernelized Hashcode Representations for Relation Extraction
USC Information Sciences Institute(南加州大学信息科学研究所);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
核方法已经为诸如关系抽取的许多NLP任务产生了最先进的结果,但是由于计算自然语言结构之间的核相似性的高成本而具有较差的可扩展性。最近提出的一种技术,核局部敏感哈希(KLSH),可以显着降低计算成本,但只适用于kNN图上操作的分类器。在这里,我们建议使用随机子空间的KLSH码有效地构建一个显式表示的NLP结构适用于一般的分类方法。此外,我们提出了一种方法,用于优化KLSH模型的分类问题,通过最大限度地近似之间的互信息的KLSH代码(特征向量)和类标签。我们在生物医学关系抽取数据集上评估了所提出的方法,并观察到在准确性方面的显著和稳健的改进。最先进的分类器,以及与传统内核方法相比的急剧(数量级)加速。
2019-05-20 cs.CL cs.IR cs.LG
Learning Fair Representations for Kernel Models
Carnegie Mellon University(卡内基梅隆大学);Determined AI
公平代表是一个强大的工具,用于建立标准,如统计平等,代理非歧视,以及学习模型中的机会平等。用于学习这些表示的现有技术通常是模型不可知的,因为它们对原始数据进行预处理,使得输出满足某些公平性标准,并且可以与任意学习方法一起使用。相比之下,我们展示了学习模型感知的公平表示的承诺,专注于基于内核的模型。我们利用经典的充分降维(SDR)框架来构造表示作为再生核希尔伯特空间(RKHS)的子空间,其成员函数保证满足公平性。我们的方法支持几个公平的标准,连续和离散数据,和多个受保护的属性。我们进一步展示了如何校准的精度权衡的RKHS的子空间之间的主要角度来表征它。最后,我们应用我们的方法来获得公平贝叶斯学习的第一个公平高斯过程(FGP)先验,并表明它与真实数据上的最先进方法相比具有竞争力,并且在某些情况下优于最先进的方法。
2020-01-20 cs.LG stat.ML
Adaptive Graph Convolutional Subspace Clustering
Shanghai Maritime University(上海海事大学)
针对现有谱类型子空间聚类算法约束与特征提取分离的问题,提出自适应图卷积子空间聚类方法,同步实现特征提取与系数矩阵约束,经实验验证性能优于相关方法及部分深度模型。
2023-05-05 cs.AI cs.LG
Bilinear discriminant feature line analysis for image feature extraction
提出了一种新的用于图像特征提取的双线性鉴别特征线分析方法。最近特征线(NFL)是一种功能强大的分类器。近年来,出现了一些基于NFL的子空间算法。在大多数经典的基于NFL的子空间学习方法中,输入样本是向量。对于图像分类任务,应首先将图像样本转换为向量。该过程导致高的计算复杂性,并且还可能导致样本的几何特征的损失。提出的BDFLA是一种基于矩阵的算法。它旨在基于二维(2D)NFL最小化类内分散并最大化类间分散。在双图像数据库上的实验结果证实了该方法的有效性。
2019-05-03 cs.CV cs.LG
Shorting Dynamics and Structured Kernel Regularization
Mathematical Reviews(数学评论)
本文提出了一种非线性算子动态,用于构造不变核和结构正则化,通过残差分解实现核岭回归的规范形式和无关变量不变性。
2025-12-04 cs.LG math.FA
Mitigating exponential concentration in covariant quantum kernels for subspace and real-world data
E.ON Digital Technology GmbH(E.ON数字技术有限公司);IBM Quantum, IBM Research – Italy(IBM量子计算,IBM研究院-意大利);IBM Quantum, IBM Research Europe – Dublin(IBM量子计算,IBM欧洲研究院-都柏林);IBM Quantum, IBM Research – India(IBM量子计算,IBM印度研究院)
本研究通过引入Bit Flip Tolerance策略缓解量子核的指数集中问题,展示了在156个量子位上多类分类的高准确率,达到经典SVC水平,是当前IBM设备上量子机器学习的最大实验演示。
2024-12-10 cs.LG quant-ph
Learning the nonlinear geometry of high-dimensional data: Models and algorithms
Rutgers University(罗格斯大学)
现代信息处理依赖于高维数据位于低维几何结构附近的公理。本文重新审视了这些几何结构的数据驱动学习问题,并提出了两个新的非线性几何模型的数据描述“相关”的对象/现象。第一个模型跨越子空间模型和子空间联合模型的两个极端,称为度量约束子空间联合模型(MC-UoS)。这些模型中的第二个-适合于从非线性流形的混合物中提取的数据-概括了核子空间模型,并且被称为度量约束核子空间联合(MC-KUoS)模型。本文件在这方面的主要贡献如下。首先,它激发和形式化的MC-UoS和MC-KUoS学习的问题。其次,它提出了有效地学习MC-UoS或MC-KUoS底层数据的算法。第三,它将这些算法扩展到部分数据丢失的情况。最后,但并非最不重要的是,它报告了一系列数值实验的结果,涉及合成和真实的数据,证明了所提出的几何模型和学习算法的优越性,在文献中现有的方法。这些实验也有助于澄清这项工作和文献(子空间和核k-means)聚类之间的联系。
2015-08-10 cs.CV cs.LG stat.ML
Walk Extraction Strategies for Node Embeddings with RDF2Vec in Knowledge Graphs
IDLab(IDLab 实验室);Ghent University – imec(根特大学 – imec);Data and Web Science Group(数据与网络科学组);University of Mannheim(曼海姆大学);IBM Research Almaden(IBM 阿尔马登研究中心);IBM(IBM 公司)
由于KG是符号结构,因此必须应用专门的技术以使它们与数据采掘技术兼容。RDF 2 Vec是一种无监督的技术,可以通过扩展成功的语言建模技术来创建KG中节点的任务不可知的数值表示。最初的工作提出了Weisfeiler-Lehman(WL)内核来提高表示的质量。然而,在这项工作中,我们正式和经验表明,WL内核在单个KG的上下文中几乎没有改善步行嵌入。作为WL内核的替代方案,我们提出了五种不同的策略来提取基本随机游走的补充信息。我们在几个基准数据集上比较了这些行走,以表明\emph{n-gram}策略在节点分类任务上的平均性能最好,并且调整行走策略可以提高预测性能。
2020-09-09 cs.AI cs.LG stat.ML
Intrinsic Grassmann Averages for Online Linear, Robust and Nonlinear Subspace Learning
University of Florida(佛罗里达大学);Technical University of Denmark(丹麦技术大学)
主成分分析(PCA)和核主成分分析(KPCA)是机器学习中降维的基本方法。前者是在有限维中找到这种近似的技术,后者通常是在无限维再生核希尔伯特空间(RKHS)中。在本文中,我们提出了一个几何框架计算的主要线性子空间在这两种情况下,以及强大的PCA的情况下,这相当于计算的内在平均空间的所有子空间:格拉斯曼流形。这个流形上的点被定义为观测的$K$ -元组所张成的子空间。这些子空间的内在格拉斯曼平均值与观测的主成分一致,当它们是从高斯分布中得出的。我们在RKHS的情况下,类似的结果,并提供了一个有效的算法计算到这个平均子空间的投影。其结果是一种类似于KPCA的方法,其速度要快得多。此外,我们提出了一个新的在线版本的KPCA使用我们的几何框架。我们所有的算法的竞争力表现证明了各种真实和合成数据集。
2018-07-10 cs.CV cs.LG
A Survey on Multi-view Learning
University of Technology, Sydney(悉尼科技大学);Peking University(北京大学)
近年来,通过考虑不同视图的多样性,已经提出了许多从多视图数据中学习的方法。这些视图可以从多个源或不同的特征子集获得。为了组织和突出各种多视图学习方法之间的相似性和差异性,我们回顾了不同领域的一些代表性多视图学习算法,并将其分为三类:1)协同训练,2)多核学习,3)子空间学习。值得注意的是,协同训练风格的算法交替地进行训练,以最大化关于数据的两个不同视图的相互一致性;多核学习算法利用自然对应于不同视图的核,并线性或非线性地组合核,以提高学习性能;子空间学习算法的目标是通过假设输入视图是从多个视图共享的潜在子空间生成的,子空间虽然在整合多个视图以提高学习绩效的方法上存在显著差异,但它们主要利用一致性原则或互补性原则来确保多视图学习的成功。多视图的获取是多视图学习的基础,因此,除了从多视图学习模型的研究外,如何构建多视图以及如何评价这些视图的研究也是很有价值的。总体而言,通过探索不同视图的一致性和互补性,多视图学习比单视图学习更有效,更有前途,具有更好的泛化能力。
2013-04-20 cs.LG
Review of Kernel Learning for Intra-Hour Solar Forecasting with Infrared Sky Images and Cloud Dynamic Feature Extraction
The University of New Mexico(新墨西哥大学)
由光伏系统产生的能量的不确定性导致了有保证的、可靠的能量供应的额外成本(即,能量存储)。本研究旨在通过引入概率多任务小时内太阳能预测(在实时的应用中可行)来增加光伏系统在电网中的渗透率,从而降低额外成本。移动云的方向估计在连续序列的天空图像通过提取云的动态预测的全球太阳辐照度,达到光伏系统的目标的功能。天空图像是使用安装在太阳跟踪器上的低成本红外天空成像仪获得的。太阳预测算法基于核学习方法,以晴空指数作为预测因子,从云层中提取特征作为特征向量。提出的太阳预报算法在15秒的分辨率下提前8分钟达到16.45%的预报精度。与之相比,以往的工作在分辨率为1 min时,预测精度达到15.4%。因此,这种太阳能预测算法提高了相对于最先进技术的性能,为电网运营商提供了管理具有高渗透率的光伏系统的电网的固有不确定性的能力。
2021-10-11 cs.LG eess.IV
Endmember Extraction on the Grassmannian
Colorado State University(科罗拉多州立大学)
端元提取在各种数据分析问题中起着重要的作用,因为端元通常对应于表示某些特征的最纯或最佳代表的数据。识别端元然后可以用于进一步的识别和分类任务。在具有高维数据的设置中,例如高光谱图像,考虑作为子空间的端元可能是有用的,因为它们能够捕获签名的更大范围的变化。因此,在这种设置中的端元提取问题转化为寻找格拉斯曼点集的凸包的顶点。在存在噪声的情况下,可能不太清楚是否应将点视为顶点。在本文中,我们提出了一种算法来提取端元的格拉斯曼,确定感兴趣的子空间,位于附近的边界的一个凸包,并演示了使用该算法的合成的例子和220光谱波段AVIRIS印度松高光谱图像。
2018-07-03 cs.CV cs.LG eess.IV
Kernel Correlation-Dissimilarity for Multiple Kernel k-Means Clustering
School of Mathematical Science, Inner Mongolia University(内蒙古大学数学科学学院);The Chinese University of Hong Kong(香港中文大学)
针对现有多核k均值聚类仅用单一相关性或不相似性指标刻画核关系存在偏差的问题,提出融合核相关性与不相似性的新方法,在13个基准数据集上实现了优于现有最优MKKM技术的聚类性能。
2024-03-06 cs.CV cs.LG