Transport based Graph Kernels
Department of Computer Science and Technology(计算机科学与技术系);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Jiangsu Province(江苏省)
图核是度量图之间相似性的有力工具。现有的图核大多集中在节点标签或属性上,忽略了图的层次结构信息。为了有效利用图的层次结构信息,提出了基于最优传输的金字塔图核。每个图都嵌入到金字塔的分层结构中。然后,OT距离被用来衡量图之间的相似性的层次结构。利用OT距离度量子图之间的相似性,提出了基于OT的子图核。基于最优传输距离的图核的半正定性(p.s.d)不一定是可能的。我们进一步提出了基于OT的正则化图核,其中我们将核正则化添加到原始的最优传输距离以获得p.s.d核矩阵。我们在几个基准分类任务上评估了所提出的图内核,并将其性能与现有的最先进的图内核进行了比较。在大多数情况下,我们提出的图核算法优于竞争的方法。
2020-11-02 cs.LG
Task-similarity Aware Meta-learning through Nonparametric Kernel Regression
KTH Royal Institute of Technology(瑞典皇家理工学院);Linköpings University(林雪平大学)
本文研究了使用非参数核回归来获得任务相似性感知的元学习算法。我们的假设是,使用tasksimilarity有助于元学习时,可用的任务是有限的,可能包含离群值/不相似的任务。虽然现有的元学习方法隐含地假设任务是相似的,但通常不清楚如何量化这种任务相似性并将其用于学习。因此,大多数流行的元学习方法不主动使用任务之间的相似性/相异性,而是依赖于大量任务的可用性。我们的贡献是一个新的框架,明确使用任务相似性的内核和相关的元学习算法的形式的元学习。我们将特定于任务的参数建模为属于再生核希尔伯特空间,其中核函数捕获任务之间的相似性。该算法迭代学习一个元参数,用于为每个任务分配一个特定于任务的描述符。任务描述符,然后使用量化的任务相似性,通过核函数。我们展示了我们的方法如何在概念上概括流行的元学习方法模型不可知元学习(MAML)和Meta-随机梯度下降(Meta-SGD)方法。回归任务的数值实验表明,我们的算法优于这些方法时,任务的数量是有限的,即使在存在离群值或不相似的任务。这支持了我们的假设,即任务相似性有助于提高元学习绩效的任务限制和不利的设置。
2020-10-12 cs.LG stat.ML
Twin Learning for Similarity and Clustering: A Unified Kernel Approach
Southern Illinois University(南伊利诺伊大学)
许多基于相似性的聚类方法分为两个独立的步骤,包括相似性矩阵计算和随后的谱聚类。然而,相似性度量是具有挑战性的,因为它通常受到许多因素的影响,例如,相似性度量、邻域大小、数据规模、噪声和离群点的选择。因此,学习的相似性矩阵通常不适合,更不用说最佳的,为后续的聚类。此外,非线性相似性往往存在于许多现实世界中的数据,然而,没有被有效地考虑到大多数现有的方法。为了解决这两个挑战,我们提出了一个模型,同时学习聚类指示矩阵和核空间中的相似性信息的原则性方式。我们展示了核k-均值,k-均值和谱聚类方法的理论关系。然后,为了解决如何为特定的聚类任务选择最合适的内核的实际问题,我们进一步扩展了我们的模型与多核学习能力。利用该模型,可以自动完成寻找最佳聚类指标矩阵、最精确的相似关系和多核函数的最优组合三个子任务。通过在联合框架中利用这三个子任务之间的交互,每个子任务可以通过使用其他子任务的结果来迭代地提高整体最优解。大量的实验证明了我们的方法的有效性。
2017-05-03 cs.CV cs.LG stat.ML
Kernel similarity matching with Hebbian neural networks
Princeton University(普林斯顿大学)
最近的工作已经得到了神经网络与在线相关为基础的学习规则来执行\textit{kernel similarity matching}。这些工作将现有的线性相似性匹配算法应用于通过随机傅里叶方法生成的非线性特征。本文尝试通过直接学习非线性特征来进行核相似性匹配。我们的算法通过推导并最小化输出和输入内核相似性之间的平方误差之和的上界来进行。我们的上限的建设导致在线相关的学习规则,可以实现1层递归神经网络。除了生成高维线性可分离的表示,我们表明,我们的上限自然产生的表示是稀疏的和选择性的特定输入模式。我们比较我们的方法的近似质量神经随机傅立叶方法和流行的,但非生物的“Nystr{<$}m”方法近似的核矩阵的变体。我们的方法似乎是可比的或优于随机采样Nystr{<$}m方法时,输出是相对较低的维度(虽然仍然可能比输入更高的维度),但不太忠实时,输出是非常高维的。
2022-04-15 cs.LG cs.NE
Fast Approximation of Similarity Graphs with Kernel Density Estimation
University of Edinburgh(爱丁堡大学)
针对相似性图构建复杂度高且空间呈二次依赖的问题,提出基于核密度估计的算法框架构建稀疏近似图,在保留聚类结构的同时显著优于scikit-learn和FAISS库的实现。
2023-10-21 cs.DS cs.LG
Region-Point Joint Representation for Effective Trajectory Similarity Learning
针对SOTA轨迹相似性学习方法未充分利用轨迹信息的问题,提出RePo方法,联合编码区域级(空间上下文)和点级(细粒度移动模式)特征并自适应融合,经含难负样本的对比损失训练,较基线平均提升22.2%准确率。
2025-11-17 cs.CV cs.IR cs.LG
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research(Snap 研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);National University of Singapore(新加坡国立大学);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类,而成对相似性对它们的性能至关重要。在本文中,我们提出了一种新的判别相似性学习框架,学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器,并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析,将核分类器的泛化误差界表示为不同类数据的两两相似度之和,并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的,并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性,我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Generalization bound for kernel similarity learning
Spotify(声田)
相似性学习已经引起了人们的极大兴趣,并且是许多科学和工业应用的重要工具。在这个框架中,我们希望推断点之间相对于任意距离函数$d$的距离(相似性)。在这里,我们将问题公式化为从特征空间$\mathcal{X}$到任意向量空间$\mathcal{Y}$的回归,其中欧几里得距离与$d$成比例。然后,我们给出了推广误差的拉德马赫复杂度界。我们发现,在高概率情况下,复杂度是由$\mathcal{X}$的半径和$\mathcal{Y}$的半径的最大值的限制。
2016-10-20 cs.LG stat.ML
A principled distributional approach to trajectory similarity measurement
Nanjing University(南京大学)
轨迹的现有测量和表示具有两个长期存在的基本缺点,即,它们在计算上是昂贵的,并且它们不能保证距离函数的“唯一性”属性:dist(X,Y)= 0当且仅当X=Y,其中$X$和$Y$是两个轨迹。本文提出了一种简单而强大的方法来表示轨迹和测量两个轨迹之间的相似性,使用分布式内核来解决这些缺点。它是一种基于核均值嵌入的原理性方法,具有很强的理论基础。与现有方法相比,它有三个显著特点。(1)一个分布核是第一次用于轨迹表示和相似性度量。(2)它不依赖于在大多数现有的轨迹距离中使用的点到点距离。(3)它不需要学习,不像现有的学习和深度学习方法。我们展示了这种新方法在三个应用中的通用性:(a)轨迹异常检测,(b)异常子轨迹检测,和(c)轨迹模式挖掘。我们发现,分布式内核具有(i)独特的数据相关属性和上述唯一性属性,这是导致其卓越的特定于任务的性能的关键因素;(ii)比现有的距离度量快几个数量级的运行时间。
2023-01-01 cs.LG
Similarity Kernel and Clustering via Random Projection Forests
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Linkedin Inc(领英公司);Indigo Agriculture Inc(靛蓝农业公司);DiDi Research America(滴滴美国研究院)
相似性在数据采掘、机器学习、统计学等许多应用领域都起着重要的作用。受集成方法的成功和树的灵活性的启发,我们提出通过随机投影森林(rpForests)学习一个称为rpf-kernel的相似性内核。我们的理论分析揭示了rpf内核的一个非常理想的属性:远(不相似)点具有低相似性值,而近(相似)点具有高相似性,并且相似性具有原生解释,即在rpForests的生长过程中,点保留在相同叶节点中的概率。学习的rpf核导致了一个有效的聚类算法-rpfCluster。在各种各样的真实和基准数据集上,rpfCluster与K-means聚类,谱聚类和最先进的聚类集成算法-Cluster Forests相比毫不逊色。我们的方法是简单的实现和容易适应的几何基础数据。鉴于其理想的理论属性和竞争力的经验性能时,应用于聚类,我们期望rpf核适用于许多问题的无监督性质或作为正则化在一些监督或弱监督设置。
2019-08-28 cs.LG stat.ME stat.ML
Large Scale, Large Margin Classification using Indefinite Similarity Measures
尽管流行的核化支持向量机取得了成功,但它们有两个主要限制:它们仅限于半正定(PSD)核,并且它们的训练复杂度至少与数据大小成二次方。许多样本对之间的相似性的自然度量不是PSD,例如不变内核,以及由潜变量模型隐式或显式定义的那些。在本文中,我们研究了可扩展的方法,使用不确定的相似性措施,在大利润率的框架。特别是,我们表明,一个子集的数据点的相似性的归一化构成了一个表示适合线性分类器。其结果是一个分类器,这是竞争的核心SVM的准确性,尽管有更好的训练和测试时间复杂度。实验结果表明,在CIFAR-10数据集上,该模型配备了对刚性和非刚性变形不变的相似性度量,可以使稀疏度提高5倍以上,同时比使用RBF核的核化SVM更准确。
2014-05-27 cs.CV cs.LG stat.ML
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science(魏茨曼科学研究所);University of Maryland, College Park(马里兰大学帕克分校)
最近的理论工作表明,大规模过参数化神经网络等价于使用神经切线核(NTK)的核回归器。实验表明,这些核方法的性能类似于真实的神经网络。在这里,我们表明,NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了,对于超球上的归一化数据,两个核具有相同的本征函数,并且它们的本征值以相同的速率多项式衰减,这意味着它们的再生核希尔伯特空间(RKHS)包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据,但实验表明,当数据被正确规范化,这些差异是不显着的。最后,我们提供了真实数据的实验,比较NTK和拉普拉斯内核,以及更大的一类γ指数内核。我们发现,这些表现几乎相同。我们的研究结果表明,许多关于神经网络的见解可以从著名的拉普拉斯核,它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Overlapping clustering based on kernel similarity metric
Larodec, ISG University of Tunis(突尼斯ISG大学Larodec);Ceremade, Université Paris-Dauphine(巴黎第九大学Ceremade)
产生重叠方案是集群中的一个主要问题。最近提出的重叠方法依赖于最佳覆盖的搜索,并基于不同的度量,如欧几里得距离和I-Divergence,用于测量观测之间的接近度。在本文中,我们提出了另一种基于核相似性度量的重叠聚类方法,并利用Gram矩阵估计重叠聚类的个数。在Iris和EachMovie数据集上的实验结果表明,基于核相似性度量的聚类数估计方法是正确的,并且提高了重叠聚类的查准率、查全率和f-measure。
2012-11-29 cs.LG stat.ME stat.ML
Deep Layer-wise Networks Have Closed-Form Weights
Northeastern University(东北大学);University College London(伦敦大学学院)
目前,神经科学界对大脑执行反向传播(BP)的可能性存在争议。为了更好地模拟大脑,已经提出了一种仅使用“单次向前传递”来训练网络$\textit{one layer at a time}$的方法,作为绕过BP的替代方案;我们将这些网络称为“逐层”网络。我们通过回答两个悬而未决的问题来继续分层网络的工作。首先,$\textit{do they have a closed-form solution?}$其次,$\textit{how do we know when to stop adding more layers?}$这项工作证明了内核均值嵌入是实现网络全局最优的封闭形式权重,同时驱动这些网络收敛到一个高度理想的内核进行分类;我们称之为$\textit{Neural Indicator Kernel}$。
2022-02-09 cs.LG stat.ML
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University(西安电子科技大学);JD Finance American Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
深度度量学习(DML)在各种机器学习任务中起着至关重要的作用。然而,大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降,这是至关重要的,以提高DML的鲁棒性和泛化能力。在本文中,我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息,\textit{i.e.},类的分歧和样本的一致性。具体而言,类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息,而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是,我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是,新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明,与当前的深度度量学习方法相比,我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
在现实世界的联邦学习场景中,由于使用不同的标签排列或处理完全不同的任务或域,参与者可能拥有自己的个性化标签,这些标签与其他客户端的标签不兼容。然而,大多数现有的FL方法不能有效地解决这种极端异构的情况下,因为他们经常假设(1)所有参与者使用一组同步的标签,(2)他们训练相同的任务,从同一个域。在这项工作中,为了应对这些挑战,我们引入了Factorized-FL,它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置,其中一个向量捕获不同标签和任务之间的公共知识,另一个向量捕获每个本地模型处理的特定于任务的知识。此外,基于客户端特定向量空间中的距离,Factorized-FL执行选择性聚合方案,以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法,在这些设置上,它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity
Department of Computer Science and Engineering, The Ohio State University(计算机科学与工程系,俄亥俄州立大学)
本文通过简单余弦相似度分析Transformer逐层表示相似性,提出对齐训练方法增强浅层有效性,实现单分类器多出口模型,性能与标准多出口架构相当。
2025-05-22 cs.AI cs.CL cs.CV
Autoencoding beyond pixels using a learned similarity metric
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Twitter
我们提出了一个自动编码器,它利用学习的表示来更好地测量数据空间中的相似性。通过将变分自编码器与生成对抗网络相结合,我们可以使用GAN中的学习特征表示作为VAE重建目标的基础。因此,我们用特征错误替换元素错误,以更好地捕获数据分布,同时提供对例如翻译的不变性。我们将我们的方法应用于人脸图像,并表明它在视觉保真度方面优于VAE与元素相似性度量。此外,我们表明,该方法学习的嵌入,其中高层次的抽象视觉特征(如戴眼镜)可以使用简单的算法进行修改。
2016-02-10 cs.CV cs.LG stat.ML
Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学)
虽然Few-Shot分类已被广泛探索与基于相似性的方法,Few-Shot序列标记构成了一个独特的挑战,因为它也要求建模的标签依赖性。同时考虑项目的相似性和标签依赖性,我们建议利用条件随机场(CRF)在Few-Shot序列标记。该算法采用基于相似度的方法计算发射分数,并通过专门设计的转换机制获得转换分数。在Few-Shot场景中应用CRF时,不同领域之间的标签集的差异使得难以使用在先前领域中学习的标签依赖性。为了解决这个问题,我们引入了依赖转移机制,转移抽象标签转换模式。此外,相似性方法依赖于高质量的样本表示,这对于序列标记是具有挑战性的,因为当测量单词与不同句子中的单词的相似性时,单词的含义是不同的。为了弥补这一点,我们利用最近的上下文嵌入技术,并进一步提出了一个成对的嵌入器。它通过成对地嵌入查询和支持语句来为词义提供额外的确定性。槽标记和命名实体识别的实验结果表明,我们的模型显着优于最强的少样本学习基线分别为11.76(21.2%)和12.18(97.7%)的F1分数在一次性设置。
2019-09-09 cs.CL cs.LG
Similarity Search Over Graphs Using Localized Spectral Analysis
Tel Aviv University(特拉维夫大学)
本文提出了一种新的相似性检测算法。给定一组多维数据点的输入,其中每个数据点被假设为是多维的,以及用于相似性查找的附加参考数据点,该算法使用将数据点嵌入到低维流形中的核方法。与其他内核方法不同,这些方法考虑嵌入的整个数据,我们的方法选择一组特定的内核特征向量。特征向量被选择为在数据点和参考数据点之间分离,使得相似的数据点可以被容易地识别为与数据集中的大多数成员不同。
2017-07-11 cs.AI cs.LG
LKD-Net: Large Kernel Convolution Network for Single Image Dehazing
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Chongqing University of Posts and Telecommunications(重庆邮电大学)
基于深度卷积神经网络(CNN)的单幅图像去雾方法取得了显著的成功。以前的方法致力于通过增加网络的深度和宽度来提高网络的性能。目前的方法集中在增加卷积核的大小,以提高其性能,受益于更大的感受野。然而,直接增加卷积核的大小会引入大量的计算开销和参数。因此,本文设计了一种新的大核卷积去雾块(LKD块),该块由分解深度大核卷积块(DLKCB)和信道增强前馈网络(CEFN)组成。设计的DLKCB可以在不引入大量参数和计算开销的情况下,将深度方向的大核卷积分解为较小的深度方向卷积和深度方向的扩张卷积。同时,所设计的CEFN将信道注意力机制引入前馈网络,以利用重要信道,增强鲁棒性。通过组合多个LKD块和上下采样模块,进行大核卷积去雾网络(LKD-Net)。在SOTS室内数据集上,LKD-Net的#Param和FLOP分别只有1.79%和48.9%,显著优于基于Transformer的Dehamer方法。我们的LKD-Net的源代码可以在https://github.com/SWU-CS-MediaLab/LKD-Net上找到。
2022-09-05 cs.CV cs.LG
Adaptively Learning the Crowd Kernel
Microsoft Research New England(微软新英格兰研究院);Weizmann Institute of Science(魏茨曼科学研究所);UC San Diego(加州大学圣地亚哥分校)
我们介绍了一种算法,给定n个对象,仅从众包数据中学习所有n^2对的相似性矩阵。该算法的样本响应自适应选择基于三元组的相对相似性查询。每个查询都具有“对象'a'更类似于'b'还是'c'?“,并被选择为最大限度地提供信息,给出了前面的回答。输出是将对象嵌入到欧几里得空间(如MDS)中;我们将其称为“人群内核”。支持向量机显示,人群内核捕获了许多领域中的突出和微妙特征,例如领带中的“条纹”和字母中的“元音与辅音”。
2011-06-25 cs.LG
Similarity Learning via Kernel Preserving Embedding
University of Manitoba(曼尼托巴大学);University of Electronic Science and Technology of China(电子科技大学)
数据相似性是许多数据驱动应用中的关键概念。许多算法对相似性度量敏感。为了解决这个基本问题,通过自表达从数据中自动学习相似性信息已经被开发并成功应用于各种模型,例如低秩表示,稀疏子空间学习,半监督学习。然而,它只是试图重建原始数据和一些有价值的信息,例如,歧管结构在很大程度上被忽略。在本文中,我们认为,这是有益的,以保持整体关系时,我们提取相似性信息。具体来说,我们提出了一种新的相似性学习框架,通过最小化核矩阵的重建误差,而不是现有工作所采用的原始数据的重建误差。以聚类任务为例来评估我们的方法,我们观察到相当大的改进相比,其他国家的最先进的方法。更重要的是,我们提出的框架是非常普遍的,并提供了一个新的和基本的积木许多其他基于相似性的任务。此外,我们提出的核保持开辟了大量的可能性,将高维数据嵌入到低维空间。
2019-03-11 cs.AI cs.CV cs.LG
On the similarity of bandwidth-tuned quantum kernels and classical kernels
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫智能制造与自动化研究所)
本文通过数值与解析分析发现,最优带宽调谐会使保真度及投影量子核退化为类似RBF核或其低阶泰勒近似的多项式核,从而解释量子核缺乏量子优势的机制。
2025-07-28 cs.LG quant-ph
KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning
School of Electrical, Computer and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院)
深度神经网络(DNN)在学习新任务时可能会忘记先前任务的知识,这被称为\textit{catastrophic forgetting}。虽然最近的持续学习方法能够缓解玩具大小的数据集上的灾难性问题,但在将其应用于现实世界的问题时,仍有一些问题有待解决。最近,提出了基于掩码的快速学习方法(例如,piggyback \cite{mallya2018piggyback}),以通过以快速方式仅学习二进制元素掩码来解决这些问题,同时保持骨干模型固定。然而,二进制掩码对于新任务具有有限的建模能力。最近的工作\cite{hung2019compacting}提出了一种基于压缩-增长的方法(CPG),通过部分训练骨干模型来实现新任务的更好准确性,但具有更高的训练成本,这使得它不可能部署到流行的最先进的边缘/移动学习中。本研究的主要目标是在持续学习环境下同时实现快速、高精度的多任务适应。因此,出于动机,我们提出了一种新的训练方法称为\textit{kernel-wise Soft Mask}(KSM),它学习一个内核明智的混合二进制和实值软掩模为每个任务,同时使用相同的骨干模型。这种软掩码可以被视为二进制掩码和适当缩放的实值张量的叠加,其提供了更丰富的表示能力,而无需低级内核支持以满足低硬件开销的目标。我们在多个基准数据集上验证了KSM与最近最先进的方法(例如Piggyback,Packnet,CP…
2020-09-11 cs.AI cs.CV cs.LG
Labeled Subgraph Entropy Kernel
近年来,核方法在相似性度量中得到了广泛的应用。具体而言,图核被广泛用于生物信息学、化学和金融数据分析领域。然而,现有的方法,特别是基于熵的图核,受到大的计算复杂性和节点级信息的忽视。本文提出了一种新的标记子图熵图核,它在结构相似性评估中表现良好。设计了一种动态规划子图枚举算法,有效地降低了时间复杂度。特别地,我们提出了标记子图,它丰富了子结构拓扑的语义信息。类比统计力学中气体团簇的团簇膨胀过程,重新推导了配分函数,并计算了全局图熵来表征网络。为了测试我们的方法,我们应用了几个真实世界的数据集,并评估了不同任务的效果。为了捕捉更多的实验细节,我们定量和定性地分析了不同的拓扑结构的贡献。实验结果成功地证明了我们的方法的有效性,优于几个国家的最先进的方法。
2023-03-21 cs.LG
The All-Paths and Cycles Graph Kernel
University of York(约克大学)
随着最近可用的结构化数据量的增加,人们对利用图进行机器学习的方法产生了相当大的兴趣。这些方法中的许多都是核方法,其重点是测量图之间的相似性。这些通常涉及测量结构元素的相似性,例如步行或路径。Borgwardt和Kriegel提出了全路径核,但强调它是NP-难计算的,在实践中是不可行的,而倾向于最短路径核。在本文中,我们介绍了一种新的算法来计算所有路径的核,这是非常有效的,并进一步丰富了它包括简单的循环以及。我们演示了它是如何可行的,即使在大型数据集上计算所有的路径和简单的循环到一个中等的长度。我们展示了如何计数标记的路径/简单的循环之间的顶点的图和评估标记的路径和简单的循环内核。在各种图数据集上的广泛评估表明,所有路径和循环内核具有优于最短路径内核的性能和最先进的整体性能。
2017-08-04 cs.LG
Learning Kernels by Alignment for Multiclass Bayes Classification
本文提出通过对齐学习核,将协作学习视为核对齐过程,并用马氏距离扩展CLaI至多类分类,在多个数据集上提升准确率、收敛速度和校准性能。
2026-09-17 cs.LG
Ordinal Pattern Kernel for Brain Connectivity Network Classification
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
脑连接网络表征了脑区域的功能或结构相互作用,已被广泛用于脑疾病分类。基于核的方法,例如图核(即,定义在图上的核),已被提出用于测量大脑网络的相似性,并产生了有前途的分类性能。然而,大多数图核都是建立在未加权图上的(即,网络),而忽略了脑连接网络中有价值的边的权值信息,边权值传达了脑区域之间的时间相关性或纤维连接的强度。因此,在本文中,我们提出了一个有序模式核的大脑连接网络分类。与现有的度量未加权图的拓扑相似性的图核不同,所提出的有序模式核通过比较来自加权网络的有序模式来计算加权网络的相似性。为了评估所提出的序数核的有效性,我们进一步开发了一个基于深度优先的序数模式核,并在ADNI数据库的真实脑疾病数据集上进行了广泛的实验。结果表明,我们提出的有序模式内核可以实现更好的分类性能相比,国家的最先进的图形内核。
2021-01-18 cs.LG stat.ML
Probabilistic classifiers with low rank indefinite kernels
University of Birmingham(伯明翰大学);Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
不确定的相似性度量可以在生物信息学中通过比对分数来发现,但在其他领域也很常见,如图像检索中的形状度量。由于缺乏底层向量空间,数据仅以成对相似度给出。可用于此类数据的少数算法无法扩展到更大的数据集。针对概率批分类器,不定核Fisher判别(iKFD)和概率分类向量机(PCVM)都是这类数据的有效算法,但具有立方复杂度。在这里,我们提出了一个扩展的iKFD和PCVM,这样的线性运行时间和内存复杂性实现低秩不定内核。采用Nyström近似的不定内核,我们还提出了一个新的几乎无参数的方法来识别地标,仅限于一个监督学习的问题。在几个较大的相似性数据从不同领域的评估表明,所提出的方法提供了类似的泛化能力,同时更容易参数化和大规模数据的速度大大加快。
2016-04-08 cs.LG
Dynamic Similarity Graph Construction with Kernel Density Estimation
University of Edinburgh, United Kingdom(爱丁堡大学);University of St Andrews, United Kingdom(圣安德鲁大学)
本文针对动态数据流场景,提出基于核密度估计的动态数据结构以维护全连接相似图的稀疏近似,并据此开发快速动态谱聚类算法,在合成与真实数据集上验证了有效性。
2025-07-02 cs.DS cs.LG
Layer-wise LoRA fine-tuning: a similarity metric approach
本文提出逐层LoRA微调方法,通过选择性微调部分层以减少可训练参数并保持预测性能,适用于不同架构和任务。
2026-07-27 cs.LG
When Similarity Is Interaction-Driven: Quantum Kernels for Regime-Sensitive Learning
Centre for Quantitative Finance(定量金融中心);Risk Management Institute, National University of Singapore(新加坡国立大学风险管理研究所)
针对相似性由变量交互主导的决策场景,提出基于纠缠泡利串特征映射的交互驱动量子核,经合成与真实欺诈检测基准验证,其预测性能优于多种经典核,且可在经典计算机上精确评估。
2026-10-07 cs.LG quant-ph
Vertical Federated Principal Component Analysis and Its Kernel Extension on Feature-wise Distributed Data
Hong Kong Baptist University(香港浸会大学);Xidian University(西安电子科技大学)
尽管联邦学习(FL)在各个领域有着巨大的研究兴趣和快速的应用,但现有的研究大多集中在水平分区局部数据集环境下的有监督联邦学习。本文将研究垂直分区数据集下的无监督FL。因此,本文提出了垂直分区数据集联合主成分分析(VFedPCA)方法,该方法对所有客户端的联合数据集进行降维,并提取主成分特征信息用于下游数据分析。我们进一步利用非线性降维,并提出了垂直联邦高级核主成分分析(VFedAKPCA)方法,它可以有效地和协同建模的非线性性质存在于许多真实的数据集。此外,我们还研究了两种通信拓扑结构。第一种是服务器-客户端拓扑,其中半信任服务器协调联合训练,而第二种是完全分散的拓扑,通过允许客户端自己与邻居通信,进一步消除了对服务器的要求。在五种真实数据集上进行的大量实验证实了垂直分区FL设置下VFedPCA和VFedAKPCA的有效性。代码可在:https://github.com/juyongjiang/VFedPCA-VFedAKPCA
2022-03-03 cs.DC cs.LG
Point-Set Kernel Clustering
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);School of Information Technology, Deakin University(迪肯大学信息技术学院)
度量两个对象之间的相似性是现有聚类算法的核心操作,用于将相似的对象分组到类中。本文介绍了一种新的相似性度量称为点集核,它计算一个对象和一组对象之间的相似性。建议的聚类过程利用这种新的措施来表征每个集群从一个种子对象。我们表明,新的聚类过程是有效的和高效的,使其能够处理大规模的数据集。相比之下,现有的聚类算法要么是高效的,要么是有效的。与最先进的密度峰值聚类和可扩展的核k均值聚类相比,我们表明,该算法是更有效的,运行速度的数量级更快时,适用于数百万个数据点的数据集,在常用的计算机上。
2022-01-06 cs.LG stat.ML
Kernel functions based on triplet comparisons
University of Tübingen(图宾根大学);Rutgers University(罗格斯大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
仅给出关于数据集的相似三元组形式的信息“对象A与对象B比与对象C更相似”,我们提出了在数据集上定义核函数的两种方法。虽然以前的方法构建了一个低维的欧几里得嵌入的数据集,反映了给定的相似性三元组,我们的目标是定义对应于高维嵌入的核函数。这些核函数随后可用于将任何核方法应用于数据集。
2017-10-29 cs.DS cs.LG stat.ML
Out of Sight, Out of Mind: A Source-View-Wise Feature Aggregation for Multi-View Image-Based Rendering
NAVER Corp.(NAVER公司);Seoul National University(首尔大学)
在基于图像的多视点渲染中,为了估计三维点的体密度和颜色,通常的方法是检查给定的源图像特征之间的一致性,这是估计过程的信息线索之一。为此,大多数先前的方法利用等权重聚合特征。然而,当源图像特征集中包含一些经常因遮挡而出现的离群值时,这可能难以检查一致性的存在。在本文中,我们提出了一种新的source-view-wise特征聚合方法,这有助于我们找到一个强大的方式,通过利用本地结构的特征集中的共识。我们首先计算每个源特征的源视图距离分布。在此之后,距离分布被转换成几个相似性分布与建议的可学习的相似性映射函数。最后,对于特征集中的每个元素,通过计算加权均值和方差来提取聚合特征,其中权重来自相似性分布。在实验中,我们在各种基准数据集上验证了所提出的方法,包括合成和真实图像场景。实验结果表明,将所提出的功能,提高了性能的大幅度提高,从而在国家的最先进的性能。
2022-06-10 cs.CV cs.LG
On the generalization of Tanimoto-type kernels to real valued functions
Aalto University(阿alto大学)
本文提出一种更一般的Tanimoto核公式,通过统一属性表示为集合,度量任意实值函数的相似性,并提取显式特征表示及平滑近似。
2025-06-19 cs.LG stat.ML
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London(帝国理工学院)
在本文中,我们提出了一个扩展现有的算法(实例MIR),解决多实例回归(MIR)问题,也被称为分布回归。当数据是一组行李时,MIR设置出现,其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例,并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单,但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈,实例MIR算法已被证明是有竞争力的,当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题,并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法(instance-kme-MIR),并在所有数据集上获得了比基线instance-MIR更好的结果,同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
Deep Layer-wise Networks Have Closed-Form Weights
目前,神经科学界对大脑执行反向传播(BP)的可能性存在争议。为了更好地模拟大脑,已经提出了一种仅使用“单次向前传递”来训练网络\textit{one layer at a time}的方法,作为绕过BP的替代方案;我们将这些网络称为“逐层”网络。我们通过回答两个悬而未决的问题来继续分层网络的工作。第一,$\textit{do they have a closed-form solution?}$第二,$\textit{how do we know when to stop adding more layers?}$这项工作证明了核均值嵌入是实现网络全局最优的封闭形式权重,同时驱动这些网络收敛到一个高度理想的分类核;我们称之为$\textit{Neural Indicator Kernel}$。
2022-02-07 cs.LG math.ST stat.ML
Fuzzy Hashing as Perturbation-Consistent Adversarial Kernel Embedding
Cylance(赛伦斯)
度量两个文件的相似性是恶意软件分析中的一项重要任务,模糊哈希函数是一种流行的方法。传统的模糊哈希函数是数据不可知的:它们不从特定的数据集学习如何确定相似性;它们的行为在所有数据集上都是固定的。在本文中,我们证明了模糊哈希函数可以在一个新的极大极小训练框架中学习,并且这些学习的模糊哈希函数在便携式可执行文件的文件相似性任务中优于传统的模糊哈希函数。在我们的方法中,可以从两个内核网络的内核嵌入中提取哈希表,在极大极小框架中进行训练,其中训练期间参与者的角色(即对手与生成器)随着输入数据交替。我们把这种新的极大极小结构称为扰动一致的。一对文件的相似性得分是极小极大博弈在均衡中的效用。我们的实验表明,学习模糊哈希函数泛化良好,能够确定两个文件是相似的,即使其中一个文件是使用插入和删除操作生成的。
2018-12-17 cs.CR cs.LG stat.ML
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱分析是一个强大的工具,它可以将任何函数分解成更简单的部分。在机器学习中,默瑟定理推广了这一思想,为任何核和输入分布提供了频率递增函数的自然基础。最近,一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中,我们分析了深层神经网络的逐层谱偏置,并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明,初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Deep Kernels with Probabilistic Embeddings for Small-Data Learning
Carnegie Mellon University(卡内基梅隆大学);PathAI;Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
已知高斯过程(GP)通过其核函数捕获数据点之间的相似性,即使对于少量标记数据也能提供准确的预测和不确定性估计。然而,传统的GP核在捕获高维数据点之间的相似性方面不是很有效。神经网络可用于学习对高维数据中的复杂结构进行编码的良好表示,并且可用作GP内核的输入。然而,神经网络的巨大数据需求使得这种方法在小数据设置中无效。为了解决表示学习和数据效率的冲突问题,我们提出通过使用概率神经网络来学习概率嵌入上的深度内核。我们的方法将高维数据映射到低维子空间中的概率分布,然后计算这些分布之间的核以捕获相似性。为了实现端到端的学习,我们推导出一个函数梯度下降过程来训练模型。在各种数据集上的实验表明,我们的方法在监督和半监督设置中的GP核学习中的性能优于最先进的方法。我们还将我们的方法扩展到其他小数据范例,如Few-Shot分类,它在迷你Imagenet和CUB数据集上的性能优于以前的方法。
2021-11-14 cs.LG stat.ML
SoftStep: Learning Sparse Similarity Powers Deep Neighbor-Based Regression
Department of Population Health(人口健康系);Icahn School of Medicine at Mount Sinai(辛克医学院 Mount Sinai分校);Department of AI and Human Health(人工智能与人类健康系)
SoftStep通过学习稀疏实例级相似性,提升基于邻居的深度回归模型性能。
2025-12-04 cs.AI cs.LG
Clustering with Similarity Preserving
University of Electronic Science and Technology of China(电子科技大学);University of Pennsylvania(宾夕法尼亚大学);Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院)
基于图的聚类在许多任务中表现出良好的性能。基于图的方法的一个关键步骤是相似图的构造。一般来说,核空间中的学习图由于引入了非线性,可以提高聚类精度。然而,大多数现有的基于核的图学习机制不是相似性保持的,因此导致次优性能。为了克服这个缺点,我们提出了一个更具鉴别力的图学习方法,它可以保持样本之间的成对相似性,在自适应的方式为第一次。具体来说,我们要求学习的图接近核矩阵,这是原始数据相似性的度量。此外,该结构是自适应调整,使图的连接组件的数量是完全等于集群的数量。最后,我们的方法结合聚类和图学习,可以直接从图本身获得聚类指标,而无需执行进一步的聚类步骤。在几个数据集上的单个和多个内核学习场景中检查了这种方法的有效性。
2019-05-21 cs.AI cs.CV cs.LG
KCRC-LCD: Discriminative Kernel Collaborative Representation with Locality Constrained Dictionary for Visual Categorization
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);South China University of Technology(华南理工大学)
我们考虑的图像分类问题,通过核协同表示分类局部约束字典(KCRC-LCD)。具体地说,我们提出了一种核协同表示分类(KCRC)的方法,在该方法中,核方法被用来提高协同表示分类(CRC)的区分能力。然后,我们测量的查询和原子之间的相似性,以构建一个局部约束字典(LCD)的KCRC。此外,我们还讨论了LCD中的几种相似性度量方法,并进一步提出了一种简单有效的统一相似性度量方法,其优越性在实验中得到了验证。LCD有几个吸引人的方面。第一,LCD可以很好地纳入九铁的架构内。在KCRC下,可以将LCD相似性度量核化,从而在核方法下从理论上将CRC和LCD联系起来。其次,KCRC-LCD变得更可扩展到训练集大小和特征维度。算例表明,KCRC能够很好地对具有一定分布的数据进行分类,而传统的CRC则完全失效。在许多公共数据集上的综合实验也表明,KCRC-LCD是一种鲁棒的判别分类器,具有优异的性能和良好的可扩展性,与许多其他最先进的方法相当或优于其他方法。
2014-10-17 cs.CV cs.LG
LargeKernel3D: Scaling up Kernels in 3D Sparse CNNs
The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技);The University of Hong Kong(香港大学)
2D CNN的最新进展表明,大内核很重要。然而,当在3D CNN中直接应用大型卷积核时,会遇到严重的困难,其中2D中那些成功的模块设计在3D网络上变得令人惊讶地无效,包括流行的深度卷积。为了解决这个重要的挑战,我们提出了空间分区卷积及其大内核模块。因此,它避免了朴素3D大内核的优化和效率问题。我们的大内核3D CNN网络LargeKernel3D在语义分割和目标检测的3D任务中产生了显着的改进。它在ScanNetv2语义分割和NDS nuScenes目标检测基准测试中实现了73.9%的mIoU,在nuScenes LIDAR排行榜上排名第一。通过简单的多模态融合,性能进一步提升至74.2% NDS。此外,在Waymo 3D目标检测上,LargeKernel3D可以扩展到17x17x17的内核大小。这是第一次,我们表明,大内核是可行的,并为3D视觉任务所必需的。
2023-03-22 cs.CV cs.LG
Contrastive Learning Is Spectral Clustering On Similarity Graph
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qizhi Institute(上海期智研究院)
本文证明基于 InfoNCE 损失的对比学习等价于相似度图上的谱聚类,并将该理论扩展到 CLIP 模型,进而提出 Kernel-InfoNCE 损失以提升视觉任务表现。
2024-02-23 cs.AI cs.CV cs.LG
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题,提出一种结合响应变量信息的条件密度核加权方法,通过局部密度估计降低异常值影响,在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Zero Shot Molecular Generation via Similarity Kernels
Engineering Laboratory, University of Cambridge, Trumpington St(剑桥大学工程实验室);Institute for Computational Physics, University of Stuttgart, 70569 Stuttgart, Germany(斯图加特大学计算物理研究所);Department of Energy Conversion and Storage, Technical University of Denmark, Anker Engelunds Vej 301, 2800 Kgs. Lyngby, Denmark(丹麦技术大学能源转换与存储系)
本文通过分析基于能量的扩散模型中分数的行为,提出零样本分子生成方法SiMGen,利用时间相关相似性核和预训练力场描述符实现无需训练的可控分子生成。
2024-02-13 cs.LG physics.chem-ph
PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity
School of Computer Science, Georgia Institute of Technology, USA;The Cyprus Institute, Cyprus;School of Biological Sciences, Cold Spring Harbor Laboratory, USA
针对动态流式场景下的增量式数据选择问题,本文提出PEAKS方法,利用核相似性锚定的预测误差评估样本重要性,实验表明其性能持续优于现有选择策略。
2025-07-01 cs.LG stat.ML
Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis
Tokyo Institute of Technology(东京工业大学);Fujitsu(富士通);RIKEN AIP(理化学研究所人工智能研究中心);Institut de Mathématiques de Toulouse(图卢兹数学研究所);SNCF(法国国家铁路公司);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
本文提出 KCL 框架并以统计依赖刻画表征相似性结构,证明其能描述对比学习形成的聚类,同时给出下游分类误差、泛化误差及代理泛化保证。
2023-04-01 cs.LG stat.ML
Using Local Alignments for Relation Recognition
University of Amsterdam(阿姆斯特丹大学)
本文讨论了将结构相似性和语义相关性结合起来进行文本信息抽取的问题。为了准确识别的关系,我们引入本地对齐内核,并探讨各种可能性,使用它们来完成这项任务。我们给出了一个定义的局部比对(LA)内核的基础上的史密斯-沃特曼得分作为序列相似性的措施,并继续与一系列的可能性计算序列的元素之间的相似性。我们展示了如何从未标记数据中获得的分布相似性度量可以作为语义知识纳入学习任务。我们的实验表明,LA内核在各种生物医学语料库上产生了很好的结果,远远优于两个基线。已经进行了额外的一系列实验的数据集上的七个一般的关系类型,其中的LA内核的性能是目前国家的最先进的结果相媲美。
2014-01-16 cs.CL cs.IR cs.LG
Variational Quantum Kernels with Task-Specific Quantum Metric Learning
IBM(国际商业机器公司)
量子核方法,即,具有量子核的核方法作为量子机器学习(QML)的混合量子经典方法提供了明显的优势,包括对噪声中间尺度量子(NISQ)设备的适用性和用于解决所有类型的机器学习问题的用途。核方法依赖于高维(可能是无限维)特征空间中点之间的相似性概念。对于机器学习,相似性的概念假设在特征空间中接近的点在机器学习任务空间中应该是接近的。在本文中,我们讨论了使用变分量子内核与特定任务的量子度量学习来生成最佳量子嵌入(a.k.a.量子特征编码),其特定于机器学习任务。这种特定于任务的最优量子嵌入,隐含地支持特征选择,不仅对量子核方法在提高后者的性能方面有价值,而且它们对基于参数化量子线路(PQC)的非核QML方法作为预训练嵌入和迁移学习也有价值。这进一步证明了量子核方法的量子效用和量子优势(具有经典难以处理的量子嵌入)。
2022-11-26 cs.LG quant-ph