BioKERN: Biological Kernel Regularization for Histology-to-Transcriptomics Neighborhood Retrieval
Rice University(莱斯大学)
该研究针对空间解析生物学的组织学-转录组学邻域检索问题,提出BioKERN框架,通过结合转录组相似性与空间邻近性构建生物核实现正则化,在相关数据集上较BLEEP提升了检索性能。
2026-08-26 cs.LG q-bio.QM
Adaptive Multi-Neighborhood Attention based Transformer for Graph Representation Learning
Huazhong University of Science and Technology(华中科技大学)
通过将图的结构信息融入到Transformers中,图Transformers近年来在图表示学习方面表现出了良好的性能。现有的图Transformers利用特定的策略,例如节点对的拉普拉斯特征向量和最短路径,来保留节点的结构特征,并将它们馈送到普通的Transformer中以学习节点的表示。对于拓扑结构变化较大的任意图,这种预定义的规则很难提取信息丰富的图结构特征,限制了模型的学习能力。为此,我们提出了一个自适应图Transformer,称为多邻域注意基于图Transformer(MNA-GT),它捕获的多邻域注意力机制自适应的每个节点的图结构信息。MNA-GT通过将执行缩放点积的输入定义为注意力核,基于邻域的不同跳数构造多个注意力核,使得每个注意力核可以捕获每个节点对的对应邻域的特定图结构信息。通过这种方式,MNA-GT可以通过合并由不同注意力核学习的节点表示来有效地保留图的结构信息。MNA-GT还采用注意力层来学习不同注意力核的重要性,以使模型能够自适应地捕获不同节点的图结构信息。在各种图基准上进行了大量的实验,实证结果表明,MNA-GT优于许多强基线。
2022-11-15 cs.LG cs.SI
Faster Neighborhood Attention: Reducing the O(n^2) Cost of Self Attention at the Threadblock Level
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达公司);UIUC(伊利诺伊大学厄巴纳-香槟分校);SHI Labs(施实验室)
针对邻域注意力现有内核功能与性能受限的问题,提出批量GEMM实现与融合邻域注意力两种方法,大幅提升运行速度并实现恒定内存占用。
2024-10-31 cs.AI cs.CV cs.LG
Neighborhood Sampling Does Not Learn the Same Graph Neural Network
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
本文利用神经正切核与后验高斯过程分析图神经网络的邻域采样,证明有限样本下不同方法得到不同后验且协方差不可比较,从而解释为何没有采样方法占优。
2025-09-26 cs.LG stat.ML
Robust Hashing for Multi-View Data: Jointly Learning Low-Rank Kernelized Similarity Consensus and Hash Functions
The University of Adelaide(阿德莱德大学);The University of New South Wales(新南威尔士大学)
学习散列函数/代码用于多视图数据的相似性搜索正吸引越来越多的关注,其中相似的散列代码被分配给表征跨视图的一致邻域关系的数据对象。这类传统方法存在三个固有的局限性:1)它们通常采用两阶段方案,首先构造相似性矩阵,然后是随后的哈希函数学习; 2)这些方法通常是在假设具有多种表示的数据样本是无噪声的基础上开发的,这在实际应用中是不切实际的; 3)由于使用数据库($O(N)$)中的所有$N$点构建邻域图,往往会导致训练模型繁琐。在本文中,我们激发的问题,联合和有效地训练强大的哈希函数的数据对象与多特征表示,可能是噪声破坏。为了实现鲁棒性和训练效率,我们提出了一种有效和高效地学习低秩核化\footnote{We use kernelized similarity rather than kernel, as it is not a squared symmetric matrix for data-landmark affinity matrix.}散列函数的方法。具体地说,我们利用地标图来构造易处理的多视图相似性矩阵,以自动发现数据中的邻域结构。为了学习鲁棒的哈希函数,使用潜在的低秩核函数来构造哈希函数,以适应线性不可分的数据。特别是,潜在的核相似性矩阵恢复多个基于核的相似性矩阵的秩最小化。在真实世界的多视图数据集上进行的大量实验验证了我们的方法在存在错误损坏的情况下的有效性。
2016-11-17 cs.LG
DGCNN: Disordered Graph Convolutional Neural Network Based on the Gaussian Mixture Model
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室)
卷积神经网络(CNN)可以应用于图相似性匹配,在这种情况下,它们被称为图CNN。图CNN由于其有效性和效率而引起越来越多的关注。然而,现有的卷积方法只关注规则的数据形式,并且需要将图或图的关键节点邻域转换为相同的固定形式。在这个转移过程中,图的结构信息可能会丢失,并且一些冗余信息可能会被合并。为了克服这个问题,我们提出了基于混合高斯模型的无序图卷积神经网络(DGCNN),它通过增加一个称为无序图卷积层(DGCL)的预处理层来扩展CNN。DGCL使用混合高斯函数来实现卷积核与图的邻域中的节点之间的映射。DGCL的输出是CNN的输入。我们进一步实现了卷积层的反向传播优化过程,通过该过程,我们将不规则节点邻域结构的特征学习模型纳入网络。此后,卷积核的优化成为神经网络学习过程的一部分。DGCNN可以接受任意缩放和无序的邻域图结构作为CNN的感受野,这减少了图变换过程中的信息损失。最后,我们在多个标准图数据集上进行了实验。实验结果表明,该方法在图的分类和检索方面优于现有的方法。
2017-12-10 cs.LG stat.ML
On Kernelization of Supervised Mahalanobis Distance Learners
Chulalongkorn University(朱拉隆功大学)
本文主要研究了现有的有监督马氏距离学习器的核化问题。本文包括以下特点。首先,三个流行的学习器,即“邻域成分分析”,“大间隔最近邻”和“判别邻域嵌入”,这是没有核版本的核化,以提高其分类性能。其次,提出了一种称为“KPCA技巧”的核化框架。在新的框架中实现一个学习者获得了几个优势,在标准的框架,例如,没有数学公式,没有重新编程需要一个内核的实现,框架避免了麻烦的问题,如奇异性等第三,而真理的代表定理只是假设在以前的文件与我们有关,在这里,代表定理正式证明。证明验证了核技巧和KPCA技巧的Mahalanobis远程学习的上下文中。第四,不同于以往的作品,总是采用蛮力的方法来选择一个内核,我们研究了两种方法,可以有效地采用构造一个合适的内核为给定的数据集。最后,各种现实世界的数据集上的数值结果。
2009-01-30 cs.AI cs.LG
Asymmetric kernel in Gaussian Processes for learning target variance
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
这项工作将数据分布的多模态纳入高斯过程回归模型中。我们从判别的角度来处理这个问题,通过学习,联合在训练数据,目标空间方差在一定的样本附近,通过度量学习。我们首先使用数据中心,而不是所有的训练样本。随后,每个中心选择个性化的内核度量。这使得每个中心能够根据目标的拓扑结构调整其附近的核空间-一种多模态方法。我们还通过允许每个中心学习精度矩阵来增加连续性。我们实证证明了该模型的可靠性。
2018-03-19 cs.CV cs.LG stat.ML
Land Use Classification Using Multi-neighborhood LBPs
University Of Waterloo(滑铁卢大学)
在本文中,我们提出了使用多个本地二进制模式(LBP),有效地分类土地利用图像。我们使用UC Merced 21类土地利用图像数据集。由于数据集包含类内变异性和类间相似性,因此分类任务具有挑战性。我们提出的方法,使用多个邻域LBP结合最近邻分类器能够达到77.76%的准确率。进一步的类明智的分析,并提出适当的建议,进一步提高分类精度。
2019-02-07 cs.LG stat.ML
LoNe Sampler: Graph node embeddings by coordinated local neighborhood sampling
局部图邻域采样是一个基本的计算问题,是节点表示学习算法的核心。一些作品已经提出了学习离散节点嵌入的算法,其中图节点由离散特征表示,例如邻域节点的属性。与连续的word2vec节点嵌入相比,离散嵌入提供了几个优点:易于计算,可扩展性和可解释性。我们提出LoNe采样器,一套算法生成离散节点嵌入的局部邻域采样,并解决以前的工作的两个缺点。首先,我们的算法具有严格理解的理论性质。其次,我们展示了如何生成近似的显式向量映射,避免了用于训练核模型的Gram矩阵的昂贵计算。基准数据集上的实验证实了理论研究结果,并证明了所提出的方法的优点。
2022-11-28 cs.DS cs.LG
Interpretable Multiple-Kernel Prototype Learning for Discriminative Representation and Feature Selection
Center of Cognitive Interactive Technology (CITEC)(认知交互技术中心(CITEC));Bielefeld University(比勒费尔德大学)
基于原型的方法是领域专家和从业者特别感兴趣的,因为它们通过一小组代表来总结数据集。因此,在分类设置中,原型的可解释性与算法的预测准确性一样重要。然而,最先进的方法通过牺牲一个来支持另一个来在这些问题之间进行低效的权衡,特别是如果给定的数据具有基于内核的表示。在本文中,我们提出了一种新的可解释的多核原型学习(IMKPL)在特征空间中构建高度可解释的原型,这也是有效的数据的判别表示。我们的方法侧重于在特征空间中的类的局部歧视和塑造的原型的基础上凝聚类均匀的数据邻域。此外,IMKPL在特征空间中学习组合嵌入,更好地实现了上述目标。当基本核与数据维度一致时,这种嵌入导致有区别的特征选择。我们评估IMKPL的几个基准从不同的领域,这表明其优越性的相关国家的最先进的方法,无论是可解释性和歧视性表示。
2019-11-10 cs.LG stat.ML
IAN: Iterated Adaptive Neighborhoods for manifold learning and dimensionality estimation
Yale University(耶鲁大学)
在机器学习中验证流形假设需要了解流形的几何形状和维度,并且理论规定需要多少样本。然而,在应用程序中的数据是有限的,采样可能是不均匀的,流形属性是未知的,(可能)非纯的,这意味着邻居必须适应当地的结构。我们介绍了一种算法,用于推断自适应邻域的相似性核的数据。从一个局部保守的邻域(加布里埃尔)图开始,我们根据加权对应物迭代地稀疏化它。在每一步中,线性规划产生全局最小邻域,并且体积统计揭示可能违反流形几何的邻域离群值。我们将自适应邻域应用于非线性降维、测地线计算和维数估计。与标准算法的比较,例如,k-近邻,证明了它们的有用性。我们的算法代码将在https://github.com/dyballa/IAN上提供
2023-01-07 cs.AI cs.CG cs.LG
Urban2Vec: Incorporating Street View Imagery and POIs for Multi-Modal Urban Neighborhood Embedding
Stanford University(斯坦福大学);Renmin University of China(中国人民大学)
理解城市的内在模式和预测城市的时空特征需要对城市街区进行全面的表征。现有的作品依赖于区域间或区域内的连通性来生成邻域表示,但未能充分利用邻域内的信息丰富但异构的数据。在这项工作中,我们提出了Urban2Vec,这是一个无监督的多模态框架,它结合了街景图像和兴趣点(POI)数据来学习邻域嵌入。具体来说,我们使用卷积神经网络从街景图像中提取视觉特征,同时保持地理空间相似性。此外,我们将每个POI建模为包含其类别,评级和评论信息的词袋。类似于自然语言处理中的文档嵌入,我们在向量空间中建立邻域(“文档”)与其周围POI中的单词之间的语义相似度。通过将视觉、文本和地理空间信息联合编码到邻域表示中,Urban2Vec可以在下游预测任务中实现比基线模型更好的性能,并与全监督方法相媲美。在美国三个大都市区的大量实验也证明了模型的可解释性、泛化能力及其在邻域相似性分析中的价值。
2020-01-29 cs.CV cs.LG stat.ML
A Simple Hypergraph Kernel Convolution based on Discounted Markov Diffusion Process
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Tencent AI LAB(腾讯人工智能实验室)
离散结构上的核计算对象之间的成对相似性,从而捕获语义和固有拓扑信息。现有的离散结构核函数只利用图的拓扑信息(如邻接矩阵),而没有考虑对象的原始属性。本文提出了一个两阶段的范例,以聚合离散结构的折扣马尔可夫扩散可学习核(DMDLK)的综合信息。具体来说,基于DMDLK的底层投影,我们设计了一个简单超图核卷积(SHKC)隐藏表示的顶点。SHKC可以调整扩散步骤,而不是堆叠卷积层来聚合来自长范围邻域的信息,这可以防止现有超图卷积的过度平滑问题。此外,我们利用一致稳定性界定理在转导学习分析的关键因素的有效性和推广能力的SHKC从理论的角度。在多个节点分类任务的基准数据集上的实验结果验证了SHKC优于现有方法的性能。
2022-10-30 cs.LG
Generalized Neighborhood Attention: Multi-dimensional Sparse Attention at the Speed of Light
Georgia Tech(佐治亚理工学院);NVIDIA(英伟达);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出广义邻域注意力(GNA),统一多种稀疏注意力模式,并基于Blackwell架构的FMHA内核实现,在FP16下达到1.3 petaFLOPs/s,且无需微调即可为生成模型带来28%-46%的端到端加速。
2025-04-23 cs.AI cs.CV cs.LG
SCoNE: Spherical Consistent Neighborhoods Ensemble for Effective and Efficient Multi-View Anomaly Detection
SCoNE通过直接使用多视图实例表示一致邻域,无需中间表示,实现O(N)时间复杂度,提升多视图异常检测的准确性和效率。
2025-12-05 cs.LG
Gradual Weisfeiler-Leman: Slow and Steady Wins the Race
University of Vienna(维也纳大学)
经典的Weisfeiler-Leman算法(又称颜色细化)是使用核和神经网络进行图学习的基础。该算法最初是为图同构测试而开发的,它迭代地细化顶点颜色。在许多数据集上,稳定着色在几次迭代之后达到,并且机器学习任务的最佳迭代次数通常甚至更低。这表明颜色发散得太快,定义的相似性太粗糙。我们概括了颜色细化的概念,并提出了一个逐步邻域细化的框架,它允许较慢的收敛到稳定的着色,从而提供了一个更细粒度的细化层次结构和顶点相似性。我们通过聚类顶点邻域来分配新的颜色,取代了原来的单射颜色分配函数。我们的方法是用来获得新的变种现有的图形内核和近似的图形编辑距离通过最佳分配顶点相似性。我们表明,在这两个任务中,我们的方法优于原来的颜色细化,只有一个温和的增加运行时间推进的最先进的。
2022-12-08 cs.DS cs.LG
The Fast Kernel Transform
Cornell University(康奈尔大学)
核方法是现代机器学习算法的一个高效且广泛使用的集合。实际上所有这些方法的基本限制是涉及简单地二次缩放的核矩阵的计算(例如,构造核矩阵和矩阵向量乘法)或三次(求解线性系统)与数据集的大小$N.$我们提出了快速核变换(FKT),一种通用算法,用于计算具有准线性复杂度的中等维度数据集的矩阵向量乘法(MVMs)。通常,基于分析的快速乘法方法需要针对特定内核进行专门的开发。相比之下,我们的计划是基于自动微分和自动符号计算,利用底层内核的分析结构。这使得FKT可以很容易地应用于广泛的内核,包括高斯,Matern和有理二次协方差函数和物理激励的格林函数,包括拉普拉斯和亥姆霍兹方程。此外,FKT保持了高的、可量化的和可控的精度水平--这是许多加速方法所缺乏的特性。我们说明了FKT的有效性和多功能性,通过提供时间和准确性基准,并将其应用于规模的随机邻域嵌入(t-SNE)和高斯过程的大型现实世界的数据集。
2021-06-08 cs.LG cs.NA math.NA
Self-Balancing, Memory Efficient, Dynamic Metric Space Data Maintenance, for Rapid Multi-Kernel Estimation
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出动态自平衡八叉树结构,支持对数时间更新与查询,在演化度量空间中高效维护邻域,加速SVGD、KNN、RAG并提升样本效率,实现指数级加速且保持精度。
2025-04-25 cs.LG
Learning Neighborhood Representation from Multi-Modal Multi-Graph: Image, Text, Mobility Graph and Beyond
Stanford University(斯坦福大学)
最近的城市化与地理标记数据的丰富相吻合,例如街景和兴趣点(POI)。通过更丰富的数据模式增强的区域嵌入使研究人员和城市管理者能够更好地了解城市的建筑环境,社会经济和动态。虽然已经做出了一些努力来同时使用多模态输入,但是可以通过在相同的嵌入空间中并入不同的“接近度”度量来改进现有的方法-不仅利用表征区域的数据(例如,街景,本地商业模式),而且还包括描述区域之间关系的那些(例如,行程、道路网)。为此,我们提出了一种新的方法来集成多模态地理标记的输入作为基于其与邻域区域的关系的多图的节点或边特征(例如,图块、人口普查区块、邮政编码区域等)。然后,我们从多重图中学习基于对比采样方案的邻域表示。具体来说,我们使用街景图像和POI特征来表征邻里(节点),并使用人类的流动性来表征邻里之间的关系(有向边缘)。我们通过定量下游任务以及嵌入空间的定性分析证明了所提出的方法的有效性:我们训练的嵌入优于仅使用单峰数据作为区域输入的嵌入。
2021-05-06 cs.CV cs.LG
Adaptive Neighborhood Graph Construction for Inference in Multi-Relational Networks
University of Maryland, College Park(马里兰大学帕克分校);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
邻域图将实例表示为顶点,将它们的关系表示为加权边,是许多用于节点标记和链接预测的半监督和关系模型的基础。大多数方法采用顺序过程来构造邻域图。该过程通常包括生成候选图,修剪候选图以形成邻域图,然后对变量执行推断(即,节点)在邻域图中。在本文中,我们提出了一个框架,可以动态地适应邻居图的基础上的状态变量从中间推理结果,以及连接它们的关系的结构属性。我们的框架的一个关键优势是它能够处理多关系数据,并根据中间推理结果为每个实例采用不同数量的关系。我们制定的链接预测任务作为推理的邻域图,并包括初步结果,说明在我们提出的框架中的不同策略的影响。
2016-07-02 cs.AI cs.LG cs.SI
MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning
Harbin Institute of Technology(哈尔滨工业大学)
注意力机制使图神经网络(GNN)能够学习目标节点与其单跳邻居之间的注意力权重,从而进一步提高性能。然而,大多数现有的GNN都面向同构图,并且其中每一层只能聚合一跳邻居的信息。堆叠多层网络引入了相当大的噪声,并且容易导致过度平滑。提出了一种多跳异构邻域信息融合图表示学习方法。具体来说,我们提出了一个混合元路径自主提取模型,有效地提取多跳混合邻居。然后,我们制定了一个跳级的异构信息聚合模型,有选择地聚合不同的跳邻域信息在同一个混合元路径。最后,构建了一个层次化的语义注意力融合模型(HSAF),该模型可以有效地融合不同跳和不同路径的邻域信息。以这种方式,本文解决了聚合多跳邻域信息和学习混合元路径的目标任务的问题。这减轻了手动指定元路径的限制。此外,HSAF还可以提取元路径内部节点信息,更好地整合不同层次的语义信息。在真实数据集上的实验结果表明,MHNF在只有1/10 ~ 1/100的参数和计算预算的情况下,达到了最好的或有竞争力的性能。我们的代码可在https://github.com/PHD-lanyu/MHNF上公开获取。
2022-06-23 cs.AI cs.LG
MARL-LNS: Cooperative Multi-agent Reinforcement Learning via Large Neighborhoods Search
提出MARL-LNS框架,通过大邻域搜索交替训练智能体子集,在不增加参数的情况下加速集中式训练分散式执行MARL,并在SMAC与GRF上验证可减少至少10%训练时间。
2024-04-03 cs.LG cs.MA
MNEW: Multi-domain Neighborhood Embedding and Weighting for Sparse Point Clouds Segmentation
Aptiv Corporation(安波福公司)
点云在三维语义场景理解中得到了广泛的应用。然而,用于3D形状分割或室内场景解析等典型任务的点云比用于自动驾驶感知应用的室外LiDAR扫描要密集得多。由于点云空间特性的差异,许多针对密集点云的有效方法在稀疏点云上的效果往往会降低。在本文中,我们专注于室外稀疏点云的语义分割任务。我们提出了一种新的方法,称为MNEW,包括多域邻域嵌入,并注意力加权的基础上,他们的几何距离,特征相似性和邻域稀疏性。该网络结构继承了PointNet直接处理点云以捕获逐点细节和全局语义的思想,并通过在静态几何域和动态特征空间中引入多尺度局部邻域进行改进。MNEW的距离/相似性注意和稀疏适应加权机制使其能够适应广泛的数据稀疏分布。通过在虚拟和真实KITTI语义数据集上进行的实验,MNEW在稀疏点云上实现了最佳性能,这对基于LiDAR的自动驾驶感知的应用至关重要。
2020-04-05 cs.CV cs.LG eess.IV
Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation
Nanjing University(南京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Alibaba Group(阿里巴巴集团)
图神经网络(GNN)由于其识别同构子图的能力,已经成为基于嵌入的实体对齐的强大范例。然而,在真实的知识图谱中,对应实体通常具有非同构的邻域结构,这容易导致GNN对它们产生不同的表示。为了解决这个问题,我们提出了一个新的KG对齐网络,即AliNet,旨在以端到端的方式减轻邻域结构的非同构。由于模式异构性,对应实体的直接邻居通常是不相似的,AliNet引入远邻居来扩展它们的邻居结构之间的重叠。它采用了一种注意力机制来突出有用的远距离邻居并减少噪音。然后,它使用门控机制控制直接和远距离邻域信息的聚合。我们进一步提出了一个关系损失,以细化实体表示。我们对五个实体对齐数据集进行了详细的消融研究和分析,证明了AliNet的有效性。
2019-11-20 cs.AI cs.CL cs.LG
Hierarchy Neighborhood Discriminative Hashing for An Unified View of Single-Label and Multi-Label Image retrieval
School of Information and Communication Engineering(信息与通信工程学院);University of Electronic Science and Technology of China(电子科技大学)
最近,深度监督哈希方法已经成为大规模图像检索任务的热门。为了保持示例之间的语义相似性概念,它们通常利用成对监督或三元组监督信息进行散列学习。然而,这些方法通常忽略了语义类信息,这有助于提高哈希码的语义区分能力。本文提出了一种新的层次邻域判别哈希算法。具体地说,我们构造了一个二分图来建立子类特征中心和嵌入特征之间的粗略语义邻域关系。此外,我们利用成对监督信息来构建嵌入特征之间的精细语义邻域关系。最后,我们提出了一个层次邻域判别散列损失统一的单标签和多标签图像检索问题与单流深度神经网络架构。在两个大规模数据集上的实验结果表明,该方法的性能优于现有的散列方法。
2019-01-11 cs.CV cs.LG
Balans: Multi-Armed Bandits-based Adaptive Large Neighborhood Search for Mixed-Integer Programming Problem
Department of Computer Science, University of Southern California(南加州大学计算机科学系);AI Center of Excellence, Fidelity Investments(富达投资人工智能卓越中心);Department of Computer Science, Brown University(布朗大学计算机科学系)
针对学习型 MIP 求解依赖离线训练且泛化有限的问题,本文提出 Balans,利用多臂老虎机在线自适应选择破坏与修复邻域,在困难实例上显著优于默认求解器和现有 LNS。
2025-07-23 cs.AI cs.LG math.OC