Continuous Histogram Loss: Beyond Neural Similarity
ITMO University（ITMO大学）
本文提出 Continuous Histogram Loss (CHL) 损失函数，将二元相似性推广至连续多值相似性，通过可微二维直方图计算距离与相似性的条件概率，以解决相似性学习、表示学习和数据可视化等更广泛任务。
2020-04-06 cs.LG stat.ML
SimGNN: A Neural Network Approach to Fast Graph Similarity Computation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Purdue University（普渡大学）；Zhejiang University（浙江大学）
图相似性搜索是最重要的基于图的应用之一，例如找到与查询化合物最相似的化合物。图的相似性计算，如图编辑距离（GED）和最大公共子图（MCS），是图相似性搜索等应用的核心操作，但实际中计算成本很高。受最近神经网络方法在节点或图分类等图形应用中取得成功的启发，我们提出了一种新的基于神经网络的方法来解决这个经典但具有挑战性的图形问题，旨在减轻计算负担，同时保持良好的性能。所提出的方法称为SimGNN，结合了两种策略。首先，我们设计了一个可学习的嵌入函数，它将每个图映射到一个向量，这提供了一个图的全局摘要。提出了一种新的注意力机制，根据特定的相似性度量来强调重要节点。其次，我们设计了一个成对的节点比较方法，以补充细粒度的节点级信息的图级嵌入。我们的模型在看不见的图上实现了更好的泛化，并且在最坏的情况下，相对于两个图中的节点数，在二次时间内运行。以GED计算为例，在三个真实图数据集上的实验结果证明了该方法的有效性和效率。具体而言，我们的模型实现了较小的出错率和大量的时间减少相比，一系列的基线，包括几个近似算法的GED计算，和许多现有的图神经网络为基础的模型。据我们所知，我们是第一个采用神经网络显式地模拟两个图之间的相似性，并提供了一个新的方向，为未来的研究图相似性计算和图相似性搜索。
2020-03-01 cs.LG stat.ML
GAM: Explainable Visual Similarity and Classification via Gradient Activation Maps
The Open University（开放大学）；Microsoft（微软）；Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
我们提出梯度激活图（GAM）-一种用于解释视觉相似性和分类模型预测的机器。通过从多个网络层收集局部梯度和激活信息，GAM提供了改进的视觉解释，与现有的替代方案相比。GAM的算法优势进行了详细的解释，并验证经验，它表明，GAM优于其替代品在各种任务和数据集。
2021-09-02 cs.AI cs.CV cs.LG
Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在面临类似预测任务的独立实体网络中，迁移机器学习能够使用分布式数据集重用和改进神经网络，而不会暴露原始数据。随着业务网络中数据集数量的增长，并不是每个神经网络传输都是成功的，需要指标来衡量其对目标性能的影响-其可传输性。我们对一个独特的真实用例进行了实证研究，该用例由六家不同餐馆的销售数据组成。我们在这些餐厅销售数据中训练和传输神经网络，并测量它们的可移植性。此外，我们计算潜在的指标的基础上的数据，数据预测和神经网络相似性的新度量的分歧的可转移性。我们得到显着的负相关关系之间的转移性和测试指标。我们的研究结果允许根据这些指标选择传输路径，这提高了模型性能，同时需要更少的模型传输。
2020-03-29 cs.LG stat.ML
Gradient Similarity Surgery in Multi-Task Deep Learning
Free University of Bozen-Bolzano（博洛尼亚自由大学）；University of Catania（卡塔尼亚大学）
本文提出相似性感知动量梯度手术（SAM-GS），利用梯度量级相似性度量均衡梯度并调制一阶动量，以解决多任务深度学习中冲突梯度问题，实验验证其在合成问题和MTL基准上的有效性。
2025-06-06 cs.CV cs.LG
Similarity of Neural Network Representations Revisited
Google Brain（谷歌大脑）
最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究的方法比较神经网络表示典型相关分析（CCA）的基础上。我们发现，CCA属于一个家庭的统计测量多元相似性，但无论是CCA或任何其他统计是不变的可逆线性变换可以测量有意义的相似性表示更高的维度比数据点的数量。我们引入了一个相似性指数，衡量代表性的相似性矩阵之间的关系，并没有受到这种限制。该相似性指数与中心核比对（CKA）等价，也与CCA密切相关。与CCA不同，CKA可以可靠地识别从不同初始化训练的网络中的表示之间的对应关系。
2019-07-19 cs.LG q-bio.NC stat.ML
Gradient representations in ReLU networks as similarity functions
Eötvos Loránd University（罗兰大学）；Université catholique de Louvain（鲁汶大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
前馈网络可以被解释为在最后一层具有线性决策面的映射。我们研究了如何利用网络的切空间来改进ReLU（整流线性单元）激活情况下的决策。我们表明，一个简单的黎曼度量参数化的网络的参数形成一个相似性函数至少一样好的原始网络，我们建议一个稀疏的度量，以增加相似性差距。
2021-10-26 cs.AI cs.LG
Edge-similarity-aware Graph Neural Networks
Pasteur Institute（巴斯德研究所）；Les Mines-Paristech（巴黎高等矿业学院）；McGill University（麦吉尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
图是一种无处不在的数据表示，因为它们表示了灵活和紧凑的表示。例如，RNA的3D结构可以有效地表示为$\textit{2.5D graphs}$，节点为核苷酸且边表示化学相互作用的图。在这种情况下，我们有生物学证据证明边缘类型之间的相似性，因为某些化学相互作用比其他化学相互作用更相似。最近，随着图神经网络的引入，图上的机器学习经历了突破。该算法可以被构造为图节点之间在图边缘上的消息传递算法。这些消息可以取决于它们通过其传输的边缘类型，但是当前没有方法约束当边缘类型改变时消息如何改变。受RNA用例的启发，在这个项目中，我们引入了一个图神经网络层，它可以利用关于边缘之间相似性的先验信息。我们表明，尽管包括这种相似性先验的理论吸引力，但我们在这里包括的任务和数据集的经验性能并没有增强。
2021-09-20 cs.LG stat.ML
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞，我们提出了一个新的度量称为\emph{Gradient Similarity}，使我们能够捕捉测试输入的训练数据的影响。我们表明，\emph{Gradient Similarity}的行为不同的正常和敌对的输入，并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上，白盒攻击要么以87- 96%的高ROC-AUC检测到，要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
Predicting Pairwise Relations with Neural Similarity Encoders
Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
矩阵分解是许多机器学习算法的核心，例如，降维（例如核PCA）或依赖于协同过滤的推荐系统。将矩阵的奇异值分解（SVD）理解为神经网络优化问题，使我们能够有效地分解大型矩阵，同时自然地处理给定矩阵中的缺失值。但最重要的是，它允许我们学习数据点的特征向量与包含有关其成对关系的信息的矩阵之间的连接。在本文中，我们介绍了一种新的神经网络架构，称为相似性编码器（SimEc），它的目的是同时分解一个给定的目标矩阵，同时也学习映射投影数据点的特征向量到一个保持相似性的嵌入空间。例如，这使得可以轻松计算新数据点的样本外解决方案。此外，我们证明了SimEc可以保持非度量相似性，甚至可以同时预测数据点之间的多个成对关系。
2019-01-09 cs.LG stat.ML
Handwritten Chinese Character Recognition by Convolutional Neural Network and Similarity Ranking
University of Western Ontario（西安大略大学）
卷积神经网络（CNN）最近在手写体汉字识别（HCCR）上取得了最先进的性能。然而，大多数CNN模型采用SoftMax激活函数并最小化交叉熵损失，这可能导致类间信息的损失。为了解决这个问题，我们提出了将交叉熵与相似度排序函数相结合，并将其作为损失函数。实验结果表明，组合损失函数在HCCR中具有较高的精度。本文简要回顾了交叉熵损失函数，一种典型的相似性排序函数：欧氏距离，并提出了一种新的相似性排序函数：平均方差相似性。实验比较了三种不同损失函数的CNN模型的性能。最后，SoftMax交叉熵与平均方差相似度在手写体汉字识别中具有最高的准确率。
2019-08-30 cs.CV cs.LG stat.ML
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
提出了一种权值相似性度量方法，可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性，我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值，该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法，研究了多层感知器（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）的权值相似性度量，发现用随机梯度下降（SGD）算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Duality of Bures and Shape Distances with Implications for Comparing Neural Representations
New York University（纽约大学）；Flatiron Institute（弗拉蒂伦研究所）
本文通过证明黎曼形状距离的余弦等于归一化Bures相似性，统一了两大类神经网络表征相似性度量，并探讨了其新解释及与CKA的对比。
2023-11-19 cs.LG stat.ML
The effect of task and training on intermediate representations in convolutional neural networks revealed with modified RV similarity analysis
BRAMS；CRBLM；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Leipzig（莱比锡大学）
中心核对齐（CKA）最近被提出作为比较深度网络中激活模式的相似性度量。在这里，我们使用修改的RV系数（RV2）进行实验，它具有与CKA非常相似的属性，但对数据集大小不太敏感。我们比较了在不同层上接受不同训练量的网络的表示：标准训练网络（每一步都更新所有参数），冻结训练网络（在训练过程中逐渐冻结的层），随机网络（只有一些层训练）和完全未经训练的网络。我们发现，RV2能够恢复预期的相似性模式，并提供可解释的相似性矩阵，这些矩阵提出了关于不同训练配方如何影响表征的假设。我们认为，冻结训练所取得的优异性能可以归因于倒数第二层的代表性差异。我们对随机网络的比较表明，输入和目标在最低层和最高层的表示中充当锚。
2019-12-04 cs.LG stat.ML
MISIM: A Neural Code Semantics Similarity System Using the Context-Aware Semantics Structure
Intel Labs（英特尔实验室）；Georgia Institute of Technology（佐治亚理工学院）；Intel（英特尔公司）；MIT（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
代码语义相似性可以用于许多任务，如代码推荐，自动软件缺陷校正和克隆检测。然而，这种系统的准确性尚未达到通用可靠性的水平。为了帮助解决这个问题，我们提出了机器推断代码相似性（MISIM），一个神经代码语义相似性系统，由两个核心组件组成：（i）MISIM使用一种新的上下文感知语义结构，这是专门为从代码语法中提升语义而构建的;（ii）MISIM使用一种可扩展的神经代码相似性评分算法，该算法可用于具有学习参数的各种神经网络架构。我们将MISIM与四个最先进的系统进行比较，包括两个额外的手工定制模型，超过328 K的程序由超过1800万行代码组成。我们的实验表明，MISIM具有8.08%的更好的准确性（使用MAP@R）相比，下一个表现最好的系统。
2021-06-02 cs.LG cs.SE stat.ML
Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity
KAUST（阿卜杜拉国王科技大学）；MIPT（莫斯科物理技术学院）；Purdue University（普渡大学）
我们研究结构凸优化问题，添加剂的目标$r:=p + q$，其中$r$是（$μ$ -强）凸，$q$是$L_q$ -光滑和凸，和$p$是$L_p$ -光滑，可能非凸。针对这类问题，我们提出了一种不精确的加速梯度滑动方法，该方法可以跳过其中一个分量的梯度计算，同时仍然可以实现$p$和$q$的梯度调用的最优复杂度，即分别为$\mathcal{O}(\sqrt{L_p/μ})$和$\mathcal{O}(\sqrt{L_q/μ})$.这个结果比经典的黑盒复杂度$\mathcal{O}(\sqrt{(L_p+L_q)/μ})$更精确，特别是当$L_q$和$L_q$之间的差异很大时。然后，我们应用所提出的方法来解决分布式优化问题的主从架构下，代理的功能相似性，由于统计数据的相似性或其他。分布式算法实现了第一次较低的复杂性界限{ \it都}通信和本地梯度调用，与前者一直是一个长期存在的开放问题。最后通过求解一类变分不等式，将该方法推广到分布式鞍点问题（函数相似），得到了较低的通信和计算复杂度。
2022-05-30 cs.DC cs.LG math.OC
On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks
Facebook AI Research（脸书人工智能研究院）；Brown University（布朗大学）
我们研究了最近记录的，受修剪的深度学习模型中的基本现象如何受到修剪过程中的变化的影响。具体来说，我们分析了通过一组常见的迭代修剪技术发现的修剪模型的连接结构和学习动态的差异，以解决可训练的高稀疏性子网络的唯一性问题，以及它们对所选修剪方法的依赖性。在卷积层中，我们记录了由基于幅度的非结构化修剪结合权重回卷引起的结构的出现，这类似于结构化修剪的效果。我们还表明，经验证据表明，重量稳定，可以自动实现通过适当的修剪技术。
2020-01-14 cs.LG stat.ML
Graph Partitioning and Graph Neural Network based Hierarchical Graph Matching for Graph Similarity Computation
Chongqing University（重庆大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）
图相似性计算旨在预测一对图之间的相似性得分，以促进下游应用，例如找到与查询化合物或Fewshot 3D动作识别相似的最相似的化合物。近年来，基于神经网络的图相似度计算模型被提出，这些模型或基于图级交互，或基于节点级比较。然而，当图中的节点数量增加时，不可避免地会带来表示能力的降低或计算成本的增加。受此观察的启发，我们提出了一种基于图划分和图神经网络的模型，称为PSimGNN，以有效地解决这个问题。具体地说，每个输入图被划分成一组子图，以直接提取局部结构特征。其次，设计了一种新的带有注意力机制的图神经网络，将每个子图映射为一个嵌入向量。这些子图对中的一些被自动选择用于节点级比较，以补充具有细粒度信息的子图级嵌入。最后，粗粒度的子图之间的相互作用信息和细粒度的比较信息之间的不同子图预测最终的相似性得分。在具有不同图大小的图数据集上的实验结果表明，PSimGNN在使用近似图编辑距离（GED）作为图相似性度量的图相似性计算任务中优于最先进的方法。
2021-01-05 cs.LG cs.SI stat.ML
Similarity of Neural Network Models: A Survey of Functional and Representational Measures
University of Passau（帕绍大学）；University of Mannheim（曼海姆大学）；RWTH Aachen University（亚琛工业大学）；GESIS - Leibniz Institute for the Social Sciences（GESIS莱布尼茨社会科学研究所）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
该综述梳理了神经网络相似性度量的表征与功能两大互补视角，介绍现有方法、总结其性质与关联并指出开放问题，为相关系统研究奠定基础。
2025-04-09 cs.LG
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
提出TreeLoRA方法，利用层级梯度相似性构建逐层适配器，结合bandit技术高效探索任务结构，并通过稀疏梯度更新优化参数，实现大预训练模型的高效持续学习。
2026-06-29 cs.LG
Similarity and Matching of Neural Network Representations
Eötvös Loránd University（罗兰大学）
我们使用了一个被称为弗兰肯斯坦博士的工具集来分析深层神经网络中表示的相似性。有了这个工具集，我们的目标是通过用缝合层连接两个经过训练的神经网络的给定层来匹配它们的激活。我们证明，即使使用单个仿射缝合层，具有相同架构但不同初始化的深度卷积神经网络中出现的内部表示也可以以惊人的高准确度进行匹配。我们从几种可能的线性变换中选择拼接层，并研究它们的性能和属性。匹配表示的任务与相似性的概念密切相关。使用这个工具集，我们还提供了一个新的观点，对当前的研究线上的相似性指数的神经网络表示：在一个任务上的性能的角度。
2021-10-27 cs.LG
AdamX: Cosine similarity meets gradient descent
NOVA School of Science of Technology Universidade Nova de Lisboa, Caparica, Portugal
AdamX是一种结合余弦相似度控制更新幅度的一阶优化器，通过方差修正促进早期平滑训练，在多种基准上实现竞争性收敛速度。
2026-09-11 cs.LG math.OC
Mapping Images to Psychological Similarity Spaces Using Neural Networks
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）；Open University of Cyprus（塞浦路斯开放大学）
概念空间的认知框架通过提出一个中间概念层来弥合符号和子符号AI之间的差距，在这个中间概念层中，知识被几何表示。有两种主要的方法来获得这个概念相似性空间的维度：使用心理学实验的相似性评级和使用机器学习技术。在本文中，我们提出了一种结合这两种方法，通过使用心理学推导的相似性评级来约束机器学习过程。通过这种方式，可以学习从刺激到概念空间的映射，这既得到心理数据的支持，又允许对看不见的刺激进行概括。第一次可行性研究的结果支持我们提出的方法。
2019-08-07 cs.AI cs.LG stat.ML
Characterizing and Measuring the Similarity of Neural Networks with Persistent Homology
SEGITTUR（西班牙旅游技术与管理公司（SEGITTUR））；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
表征神经网络的结构特性是至关重要的，但人们对其了解甚少，并且网络之间没有完善的相似性度量。在这项工作中，我们观察到，神经网络可以表示为抽象的单纯复形，并通过持久同源性（PH）使用其拓扑“指纹”进行分析。然后，我们描述了一个基于PH的表示提出的神经网络的特征和测量相似性。我们凭经验证明了这种表示在几个数据集中作为不同架构的描述符的有效性。这种基于拓扑数据分析的方法是更好地理解神经网络的一个步骤，并作为一个有用的相似性度量。
2021-05-31 cs.LG math.AT
On the Similarity between the Laplace and Neural Tangent Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland, College Park（马里兰大学帕克分校）
最近的理论工作表明，大规模过参数化神经网络等价于使用神经切线核（NTK）的核回归器。实验表明，这些核方法的性能类似于真实的神经网络。在这里，我们表明，NTK的完全连接的网络是密切相关的标准拉普拉斯内核。我们从理论上证明了，对于超球上的归一化数据，两个核具有相同的本征函数，并且它们的本征值以相同的速率多项式衰减，这意味着它们的再生核希尔伯特空间（RKHS）包括相同的函数集。这意味着这两个内核都产生了具有相同光滑性的函数类。这两个内核不同的超球体的数据，但实验表明，当数据被正确规范化，这些差异是不显着的。最后，我们提供了真实数据的实验，比较NTK和拉普拉斯内核，以及更大的一类γ指数内核。我们发现，这些表现几乎相同。我们的研究结果表明，许多关于神经网络的见解可以从著名的拉普拉斯核，它有一个简单的封闭形式的分析。
2020-11-14 cs.LG stat.ML
Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Frontier Science and Technology（北京前沿科学技术研究院）
传统上，多层神经网络使用前一层的输出向量与传入的权向量之间的点积作为激活函数的输入。点积的结果是无界的，从而增加了大方差的风险。神经元的大方差使得模型对输入分布的变化很敏感，从而导致泛化能力差，并消除了内部的协变量偏移，从而降低了训练速度。为了约束点积和减小方差，我们提出在神经网络中使用余弦相似性或中心余弦相似性（Pearson相关系数）来代替点积，我们称之为余弦归一化。我们在MNIST，20 NEWS GROUP，CIFAR-10/100和SVHN的数据集上比较了全连接神经网络以及卷积网络中的余弦归一化与批量，权重和层归一化。实验表明，余弦归一化技术比其他归一化技术具有更好的性能。
2017-10-23 cs.AI cs.LG stat.ML
Why Post-Norm Transformers Collapse: Attention Amplification and Gradient Repair Failure
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
该研究以token相似度为变量，分析后归一化解码器Transformer的秩崩溃机制，发现其前向相似度放大与反向修复无能的特性，实验验证了相关预测。
2026-08-12 cs.LG
Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator
Texas A&M University（德州农工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
语义散列已成为许多大型信息检索系统中快速相似性搜索的关键组成部分，特别是对于文本数据。变分自动编码器（VAE）与二进制潜在变量作为哈希码提供了最先进的性能方面的精度为文档检索。我们提出了一个具有离散潜在VAE的成对损失函数来奖励监督哈希的类内相似性和类间相异性。该算法不依赖于已有的有偏梯度估计器，而是采用无偏低方差梯度估计器，通过对两组相关的二进制哈希码的不可微损失函数进行估计，控制梯度估计的方差，从而优化哈希函数.这种新的语义哈希框架实现了优越的性能相比，国家的最先进的，我们的综合实验证明。
2020-05-21 cs.LG stat.ML
funcGNN: A Graph Neural Network Approach to Program Similarity
KTH Royal Institute of Technology（瑞典皇家理工学院）
程序相似性是一个基本概念，是解决诸如软件剽窃、克隆识别、代码重构和代码搜索等软件工程任务的核心。准确的相似性估计程序之间需要深入了解他们的结构，语义和流程。控制流图（英语：Control flow graph，简称CFG）是一个程序的图形化表示，它捕获了程序的逻辑控制流，从而捕获了程序的语义。一种常见的方法是通过使用图相似性度量（例如，图编辑距离（GED））分析CFG来估计程序相似性。然而，图编辑距离是一个NP难问题，计算昂贵，使复杂的软件程序的应用程序的图相似性技术不切实际。本研究借由分析相关的控制流图，来检验图神经网络评估程式相似度的有效性。我们引入了funcGNN，这是一个图神经网络训练标记的CFG对预测GED之间看不见的程序对利用一个有效的嵌入向量。据我们所知，这是第一次图神经网络已被应用于标记的CFGs之间的相似性估计高级语言程序。结果如下：我们证明了funcGNN估计程序之间的GED的有效性，我们的实验分析演示了它如何实现更低的出错率（0.00194），更快（比最快的传统GED近似方法快23倍）和更好的可扩展性与最先进的方法相比。funcGNN是一种归纳学习能力，可以推断出程序结构并归纳出看不见的程序。该方法所提出的程序图嵌入可以应用于若干相关的软件工程问题（如代码剽窃和克隆识别），从而开辟了多个研究方向。
2020-07-30 cs.LG cs.SE stat.ML
The Impact of Neural Network Overparameterization on Gradient Confusion and Stochastic Gradient Descent
Facebook（脸书）；University of Maryland, College Park（马里兰大学学院市分校）；DeepMind（深度思维）
本文研究了神经网络结构对训练速度的影响。我们引入一个简单的概念，称为梯度混淆，以帮助正式分析。当梯度混淆程度很高时，不同数据样本产生的随机梯度可能是负相关的，从而减慢收敛速度。但当梯度混淆较低时，数据样本会和谐地交互，训练过程也会很快。通过理论和实验结果，我们展示了神经网络架构如何影响梯度混淆，从而提高训练效率。我们的研究结果表明，对于流行的初始化技术，增加神经网络的宽度可以降低梯度混淆，从而加快模型训练。另一方面，增加神经网络的深度会产生相反的效果。我们的研究结果表明，交替初始化技术或使用批量归一化和跳过连接的网络有助于减少非常深的网络的训练负担。
2020-07-06 cs.LG stat.ML
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学问题研究所）；Innopolis University（因诺波利斯大学）
针对分布式与联邦学习的通信和隐私问题，提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法，并通过加噪分析收敛，实验验证理论。
2024-09-22 cs.LG math.OC
Gradient-based Representational Similarity Analysis with Searchlight for Analyzing fMRI Data
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
表征相似性分析（RSA）旨在探索不同刺激的神经活动之间的相似性。经典的RSA技术使用协方差矩阵的逆来探索神经活动和任务事件之间的线性模型。然而，计算大规模协方差矩阵的逆是耗时的，并且可以降低最终分析的稳定性和鲁棒性。值得注意的是，当样本数量太大时，它变得严重。针对这一缺点，本文提出了一种新的RSA算法--基于梯度的RSA算法（GRSA）。此外，所提出的方法不限于线性模型。事实上，人们越来越有兴趣找到更有效的方法来使用多学科和全脑功能磁共振成像数据。探照灯技术可以将RSA从局部脑区扩展到全脑区，每个过程占用的记忆空间较小。基于探照灯，我们提出了一种新的方法称为时空探照灯GRSA（SSL-GRSA），推广我们的基于ROI的GRSA算法的全脑数据。此外，我们的方法可以处理一些计算的挑战，同时处理大规模，多学科的功能磁共振成像数据。多主题数据集上的实验研究证实，这两种方法实现了优于其他国家的最先进的RSA算法的性能。
2018-09-12 cs.LG q-bio.NC stat.ML
Graph-Based Similarity of Neural Network Representations
Institute of Cyberspace Security（网络空间安全研究院）；Zhejiang University of Technology（浙江工业大学）；Northwestern Polytechnical University（西北工业大学）
理解深度神经网络（DNN）中的黑盒表示是深度学习中的一个基本问题。在这项工作中，我们提出了基于图的相似性（GBS）来衡量层特征的相似性。与以前直接在特征图上计算相似性的工作相反，GBS基于用隐藏层输出构建的图来测量相关性。通过将每个输入样本视为节点，并将相应的层输出相似性视为边缘，我们为每个层构建了DNN表示图。层的图之间的相似性识别在不同数据集和初始化中训练的模型的表示之间的对应关系。我们证明了GBS的不变性，包括对正交变换的不变性和对各向同性标度的不变性，并将GBS与CKA进行了比较。GBS在反映相似性方面表现出最先进的性能，并提供了解释隐藏层空间上对抗样本行为的见解。
2022-05-25 cs.LG
Self-similarity Analysis in Deep Neural Networks
本文提出基于隐藏层神经元输出特征的复杂网络建模方法，分析不同架构特征网络的自相似性及其对权重优化的影响，并通过训练约束将MLP和注意力模型性能最高提升6个百分点。
2025-07-23 cs.LG
Searching Similarity Measure for Binarized Neural Networks
Zhejiang University（浙江大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
二值化神经网络（BNN）作为一种应用于资源受限设备的模型，引起了学术界和工业界的广泛关注。然而，与全精度深度神经网络（DNN）相比，BNN遭受非平凡的精度下降，限制了其在各个领域的适用性。这部分是因为现有的网络组件，如相似性度量，是专门为DNN设计的，并且可能对BNN来说是次优的。在这项工作中，我们专注于BNN的关键组成部分--相似性度量，它量化了输入特征图和过滤器之间的距离，并提出了一种自动搜索方法，基于遗传算法，为BNN定制的相似性度量。使用ResNet、NIN和VGG对Cifar 10和Cifar 100进行的评估结果表明，大多数识别出的相似性度量比常用的互相关方法的精度提高了3.39%。
2022-06-05 cs.LG
Transfer Reward Learning for Policy Gradient-Based Text Generation
University of Liverpool（利物浦大学）
特定于任务的分数通常用于优化和评估条件文本生成系统的性能。然而，这样的分数是不可微的，并且不能在标准的监督学习范例中使用。因此，使用策略梯度方法，因为可以在不需要可微目标的情况下计算梯度。然而，我们认为，目前的n-gram重叠作为奖励的措施，可以通过使用基于模型的奖励，直接比较句子对的相似性的任务转移。这些奖励模型要么输出整个预测句子和目标句子之间的句子级句法和语义相似度的分数作为预期回报，要么输出中间短语作为分段累积奖励。我们证明，使用一个\textit{Transferable Reward Learner}导致改进的结果语义评价措施的政策梯度模型的图像描述任务。我们的InferSent actor-critic模型在MSCOCO上的BLEU训练的actor-critic模型上进行了6.97点的Word Mover距离相似性度量评估，也提高了滑动窗口余弦相似性度量10.48点。在较小的Flickr-30 k数据集上也获得了类似的性能改进，证明了所提出的迁移学习方法的普遍适用性。
2019-09-09 cs.CL cs.CV cs.LG
Input Similarity from the Neural Network Perspective
Inria Saclay（法国国家信息与自动化研究所萨克莱分院）；Université Paris-Sud（巴黎第十一大学）；Inria Sophia-Antipolis（法国国家信息与自动化研究所索菲亚-安提波利斯分院）；LuxCarta Technology（LuxCarta科技公司）
我们首先展示了一个多模态图像配准任务，其中一个神经网络训练的数据集与噪声标签达到几乎完美的精度，远远超过噪声方差。这种令人惊讶的自动去噪现象可以解释为对类似输入示例的标签的噪声平均效应。理论上，这种效应会随着相似例子的数量而增加;问题是如何定义和估计例子的相似性。我们从神经网络的角度表达了相似性的正确定义，即我们量化了两个输入$A$和$B$的不可分离程度，从机器学习的角度来看：设计用于改变$A$的输出的参数变化会对$B$的输出产生多大影响？我们研究了这种相似性度量的数学特性，并展示了如何在训练好的网络上使用它来估计样本密度，以低复杂度，为神经网络提供新类型的统计分析。我们通过检索网络认为相似的样本来分析数据，并且能够量化去噪效果，而不需要真正的标签。我们还建议在训练过程中，强制执行已知相似的示例也应该被网络视为相似，并注意某些数据集的加速训练效果。
2021-02-10 cs.CV cs.LG stat.ML
Data Valuation with Gradient Similarity
Knight Cancer Institute（奈特癌症研究所）
针对数据集中存在标注错误或噪声、低质量数据识别依赖人工的问题，提出基于梯度相似度的数据估值方法DVGS，可适配各类梯度下降算法，跨领域任务性能优于或媲美基线方法，能高效识别低质量数据。
2024-05-13 cs.LG q-bio.GN q-bio.QM
A Neural Network-Based Linguistic Similarity Measure for Entrainment in Conversations
University of Pittsburgh（匹兹堡大学）；Microsoft Corporation, Redmond（微软公司）
语言夹带是指人们在交谈中相互模仿的现象。量化夹带的核心工具是会话伙伴之间的语言相似性度量。目前的相似性度量大多基于词袋法，这种方法依赖于语言标记，忽略了语言的整体结构和对话语境。为了解决这个问题，我们建议使用一个神经网络模型来执行夹带的相似性度量。我们的模型是上下文感知的，它进一步利用一个新的组件来学习跨对话的共享高级语言特征。我们首先研究我们的新组件的有效性。然后，我们使用该模型进行基于语料库的夹带分析中的相似性度量。我们观察到这两个评价任务的可喜成果。
2021-09-04 cs.CL cs.LG
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
Similarity of Neural Architectures using Adversarial Attack Transferability
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University（延世大学BK21智能半导体技术研究生项目）；NAVER AI Lab（NAVER人工智能实验室）
本文提出基于对抗攻击迁移性的神经架构相似性度量SAT，对69个ImageNet分类器进行大规模分析，发现模型多样性可提升集成与蒸馏性能，强调开发多样化架构的必要性。
2024-07-17 cs.CV cs.LG
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
通过深度神经网络（DNN）对信息结构进行定量分析可以揭示对DNN架构理论性能的新见解。定量信息结构分析的两个非常有前途的研究途径是：1）层间特征相似性（LS）策略，以及2）内在维度（ID）策略，专注于使用成对信息的逐层数据维度。受LS和ID策略的启发，定量信息结构分析，我们介绍了两种新的互补方法层间信息相似性评估的有趣的想法，研究数据样本的邻域动态，因为它穿过DNN。更具体地说，我们引入了最近邻拓扑相似性（NNTS）的概念，用于量化DNN层之间的信息拓扑相似性。此外，我们引入了最近邻拓扑持久性（NNTP）的概念，用于量化整个DNN中数据邻域关系的层间持久性。所提出的策略通过仅利用局部拓扑信息来促进有效的层间信息相似性评估，并且我们在本研究中通过对图像数据的深度卷积神经网络架构进行分析来研究可以获得的关于DNN理论性能的见解来证明其功效。
2020-12-07 cs.AI cs.LG cs.NE
Unsupervised Neural Quantization for Compressed-Domain Similarity Search
Yandex（扬达克斯）；Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）
我们解决的问题，无监督的视觉描述符压缩，这是一个关键组成部分的大规模图像检索系统。虽然深度学习机器实际上已经使所有计算机视觉管道受益，但现有的最先进的压缩方法采用浅层架构，我们的目标是通过我们的论文缩小这一差距。更详细地说，我们介绍了DNN架构的无监督压缩域检索，基于多码本量化。所提出的架构的目的是将快速的数据编码和有效的距离计算通过查找表。我们证明了我们的方案在现有的量化方法的视觉描述符的几个数据集上通过优于以前的国家的最先进的一个大的利润率的特殊优势。
2019-08-11 cs.CV cs.LG stat.ML
Provable Guarantees for Gradient-Based Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
我们通过在线凸优化的镜头来研究元学习问题，开发了一种元算法，弥合了流行的基于梯度的元学习和经典的基于正则化的多任务转移方法之间的差距。我们的方法是第一个同时满足凸设置中良好的样本效率保证的方法，具有随着任务相似性而提高的泛化界限，同时还可以在计算上扩展到现代深度学习架构和多任务设置。尽管它的简单性，该算法匹配，一个恒定的因素，自然任务相似性假设下的任何这样的参数传输方法的性能上的下限。我们在凸和深度学习设置中使用实验来验证和展示我们理论的适用性。
2019-05-16 cs.AI cs.LG stat.ML
Privacy-Preserved Neural Graph Similarity Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Alibaba Group（阿里巴巴集团）
为了开发高效的图相似性学习模型，近年来提出了一系列数据驱动的神经网络算法。虽然GSL模型经常被部署在隐私敏感场景中，但神经GSL模型的用户隐私保护尚未引起太多关注。为了全面理解隐私保护问题，我们首先引入可攻击表示的概念，系统地描述每个模型可能面临的隐私攻击。受定性结果的启发，我们提出了一种新的隐私保护神经图匹配网络模型，命名为PPGM，用于图相似性学习。为了防止重建攻击，所提出的模型不通信设备之间的节点级表示。相反，我们基于可学习的上下文向量学习多视角图表示。为了减轻对图属性的攻击，传达包含来自两个图的信息的混淆特征。通过这种方式，每个图的私有属性可能难以推断。在计算混淆特征的同时，基于节点图匹配技术，PPGM也可以有效地进行相似性度量。为了定量评估神经GSL模型的隐私保护能力，我们进一步提出了一个评估协议，通过训练监督黑箱攻击模型。在广泛使用的基准测试上进行的大量实验表明了该模型的有效性和较强的隐私保护能力。该代码可从以下网址获得：https://github.com/RUCAIBox/PPGM。
2022-10-21 cs.LG
Self-Similarity Priors: Neural Collages as Differentiable Fractal Representations
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；University of Tokyo（东京大学）
自然界中的许多模式都表现出自相似性：它们可以通过自指变换来描述。所述图案通常出现在自然和人造物体中，例如分子、海岸线、星系甚至图像。在这项工作中，我们研究了学习的作用，在自动发现的自相似性，并在其利用下游任务。为此，我们设计了一类新的隐式运算符，神经拼贴，它（1）将数据表示为自引用结构化变换的参数，（2）采用超网络将查找这些参数的成本分摊到单个前向传递中。我们研究如何在各种任务中利用神经拼贴产生的表示，包括数据压缩和生成。神经拼贴图像压缩器在编码过程中比其他基于自相似性的算法快几个数量级，并提供与隐式方法竞争的压缩率。最后，我们展示了神经拼贴在分形艺术和深度生成模型中的应用。
2022-04-15 cs.AI cs.CV cs.LG
The Triangle of Similarity: A Multi-Faceted Framework for Comparing Neural Network Representations
本文提出相似性三角形框架，通过静态、功能和稀疏性三个视角比较神经网络表示，揭示架构对表示相似性的影响及剪枝对模型核心的影响。
2026-01-23 cs.AI cs.LG
Artist Similarity with Graph Neural Networks
Pandora Media LLC.（潘多拉媒体有限责任公司）
艺术家的相似性在组织、理解和随后促进发现大量音乐收藏方面起着重要作用。在本文中，我们提出了一种混合的方法来计算艺术家之间的相似性，使用图神经网络训练与三重损失。使用图神经网络架构的新颖之处在于将艺术家连接图的拓扑结构与内容特征相结合，以将艺术家嵌入到编码相似性的向量空间中。为了评估所提出的方法，我们编译了新的OLGA数据集，其中包含来自AllMusic的艺术家相似性，以及来自AcousticBrainz的内容特征。这是迄今为止最大的包含基于内容特征的学术艺术家相似性数据集，共有17，673名艺术家。此外，我们还通过实验更大的专有数据集来展示我们方法的可扩展性。结果表明，所提出的方法优于目前国家的最先进的方法，音乐相似性。最后，我们希望OLGA数据集将促进艺术家相似性数据驱动模型的研究。
2021-07-30 cs.IR cs.LG cs.SD
Towards Accurate Subgraph Similarity Computation via Neural Graph Pruning
Meta；Tufts University（塔夫茨大学）；Virginia Tech（弗吉尼亚理工大学）
子图相似性搜索是图搜索的核心问题之一，它涉及到目标图是否近似包含查询图。这个问题最近被神经方法所触及。然而，目前的神经方法不考虑修剪目标图，虽然修剪是至关重要的，在传统的计算子图的相似性。在神经方法中应用修剪的一个障碍是{修剪的离散性}。在这项工作中，我们将图修剪转换为节点重新标记的问题，然后将其放松为可微问题。基于这一思想，我们进一步设计了一种新的神经网络来近似一种类型的子图距离：子图编辑距离（SED）。{In特别地，我们使用神经结构构建修剪组件，并且整个模型可以端到端地优化。在模型的设计中，我们提出了一个注意力机制来利用查询图的信息，指导目标图的修剪。此外，我们开发了一个多头修剪策略，使模型可以更好地探索多种方式修剪目标图。该模型在七个基准数据集上建立了新的最先进的结果。对该模型的分析表明，该模型可以合理地修剪目标图进行SED计算。我们算法的实现在我们的Github repo上发布：https://github.com/tufts-ml/Prune4SED。
2022-10-19 cs.AI cs.LG stat.ML
Adaptive Gradient-Based Meta-Learning Methods
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
我们建立了一个理论框架，用于设计和理解实用的元学习方法，该方法将复杂的任务相似性形式化与在线凸优化和顺序预测算法的大量文献相结合。我们的方法使任务相似性自适应学习，提供更清晰的转移风险界限的设置统计学习学习，并导致直接推导出平均情况下的遗憾界限的有效算法的设置中的任务环境动态变化或任务共享一定的几何结构。我们使用我们的理论来修改几个流行的元学习算法，并提高他们的元测试时间性能的标准问题，在少样本学习和联邦学习。
2019-12-07 cs.AI cs.LG stat.ML
Gradient-Based Model Fingerprinting for LLM Similarity Detection and Family Classification
Huazhong University of Science（华中科技大学）
本文提出TensorGuard，一种基于梯度的LLM指纹框架，通过分析模型对随机输入扰动的梯度响应构建指纹，结合距离计算和质心初始化K-Means聚类，实现模型相似性检测与家族分类，在58个模型上取得94%分类准确率。
2025-07-03 cs.AI cs.LG cs.SE
ReSi: A Comprehensive Benchmark for Representational Similarity Measures
University of Passau（帕绍大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Helmholtz Imaging（亥姆霍兹成像中心）；University of Heidelberg（海德堡大学）；University of Mannheim（曼海姆大学）；RWTH Aachen University（亚琛工业大学）；Heidelberg University Hospital（海德堡大学医院）；National Center for Tumor Diseases (NCT) Heidelberg（海德堡国家肿瘤疾病中心）；GESIS - Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所GESIS）；Complexity Science Hub（复杂性科学中心）
本文提出首个表示相似性度量综合基准ReSi，包含六项测试、24种度量、14种架构和七个数据集，覆盖图、语言与视觉领域，为系统评估和探索神经架构表示比较方法提供公开可扩展平台。
2025-03-11 cs.LG
Kernel similarity matching with Hebbian neural networks
Princeton University（普林斯顿大学）
最近的工作已经得到了神经网络与在线相关为基础的学习规则来执行\textit{kernel similarity matching}。这些工作将现有的线性相似性匹配算法应用于通过随机傅里叶方法生成的非线性特征。本文尝试通过直接学习非线性特征来进行核相似性匹配。我们的算法通过推导并最小化输出和输入内核相似性之间的平方误差之和的上界来进行。我们的上限的建设导致在线相关的学习规则，可以实现1层递归神经网络。除了生成高维线性可分离的表示，我们表明，我们的上限自然产生的表示是稀疏的和选择性的特定输入模式。我们比较我们的方法的近似质量神经随机傅立叶方法和流行的，但非生物的“Nystr{<$}m”方法近似的核矩阵的变体。我们的方法似乎是可比的或优于随机采样Nystr{<$}m方法时，输出是相对较低的维度（虽然仍然可能比输入更高的维度），但不太忠实时，输出是非常高维的。
2022-04-15 cs.LG cs.NE
Fast Metric Learning For Deep Neural Networks
University of Waikato（怀卡托大学）
相似性度量是许多信息检索和机器学习系统的核心组成部分。在这项工作中，我们提出了一种方法，能够学习的相似性度量的数据配备了一个二元关系。通过仅考虑相似性约束，并且最初忽略特征，我们能够使用几个适当设计的损失函数中的一个来学习每个实例的目标向量。然后可以构建回归模型，该回归模型将新的特征向量映射到相同的目标向量空间，从而产生计算向量的特征提取器，对于该向量，预定义度量是有意义的相似性度量。我们在多类和多标签分类数据集上展示了结果，这些数据集在大多数内在评估任务和所有外在评估任务上表现出相当快的收敛速度以及更高的准确性。
2016-04-05 cs.CV cs.LG stat.ML
