What Cosine Similarity of Label Representations Can and Cannot Tell us
IT University of Copenhagen（丹麦哥本哈根技术大学）；School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文证明对于softmax分类器，标签表示（称为unembedding）之间的余弦相似度不提供模型概率的任何信息，而对于sigmoid分类器，所有成对余弦相似度定义了可能的标签组合集。
2026-06-01 cs.LG
Denoising Cosine Similarity: A Theory-Driven Approach for Efficient Representation Learning
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）；Fujitsu Limited（富士通有限公司）；RIKEN AIP（理化学研究所先进智能项目中心）
本文针对表示学习中数据含噪问题，提出具有去噪特性的dCS损失函数，并构造了有统计保证的估计量，在视觉和语音任务上验证了其优于基线目标函数。
2023-04-19 cs.LG stat.ML
Metric distances derived from cosine similarity and Pearson and Spearman correlations
EMBL-EBI（欧洲分子生物学实验室-欧洲生物信息学研究所）
我们调查了两类变换的余弦相似性和皮尔逊和斯皮尔曼相关度量距离，利用简单的工具的度量保持功能。第一类把反相关的对象最大限度地远离。以前已知的变换属于这一类。第二类整理相关和反相关对象。产生度量距离的这种变换的一个示例是应用于居中数据时的正弦函数。
2012-08-14 cs.LG stat.ME
A Cosine Similarity-based Method for Out-of-Distribution Detection
FPT Software AI Center（FPT软件人工智能中心）；VinUniversity（文森大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于余弦相似度的事后OOD检测算法Class Typical Matching (CTM)，通过计算测试特征与典型ID特征间的余弦相似度作为评分函数，在多个基准上优于现有方法。
2023-06-23 cs.LG
Gamma Mixture Modeling for Cosine Similarity in Small Language Models
本研究针对小语言模型中句子嵌入的余弦相似度分布，提出用平移截断伽马混合模型进行拟合，并基于主题层次聚类给出启发式解释，同时提供期望最大化算法作为实用建模工具。
2025-10-06 cs.LG
Comparing in context: Improving cosine similarity measures with a metric tensor
Utrecht University（乌得勒支大学）
余弦相似性是一种广泛使用的预训练词嵌入的相关性度量，该词嵌入是在语言建模目标上训练的。WordSim-353和SimLex-999等数据集根据人类注释者对单词的相似程度进行评级，因此通常用于评估语言模型的性能。因此，对单词相似性任务的任何改进都需要改进的单词表示。在本文中，我们建议使用扩展余弦相似性度量来提高该任务的性能，并获得可解释性。我们探讨的假设，这种方法是特别有用的，如果单词相似性对共享相同的上下文，不同的上下文相似性措施可以学习。我们首先使用Richie et al.（2020）的数据集来学习情境化指标，并将结果与使用标准余弦相似性度量获得的基线值进行比较，这始终显示出改进。我们还训练了SimLex-999和WordSim-353的上下文相似性度量，将结果与相应的基线进行比较，并将这些数据集用作在上下文数据集上学习的所有上下文相似性度量的独立测试集，获得了一些测试的积极结果。
2022-03-28 cs.CL cs.LG
Comparing Linear Probes with Mahalanobis Cosine Similarity
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；Schmidt Sciences（施密特科学）
研究证明马氏余弦相似度与OOD AUROC存在线性关系，提供理论解释并验证其作为线性探针比较指标的有效性。
2026-06-19 cs.LG
Rethinking Layer Relevance in Large Language Models Beyond Cosine Similarity
Pontificia Universidad Católica de Chile（天主教智利大学）；National Center for Artificial Intelligence (CENIA)（人工智能国家中心）；Universidad de Chile（智利大学）
本文指出余弦相似度不适合作为评估层移除影响的指标，提出基于模型准确率下降的实际指标，以更准确地评估层重要性，改进模型压缩策略。
2026-05-13 cs.CL cs.LG
Correlation Coefficients and Semantic Textual Similarity
Babylon Health（巴比伦健康）
大量关于语义文本相似性的研究都集中在使用复杂的建模、仔细选择学习信号和许多聪明的技巧来构建最先进的嵌入。相比之下，很少有人关注这些嵌入之间的相似性度量，在大多数情况下毫无疑问地使用余弦相似性。在这项工作中，我们说明，对于所有常见的词向量，余弦相似性基本上是等效的皮尔逊相关系数，这提供了一些理由，它的使用。我们彻底排除了皮尔逊相关性（因此余弦相似性）不适合作为相似性度量的情况。重要的是，我们表明，皮尔逊相关性是适当的一些词向量，但不是其他人。当它是不合适的，我们说明了如何共同的非参数秩相关系数，而不是可以使用显着提高性能。我们支持我们的分析与一系列的评价词级和词级语义文本相似性基准。对于后者，我们表明，即使是通过等级相关性比较的最简单的平均词向量也很容易与通过余弦相似性比较的最强深度表示相媲美。
2019-05-19 cs.CL cs.LG stat.ML
Semantics at an Angle: When Cosine Similarity Works Until It Doesn't
Baruch College, City University of New York（纽约城市大学巴克莱学院）
研究探讨余弦相似度在信息处理等领域的应用，围绕其有用性取决于学习表示等因素展开，推导几何恒等式，区分失效机制，回顾证据并描述替代方法，得出其正尺度不变性有条件合理的结论。
2026-09-01 cs.LG
Surpassing Cosine Similarity for Multidimensional Comparisons: Dimension Insensitive Euclidean Metric
Massachusetts Institute of Technology（麻省理工学院）
本文针对余弦相似度在高维比较中因维度依赖而产生偏差的问题，提出维度不敏感欧几里得度量（DIEM），并通过大语言模型应用验证其在多维数据分析中更强的鲁棒性和可解释性。
2025-03-10 cs.LG eess.SP
Cosine Similarity Measure According to a Convex Cost Function
Bilkent University（比尔肯特大学）
在本文中，我们描述了一个新的向量相似性度量与凸成本函数。给定两个向量，我们确定凸函数在向量处的曲面法线。两个曲面法线之间的角度是相似性度量。凸代价函数可以是负熵函数、总变差（TV）函数和滤波变差函数。凸代价函数不需要处处可微。一般来说，我们需要计算代价函数的梯度来计算曲面法线。如果在给定向量处不存在梯度，则可以使用子梯度，并且使用在两个向量之间产生最小角度的法线来计算相似性度量。
2014-10-22 cs.LG
AdamX: Cosine similarity meets gradient descent
NOVA School of Science of Technology Universidade Nova de Lisboa, Caparica, Portugal
AdamX是一种结合余弦相似度控制更新幅度的一阶优化器，通过方差修正促进早期平滑训练，在多种基准上实现竞争性收敛速度。
2026-09-11 cs.LG math.OC
Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection
Nanyang Technological University（南洋理工大学）
模型属性在深度神经网络中很重要，因为它们有助于从业者理解模型，但最近的研究表明，属性很容易通过向输入中添加不可感知的噪声而受到干扰。不可微的Kendall等级相关是属性保护的一个关键性能指标。在本文中，我们首先表明，预期的Kendall的等级相关性是正相关的余弦相似性，然后指出，方向的属性是关键的属性鲁棒性。在此基础上，我们探索了属性的向量空间，以解释使用$\ell_p$范数的属性防御方法的不足，并提出了集成梯度正则化器（IGR），它最大化自然属性和扰动属性之间的余弦相似性。我们的分析进一步揭示，IGR鼓励神经元具有相同的激活状态的自然样本和相应的扰动样本，这是诱导基于梯度的归因方法的鲁棒性。我们在不同模型和数据集上的实验证实了我们对属性保护的分析，并证明了对抗鲁棒性的显著改善。
2022-09-26 cs.AI cs.LG
A Comparison of Semantic Similarity Methods for Maximum Human Interpretability
Tribhuwan University（特里布万大学）
在任何相似性度量中包含语义信息提高了相似性度量的效率，并提供了人类可解释的结果以供进一步分析。仅关注与文本的词相关的特征的相似度计算方法将给出不太准确的结果。本文提出了三种不同的方法，不仅关注文本的词，但也纳入文本的语义信息在其特征向量和计算语义相似度。这些方法是基于语料库和基于知识的方法，这是：余弦相似度使用tf-idf向量，余弦相似度使用词嵌入和软余弦相似度使用词嵌入。在这三种方法中，使用tf-idf向量的余弦相似度在发现短新闻文本之间的相似性方面表现最好。该方法给出的相似文本易于理解，可直接用于其他信息检索应用。
2019-10-31 cs.CL cs.IR cs.LG
Outlier Detection Using Vector Cosine Similarity by Adding a Dimension
通过添加维度改进的向量余弦相似度方法用于多维数据异常检测，提供优化实现MDOD。
2025-12-31 cs.LG
SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control
Delft University of Technology（代尔夫特理工大学）
SAVGO通过在动作空间中显式融入值的相似性，统一了表示学习、值估计和策略优化，提升了连续控制任务的性能。
2026-05-01 cs.LG
Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing
University of Waterloo（滑铁卢大学）
给定一个大的数据集的二进制代码和一个二进制查询点，我们解决如何有效地找到$K$代码的数据集，产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较，但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表，然后查找查询的附近桶以检索最近的邻居。然而，如果代码在余弦相似性而不是汉明距离方面进行比较，则主要问题是要探测的桶的顺序不明显。为了研究这个问题，我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而，用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题，我们提出了角度多索引哈希搜索算法，它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间，往往是数量级快于线性扫描基线，甚至近似方法。
2018-04-18 cs.DB cs.DS cs.IR
Exploring the Sharpened Cosine Similarity
Laboratory for Physical Sciences（物理科学实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；Harvard University（哈佛大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文探索锐化余弦相似度（SCS）在多个CNN架构中替代卷积的潜力，发现其虽未显著提升准确率，但能学习更具可解释性的表示并轻微增强对抗鲁棒性。
2023-07-25 cs.CV cs.LG
Cosine Similarity of Multimodal Content Vectors for TV Programmes
University College London（伦敦大学学院）；Queen Mary University of London（伦敦玛丽女王大学）；British Broadcasting Company（英国广播公司）
多模态信息来源于多种来源：视听文件、文本描述和元数据。我们展示了如何使用向量来表示每个单独源编码的内容，如何通过中期和后期融合技术将向量结合起来，以及如何计算内容之间的语义相似性。我们的矢量表示是从频谱特征和音频词包（用于音频）、LSI主题和Doc2vec嵌入（用于字幕）以及分类特征（用于元数据）构建的。我们实现我们的模型在BBC电视节目的数据集上，并评估融合的表示，以提供建议。后期融合的相似度矩阵显着提高了推荐的精度和多样性。
2020-09-23 cs.CL cs.IR cs.LG
PNCS:Power-Norm Cosine Similarity for Diverse Client Selection in Federated Learning
Department of Electrical and Computer Engineering, McMaster University, Hamilton, Canada（电气与计算机工程系，麦斯特大学）；Department of Electrical and Computer Engineering, National Yang-Ming Chiao-Tung University, Taiwan（电气与计算机工程系，国立阳明交通大学）
本文提出基于幂范数余弦相似度（PNCS）的联邦学习客户端选择框架，通过捕获高阶梯度矩应对非独立同分布数据，并引入选择历史队列确保多样性，实验表明在VGG16模型上优于现有方法。
2025-06-18 cs.AI cs.DC cs.LG
A TRIANGLE Enables Multimodal Alignment Beyond Cosine Similarity
Department of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系）
本文提出 TRIANGLE 相似度度量，利用模态嵌入张成空间中的三角形面积实现三模态联合对齐，并在检索与分类任务中显著优于余弦相似度方法。
2025-09-29 cs.AI cs.CV cs.LG
Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative
Birla Institute of Technology（比拉理工学院）
研究指出均值池化余弦相似度在现代Transformer表示中并非长度不变，通过实验验证了其在跨语言Python接近性中的解释力，并提出中心核对齐（CKA）作为更优的替代方法。
2026-05-08 cs.CL cs.LG
ACE: Exploring Activation Cosine Similarity and Variance for Accurate and Calibration-Efficient LLM Pruning
Stevens Institute of Technology（史蒂文斯理工学院）；Harvard University（哈佛大学）；University of Georgia（佐治亚大学）
本文提出ACE剪枝方法，通过引入激活余弦相似度损失和激活方差引导的剪枝指标，在LLaMA等主流LLM上同时实现了高达18%的困惑度降低和63%的剪枝时间减少。
2025-05-28 cs.LG
One Loss for All: Deep Hashing with a Single Cosine Similarity based Learning Objective
Universiti Malaya（马来亚大学）；University of Surrey（萨里大学）；Geek+（极智嘉）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
深度哈希模型通常有两个主要的学习目标：使学习的二进制哈希码具有区分性和最小化量化误差。在诸如比特平衡和码正交性的进一步约束的情况下，现有模型采用大量（>4）损耗并不罕见。这导致模型培训的困难，并随后阻碍其有效性。在这项工作中，我们提出了一种新的深度哈希模型，只有一个学习目标。具体来说，我们表明，最大限度地提高连续码和相应的二进制正交码之间的余弦相似性，可以确保散列码的鉴别力和量化误差最小化。此外，利用该学习目标，可以通过简单地使用批量归一化（BN）层来实现代码平衡，并且多标签分类也可以直接使用标签平滑。其结果是一个单损失深度哈希模型，消除了调整各种损失权重的所有麻烦。重要的是，大量的实验表明，我们的模型是非常有效的，在三个大规模的实例检索基准测试中，性能优于最先进的多损失哈希模型，通常是显著的利润率。代码可在https://github.com/kamwoh/orthohash上获得
2021-09-29 cs.CV cs.LG
Efficient Document Indexing Using Pivot Tree
UPMC（巴黎第六大学）
我们提出了一种新的方法，有效地搜索前k个邻居表示在高维空间的条件的基础上余弦相似性的文件。大多数情况下，文档是以词袋tf-idf表示的形式存储的。向量表示之间的余弦相似度是计算文档间相似度最常用的方法之一，但余弦相似度不遵循三角不等式，不是度量距离的度量，因此大多数度量搜索方法不能直接应用。我们提出了一个有效的方法，索引文件使用枢轴树，导致有效的检索。我们还研究了该方法的精度和效率之间的关系，并将其与基于内积的文档搜索领域的最新技术进行了比较。
2016-05-21 cs.IR cs.LG
Deep Cosine Metric Learning for Person Re-Identification
German Aerospace Center (DLR)（德国航空航天中心（DLR））；University of Oxford（牛津大学）
度量学习的目的是构建一个嵌入，其中对应于同一身份的两个提取的特征可能比来自不同身份的特征更接近。本文提出了一种学习这样一个特征空间的方法，通过一个简单的重新参数化的传统softmax分类制度的余弦相似性进行了有效的优化。在测试时，可以从网络中剥离最终分类层，以便于使用余弦相似性度量对未见过的个体进行最近邻查询。这种方法提出了一个简单的替代直接度量学习目标，如连体网络，需要在过去复杂的对或三重采样策略。在两个大规模的行人重新识别数据集上对该方法进行了评估，总体上取得了有竞争力的结果。特别是，与使用三重损失训练的网络相比，我们在测试集上实现了更好的泛化。
2018-12-02 cs.CV cs.LG
Where Decoder Cosine Similarity Fails for SAE Feature Flow Discovery
Hasso Plattner Institute（哈索·普拉特纳研究所）；IT University of Copenhagen（哥本哈根信息技术大学）
本文发现SAE特征流发现中解码器余弦相似度在MLP更新场景下失效，通过构建转移图谱和消融验证，在Pythia和Gemma模型中揭示了大量低余弦相似度但强效应的转移，为表示-更新机制诊断提供新工具。
2026-09-14 cs.LG
When Style Similarity Scores Fail: Diagnosing Raw CSD Cosine in Artist-Style Evaluation
Bochum University of Applied Sciences（博湖应用科学大学）
本文提出一种诊断方法，用于检验对比风格描述符（CSD）的原始余弦是否能作为绝对风格保真度评分。通过实验发现，CSD+方法在不同模型上均能有效减少负差距，提升评估准确性。
2026-07-07 cs.CV cs.LG
Coarse-to-fine Optimization for Speech Enhancement
Apple Inc.（苹果公司）
在本文中，我们提出了由粗到细的优化语音增强的任务。余弦相似性损失[1]已被证明是衡量语音信号相似性的有效度量。然而，由于在高维空间中即使具有相同的余弦相似性损失的增强语音的大方差，利用该损失学习的深度神经网络可能无法预测具有良好质量的增强语音。我们的粗到细的策略优化了不同粒度的余弦相似性损失，使更多的约束被添加到从高维到相对低维的预测。以这种方式，增强的语音将更好地类似于干净的语音。实验结果表明，我们提出的粗到精的优化在判别模型和生成模型的有效性。此外，我们将粗到细的策略应用到生成对抗网络（GAN）中的对抗损失，并提出了动态感知损失，它动态地计算从粗分辨率到细分辨率的对抗损失。与其他生成模型相比，动态感知损失进一步提高了准确性，并实现了最先进的结果。
2019-08-21 cs.LG cs.SD eess.AS
Cleaned Similarity for Better Memory-Based Recommenders
The Hong Kong University of Science and Technology（香港科技大学）
基于记忆的协同过滤方法，如用户或项目的k-最近邻（kNN）是一个简单而有效的解决方案的推荐问题。这些方法的骨干是用户/项目之间的经验相似性的估计。在本文中，我们分析了皮尔逊和余弦相似性估计的谱特性，我们使用随机矩阵理论的工具，认为他们遭受噪声和特征值扩散。我们认为，与皮尔逊相关性，余弦相似性自然具有理想的属性的特征值收缩大的特征值。然而，由于其零均值假设，它高估了最大的特征值。我们量化了这种高估，并提出了一个简单的重新缩放和噪音清理方案。这导致基于内存的方法与其普通方法相比具有更好的性能。
2019-05-17 cs.IR cs.LG
Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph
本文提出了一种基于三元语义关系判别器和软到硬聚类算法的语义聚类系统，有效解决同义词与反义词区分问题，提升语义检索精度。
2026-01-19 cs.CL cs.LG
Similarity Choice and Negative Scaling in Supervised Contrastive Learning for Deepfake Audio Detection
University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）
本文研究了对比学习中相似性选择和负样本缩放对深度伪造音频检测的影响，通过实验发现使用余弦相似度和延迟队列能有效降低EER，而角相似度在无队列负样本时表现优异，表明对大规模负样本集的依赖减少。
2026-04-28 cs.LG eess.AS
Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization
University of Michigan（密歇根大学）
本研究指出，量化下可解释性迁移的余弦相似度报告缺乏噪声基底，无法作为证据；通过测量类别分离度并对比分裂半样本零分布，发现INT4方向旋转而INT8无移动，并提出低成本报告建议。
2026-09-28 cs.LG
Calibrated Similarity for Reliable Geometric Analysis of Embedding Spaces
University of Mons（蒙斯大学）
通过单调校准恢复嵌入空间中余弦相似度绝对值的可解释性，同时保持排名相关性和稳定性。
2026-01-23 cs.LG
On the Similarity of Deep Learning Representations Across Didactic and Adversarial Examples
Institute for Simulation and Training（模拟与训练研究所）；University of Central Florida（中佛罗里达大学）
该研究针对MRI采集变异性场景，探究神经影像分类任务中深度学习表征在教学样本与对抗样本下的稳定性，发现表征相似性和模型性能会随输入空间对抗样本的频率发生变化。
2024-09-17 cs.CV cs.LG eess.IV
Encrypted Vector Similarity Computations Using Partially Homomorphic Encryption: Applications and Performance Analysis
Vorboss Limited（沃博斯有限公司）；Ibn Haldun University（伊本·赫勒敦大学）
本文提出利用部分同态加密结合向量预归一化实现加密余弦相似度搜索，在LFW人脸识别等任务上验证其相比全同态加密更快、更省资源，适合隐私保护场景。
2025-03-07 cs.CR cs.CV cs.LG
Adversarially Robust Deepfake Detection via Adversarial Feature Similarity Learning
Research Center for Information Technology Innovation, Academia Sinica（中央研究院資訊科技創新研究中心）；National Chengchi University（國立政治大學）；National Taiwan University（國立臺灣大學）
针对深度伪造检测易受对抗攻击的问题，提出AFSL方法，通过整合特征学习范式并优化样本与权重相似性及正则化，在多个数据集上显著提升防御性能。
2024-02-06 cs.CV cs.LG cs.MM
Gradient Similarity: An Explainable Approach to Detect Adversarial Attacks against Deep Learning
深度神经网络容易受到能够欺骗网络的小但特定的对抗性扰动的影响。此漏洞可能会在安全关键型应用程序中导致潜在的有害后果。为了解决这个漏洞，我们提出了一个新的度量称为\emph{Gradient Similarity}，使我们能够捕捉测试输入的训练数据的影响。我们表明，\emph{Gradient Similarity}的行为不同的正常和敌对的输入，并使我们能够检测到各种对抗攻击与接近完美的ROC-AUC为95-100\%。即使是拥有系统完美知识的白盒对手也无法轻松绕过我们的检测器。在MNIST数据集上，白盒攻击要么以87- 96%的高ROC-AUC检测到，要么需要非常高的失真来绕过我们的检测器。
2018-06-27 cs.CR cs.CV cs.LG
NODE-AdvGAN: Improving the transferability and perceptual similarity of adversarial examples by dynamic-system-driven adversarial generative model
University of Strathclyde（思克莱德大学）；University of Georgia（佐治亚大学）；Oklahoma State University（俄克拉荷马州立大学）
针对对抗样本的可迁移性与感知相似性问题，提出NODE-AdvGAN，将对抗生成视为连续过程并采用NODE模拟生成器动态，还提出NODE-AdvGAN-T训练策略，生成的对抗样本攻击成功率更高且感知质量更好。
2025-04-13 cs.AI cs.LG
Similarity Preserving Adversarial Graph Contrastive Learning
KAIST（韩国科学技术院）
针对现有对抗训练GCL方法无法保持节点特征相似性的问题，提出SP-AGCL框架，通过对比干净图与节点相似性保持视图及对抗视图，在多种下游任务和复杂场景中实现了有竞争力的性能与鲁棒性。
2023-06-24 cs.AI cs.CR cs.LG
ScoreShield: Differentially Private Release of Similarity Scores
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院工程学院）
研究生物识别等应用中相似度分数隐私保护问题，提出ScoreShield先扰动后投影机制，添加校准高斯噪声并投影到可行性集，满足（ε，δ）-DP，给出效用保证，在多任务中评估，改进了风险的n依赖性。
2026-07-29 cs.CR cs.CV cs.IR
The Relationship Between Network Similarity and Transferability of Adversarial Attacks
Fraunhofer SIT / ATHENE（弗劳恩霍夫安全信息技术研究所 / ATHENE）；TU-Darmstadt（达姆施塔特工业大学）
本文研究网络相似性与对抗攻击可迁移性之间的关系，利用CKA相似度分数和DecisionTreeRegressor模型预测迁移攻击成功率，发现复杂网络更脆弱且预测准确率超90%。
2025-01-27 cs.CR cs.LG
Adversarial Demonstration Learning for Low-resource NER Using Dual Similarity
The University of Hong Kong（香港大学）
针对低资源 NER 的示范选择与示范利用不足问题，提出融合语义和特征双重相似性的样本选择及对抗性示范训练方法，实验证明性能优于多种方法。
2025-07-13 cs.CL cs.LG
When Does Embedding Magnitude Matter? A Cross-Task Functional-Symmetry Framework
Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出一种2x2框架，独立控制查询和文档侧归一化，发现QNorm和DNorm在跨任务中优于余弦和点积，揭示文档量影响推理分数，查询量调节训练梯度，Fisher信息矩阵条件数预测归一化侧。
2026-05-07 cs.IR cs.LG
Adversarial Attacks against Binary Similarity Systems
Sapienza University of Rome（罗马第一大学）
本文评估深度学习二进制相似度模型的对抗鲁棒性，通过黑盒贪婪攻击（含新提出的 Spatial Greedy）与迁移自图像分类器的白盒梯度攻击，证明三类先进方案均易受定向和非定向攻击。
2023-11-03 cs.CR cs.LG
Similarity of Neural Architectures using Adversarial Attack Transferability
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University（延世大学BK21智能半导体技术研究生项目）；NAVER AI Lab（NAVER人工智能实验室）
本文提出基于对抗攻击迁移性的神经架构相似性度量SAT，对69个ImageNet分类器进行大规模分析，发现模型多样性可提升集成与蒸馏性能，强调开发多样化架构的必要性。
2024-07-17 cs.CV cs.LG
Detection of Adversarial Supports in Few-shot Classifiers Using Self-Similarity and Filtering
ST Engineering-SUTD Cyber Security Laboratory（ST Engineering-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University（本-古里安大学）；University of Oslo（奥斯陆大学）
Few-Shot分类器在有限的训练样本下表现出色，这使得它们在具有稀疏用户提供的标签的应用中非常有用。他们独特的相对预测设置为新型攻击提供了机会，例如对未见过的测试样本进行分类所需的目标支持集，这在其他机器学习设置中不可用。在这项工作中，我们提出了一种检测策略，以确定敌对的支持集，旨在破坏理解的Few-Shot分类器为某一类别。我们实现这一点，通过引入的概念，自相似性的支持集，并采用过滤的支持。我们的方法是攻击不可知的，我们是第一个探索对抗检测支持集的Few-Shot分类器，以我们所知的。我们对miniImagenet（MI）和CUB数据集的评估显示出良好的攻击检测性能，尽管概念简单，显示出较高的AUROC分数。我们表明，自相似性和过滤对抗检测可以与其他过滤功能配对，构成一个可推广的概念。
2021-06-28 cs.CR cs.LG
FuncFooler: A Practical Black-box Attack Against Learning-based Binary Code Similarity Detection Methods
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Shandong University（山东大学）；RIKEN（理化学研究所）
二进制代码相似性检测（BCSD）方法测量两个二进制可执行代码的相似性。近年来，基于学习的BCSD方法取得了很大的成功，在检测精度和效率上都优于传统的BCSD方法。然而，现有的研究是相当稀疏的基于学习的BCSD方法的对抗性脆弱性，在安全相关的应用中造成的危害。为了评估对抗性鲁棒性，设计了一种高效的黑盒对抗性代码生成算法FuncFocal。FuncFocal约束对抗代码1）保持程序的控制流图（CFG）不变，2）保持相同的语义。具体而言，FuncFocal连续地1）确定恶意代码中的易受攻击的候选者，2）从良性代码中选择并插入对抗性指令，以及3）纠正对抗性代码的语义副作用以满足约束。从经验上看，我们的FuncFocal可以成功地攻击三个基于学习的BCSD模型，包括SAFE，Asm2Vec和jTrans，这就质疑了基于学习的BCSD是否可取。
2022-08-26 cs.AI cs.CR cs.LG
Similarity-based Outlier Detection for Noisy Object Re-Identification Using Beta Mixtures
School of Mathematical Sciences, Dublin City University（数学科学学院，都柏林城市大学）
本文提出Beta-SOD框架，通过双分量Beta分布混合模型对Siamese网络嵌入对的余弦相似度分布建模，实现噪声标签下的离群点检测，显著提升了目标重识别在10-30%噪声水平下的鲁棒性。
2025-09-15 cs.AI cs.CV cs.LG
Saliency Attention and Semantic Similarity-Driven Adversarial Perturbation
Praxis Business School（普拉西斯商学院）
针对传统文本对抗攻击难以兼顾攻击有效性与语义一致性的问题，提出融合显著性、注意力与语义相似度的三阶段扰动方法SASSP，相比CLARE实现了更高攻击成功率与更低扰动率。
2024-06-18 cs.CL cs.CR cs.LG
Targeted Adversarial Attacks against Neural Machine Translation
EPFL（洛桑联邦理工学院）；University of Tehran（德黑兰大学）；Armasuisse S+T（瑞士联邦国防采购局科技中心）
神经机器翻译（NMT）系统用于各种应用中。然而，已经表明，它们容易受到输入的非常小的扰动，称为对抗攻击。在本文中，我们提出了一种新的针对NMT模型的定向对抗攻击。特别是，我们的目标是将预定义的目标关键字插入到对抗句子的翻译中，同时保持原始句子与源域中的扰动句子之间的相似性。为此，我们提出了一个优化问题，包括一个对抗损失项和一个相似项。我们在嵌入空间中使用梯度投影来制作一个对抗性句子。实验结果表明，我们的攻击优于Seq2Sick，另一个针对NMT模型的对抗攻击，在成功率和翻译质量下降。我们的攻击成功地将关键字插入到超过75%的句子的翻译中，同时保持与原始句子的相似性。
2023-03-02 cs.CL cs.CR cs.LG
