The Hidden Pitfalls of the Cosine Similarity Loss
Aarhus University（奥胡斯大学）；University of Amsterdam（阿姆斯特丹大学）
该研究揭示余弦相似度损失存在梯度消失的两类隐藏场景，证明优化余弦相似度会增大点模长导致大模长场景不可避免，且该结论普适于多种架构和SSL损失，进而提出截断初始化方法提升SSL收敛速度。
2024-06-24 cs.LG stat.ML
A Unified Geometric Framework for Weighted Contrastive Learning
GAIA Lab, NeuroSpin, CEA, CNRS Université Paris-Saclay（GAIA实验室、神经旋风、法国原子能委员会、国家科学研究中心巴黎-萨克雷大学）
本文提出统一的几何框架，揭示加权对比学习中权重方案对嵌入几何特性的影响，揭示监督和弱监督目标下的最优嵌入结构及类不平衡问题。
2026-05-13 cs.LG
Similarity-Distance-Magnitude Universal Verification
Reexpress AI
本文提出SDM激活函数，融合相似性、距离与幅度感知，以增强神经网络对认知不确定性的估计，并通过校准集映射实现可解释的汇总统计，支持选择性分类与LLM生成，对分布偏移鲁棒。
2025-05-22 cs.CL cs.LG
Clustering, Coding, and the Concept of Similarity
Rutgers University（罗格斯大学）
该研究提出结合几何与概率模型的聚类编码理论，通过势函数梯度定义依赖概率测度的黎曼度量，以此构建流形坐标系实现数据低维编码。
2018-05-16 cs.LG
Weakly-Supervised 3D Medical Image Segmentation using Geometric Prior and Contrastive Similarity
City University of Hong Kong（香港城市大学）；Beihang University（北京航空航天大学）
针对三维医学图像弱监督分割，本文提出融合点云几何先验与对比相似性损失的框架，以增强边界框监督并区分低对比度组织，在三个公开数据集上优于现有方法。
2023-02-04 cs.CV cs.LG eess.IV
Rashomon Alignment
Faculty of Engineering, University of Porto（波尔图大学工程学院）；Artificial Intelligence and Computer Science Lab (LIACC)（人工智能与计算机科学实验室（LIACC））；Fraunhofer AICOS Portugal（弗劳恩霍夫葡萄牙人工智能与计算机科学中心）；BrightFactory（光明工厂）；LIACS, Leiden University（莱顿大学LIACS）；School of Computing and Mathematical Sciences, University of Waikato（怀卡托大学计算与数学科学学院）
提出罗生门对齐（RA）评估模型功能相似性，引入几何视角，提出几何RA，通过90多个数据集实验分析，表明几何与分布对齐提供不同互补视角，RA可用于模型选择等多用途。
2026-07-29 cs.AI cs.LG
DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable Kendall's Rank Correlation
Microsoft Research Asia（微软亚洲研究院）
本文提出DiffKendall，用可微Kendall秩相关替代几何相似度指标，解决少样本学习中特征通道重要性判断问题，在广泛方法和数据集上显著提升性能。
2023-10-24 cs.AI cs.CV cs.LG
Gradient Similarity Surgery in Multi-Task Deep Learning
Free University of Bozen-Bolzano（博洛尼亚自由大学）；University of Catania（卡塔尼亚大学）
本文提出相似性感知动量梯度手术（SAM-GS），利用梯度量级相似性度量均衡梯度并调制一阶动量，以解决多任务深度学习中冲突梯度问题，实验验证其在合成问题和MTL基准上的有效性。
2025-06-06 cs.CV cs.LG
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限，提出L1增强注意力方法，通过减去特定头的L1距离改进相似性计算，经实验在WikiText 2上取得更好效果，揭示了各层几何作用及头级专业化，有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
In Defense of Cosine Similarity: Normalization Eliminates the Gauge Freedom
本文证明，当嵌入被约束到单位球面时，对角规范矩阵的歧义消失，余弦距离与欧氏距离单调等价，从而解决了余弦相似度任意性的问题。
2026-06-09 cs.LG
GC-TTS: Few-shot Speaker Adaptation with Geometric Constraints
Korea University（高丽大学）
Few-Shot说话人自适应是一种特殊的文语转换（TTS）系统，其目标是用少量的训练数据再现一个新的说话人的声音。虽然已经对Few-Shot说话者自适应系统进行了许多尝试，但是在取决于数据量的说话者与目标说话者的相似性方面仍然存在差距。为了弥补这一差距，我们提出了GC-TTS，它实现了高质量的说话人自适应显着提高说话人相似性。具体来说，我们利用两个几何约束来学习区分性说话人表示。在这里，TTS模型是针对具有足够数据量的基本扬声器进行预训练的，然后针对具有两个几何约束的几分钟数据的新扬声器进行微调。两个几何约束使该模型能够从有限的数据中提取有区别的说话人嵌入，这导致了可理解的语音合成。我们讨论和验证GC-TTS的有效性，通过比较它与流行的和必要的方法。实验结果表明，GC-TTS生成高质量的语音，从只有几分钟的训练数据，优于标准的技术，在说话人的相似性目标扬声器。
2021-08-16 cs.LG cs.SD eess.AS
GLOSS: Geometric Local Self-Similarity Learning for Faithful Reference-Guided Texture Fill
Princeton University（普林斯顿大学）；NVIDIA（英伟达）；University of Toronto（多伦多大学）
本研究提出GLOSS模型，利用几何局部自相似性，以数据需求低、可控性强的方式实现忠实参考引导的纹理填充，在3D纹理生成任务中表现优于或媲美基线模型，且作为Blender插件获专业人员认可。
2026-09-10 cs.CV cs.GR cs.LG
Geometric Stability: The Missing Axis of Representations
研究提出几何稳定性作为衡量表示质量的新维度，通过评估表示结构在扰动下的可靠性，揭示相似性指标无法检测的压缩损伤机制，实验显示稳定性与相似性在多个领域中无显著相关性。
2026-07-08 cs.CL cs.LG q-bio.QM
Beyond Perturbation Magnitude: Direction-Dependent Responses in Multimodal Geometric Representations
Zhuhai College of Science and Technology（珠海科技学院）；Zhuhai UNO Technology Co., Ltd.（珠海优诺科技有限公司）
本文提出方向几何响应（DGR），通过位移在体积梯度上的投影解释多模态几何分数对退化的响应，证明方向比幅度更关键，显著优于无方向方法。
2026-10-27 cs.CV cs.LG cs.SD
Differential Similarity in Higher Dimensional Spaces: Theory and Applications
Rutgers, The State University of New Jersey（新泽西州立罗格斯大学）
本文拓展了微分相似性理论，将其从三维推广至$n$维空间，提出了对应的求解策略与参数估计技术，并在MNIST和CIFAR-10数据集上完成验证，为结合几何与概率模型的聚类编码算法提供了高维场景的理论与方法支撑。
2024-05-10 cs.LG stat.ML
When Does Embedding Magnitude Matter? A Cross-Task Functional-Symmetry Framework
Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出一种2x2框架，独立控制查询和文档侧归一化，发现QNorm和DNorm在跨任务中优于余弦和点积，揭示文档量影响推理分数，查询量调节训练梯度，Fisher信息矩阵条件数预测归一化侧。
2026-05-07 cs.IR cs.LG
Quantifying Data Similarity Using Cross Learning
GIDP University of Arizona（GIDP亚利桑那大学）
本文提出Cross-Learning Score，通过双向泛化性能衡量数据集相似性，结合几何解释和鲁棒集成估计器，扩展至深度学习架构，验证了其在数据相似性测量和迁移评估中的有效性。
2026-04-21 cs.LG stat.ML
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research（印度科学教育与研究学院）
提出统一知识蒸馏框架，通过实例级嵌入蒸馏和关系成对相似性蒸馏，实现细粒度对齐与几何关系保持，在多基准上超越现有方法，学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Expected Similarity Estimation for Large-Scale Batch and Streaming Anomaly Detection
University of Ulm（乌尔姆大学）；Ravensburg-Weingarten University of Applied Sciences（拉芬斯堡-魏恩加腾应用科学大学）；The University of Sydney（悉尼大学）
我们提出了一种新的算法异常检测非常大的数据集和数据流。该方法称为期望相似性估计（EXPoSE），是基于核的，能够有效地计算新数据点和规则数据分布之间的相似性。该估计被制定为一个再生核希尔伯特空间嵌入的内积，并没有假设的类型或形状的基础数据分布。我们证明了使用EXPoSE的离线（批量）学习可以在线性时间内完成，而在线（增量）学习每个实例和模型更新需要恒定的时间。此外，EXPoSE可以在恒定的时间内进行预测，而它只需要恒定的内存。此外，我们提出了不同的方法，概念漂移适应不断变化的数据流。在几个真实的数据集上，我们证明了我们的方法可以与最先进的异常检测算法竞争，同时比大多数其他方法快一个数量级。
2016-06-06 cs.AI cs.LG
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为（a）学习特定语言嵌入的旋转以将它们对齐到公共空间，以及（b）学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明，我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架，以表示在一个共同的潜在空间的多种语言。特别是，几种语言的潜在空间表示联合学习，给出多语言对的双语词典。我们说明了联合学习的有效性，为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
Characterizing the impact of geometric properties of word embeddings on task performance
The Ohio State University（俄亥俄州立大学）；University of Warwick（华威大学）
词嵌入属性的分析，以告知其在下游NLP任务中的使用，主要是通过评估最近的邻居进行研究。然而，连续特征空间的几何性质直接有助于在下游模型中使用嵌入特征，并且在很大程度上未被探索。我们考虑词嵌入几何的四个属性，即：相对于原点的位置，特征在向量空间中的分布，全局成对距离和局部成对距离。我们定义了一系列转换来生成新的嵌入，这些嵌入将这些属性的子集暴露给下游模型，并评估任务性能的变化，以了解每个属性对NLP模型的贡献。我们从三个流行的工具包（word2vec，GloVe和FastText）中转换公开的预训练嵌入，并评估各种内在任务，这些任务在向量空间中建模语言信息，以及外部任务，这些任务使用向量作为机器学习模型的输入。我们发现，内在的评价是高度敏感的绝对位置，而外在的任务主要依赖于本地的相似性。我们的研究结果表明，未来的嵌入模型和后处理技术应该主要关注向量空间中附近点的相似性。
2019-04-09 cs.CL cs.LG
Efficient Identification of High Similarity Clusters in Polygon Datasets
Columbia University in the city of New York（哥伦比亚大学）
本文提出结合动态KDE阈值、监督调度与召回约束优化的框架，减少待验证多边形簇数量，从而在保证精确率、召回率和准确性的同时降低大规模空间相似性计算成本。
2025-09-28 cs.DB cs.LG q-bio.QM
