Semi-supervised Symmetric Non-negative Matrix Factorization with Low-Rank Tensor Representation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Mathematical Sciences, Shenzhen University（深圳大学数学科学学院）
针对半监督 SNMF 中成对约束利用缺乏全局视角的问题，本文提出基于成对约束矩阵与相似矩阵合成张量的低秩表示及迭代增强框架，显著提升聚类性能。
2024-10-27 cs.LG
Deep Clustering with Incomplete Noisy Pairwise Annotations: A Geometric Regularization Approach
Oregon State University（俄勒冈州立大学）
本文针对深度约束聚类中标注噪声问题，先分析逻辑DCC损失的理论性质，再提出基于几何因子分析的损失函数，在未知标注混淆下仍可证明地识别数据成员身份，并在多个数据集上验证有效性。
2023-05-30 cs.LG
Efficient Graph Similarity Computation with Alignment Regularization
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对现有图相似性计算方法节点级匹配模块计算成本高的问题，提出对齐正则化技术与多尺度GED判别器，在保证效果的同时提升了计算效率与可迁移性。
2024-06-21 cs.LG
Adaptive Verifiable Training Using Pairwise Class Similarity
Columbia University（哥伦比亚大学）；IBM Research（IBM研究院）
可验证的训练已成功创建了可证明对给定数量的噪音具有鲁棒性的神经网络。然而，尽管只执行一个鲁棒性标准，其性能与数据集复杂性的比例很差。在CIFAR 10上，非鲁棒LeNet模型的出错率为21.63%，而使用可验证训练和L无穷鲁棒性标准8/255创建的模型的出错率为57.10%。经检验，我们发现在标注视觉相似类时，该模型的出错率高达61.65%。我们将性能损失归因于类间相似性。类似的类（即，在特征空间中接近）增加了学习鲁棒模型的难度。虽然期望针对大的鲁棒性区域训练鲁棒性模型，但成对的类相似性限制了潜在的增益。此外，还必须考虑到错误的类似类的相对成本。在安全或安全关键任务中，类似的类可能属于同一组，因此具有相同的敏感性。在这项工作中，我们提出了一种新的方法，利用类间相似性来提高可验证训练的性能，并创建针对多个对抗性标准的鲁棒模型。首先，我们使用凝聚聚类相似的类进行分组，并分配基于集群之间的相似性的鲁棒性标准。接下来，我们提出了两种方法来应用我们的方法：（1）组间鲁棒性优先级，它使用一个自定义的损失项来创建一个具有多个鲁棒性保证的单一模型和（2）神经决策树，它训练具有不同鲁棒性保证的多个子分类器，并将它们组合在决策树架构中。在Fashion-MNIST和CIFAR 10上，我们的方法分别将清洁性能提高了9.63%和30.89%。在CIFAR 100上，我们的方法将清洁性能提高了26.32%…
2020-12-14 cs.LG
Predicting Pairwise Relations with Neural Similarity Encoders
Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
矩阵分解是许多机器学习算法的核心，例如，降维（例如核PCA）或依赖于协同过滤的推荐系统。将矩阵的奇异值分解（SVD）理解为神经网络优化问题，使我们能够有效地分解大型矩阵，同时自然地处理给定矩阵中的缺失值。但最重要的是，它允许我们学习数据点的特征向量与包含有关其成对关系的信息的矩阵之间的连接。在本文中，我们介绍了一种新的神经网络架构，称为相似性编码器（SimEc），它的目的是同时分解一个给定的目标矩阵，同时也学习映射投影数据点的特征向量到一个保持相似性的嵌入空间。例如，这使得可以轻松计算新数据点的样本外解决方案。此外，我们证明了SimEc可以保持非度量相似性，甚至可以同时预测数据点之间的多个成对关系。
2019-01-09 cs.LG stat.ML
Discriminative Similarity for Data Clustering
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；Baidu Research（百度研究院）
基于相似性的聚类方法根据数据之间的成对相似性将数据划分为簇，而成对相似性是其性能的关键。在本文中，我们提出了{ \em聚类判别相似（CDS）}，一种新的方法，学习判别相似的数据聚类。CDS从每个数据分区学习无监督的基于相似性的分类器，并通过最小化与数据分区相关联的学习的分类器的泛化误差来搜索数据的最优分区。通过Rademacher复杂度的泛化分析，将基于相似度的无监督分类器的泛化误差界表示为不同类数据之间的判别相似度之和.证明了核密度分类的积分平方误差界也可以导出判别相似度。为了评估所提出的判别相似性的性能，我们提出了一种新的聚类方法，使用核作为相似性函数，CDS通过无监督核分类（CDSK），其有效性证明了实验结果。
2022-06-23 cs.LG
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Pairwise Similarity Distribution Clustering for Noisy Label Learning
本文提出 PSDC 样本选择算法，通过成对相似度与 GMM 建模将训练样本划分为干净集和噪声集，以增强半监督噪声标签学习，并在多个基准上显著优于现有方法。
2024-04-02 cs.CV cs.LG
Pairwise Similarity Learning is SimPLE
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出一种无需特征归一化或角度间隔的简单无代理方法SimPLE，用于成对相似度学习，在开放集人脸识别、图像检索和说话人验证任务上显著优于现有最先进方法。
2023-10-13 cs.CV cs.LG
Regularization via Adaptive Pairwise Label Smoothing
National Research Council of Canada（加拿大国家研究委员会）
标签平滑（LS）是一种有效的正则化器，可以提高最先进的深度模型的泛化能力。对于每个训练样本，LS策略通过将其分布质量分布在非地面实况类上来平滑独热编码的训练信号，旨在惩罚网络生成过度自信的输出分布。本文介绍了一种新的标签平滑技术称为成对标签平滑（PLS）。PLS采用一对样本作为输入。使用一对地面真值标签进行平滑使PLS能够保持两个真值标签之间的相对距离，同时进一步软化真值标签与其他目标之间的距离，导致模型产生的预测比LS策略的置信度低得多。此外，与通常需要通过交叉验证搜索找到全局平滑分布质量的当前LS方法不同，PLS在训练期间自动学习每个输入对的分布质量。我们的经验表明，PLS显着优于LS和基线模型，实现高达30%的相对分类错误减少。我们还直观地表明，当实现这样的准确性增益的PLS往往会产生非常低的获胜softmax分数。
2020-12-02 cs.LG stat.ML
Deep Contextualized Pairwise Semantic Similarity for Arabic Language Questions
Mawdoo3 Ltd（Mawdoo3有限公司）
问题语义相似性是一个具有挑战性和活跃的研究问题，在许多NLP应用中非常有用，例如在Quora等社区问答平台中检测重复问题。阿拉伯语被认为是一种资源不足的语言，有许多方言，并且有丰富的形态。这些挑战加在一起，使得在阿拉伯语中识别语义相似的问题变得更加困难。在本文中，我们介绍了一种新的方法来解决这个问题，并在两个基准上进行测试;一个是现代标准阿拉伯语（MSA），另一个是24种主要的阿拉伯语方言。我们能够证明，我们的新系统在MSA基准测试中获得了93%的F1分数，在辩证测试中获得了82%的F1分数，优于最先进的方法。这是通过利用在包含MSA和辩证句的文本语料库上训练的上下文化单词表示（ELMo嵌入）来实现的。这与成对细粒度相似性层相结合，有助于我们的问题到问题相似性模型在仅基于问题到问题MSA数据进行训练的同时，对不同方言进行概括预测。
2019-09-19 cs.CL cs.LG stat.ML
Shift of Pairwise Similarities for Data Clustering
Chalmers University of Technology（查尔姆斯理工大学）
本文提出通过对成对相似度进行自适应偏移来改进聚类，并设计高效局部搜索算法，实验表明其在多个数据集上优于常见聚类方法。
2025-02-05 cs.AI cs.LG
Efficient Similarity-based Passive Filter Pruning for Compressing CNNs
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））；University of Surrey（萨里大学）
卷积神经网络（CNN）在各种应用中取得了巨大的成功。然而，CNN的计算复杂性和内存存储是其在资源受限设备上部署的瓶颈。最近减少CNN的计算成本和内存开销的努力涉及基于相似性的无源滤波器修剪方法。基于相似性的被动滤波器修剪方法计算滤波器的成对相似性矩阵，并消除一些相似的滤波器以获得小的修剪的CNN。然而，计算成对相似性矩阵的计算复杂性很高，特别是当卷积层具有许多滤波器时。为了减少在获得成对相似性矩阵的计算复杂性，我们建议使用一种有效的方法，其中完整的成对相似性矩阵是近似从只有几个列，通过使用Nyström近似方法。与计算完整的成对相似性矩阵的基于相似性的修剪方法相比，所提出的有效的基于相似性的被动过滤器修剪方法的速度快3倍，并且在CNN计算的相同减少量下具有相同的准确性。除此之外，所提出的有效的基于相似性的修剪方法执行类似或优于现有的基于范数的修剪方法。提出的修剪方法的有效性进行评估CNN，如DCASE 2021任务1A基线网络和VGGish网络设计的声学场景分类。
2022-10-27 cs.AI cs.CV cs.LG
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；UCL（伦敦大学学院）；Preferred Networks, Inc.（Preferred Networks公司）
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务，如度量学习，核学习和对比学习。建立在表示的分类器，预计在下游分类表现良好，然而，很少有理论已经在文献中给出了到目前为止，从而相似性和分类之间的关系仍然难以捉摸。因此，我们解决了一个基本的问题：相似性信息可以证明导致模型在下游分类中表现良好吗？在本文中，我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明，这两个不同的问题是明确连接的超额风险约束。因此，我们的研究结果阐明，相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
Similarity Function Tracking using Pairwise Comparisons
University of Michigan（密歇根大学）
最近在距离度量学习方面的工作集中在学习数据的变换，这些变换最好与指定的成对相似性和相异性约束（通常由人类观察者提供）保持一致。由于更好地适应距离或相似性度量，学习的转换导致改进的检索、分类和聚类算法。在这里，我们解决的问题，学习这些转换时，底层的约束生成过程是非平稳的。这种非平稳性可能是由于用于生成约束的地面实况聚类的变化或类结构明显的特征子空间的变化。我们提出了在线凸包络强自适应动态学习（OCELAD），一个通用的自适应，在线学习和跟踪最佳指标的方法，因为它们随着时间的推移而变化，是非常强大的各种非平稳行为的变化度量。我们将OCELAD框架应用于在线学习者的集合。具体来说，我们创建了一个由一组具有不同学习率的并行COMID学习器组成的逆向初始化复合目标镜像下降（COMID）集成（RICE），并在合成数据和高度非平稳的Twitter数据集上展示了无参数RICE-OCELAD度量学习。我们表现出显着的性能改进和增加的鲁棒性，相对于以前提出的批处理和在线距离度量学习算法的非平稳效应。
2017-01-07 cs.LG stat.ML
Pairwise Margin Maximization for Deep Neural Networks
School of Computer Science Reichman University（Reichman大学计算机学院）；Data Science Institute Reichman University（Reichman大学数据科学研究所）
权重衰减正则化项在训练期间被广泛用于约束表达性、避免过拟合和提高泛化。从历史上看，这个概念是从SVM最大边际原理中借用的，并扩展到多类深度网络。仔细检查这个原则，就会发现它通常不是多类分类的最佳选择，特别是在使用深度神经网络时。在本文中，我们解释了为什么这个常用原则不是最佳的，并提出了一种新的正则化方案，称为{ \em Pairwise Margin Maximization}（PMM），它测量实例在切换其预测分类之前应该采取的最小位移量。在深度神经网络中，PMM可以在网络输出层之前的向量空间中实现，即，在深特征空间中，我们添加了一个额外的归一化项，以避免收敛到一个平凡的解决方案。与标准正则化项相比，我们在使用PMM训练深度神经网络时，经验上证明了实质性的改进。
2021-10-09 cs.AI cs.LG
Local Regularization of Noisy Point Clouds: Improved Global Geometric Estimates and Data Analysis
一些数据分析技术采用数据点之间的相似性关系来揭示底层数据生成机制的内在维度和几何结构。在本文中，我们工作的模型假设下，数据是由随机扰动的特征向量躺在一个低维流形。我们研究两个问题：如何定义噪声数据点上的相似性关系，以及在从底层流形提取全局几何信息时相似性的选择所产生的影响。我们提供了具体的数学证据，使用本地正则化的噪声数据来定义的相似性，提高了近似的隐藏的欧氏距离之间的未扰动点。此外，基于图的对象构造的局部正则化的相似性函数满足更好的误差界在其恢复的全球几何。我们的理论得到了数值实验的支持，这些实验表明，局部正则化促进的几何理解的增益转化为模拟和真实数据中分类精度的增益。
2019-04-06 cs.LG stat.ML
Beyond Semantic Entropy: Boosting LLM Uncertainty Quantification with Pairwise Semantic Similarity
UCLA CS（UCLA计算机科学系）；Cisco Systems Inc.（思科系统公司）
针对语义熵在长回复中忽略聚类内外相似性的局限，提出基于最近邻估计的黑盒不确定性量化方法，可扩展至白盒并推广语义熵，在 Phi3 和 Llama3 等任务上优于语义熵。
2025-05-30 cs.CL cs.LG
Patient similarity: methods and applications
The George Washington University（乔治华盛顿大学）；The Hong Kong Polytechnic University（香港理工大学）；Harvard University（哈佛大学）
患者相似性分析在医疗保健应用中非常重要。它将患者的电子医疗记录和遗传数据等信息作为输入，并计算患者之间的成对相似性。典型的患者相似性研究的过程可以分为几个步骤，包括数据集成，相似性测量和邻域识别。根据对患者相似性的分析，医生可以很容易地找到最合适的治疗方法。相似性分析的方法有很多，如聚类分析。在机器学习越来越流行的今天，利用神经网络如CNN进行学习成为一个新的热点。本文总结了每个步骤中使用的代表性方法，并讨论了患者相似性网络的应用，特别是在精准医学的背景下。
2020-12-01 cs.LG
Gradient Aligned Regression via Pairwise Losses
Department of Genetics, Stanford University, CA, USA（遗传学系，斯坦福大学，加州，美国）；Department of Computer Science, Texas A\&M University, TX, USA（计算机科学系，德克萨斯A&M大学，德克萨斯州，美国）
针对现有基于潜在特征空间成对正则化的回归方法计算成本高、缺乏理论支撑的问题，提出标签空间的GAR方法，兼具线性复杂度与理论依据，在多数据集上验证了有效性与效率优势。
2025-06-11 cs.AI cs.LG
Extending Momentum Contrast with Cross Similarity Consistency Regularization
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）
对比自监督表示学习方法最大化正对之间的相似性，同时倾向于最小化负对之间的相似性。然而，一般来说，否定对之间的相互作用被忽视，因为它们没有建立特殊的机制，根据它们的具体差异和相似性来区别对待否定对。在本文中，我们提出了扩展动量对比（XMoCo），一个自我监督的表示学习方法的基础上提出的动量编码器单元的遗产的MoCo家庭配置。为此，我们引入了一个交叉一致性正则化损失，我们将变换一致性扩展到不同的图像（负对）。在交叉一致性正则化规则下，我们认为与任何一对图像（正面或负面）相关的语义表示应该在借口变换下保持其交叉相似性。此外，我们通过在一批负对上强制相似性的均匀分布来进一步正则化训练损失。所提出的正则化可以很容易地添加到现有的自监督学习算法的即插即用的方式。从经验上讲，我们报告了标准Imagenet-1 K线性头部分类基准的竞争力表现。此外，通过将学习到的表示转移到常见的下游任务，我们表明，使用XMoCo与precurrently利用增强可以导致这些任务的性能的改善。我们希望本文的研究结果能够激励研究者考虑自监督学习中负面例子之间的重要相互作用。
2022-06-07 cs.AI cs.CV cs.LG
Continuous Histogram Loss: Beyond Neural Similarity
ITMO University（ITMO大学）
本文提出 Continuous Histogram Loss (CHL) 损失函数，将二元相似性推广至连续多值相似性，通过可微二维直方图计算距离与相似性的条件概率，以解决相似性学习、表示学习和数据可视化等更广泛任务。
2020-04-06 cs.LG stat.ML
Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels
University of Turku（图尔库大学）；Ghent University（根特大学）
我们考虑的问题，学习回归函数从成对数据时，存在的先验知识，要学习的关系是对称的或反对称的。这种先验知识通常通过对称化或反对称化成对核函数来加强。通过谱分析，我们表明，这些变换降低了内核的有效维数。此外，我们提供了一个分析所得到的内核的近似特性，并绑定的正则化偏置的内核中的原始内核的相应的偏置。
2015-06-19 cs.LG stat.ML
Text classification with word embedding regularization and soft similarity measure
Masaryk University（马萨里克大学）；Faculty of Informatics（信息学院）
自从Mikolov等人的开创性工作以来，词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量，如软余弦度量（SCM）和词移动者距离（WMD），被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色，但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度，但其在文本分类上的性能从未与WMD进行过比较。最近，两种词嵌入正则化技术被证明可以减少存储和内存成本，并提高训练速度，文档处理速度以及词类比，词相似性和语义文本相似性的任务性能。然而，这些技术对文本分类的影响尚未得到研究。在我们的工作中，我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估，我们使用$k$ NN分类器和六个标准数据集：BBCSPORT，TWITTER，OHSUMED，REUTERS-21578，AMAZON和20 NEWS。我们发现，与非正则化词嵌入相比，正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序，通过Cholesky分解得到这样的正则化嵌入。我们还表明，具有正则化词嵌入的SCM在文本分类方面明显优于WMD，并且速度快了10，000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Operationalizing Individual Fairness with Pairwise Fair Representations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们重新审视Dwork等人提出的个人公平性的概念。在操作他们的方法的一个核心挑战是在引发人类规范的相似性度量的困难。在本文中，我们提出了一个可操作的个人公平性，不依赖于人类的距离度量规范。相反，我们提出了新的方法来引出和利用同样值得的个人的边信息，以对抗社会群体之间的从属关系。我们将这些知识建模为公平图，并学习数据的统一成对公平表示（PFR），该表示捕获个体之间的数据驱动相似性和公平图中的成对边信息。我们从各种来源得出公平性判断，包括对累犯预测（COMPAS）和暴力邻里预测（Crime & Communities）两个真实世界数据集的人类判断。我们的实验表明，PFR模型的个人公平操作是切实可行的。
2019-12-02 cs.LG stat.ML
On Tree-based Methods for Similarity Learning
Telecom ParisTech（巴黎高等电信学院）；Université Paris Saclay（巴黎萨克雷大学）；IDEMIA（艾德米亚）
在许多情况下，在特征空间上选择适当的相似性度量或度量极大地决定了机器学习方法的性能。自动构建这样的度量是度量/相似性学习的特定目的。在Vogel et al.（2018）中，相似性学习被公式化为成对二分排序问题：理想情况下，特征空间中的两个观测值属于同一类（或共享相同标签）的概率越大，它们之间的相似性度量就越高。从这个角度来看，ROC曲线是一个合适的性能标准，本文的目标是扩展基于递归树的ROC优化技术，以提出高效的相似性学习算法。这种迭代划分程序在成对设置的有效性建立的U-过程的理论和从一个实用的角度，它是在长度上讨论如何实现它们的分裂规则专门为相似性学习任务。除了这些理论/方法的贡献，数值实验显示，并提供了强有力的经验证据，我们提出的算法方法的性能。
2019-06-21 cs.LG stat.ML
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化，尤其在无分类器引导阶段强化对齐，从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator
Texas A&M University（德州农工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
语义散列已成为许多大型信息检索系统中快速相似性搜索的关键组成部分，特别是对于文本数据。变分自动编码器（VAE）与二进制潜在变量作为哈希码提供了最先进的性能方面的精度为文档检索。我们提出了一个具有离散潜在VAE的成对损失函数来奖励监督哈希的类内相似性和类间相异性。该算法不依赖于已有的有偏梯度估计器，而是采用无偏低方差梯度估计器，通过对两组相关的二进制哈希码的不可微损失函数进行估计，控制梯度估计的方差，从而优化哈希函数.这种新的语义哈希框架实现了优越的性能相比，国家的最先进的，我们的综合实验证明。
2020-05-21 cs.LG stat.ML
Locally linear representation for image clustering
Sichuan University（四川大学）
在面向图的子空间学习和聚类中，相似图的构造是关键。在相似性图中，每个顶点表示一个数据点，边权重表示两个点之间的相似性。有两种流行的方案来构造相似性图，即，基于成对距离的方案和基于线性表示的方案。现有的大部分工程只涉及上述其中一个方案，并受到一定的限制。具体地，与基于线性表示的方法相比，基于成对距离的方法对噪声和离群值敏感。另一方面，存在基于线性表示的算法错误地选择子空间间点来表示点的可能性，这将降低性能。在本文中，我们提出了一种算法，称为局部线性表示（LLR），它集成了两两距离与线性表示在一起，以解决问题。该算法能够自动对一组点集上的每个数据点进行编码，这些点集不仅能够以较小的残差表示目标点，而且与欧氏空间中的点接近。实验结果表明，该方法在子空间学习和子空间聚类方面具有良好的应用前景。
2017-05-16 cs.LG stat.ML
Efficient Path Algorithms for Clustered Lasso and OSCAR
The Institute of Statistical Mathematics（统计数学研究所）
在高维回归中，根据其对结果的影响进行特征聚类通常与特征选择一样重要。为此，聚类Lasso和八角形收缩和回归聚类算法（OSCAR）被用来自动生成特征组，分别由成对$L_1$范数和成对$L_\infty$范数。本文提出了有效的路径算法聚类Lasso和OSCAR的正则化参数来构建解决方案的路径。尽管穷举成对正则化中的项太多，但通过使用这些项的对称性来降低其计算成本。利用图论的有关理论，导出了检验各特征组次梯度方程的简单等价条件。数值实验结果表明，所提出的算法比现有的算法更有效。
2020-06-16 cs.LG stat.CO stat.ML
Meta-Embedding as Auxiliary Task Regularization
University of Liverpool（利物浦大学）
词嵌入已被证明受益于对多个词嵌入源进行采样，通常使用词向量集上的直接数学运算来执行。最近，自监督学习已被用于寻找低维表示，其大小类似于集合中的单个词嵌入。然而，这些方法不使用通常仅用于评估目的的可用手动标记的数据集。我们建议重建一个整体的词嵌入作为一个辅助任务，regularises一个主要的任务，而这两个任务共享学习元嵌入层。我们进行内在评估（6个单词相似度数据集和3个类比数据集）和外在评估（4个下游任务）。对于内在任务评估，监督来自各种标记的单词相似性数据集。我们的实验结果表明，与自监督学习方法相比，所有单词相似度数据集的性能都有所提高，Spearman相关性平均增加了$11.33$。具体而言，该方法显示出最好的性能在4的6个字相似性数据集时，使用余弦重建损失和Brier的字相似性损失。此外，在序列标注和句子元嵌入中进行词元嵌入重构时也进行了改进，用于句子分类。
2020-01-24 cs.CL cs.LG
TIER: Text-Image Entropy Regularization for CLIP-style models
Harvard-MIT Health Sciences and Technology（哈佛-麻省理工健康科学与技术部）；Harvard University（哈佛大学）
在本文中，我们介绍了一种新的正则化方案的对比语言图像预训练（CLIP）医学视觉模型。我们的方法是基于这样的观察，在许多医学成像任务的文本令牌应该只描述了一小部分的图像区域，同样，每个图像区域应该对应于只有几个文本令牌。在CLIP风格的模型中，这意味着对于给定的图像-文本对，文本-标记嵌入应该仅与少量的图像-补丁嵌入具有高相似性。我们使用一种新的正则化方案将这种观察形式化，该方案将文本标记的熵惩罚为图像补丁相似性分数。我们定性和定量地证明，所提出的正则化方案收缩的大部分成对的文本令牌和图像补丁的相似性分数向零，从而达到预期的效果。我们证明了我们的方法在一个重要的医学背景下，胸部X光片，这个潜在的稀疏性假设自然产生的承诺。使用我们提出的方法，我们在CheXpert和Padchest胸部X射线数据集上实现了最先进的（SOTA）平均zero-shot性能，优于模型的非正则化版本和最近发布的几个自监督模型。
2023-02-27 cs.CV cs.LG
Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts
Toyota Central R&D Labs., Inc.（丰田中央研发实验室股份有限公司）
提出基于异构相似度的监督对比学习正则化方法，通过在对比损失中引入可变参数构建边际效应，有效缓解过拟合并提升模型在分布偏移下的泛化能力。
2023-04-07 cs.LG stat.ML
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
数据不平衡，其中多个数据样本来自小比例的标签，对训练深度神经网络提出了挑战。与分类不同，在回归中，标签是连续的，可能是无限的，并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim（ranking similarity）正则化器，它编码了一种归纳偏差，即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比，RankSim捕获了附近和远处的关系：对于给定的数据样本，RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充，包括重新加权，两阶段训练和分布平滑，并提升了三个不平衡回归基准的最新性能：IMDB-WIKI-BLOG，STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
Selective Posterior Margin Regularization for Forward-Corrected Classification
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）
针对标签噪声下的前向校正分类，提出选择性后验边际正则化（SPMR），利用反向后验冲突进行分级更新，在多个基准上显著提升分类性能。
2026-09-09 cs.CV cs.LG stat.ML
Cross-modal Deep Metric Learning with Multi-task Regularization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
基于深度神经网络的跨模态检索已经成为一个研究热点，用户可以通过它来搜索图像和文本等多种模态的结果。然而，现有的方法主要集中在标记数据的两两相关性和重建误差。它们忽略了不同模态之间语义相似和不相似的约束，并且不能利用未标记的数据。本文提出了跨模态深度度量学习与多任务正则化（CDMLMR），它集成了四元组排名损失和半监督对比损失，用于在统一的多任务学习架构中建模跨模态语义相似性。四元组排序损失可以模拟语义相似和不相似的约束，以保留跨模态的相对相似性排序信息。半监督对比损失能够最大化标记和未标记数据的语义相似性。与现有方法相比，CDMLMR不仅利用了相似性排序信息，还利用了未标记的跨模态数据，从而提高了跨模态检索的准确率。
2017-04-05 cs.CV cs.LG stat.ML
Manifold-Matching Autoencoders: Embedding Data into Chosen Geometric Structures
本文提出一种简单的无监督正则化方案，通过最小化均方误差对潜在空间中的成对距离与输入数据空间进行对齐，提升最近邻距离和持久同调度量的性能，并实现多维标度的可扩展近似。
2026-11-05 cs.AI cs.LG
Deep semi-supervised approach based on consistency regularization and similarity learning for weeds classification
PRISME EA 4229 INSA CVL；LIFAT EA 6300 Université Tours；PRISME EA 4229 Université d’Orleans
针对杂草分类中标注数据稀缺问题，提出结合一致性正则化与相似性学习的深度半监督方法，在DeepWeeds数据集上验证了其优于全监督模型的鲁棒性与有效性。
2025-10-12 cs.CV cs.LG
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University（空军工程大学）；Northwestern Polytechnical University（西北工业大学）
在数据采掘领域，如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量，该矩阵用于描述数据的内在结构。然而，现实世界中的数据包含大量的噪声样本和特征，使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是，随着样本数量的增加，相似度矩阵的大小迅速膨胀，使得计算成本显著增加。受主成分分析的启发，我们提出了一种简单有效的无监督特征选择方法，通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择，通过在稀疏约束下最小化重建误差来学习。然后，我们提出了一个有效的优化算法来解决所提出的无监督模型，并从理论上分析了算法的收敛性和计算复杂性。最后，在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Towards Improved Preference Optimization Pipeline: from Data Generation to Budget-Controlled Regularization
AWS Bedrock Science（AWS Bedrock 科学部门）
针对DPO偏好优化中数据质量差和训练不稳定的问题，提出迭代成对排序生成高质量偏好数据，并结合预算控制正则化，在两大基准上超越现有最先进模型。
2024-11-07 cs.AI cs.CL cs.LG
A comparative study of similarity-based and GNN-based link prediction approaches
Universite de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）
基于图的当前结构来推断图中的缺失链接的任务被称为链接预测。基于成对节点相似性的链接预测方法是文献中公认的方法。虽然它们是抽象的，缺乏普遍适用性，但在许多现实世界的图中表现出良好的预测性能。另一方面，神经网络在各个领域的分类任务的成功导致研究人员在图中研究它们。当神经网络可以直接在图上操作时，则称为图神经网络（GNN）。GNN能够从图中学习隐藏的特征，这些特征可用于图中的链接预测任务。基于GNN的链接预测由于其在许多现实世界图中令人信服的高性能而受到研究人员的广泛关注。本文研究了由单一类型的（属性）节点和单一类型的成对链接组成的同构图域中的一些相似性和基于GNN的链接预测方法。我们评估研究的方法对几个基准图不同的属性，从各个领域。
2020-08-20 cs.LG cs.SI
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数，层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况，我们在一组点上的层次结构上引入一个简单的成本函数，给定这些点之间的成对相似性。我们表明，这一标准的行为在典型的情况下，它承认一个自上而下的建设过程，具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices
University of Iowa（爱荷华大学）
ROC曲线下面积（AUROC）已被广泛应用于不平衡分类，并与深度学习技术相结合。然而，没有现有的工作，提供健全的信息，为同行选择适当的深度AUROC最大化技术。在这项工作中，我们从三个方面填补了这一空白。(i)我们基准测试了各种损失函数与不同的算法选择深度AUROC优化问题。我们研究了两类损失函数：成对损失和复合损失，共包括10个损失函数。有趣的是，我们发现复合损失，作为一个创新的损失函数类，显示出更有竞争力的性能比成对损失从训练收敛和测试泛化的角度。然而，具有更多损坏标签的数据有利于成对对称损失。(ii)此外，我们的基准和突出的基本算法的选择，如积极的采样率，正则化，规范化/激活，和优化。主要调查结果包括：更高的正采样率可能有利于深度AUROC最大化;不同的数据集有利于不同的正则化权重;适当的归一化技术，如sigmoid和$\ell_2$评分归一化，可以提高模型性能。(iii)对于优化方面，我们基准SGD型，动量型，亚当型优化器的成对和复合损失。我们的研究结果表明，虽然亚当式方法从培训的角度更具竞争力，但它并没有优于其他测试的角度。
2022-07-04 cs.AI cs.LG
Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Xidian University（西安电子科技大学）；Brain-Inspired Technology Co., Ltd.（脑启发技术有限公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
近年来，带噪声标签的学习吸引了很多关注，其中主流方法是逐点方式。同时，成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此，一个自然的问题被提出来了：以成对的方式学习是否可以减轻标签噪声？为了给出肯定的答案，在本文中，我们提出了一个名为Class2Simi的框架：它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对，其中相似性标签表示一对是否共享类标签。通过这种变换，理论上保证了噪声率的降低，因此原则上更容易处理有噪声的相似性标签。令人惊讶的是，预测干净类别标签的DNN可以从嘈杂的数据对中训练出来，如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的，因为这种转换不仅是在小批量中进行的，而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
LB-SimTSC: An Efficient Similarity-Aware Graph Neural Network for Semi-Supervised Time Series Classification
George Mason University（乔治梅森大学）；Thomas Jefferson High School for Science and Technology（托马斯·杰斐逊科技高中）
提出LB-SimTSC，利用DTW下界LB_Keogh以线性时间构建图，解决SimTSC因DTW二次复杂度难以扩展的问题，在大型数据集上图构建速度提升达104倍且分类准确率无显著下降。
2023-09-05 cs.AI cs.LG
On Pairwise Quantile Regression - Statistical Guarantees and Applications
LTCI, Télécom Paris Institut Polytechnique de Paris（LTCI，巴黎电信理工学院）；Idémia；Télécom Sud-Paris, Institut Polytechnique de Paris（巴黎理工学院，南巴黎电信）
针对传统分位数回归无法处理成对相似性响应变量的问题，该文提出成对分位数回归方法，基于U过程集中度结果推导统计保证，在人脸识别相似性评分误差分析中验证了方法有效性。
2026-07-24 cs.AI cs.CV cs.LG
Secure Metric Learning via Differential Pairwise Privacy
University of Technology Sydney（悉尼科技大学）
距离度量学习（Distance Metric Learning，DML）在过去的二十年里引起了广泛的关注。许多以前的作品已经表明，它在测量领域专家给出的一组正确标记的成对数据的个体的相似性方面表现良好。这些重要且精确标记的成对数据在现实世界中通常是高度敏感的（例如，患者相似性）。本文首次研究了距离度量学习过程中成对信息如何泄露给攻击者的问题，推广了标准差分隐私的定义，提出了用于安全度量学习的差分成对隐私（DPP）算法。与传统的差分隐私只适用于独立样本，因此不能用于成对数据，DPP成功地处理这个问题，通过重新制定的最坏情况。具体来说，给定成对数据，我们揭示了所有涉及的相关性对构造的无向图。然后，DPP被形式化，定义哪种DML算法是私有的，以保存成对数据。最后，通过对比损失的实例分析，阐明了DPP-DML算法的实现细节。特别地，提出了灵敏度降低技术以增强输出距离度量的效用。在玩具数据集和基准数据集上的实验表明，该方案实现了成对数据隐私，而不会对输出性能造成太大影响（当隐私预算设置为4时，在所有基准数据集上的准确性下降小于0.01）。
2020-03-30 cs.LG stat.ML
Optimal regularizations for data generation with probabilistic graphical models
Ecole Normale Supérieure（巴黎高等师范学院）
理解正则化的作用是统计推断中的一个中心问题。根据经验，精心选择的正则化方案通常通过避免训练数据的过拟合来显著提高推断模型的质量。我们认为在这里的L2和L1正则化的最大后验概率（MAP）推理生成成对图形模型的特殊情况。基于高斯多变量分布的分析计算和高斯和波茨模型的数值实验，我们研究了训练，测试和“生成的数据”（与推断的模型）集的正则化强度的函数的可能性。我们特别表明，在其最大值，测试的可能性和“生成”的可能性，量化生成的样本的质量，有非常接近的值。正则化强度的最佳值被发现近似等于在相互作用的基础网络上的站点上传入的耦合的平方的倒数。我们的研究结果似乎在很大程度上独立的结构的真正的底层的相互作用，产生的数据，考虑的正则化方案，并考虑到周围的MAP估计的后验分布的小波动时是有效的。与经验的蛋白质模型从同源序列的工作进行了讨论。
2021-12-02 cs.LG q-bio.QM
Information-Theoretic Active Correlation Clustering
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚姆勒大学）；University of Gothenburg（哥德堡大学）
本文提出基于信息论的主动学习方法，用于在相似性信息有限或昂贵时提高相关聚类的效率和准确性。
2025-12-10 cs.LG stat.ML
Pointwise Binary Classification with Pairwise Confidence Comparisons
College of Computer Science, Chongqing University（重庆大学计算机学院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；School of Information Technology and Electrical Engineering, The University of Queensland（昆士兰大学信息技术与电气工程学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
为了减轻在二进制分类中训练有效的二进制分类器的数据需求，已经提出了许多弱监督学习设置。其中，有些人考虑使用成对的，但不是逐点的标签，当逐点的标签是不可访问的，由于隐私，机密性，或安全原因。然而，由于成对标签表示两个数据点是否共享逐点标签，因此如果任何一个点都有可能是正的或负的，则无法轻松收集。因此，在本文中，我们提出了一种称为成对比较（Pcomp）分类的新设置，其中我们只有成对的未标记数据，我们知道其中一个比另一个更有可能是正的。首先，我们给出了一个Pcomp数据生成过程，推导出一个具有理论保证的无偏风险估计量（URE），并利用修正函数进一步改进了URE。其次，我们将Pcomp分类与噪声标签学习联系起来，以开发一个渐进的URE，并通过实施一致性正则化来改进它。最后，我们通过实验证明了我们的方法的有效性，这表明Pcomp是一个有价值的和实际有用的类型的成对监督除了成对标签。
2022-01-13 cs.LG stat.ML
Context-Aware Hypergraph Construction for Robust Spectral Clustering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Adelaide（阿德莱德大学）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
谱聚类是无监督数据分析的有力工具。在本文中，我们提出了一个上下文感知的超图相似性度量（CAHSM），这导致了强大的谱聚类的情况下，噪声数据。我们构造了三种超图-成对超图、k-最近邻超图和高阶过聚类超图。成对超图捕获数据点的成对相似性; kNN超图捕获每个点的邻域;聚类超图编码数据集中的高阶上下文。通过结合这三个超图的亲和度信息，CAHSM算法能够探索数据集的内在拓扑信息。因此，使用CAHSM的数据聚类往往更健壮。考虑到顶点的类内紧性和类间可分性，我们进一步设计了一个判别超图划分准则（DHPC）。利用CAHSM和DHPC，一个强大的谱聚类算法。理论分析和实验验证了该算法的有效性和鲁棒性。
2014-01-04 cs.CV cs.LG
Self-Supervised Bernoulli Autoencoders for Semi-Supervised Hashing
University of Bologna（博洛尼亚大学）
本文研究标签稀缺场景下基于变分自编码器的半监督哈希方法，提出利用模型标签分布预测实现成对目标的自监督方案，在标记数据稀少时显著提升哈希码质量。
2020-07-17 cs.LG stat.ML
Boltzmann machine learning and regularization methods for inferring evolutionary fields and couplings from a multiple sequence alignment
本研究通过玻尔兹曼机学习与正则化方法，从多序列比对推断蛋白质的进化场和耦合，并调整参数以准确恢复相互作用，同时估计折叠约束的选择温度。
2024-07-21 cond-mat.stat-mech cs.LG q-bio.BM
GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks
University of Oxford（牛津大学）；Amazon Web Services AI Shanghai Lablet（亚马逊云科技AI上海实验室）；The Alan Turing Institute（阿兰·图灵研究所）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
从成对比较中恢复全局排名具有广泛的应用，从时间同步到运动队排名。对应于竞争中的匹配的成对比较可以被解释为有向图（有向图）中的边，其节点表示例如具有未知排名的竞争者。在本文中，我们引入神经网络的排名恢复问题，提出了所谓的GNNRank，一个可训练的GNN为基础的框架与有向图嵌入。此外，设计了新的目标来编码排名颠覆/违规。该框架涉及一个排名得分估计方法，并通过展开从可学习的相似性矩阵构建的图的Fiedler向量计算来增加归纳偏差。在大量数据集上的实验结果表明，我们的方法与基线相比具有竞争力，并且通常具有优异的性能，并且具有很好的传输能力。代码和预处理数据位于：\url{https://github.com/SherylHYX/GNNRank}。
2022-07-19 cs.LG math.OC stat.ML
