在具有高特征维度的大规模机器学习和数据采掘问题中,数据点之间的欧几里德距离可能是无信息的,并且通常期望距离度量学习(DML)来学习适当的相似性度量(使用诸如相似或不相似的示例数据对之类的边信息)。然而,现代大数据中的高维度和大量成对约束可能导致Xing等人(2002)中的原始DML公式和后来的扩展的计算成本过高。在本文中,我们提出了一个分布式的DML算法,并在一个参数服务器架构的大规模实现。我们的方法建立在Xing et al.(2002)的可并行化重新表述和异步随机梯度下降优化过程的基础上。据我们所知,这是DML的第一个分布式解决方案,我们表明,在一个具有256个CPU内核的系统上,我们的程序能够在15小时内完成一个包含100万个数据点、22000个特征和2亿个标记数据对的数据集上的DML任务;学习的度量在正确测量距离方面表现出很大的有效性。
英文摘要:
In large scale machine learning and data mining problems with high feature dimensionality, the Euclidean distance between data points can be uninformative, and Distance Metric Learning (DML) is often desired to learn a proper similarity measure (using side information such as example data pairs being similar or dissimilar). However, high dimensionality and large volume of pairwise constraints in modern big data can lead to prohibitive computational cost for both the original DML formulation in Xing et al. (2002) and later extensions. In this paper, we present a distributed algorithm for DML, and a large-scale implementation on a parameter server architecture. Our approach builds on a parallelizable reformulation of Xing et al. (2002), and an asynchronous stochastic gradient descent optimization procedure. To our knowledge, this is the first distributed solution to DML, and we show that, on a system with 256 CPU cores, our program is able to complete a DML task on a dataset with 1 million data points, 22-thousand features, and 200 million labeled data pairs, in 15 hours; and the learned metric shows great effectiveness in properly measuring distances.
Distance Metric Learning through Minimization of the Free Energy
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
在过去的几十年里,距离度量学习在解决机器学习和模式识别问题方面吸引了很多兴趣。在这项工作中,我们提出了一个简单的方法,从统计物理学的概念,学习最佳的距离度量给定的问题。我们制定的任务作为一个典型的统计物理问题:模式之间的距离代表的组成部分的物理系统和目标函数对应的能量。然后,我们将问题表示为复杂系统的自由能的最小化,这相当于距离度量学习。就像物理学中的许多问题一样,我们提出了一种基于Metropolis Monte Carlo的方法来找到最佳距离度量。这提供了一种自然的方式来学习距离度量,其中学习过程可以直观地看作是拉伸和旋转度量空间,直到满足某些启发式。我们提出的方法可以处理各种各样的约束,包括那些虚假的局部极小值。该方法与来自邻域分量分析(NCA)的随机最近邻的效果令人惊讶地好。人工和真实世界的数据集上的实验结果显示出明显的优越性,在一些国家的最先进的距离度量学习方法的最近邻分类。
A Distributed Approach towards Discriminative Distance Metric Learning
University of Technology, Sydney(悉尼科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);IBM;Microsoft Research Asia(微软亚洲研究院)
Graph Neural Distance Metric Learning with Graph-Bert
Florida State University(佛罗里达州立大学);IFM Lab(IFM实验室)
图距离度量学习是许多图学习问题的基础,例如,图聚类、图分类和图匹配。现有的关于图距离度量(或图核)学习的研究工作未能保持这些度量的基本性质,例如,非负性、不可约恒等式、对称性和三角不等式。在本文中,我们将介绍一种新的图神经网络的距离度量学习方法,即GB-DISTANCE(GRAPH-BERT based Neural Distance)。基于注意力机制,GB-DISTANCE可以基于预先训练的GRAPH-BERT模型有效地学习图实例表示。与现有的监督/无监督度量不同,GB-DISTANCE可以以半监督的方式有效地学习。此外,GB-DISTANCE还可以保持上述距离度量的基本属性。在多个基准图数据集上进行了大量实验,结果表明GB-DISTANCE算法的性能优于现有的基线方法,尤其是最近提出的基于图度量的图神经网络模型,但在计算图距离方面存在明显差距。