In recent, deep learning has become the most popular direction in machine learning and artificial intelligence. However, preparation of training data is often a bottleneck in the lifecycle of deploying a deep learning model for production or research. Reusing models for inferencing a dataset can greatly save the human costs required for training data creation. Although there exist a number of model sharing platform such as TensorFlow Hub, PyTorch Hub, DLHub, most of these systems require model uploaders to manually specify the details of each model and model downloaders to screen keyword search results for selecting a model. They are in lack of an automatic model searching tool. This paper proposes an end-to-end process of searching related models for serving based on the similarity of the target dataset and the training datasets of the available models. While there exist many similarity measurements, we study how to efficiently apply these metrics without pair-wise comparison and compare the effectiveness of these metrics. We find that our proposed adaptivity measurement which is based on Jensen-Shannon (JS) divergence, is an effective measurement, and its computation can be significantly accelerated by using the technique of locality sensitive hashing.
Locality Sensitive Hashing for Set-Queries, Motivated by Group Recommendations
局部敏感哈希(LSH)是一种有效的方法来索引一组点,这样我们就可以有效地找到查询点的最近邻居。我们将这种方法扩展到我们的新的集查询LSH(SLSH),这样它就可以找到一组点的最近邻居,作为查询。令$ s(x,y) $为两个点$ x $和$ y $之间的相似度。我们通过聚合所有$ p\in Q $的相似性$ s(p,x) $来定义集合$ Q$和点$ x $之间的相似性。例如,我们可以将$ s(p,x) $作为$ p $和$ x $之间的角度相似性(即,$1-{\angle (x,p)}/π$),并通过算术或几何平均或取最低相似性进行聚集。我们开发了本地敏感的哈希家庭和数据结构的一大套这样的算术和几何平均相似性,并分析其碰撞概率。我们还建立了一个类似的框架和散列距离函数的家庭。具体来说,我们给出了一个结构的欧氏距离聚合的平均值或采取最大值。我们利用SLSH来解决近似近邻问题的几何扩展。在这个版本中,我们考虑了一个度量,其中单位球是一个椭球体,其方向是由查询指定的。激励我们工作的一个重要应用是组推荐系统。这样的系统将电影和用户嵌入在相同的特征空间中,并且推荐一部电影供一组人一起观看的任务使用适当的相似性转换为集合查询$ Q $。
Locality Sensitive Hashing for Efficient Similar Polygon Retrieval
局部敏感哈希(LSH)是一种有效的索引一组项目,以支持高效的最近邻查询在高维空间中的方法。LSH的基本思想是相似项产生哈希冲突的概率应该高于不相似项。我们研究LSH(不一定是凸的)多边形,并使用它来提供有效的数据结构相似形状检索。Arkin等人用“转向函数”来表示多边形--一个在遍历多边形的周长时遵循多边形的切线和$ x $轴之间的角度的函数。它们将多边形之间的距离定义为它们的转向函数之间的$ L_p $(对于$p=1,2$)距离的变化。该度量在平移、旋转和缩放(以及在周长上选择初始点)下是不变的,因此很好地模拟了形状相似性的直观概念。我们开发和分析LSH近邻数据结构的几个变化的$ L_p $距离的功能($p=1,2$)。通过将我们的计划的多边形的集合的转向功能,我们获得高效的近邻基于LSH的多边形结构。为了调整我们的结构,转向功能的多边形,我们证明了这些转向功能,可能是独立的利益的一些新的属性。作为我们分析的一部分,我们解决了以下独立感兴趣的问题。找出在$ L_1 $距离上最接近函数$ g $的函数$ f $的垂直平移。我们证明紧界的近似保证得到的翻译是等于$ g $和$ f $的平均值之间的差异。
Locality Sensitive Hashing with Extended Differential Privacy
Macquarie University(麦考瑞大学);Inria(法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)