Self-calibrating Neural Networks for Dimensionality Reduction
Flatiron Institute（弗拉特铁研究所）；NYU（纽约大学）
最近，一个新的家庭的生物合理的在线算法，用于减少流数据的维数已来自相似性匹配原则。在这些算法中，可以通过对输入数据矩阵的奇异值进行阈值化来自适应地确定输出维数。然而，设置这样的阈值需要预先知道期望奇异值的大小。在这里，我们提出了在线算法的阈值是自校准的基础上计算出的奇异值从现有的观察。为了从相似性匹配成本函数中推导出这些算法，我们提出了新的正则化器。如前所述，这些在线算法可以由赫布/反赫布神经网络实现，其中学习规则取决于所选择的正则化器。我们证明了数学和通过模拟这些在线算法在各种设置的有效性。
2016-12-11 cs.LG cs.NE q-bio.NC
Similarity Learning for High-Dimensional Sparse Data
University of Southern California（南加州大学）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
数据点之间相似性的良好度量对于机器学习中的许多任务至关重要。相似性和度量学习方法从数据中自动学习这些度量，但它们不能很好地扩展数据的维度。在本文中，我们提出了一种方法，可以有效地学习相似性度量从高维稀疏数据。其核心思想是将相似性度量参数化为具有特定稀疏结构的秩一矩阵的凸组合。然后用近似的Frank-Wolfe过程优化参数，以最大限度地满足对训练数据的相对相似性约束。我们的算法greatly结合了一对功能的相似性度量的时间，提供了一种有效的方法来控制活动功能的数量，从而减少过拟合。它具有非常吸引人的收敛保证，其时间和内存复杂度取决于数据的稀疏性，而不是特征空间的维数。我们在真实世界的高维数据集上的实验证明了它在分类，降维和数据探索方面的潜力。
2019-09-09 cs.AI cs.LG stat.ML
Practical Hash Functions for Similarity Estimation and Dimensionality Reduction
University of Copenhagen（哥本哈根大学）；SupWiz（SupWiz公司）
散列是机器学习的几个方面中采用的降维的基本工具。然而，性能分析通常是在使用真正随机的单位代价散列函数的抽象假设下进行的，而不关心使用哪种具体的散列函数。具体的散列函数可以在足够随机输入上工作良好。问题是，当面对更结构化的输入时，它在现实世界中是否值得信任。在本文中，我们专注于散列的两个突出应用，即Li等人的单排列散列（OPH）方案的相似性估计。[NIPS'12]和Weinberger等人的特征散列（FH）。[ICML'09]，这两个都有许多应用，即LSH的近似近邻搜索和SVM的大规模分类。我们认为混合制表哈希Dahlgaard等人。[FOCS'15]，它被证明在许多应用中，包括OPH，表现得像一个真正的随机散列函数。在这里，我们首先展示了使用真正随机散列的FH的改进的浓度范围，然后认为混合制表对稀疏输入的表现类似。然而，我们的主要贡献是在FH，OPH和LSH中使用不同哈希方案的实验比较。我们发现，混合制表散列几乎一样快的multiply-mod-prime方案ax+b mod p. multiply-mod-prime保证工作在足够随机的数据，但我们证明，在上述应用程序中，它可能会导致偏见和现实世界和合成数据的浓度差。我们还比较了流行的MurmurHash 3，它没有经过验证的保证。在我们的实验中，混合制表和MurmurHash 3的表现都类似于真正的随机哈希。然而，混合制表比Mu…
2017-11-23 cs.DS cs.LG stat.ML
Metric Design != Metric Behavior: Improving Metric Selection for the Unbiased Evaluation of Dimensionality Reduction
Seoul National University（首尔国立大学）
本文提出了一种基于度量相关性聚类的工作流程，以减少降维评估中的偏差，提高评估的稳定性。
2025-07-03 cs.LG
GT-PCA: Effective and Interpretable Dimensionality Reduction with General Transform-Invariant Principal Component Analysis
Darmstadt University of Applied Sciences（达姆施塔特应用科学大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）
针对PCA对图像旋转、平移等变换鲁棒性不足、自编码器类不变降维方法不可解释的问题，提出兼具有效性与可解释性的GT-PCA方法，通过神经网络高效估计成分，在合成与真实数据实验中性能显著优于现有方法。
2024-01-28 cs.LG stat.ME stat.ML
On the Learnability of Knot Invariants: Representation, Predictability, and Neural Similarity
Northeastern University（东北大学）；NSF Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基本相互作用研究所）
本文研究纽结不变量的神经预测，比较不同纽结表示与不变量的可学习性，并提出梯度显著性余弦相似度和联合误分类分数以揭示相关网络的相似性。
2025-02-17 cs.LG math.GT
Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在这项工作中，我们解决了变换不变的无监督学习的协方差矩阵的空间及其应用的问题。我们首先介绍谱多面体协方差矩阵（SPCM）相似性函数;协方差矩阵的相似性函数，对任何类型的变换都不变。然后，我们推导出SPCM-CRP混合模型，这是一种协方差矩阵的变换不变非参数聚类方法，它利用了提出的相似性函数，谱嵌入和距离依赖的中国餐馆过程（dd-CRP）（Blei和Frazier，2011）。这两个贡献的可扩展性和适用性在来自不同研究领域的真实世界协方差矩阵数据集上得到了广泛验证。最后，我们将SPCM-CRP混合模型与贝叶斯非参数印度自助过程（IBP）-隐马尔可夫模型（HMM）（Fox等人，2009），联合分割和发现变换不变的动作原语从复杂的顺序数据。提出了一种基于主题建模的无监督时间序列数据分析的层次模型ICSC-HMM（IBP Coupled SPCM-CRP Hidden Markov Model）。ICSC-HMM的动觉演示单手和双手烹饪任务进行了验证，实现了无监督的人类层次的分解复杂的顺序任务。
2017-10-27 cs.LG
Similarity Learning via Adaptive Regression and Its Application to Image Retrieval
Michigan State University（密歇根州立大学）；Alibaba Group（阿里巴巴集团）
研究了相似性学习及其在大规模图像检索中的应用。图像对之间的相似性可以通过它们的高维表示之间的距离来测量，并且学习适当的相似性的问题通常通过距离度量学习来解决。然而，距离度量学习需要学习的度量是一个PSD矩阵，这是计算昂贵的，而不是必要的检索排名问题。另一方面，双线性模型被证明是更灵活的大规模的图像检索任务，因此，我们采用它来学习一个矩阵，估计成对的相似性下的回归框架。通过自适应更新回归中的目标矩阵，我们可以模仿铰链损失，这是更适合于相似性学习问题。虽然回归问题可以有封闭形式的解决方案，计算成本会非常昂贵。计算挑战来自两个方面：图像的数量可能非常大，图像特征具有高维数。我们解决了第一个挑战，压缩数据的随机算法的理论保证。对于高维问题，我们采用低秩假设，利用交替法得到部分矩阵，并使其具有全局最优解。对真实世界图像数据集的实证研究（即，Caltech和ImageNet）证明了所提出的方法的有效性和效率。
2015-12-06 cs.LG
Generalized quantum similarity learning
Agnostiq Inc.（Agnostiq 公司）
对象之间的相似性在广泛的领域中是显著的。虽然可以使用现成的距离函数来测量相似性，但它们可能无法捕获相似性的内在含义，这往往取决于底层数据和任务。此外，传统的距离函数将相似性度量的空间限制为对称的，并且不直接允许比较来自不同空间的对象。我们建议使用量子网络（GQSim）来学习任务相关的（a）不需要具有相同维度的数据之间的对称相似性。我们分析了这种相似性函数的性质解析（对于一个简单的情况下）和数值（对于一个复杂的情况下），并showthese相似性措施可以提取显着的数据特征。我们还表明，使用这种技术得到的相似性度量是$(ε,γ,τ)$ -好，从而在理论上保证性能。最后，我们总结了三个相关的应用程序-分类，图完成，生成式建模应用这种技术。
2022-01-07 cs.LG quant-ph stat.ML
Finding Significant Features for Few-Shot Learning using Dimensionality Reduction
Tecnológico de Monterrey（蒙特雷科技大学）；CINVESTAV Unidad Guadalajara（墨西哥国立理工学院研究与高级研究中心瓜达拉哈拉分部）
少样本学习是一种相对较新的技术，专门解决我们只有少量数据的问题。这些方法的目标是用少量样本对以前没有见过的类别进行分类。最近的方法，如度量学习，采用元学习策略，其中我们有情景任务符合支持（训练）数据和查询（测试）数据。度量学习方法已经证明，简单的模型可以通过学习相似度函数来比较支持度和查询数据来实现良好的性能。然而，通过给定的度量学习方法学习的特征空间可能不利用由特定的Few-Shot任务给出的信息。在这项工作中，我们探索使用降维技术作为一种方法来找到任务的重要功能，帮助更好地预测。我们通过基于类内和类间距离分配分数，并选择一种特征缩减方法来测量缩减特征的性能，在该方法中，不同类的实例相距较远，而同一类的实例相距较近。该模块通过允许度量学习方法给出的相似度函数具有更多的分类判别特征来帮助提高准确性性能。我们的方法在精度性能上比miniImageNet数据集中的度量学习基线高出约2%。
2021-07-06 cs.CV cs.LG
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative
Birla Institute of Technology（比拉理工学院）
研究指出均值池化余弦相似度在现代Transformer表示中并非长度不变，通过实验验证了其在跨语言Python接近性中的解释力，并提出中心核对齐（CKA）作为更优的替代方法。
2026-05-08 cs.CL cs.LG
Local Intrinsic Dimensionality Measures for Graphs, with Applications to Graph Embeddings
University of Novi Sad, Faculty of Sciences（诺维萨德大学理学院）
针对图数据，本文提出NC-LID以度量自然社区内最短路径距离的区分力，并据此设计LID弹性node2vec变体，提升异常节点识别与图结构保留效果。
2023-07-13 cs.LG cs.SI
Value-Aware Product Recommendation by Customer Segmentation using a suitable High-Dimensional Similarity Measure
Santafe-Conicet（圣菲-锥形研究所）
本文提出一种新颖的价值感知推荐方法，同时解决用户-物品数据的高维性和稀疏性问题，并显式考虑每个产品和用户对总销售额的贡献。通过编码收益贡献到用户-物品矩阵中，并基于此计算客户相似性，支持按盈利能力目标进行推荐。
2026-04-28 cs.IR cs.LG stat.ML
Domain Generalization via Optimal Transport with Metric Similarity Learning
Laval University（拉瓦尔大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；University of Western Ontario（西安大略大学）
将知识推广到数据和标签不可用的未知领域，对于机器学习模型至关重要。我们解决了领域泛化问题，从多个源域学习，并推广到一个目标域未知的统计数据。关键的思想是提取所有领域的基本不变特征。以往的领域泛化方法主要集中在学习不变特征和堆叠学习的特征从每个源域推广到一个新的目标域，而忽略了标签信息，这将导致不可区分的特征和模糊的分类边界。为此，一种可能的解决方案是在提取不变特征时约束标签相似性，并利用标签相似性来实现跨域特征的类特定内聚和分离。因此，我们采用Wasserstein距离的最佳传输，这可以约束类标签相似性，用于对抗训练，并进一步部署度量学习目标，以利用标签信息来实现可区分的分类边界。实证结果表明，我们提出的方法可以优于大多数的基线。此外，消融研究也证明了我们的方法的每个组成部分的有效性。
2022-04-04 cs.CV cs.LG
Supervised machine learning techniques for data matching based on similarity metrics
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；University of Edinburgh（爱丁堡大学）；FISCAL Technologies Ltd（FISCAL技术有限公司）
企业、政府机构和非政府组织拥有越来越多的数据，他们试图从中提取有价值的信息。通常，这不仅需要准确地完成，而且需要在短时间内完成。因此，干净和一致的数据至关重要。数据匹配是一个字段，它试图识别数据中引用同一真实世界实体的实例。本研究将机器学习技术与字符串相似度函数结合到数据匹配领域。一个数据集的发票从各种企业和组织进行预处理的分组方案，以减少对维数和一组相似性函数被用来量化发票对之间的相似性。然后，使用所得到的发票对数据集来训练和验证神经网络和提升的决策树。将性能与FISCAL Technologies的解决方案进行了比较，作为与当前可用的重复数据删除解决方案的基准。无论是神经网络和提升决策树表现出等同于更好的性能。
2021-09-15 cs.DB cs.LG stat.ML
Surpassing Cosine Similarity for Multidimensional Comparisons: Dimension Insensitive Euclidean Metric
Massachusetts Institute of Technology（麻省理工学院）
本文针对余弦相似度在高维比较中因维度依赖而产生偏差的问题，提出维度不敏感欧几里得度量（DIEM），并通过大语言模型应用验证其在多维数据分析中更强的鲁棒性和可解释性。
2025-03-10 cs.LG eess.SP
Large-Scale Evaluation of Topic Models and Dimensionality Reduction Methods for 2D Text Spatialization
University of Potsdam（波茨坦大学）；Hasso Plattner Institute（哈索·普拉特纳研究院）；Graz University of Technology（格拉茨技术大学）
本文针对二维文本空间化任务，大规模评估了多种主题模型与降维方法的组合，基于超过45,000个布局的量化指标，发现可解释的主题模型结合t-SNE降维能有效捕捉语料库结构并提升布局质量。
2023-07-17 cs.CL cs.LG
Large Scale, Large Margin Classification using Indefinite Similarity Measures
尽管流行的核化支持向量机取得了成功，但它们有两个主要限制：它们仅限于半正定（PSD）核，并且它们的训练复杂度至少与数据大小成二次方。许多样本对之间的相似性的自然度量不是PSD，例如不变内核，以及由潜变量模型隐式或显式定义的那些。在本文中，我们研究了可扩展的方法，使用不确定的相似性措施，在大利润率的框架。特别是，我们表明，一个子集的数据点的相似性的归一化构成了一个表示适合线性分类器。其结果是一个分类器，这是竞争的核心SVM的准确性，尽管有更好的训练和测试时间复杂度。实验结果表明，在CIFAR-10数据集上，该模型配备了对刚性和非刚性变形不变的相似性度量，可以使稀疏度提高5倍以上，同时比使用RBF核的核化SVM更准确。
2014-05-27 cs.CV cs.LG stat.ML
Estimating Dimensionality of Neural Representations from Finite Samples
Harvard University（哈佛大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）；Cornell Tech（康奈尔科技）
本文提出了一种偏倚校正估计器，用于从有限样本中准确估计神经表示的维度，并展示了其在生物神经记录和语言模型中的应用。
2026-03-02 cs.LG q-bio.NC stat.ML
Effective Dimensionality as an Operator Invariant for Physics-Preserving Constraint Adaptation in Physics-Informed Neural Networks
University of Cambridge（剑桥大学）
利用Fisher信息矩阵定义物理约束模型的有效自由度d_eff，证明其收敛于微分算子核维数，并基于此提出子空间投影策略实现边界条件适配。
2026-06-04 cs.LG cs.NA math.NA
