Towards provably efficient quantum algorithms for large-scale machine-learning models
The University of Chicago（芝加哥大学）；qBraid Co.（qBraid公司）；SeQure（SeQure公司）；Argonne National Laboratory（阿贡国家实验室）；University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Brandeis University（布兰迪斯大学）；Free University Berlin（柏林自由大学）
本文证明容错量子计算能以 O(T^2 polylog(n)) 复杂度高效加速大规模稀疏机器学习模型的（随机）梯度下降训练，并通过 700 万至 1.03 亿参数模型的基准测试验证了剪枝后早期阶段的量子加速潜力。
2023-12-28 cs.LG quant-ph
Supervised Learning with Similarity Functions
Indian Institute of Technology（印度理工学院）；Microsoft Research Lab（微软研究院）
我们解决了一般的监督学习的问题时，数据只能通过一个（不确定的）数据点之间的相似性函数。现有的工作学习不确定的内核只集中在二进制/多类分类问题。我们提出了一个模型，是通用的，足以处理任何监督学习任务，也包括以前提出的分类模型。我们给出了相似性函数的一个“优度”准则。给定的监督学习任务，然后采用公知的标记技术，以使用“好的”相似性函数为监督学习提供有效的算法。我们证明了我们的模型在三个重要的监督学习问题上的有效性：a）实值回归，b）有序回归和c）排名，我们表明我们的方法保证有界泛化误差。此外，对于实值回归的情况下，我们给出了一个自然善良的定义，当与最近的结果在稀疏向量恢复结合使用时，保证稀疏预测有界泛化误差。最后，我们报告的结果，我们的学习算法回归和有序回归任务，使用非PSD相似性函数，并证明我们的算法的有效性，特别是稀疏地标选择算法，实现显着更高的精度比基线方法，同时提供降低计算成本。
2012-10-22 cs.LG stat.ML
Escaping the Curse of Dimensionality in Similarity Learning: Efficient Frank-Wolfe Algorithm and Generalization Bounds
Google Inc.（谷歌公司）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；INRIA（法国国家信息与自动化研究所）
相似性和度量学习提供了一种从弱监督数据中构建特定于任务的相似性的原则性方法。然而，这些方法受到维数灾难的影响：随着特征数量的增加，预计泛化能力较差，并且由于高计算和内存成本，训练变得难以处理。在本文中，我们提出了一种相似性学习方法，可以有效地处理高维稀疏数据。这是通过稀疏秩一矩阵的凸组合的相似性函数的参数化，连同使用一个贪婪的近似弗兰克-沃尔夫算法，提供了一种有效的方法来控制的数量的活动功能。我们表明，该算法的收敛速度，以及它的时间和内存的复杂性，是独立的数据维数。我们进一步提供了一个理论上的理由，我们的建模选择，通过分析的泛化误差，这取决于解决方案的稀疏性，而不是功能的数量。我们在具有多达一百万个特征的数据集上的实验证明了我们的方法具有很好的泛化能力，尽管它具有高维性，并且与几种竞争方法相比具有优越性。
2019-09-09 cs.AI cs.LG stat.ML
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California（南加州大学）
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术，并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作，并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中，我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML
Transformers Trained via Gradient Descent Can Provably Learn a Class of Teacher Models
The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究了通过Transformer学习各类教师模型的理论基础，证明单层Transformer能恢复教师模型的所有参数块并达到最优损失，同时展示其在分布外数据上的泛化能力。
2026-03-24 cs.LG
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University（空军工程大学）；Northwestern Polytechnical University（西北工业大学）
在数据采掘领域，如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量，该矩阵用于描述数据的内在结构。然而，现实世界中的数据包含大量的噪声样本和特征，使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是，随着样本数量的增加，相似度矩阵的大小迅速膨胀，使得计算成本显著增加。受主成分分析的启发，我们提出了一种简单有效的无监督特征选择方法，通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择，通过在稀疏约束下最小化重建误差来学习。然后，我们提出了一个有效的优化算法来解决所提出的无监督模型，并从理论上分析了算法的收敛性和计算复杂性。最后，在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Pairwise Supervision Can Provably Elicit a Decision Boundary
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；UCL（伦敦大学学院）；Preferred Networks, Inc.（Preferred Networks公司）
相似性学习是通过预测一对模式之间的关系来获得有用表征的一般性问题。这个问题涉及到各种重要的预处理任务，如度量学习，核学习和对比学习。建立在表示的分类器，预计在下游分类表现良好，然而，很少有理论已经在文献中给出了到目前为止，从而相似性和分类之间的关系仍然难以捉摸。因此，我们解决了一个基本的问题：相似性信息可以证明导致模型在下游分类中表现良好吗？在本文中，我们揭示了产品型配方的相似性学习是密切相关的二进制分类的目标。我们进一步表明，这两个不同的问题是明确连接的超额风险约束。因此，我们的研究结果阐明，相似性学习是能够解决二进制分类直接引出一个决策边界。
2022-03-01 cs.LG stat.ML
One-Step Bellman Alignment Enables Provably Efficient Transfer in Online RL
Department of Technology, Operations, & Statistics, New York University（纽约大学技术、运营与统计系）；Department of Operations Research & Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）；Department of Computer Science, Dartmouth College（达特茅斯学院计算机科学系）
提出一步贝尔曼对齐作为在线强化学习中迁移的正确抽象，并通过重加权目标（RWT）实现算子级修正，在RKHS函数逼近下建立了与任务迁移复杂度相关的遗憾界。
2026-05-23 cs.LG stat.ML
Fast, Provably convergent IRLS Algorithm for p-norm Linear Regression
University of Toronto（多伦多大学）；Georgia Institute of Technology（佐治亚理工学院）
$\ell_p$ -范数线性回归是一个典型的优化问题，出现在几个应用中，包括稀疏恢复，半监督学习和信号处理。求解$\ell_p$ -回归的一般凸优化算法在实践中是缓慢的。迭代重加权最小二乘（IRLS）是一个易于实现的家庭的算法，解决这些问题，已研究了50多年。然而，这些算法经常在p > 3时发散，并且自从Osborne（1985）的工作以来，是否存在保证在p > 3时快速收敛的IRLS算法一直是一个开放的问题。我们提出的p-IRLS，第一个IRLS算法，可证明收敛几何任何$p \in [2,\infty).$我们的算法是简单的实现，并保证找到一个$(1+\varepsilon)$近似解$O(p^{3.5} m^{\frac{p-2}{2(p-1)}} \log \frac{m}{\varepsilon}) \le O_p(\sqrt{m} \log \frac{m}{\varepsilon} )$迭代。我们的实验表明，它的性能甚至优于我们的理论界限，击败了标准的Matlab/CVX实现解决这些问题的10- 50倍，是最快的可用实现中的高精度制度。
2020-01-10 cs.DS cs.LG cs.NA
A General Kernel Framework for Non-CND Distance Measures Using |D|-Dimensional Sparse Landmark Embeddings
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对核方法需CND距离的限制，提出稀疏地标嵌入核，通过紧支撑凸包嵌入任意距离为PSD核，理论保证并实验超越基线。
2026-10-21 cs.LG math.PR stat.ML
Compressive Sensing Approaches for Sparse Distribution Estimation Under Local Privacy
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
近年来，许多网络服务提供商，如Google \cite{erlingsson2014rappor}，Apple \cite{apple2017privacy}和Microsoft \cite{bolin2017telemetry}，都采用了本地差分隐私（LDP）来私下收集和分析用户数据。本文考虑局部差分隐私约束下的离散分布估计问题。分布估计是最基本的估计问题之一，在非私有和私有环境下都得到了广泛的研究。在局部模型中，已知具有可证明的最优样本复杂度的私有机制。然而，它们只是在最坏的情况下才是最优的;它们的样本复杂度与整个宇宙的大小成正比，在实践中可能是巨大的。在本文中，我们考虑稀疏或近似稀疏（例如\高度偏斜）分布，并表明所需的样本数量可以显着减少。最近\cite{acharya2021estimating}对这个问题进行了研究，但他们只考虑了严格的稀疏分布和高隐私机制。我们提出了基于压缩感知的新的私有化机制。我们的方法适用于近似稀疏分布和中等隐私，并具有最佳的样本和通信复杂性。
2022-03-12 cs.CR cs.IT cs.LG
Provably Accurate Double-Sparse Coding
Iowa State University（爱荷华州立大学）；Texas A&M University（德克萨斯A&M大学）
稀疏编码是用于各种信号处理、深度学习和其他机器学习应用的算法中的关键子例程。中心目标是学习一个过完备字典，它可以稀疏地表示给定的输入数据集。然而，一个关键的挑战是，如果数据维度很高，则学习字典的存储、传输和处理可能会高得无法承受。在本文中，我们考虑Rubinstein等人（2010 b）引入的双稀疏模型，其中字典本身是固定的已知基和数据自适应稀疏分量的乘积。首先，我们介绍了一个简单的双稀疏编码算法，可以通过神经架构进行有效的实施。其次，我们从理论上分析其性能，并证明渐近样本复杂性和运行时间的好处，现有的（可证明的）稀疏编码方法。据我们所知，我们的工作介绍了第一个计算效率高的算法，双稀疏编码，享有严格的统计保证。最后，我们通过对模拟数据的几个数值实验来支持我们的分析，证实我们的方法确实可以在实际应用中遇到的问题大小中使用。
2017-12-12 cs.LG stat.ML
A Brain-inspired Algorithm for Training Highly Sparse Neural Networks
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
稀疏神经网络吸引了越来越多的兴趣，因为它们表现出与密集网络相当的性能，同时具有计算效率。修剪密集神经网络是获得稀疏神经网络的最广泛使用的方法之一。由于这种方法的高训练成本对于低资源设备来说是负担不起的，因此从头开始稀疏地训练稀疏神经网络最近受到了关注。然而，现有的稀疏训练算法存在各种问题，包括在高稀疏性场景中性能不佳，在训练期间计算密集的梯度信息，或纯随机拓扑搜索。受生物大脑进化和Hebbian学习理论的启发，本文提出了一种新的稀疏训练方法，该方法根据网络中神经元的行为来进化稀疏神经网络。具体地说，我们提出的基于余弦相似性和随机拓扑探索（CTRE）方法，通过利用余弦相似性度量连接的重要性，将最重要的连接添加到稀疏神经网络中，而不需要向后计算稠密梯度，从而进化稀疏神经网络的拓扑结构.我们在8个数据集上进行了不同的实验，包括表格，图像和文本数据集，并证明我们提出的方法在极稀疏的神经网络中的性能优于几种最先进的稀疏训练算法。实现代码可在https://github.com/zahraatashgahi/CTRE上获得
2022-11-10 cs.LG cs.NE
SLM: End-to-end Feature Selection via Sparse Learnable Masks
Google Cloud AI Research（谷歌云人工智能研究院）
提出SLM（稀疏可学习掩码）端到端特征选择方法，通过可学习稀疏掩码最大化特征与标签的互信息，并利用sparsemax精确控制特征数量，在八个基准数据集上取得SOTA表现。
2023-04-06 cs.LG
Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
本文研究稀疏 token 选择任务，证明一层 Transformer 可通过梯度下降学习并实现长度泛化，同时将 FCN 的下界强化至平均情况，建立二者的算法分离。
2024-06-11 cs.IT cs.LG math.IT
A Nonconvex Approach for Exact and Efficient Multichannel Sparse Blind Deconvolution
New York University（纽约大学）；the Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究了多通道稀疏盲反卷积（MCS-BD）问题，其任务是从循环卷积$\mathbf y_i = \mathbf a \circledast \mathbf x_i $（$i=1,\cdots,p$）中同时恢复一个核$\mathbf a$和多个稀疏输入$\{\mathbf x_i\}_{i=1}^p$.我们制定的任务作为一个非凸优化问题的领域。根据温和的统计假设的数据，我们证明了香草黎曼梯度下降（RGD）方法，随机初始化，可证明恢复内核$\mathbf a$和信号$\{\mathbf x_i\}_{i=1}^p$到一个有符号的移位模糊。与最先进的结果相比，我们的工作在样本复杂度和计算效率方面显示出显着的改进。我们的理论结果得到了数值实验的证实，这表明所提出的方法优于以前的方法在合成和真实数据集上的性能。
2020-03-01 cs.LG eess.IV eess.SP
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University（莱斯大学）
我们提出了SLASH（草图局部敏感哈希），MPI（消息传递接口）为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH（局部敏感哈希）算法的多节点实现，该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决（高）相似性搜索问题，而无需单个距离计算。总体而言，我们数学上表明，在现实的数据假设下，我们可以确定一个给定的查询$q$的近邻在次线性（$ \ll O(n)$）数量的简单的草图聚合操作。为了使这样一个系统实用，我们提供了一个新颖的设计和草图解决方案，以减少机器间的通信开销指数。在可比硬件上的直接比较中，SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现，并部署在商业平台上。最后，我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引，查询时间只需几毫秒。据我们所知，目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity
ETH Zurich（苏黎世联邦理工学院）；Centrale Supélec（中央理工-高等电力学院）；ENS de Cachan（卡尚高等师范学校）；MPI for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）
提出SySRs算法，通过配对比较和自适应分配评估预算，利用模型相似性降低LLM评估成本，在15个基准上平均错误率最低。
2026-06-05 cs.LG
Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently
School of Electronics and Computer Science, University of Southampton, United Kingdom（南安普顿大学电子与计算机科学学院，英国）；Independent Researcher（独立研究员）
本文通过统一分析RL（过程奖励）和SFT微调Transformer学习可递归分解的k-稀疏布尔函数的动态，证明两者都能学习k-PARITY、k-AND、k-OR等函数，但RL同时学习整个CoT链，而SFT逐步学习。
2026-08-07 cs.LG stat.ML
LipSim: A Provably Robust Perceptual Similarity Metric
New York University（纽约大学）
本文揭示了现有感知相似度度量易受对抗攻击的问题，提出基于1-Lipschitz网络的LipSim度量，提供可证明的鲁棒性保证，并在自然分数、认证分数及图像检索中验证其性能。
2024-03-29 cs.CV cs.LG
A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
本文提出首个可证明高效的微调MoE模型专家剪枝方法，通过优先剪枝路由器l2范数变化较小的专家，在保证测试准确率的同时显著减少模型规模与计算需求，并在VMoE等大型视觉模型上验证有效。
2024-05-30 cs.LG
Similarity Learning for High-Dimensional Sparse Data
University of Southern California（南加州大学）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
数据点之间相似性的良好度量对于机器学习中的许多任务至关重要。相似性和度量学习方法从数据中自动学习这些度量，但它们不能很好地扩展数据的维度。在本文中，我们提出了一种方法，可以有效地学习相似性度量从高维稀疏数据。其核心思想是将相似性度量参数化为具有特定稀疏结构的秩一矩阵的凸组合。然后用近似的Frank-Wolfe过程优化参数，以最大限度地满足对训练数据的相对相似性约束。我们的算法greatly结合了一对功能的相似性度量的时间，提供了一种有效的方法来控制活动功能的数量，从而减少过拟合。它具有非常吸引人的收敛保证，其时间和内存复杂度取决于数据的稀疏性，而不是特征空间的维数。我们在真实世界的高维数据集上的实验证明了它在分类，降维和数据探索方面的潜力。
2019-09-09 cs.AI cs.LG stat.ML
Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression
Univ. de Rouen（鲁昂大学）；Criteo AI Lab（Criteo人工智能实验室）；Univ Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；OCA Lagrange（拉格朗日蔚蓝海岸天文台）；INSA de Rouen（鲁昂国立应用科学学院）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
非凸稀疏正则化子由于其统计性质，在高维数据的稀疏线性模型估计中引起了广泛的兴趣。考虑到解是稀疏的，为了加速收敛，工作集策略通过迭代算法来解决优化问题，即增加待优化变量的数量，直到识别出解的支持。虽然这些方法已经得到了很好的研究和理论支持的凸正则化，本文提出了一个工作集算法的非凸稀疏正则收敛保证。该算法，名为FireWorks，是基于最近的原始对偶方法的非凸重构，并利用残差的几何形状。我们的理论保证来自于两个内部求解器迭代之间的目标函数的下界减少，并显示收敛到整个问题的稳定点。更重要的是，我们还表明，即使内部求解器是不精确的，在足够的衰减的误差跨越迭代收敛。我们的实验结果表明，高计算增益时，使用我们的工作集策略相比，完整的问题求解器块坐标下降或近端梯度求解器。
2021-10-20 cs.LG stat.ML
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL（瑞士联邦理工学院）；TUM（慕尼黑工业大学）
本文研究用户通过成对比较给出反馈的推荐问题，证明非凸损失在真实解附近具有受限强凸性，使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Sparse online relative similarity learning
Huazhong University of Science and Technology（华中科技大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Wuhan University（武汉大学）
对于许多数据采掘和机器学习任务，相似性度量的质量是其性能的关键。为了从数据集中自动找到一个好的相似性度量，度量学习和相似性学习被提出并得到了广泛的研究。度量学习将学习一个基于半正定矩阵的马氏距离来度量目标之间的距离，而相似性学习则是直接学习一个没有PSD约束的相似性函数，使其更具吸引力。由于在线学习比离线学习具有更好的可扩展性，现有的相似性学习算法大多是在线相似性学习方法。然而，大多数现有的在线相似性学习算法学习的是具有d 2参数的全矩阵，其中d是实例的维数。由于其高存储器和计算复杂性，这对于高维任务显然是低效的。为了解决这个问题，本文引入了几种稀疏在线相对相似度（Sparse Online Relative Similarity，SORS）学习算法，在学习过程中学习稀疏模型，从而显著降低了内存和计算开销。我们从理论上分析了所提出的算法，并在一些现实世界的高维数据集上进行了评估。令人鼓舞的实证结果表明，我们的方法在效率和功效方面的优势。
2021-04-15 cs.AI cs.LG
A cost function for similarity-based hierarchical clustering
由于缺乏精确的目标函数，层次聚类算法的发展一直受到阻碍。为了帮助解决这种情况，我们在一组点上的层次结构上引入一个简单的成本函数，给定这些点之间的成对相似性。我们表明，这一标准的行为在典型的情况下，它承认一个自上而下的建设过程，具有可证明的良好的近似比。
2015-10-16 cs.DS cs.LG stat.ML
Similarity measure for sparse time course data based on Gaussian processes
Imperial College London（帝国理工学院）
我们提出了一个稀疏采样的时间过程数据的相似性度量的高斯过程（GP）的对数似然比的形式。所提出的GP相似性类似于贝叶斯因子，并且提供对稀疏时间序列中的噪声的增强的鲁棒性，诸如在各种生物设置中发现的那些，例如，基因转录组学我们表明，GP措施是等效的欧氏距离时，在GP的噪声方差是可以忽略不计的信号的噪声方差。我们的数值模拟实验的合成和真实的数据表明，改进的性能GP相似性结合使用时，两个基于距离的聚类方法。
2021-02-24 cs.IR cs.LG stat.ML
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology（谢里夫理工大学）；Qom University of Technology（库姆理工大学）
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面，我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复，为此，我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性（CSIM）指标，是结构相似性（SSIM）指标的简化版本，它是凸的和错误敏感的。结合这一标准的优化问题，然后通过交替方向乘法（ADMM）解决。仿真结果表明，该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification
University of Edinburgh（爱丁堡大学）
针对多标签分类中sigmoid低秩输出层存在大量无法argmax的标签组合的瓶颈问题，提出DFT输出层，保证k个以内活跃标签的稀疏组合可argmax，参数减少50%仍达相当F1@k性能。
2024-01-29 cs.LG
Provably Robust Metric Learning
Nanjing University（南京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
度量学习是分类和相似性搜索的一个重要算法家族，但学习的度量对小的对抗性扰动的鲁棒性研究较少。在本文中，我们表明，现有的度量学习算法，专注于提高清洁的准确性，可以导致的指标，是不太强大的比欧几里德距离。为了克服这个问题，我们提出了一种新的度量学习算法，以找到一个Mahalanobis距离，对抗性扰动是强大的，所得到的模型的鲁棒性是可证明的。实验结果表明，学习算法不仅提高了认证鲁棒误差，而且提高了经验鲁棒误差（对抗攻击下的误差）.此外，不像神经网络防御，通常会遇到清洁和强大的错误之间的权衡，我们的方法不会牺牲清洁错误相比，以前的度量学习方法。我们的代码可在https://github.com/wangwllu/provably_robust_metric_learning上获得。
2020-12-19 cs.LG stat.ML
Provably Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning
Tencent AI Lab（腾讯AI实验室）；Megvii Research Shanghai（上海旷视研究院）；Tsinghua University（清华大学）；Peking University（北京大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
离线强化学习（OMRL）的元学习是一个未充分研究的问题，通过在许多现实世界的应用中启用RL算法，具有巨大的潜在影响。一个流行的解决方案，这个问题是推断任务身份的增强状态使用基于上下文的编码器，有效的学习强大的任务表示仍然是一个开放的挑战。在这项工作中，我们可证明的SOTA OMRL算法之一，FOCAL，通过将任务内的注意力机制和任务间的对比学习目标，鲁棒任务表示学习对稀疏奖励和分布偏移。理论分析和实验证明了我们的端到端和无模型框架的优越性能和鲁棒性相比，以前的算法在多个元RL基准。
2021-10-15 cs.AI cs.LG
SparGE: Sparse Coding-based Patient Similarity Learning via Low-rank Constraints and Graph Embedding
患者相似性评估（PSA）是基于证据和个性化医疗的关键，通过分析越来越多的电子健康记录（EHR）来实现。然而，用于PSA的机器学习方法必须处理EHR的固有数据缺陷，即缺失值、噪声和小样本量。在这项工作中，提出了一个端到端的判别学习框架，称为SparGE，以解决这些数据的挑战，电子病历PSA。SparGE通过联合稀疏编码和图嵌入来度量相似性。首先，我们使用低秩约束稀疏编码来识别和计算相似患者的权重，同时对缺失值进行去噪。然后，采用稀疏表示的图嵌入，通过保持由距离定义的局部关系来测量患者对之间的相似性。最后，构造全局代价函数对相关参数进行优化.两个私人和公共的真实世界的医疗数据集，即SingHEART和MIMIC-III，实验结果表明，所提出的SparGE显着优于其他机器学习患者相似性方法。
2022-02-03 cs.LG
Linear Recursive Feature Machines provably recover low-rank matrices
Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（布罗德研究所）；Halıcıoğlu Data Science Institute, UC San Diego（加州大学圣迭戈分校哈勒西奥卢数据科学研究所）；University of Washington（华盛顿大学）
本研究为递归特征机（RFM）在过参数化问题中的降维机制提供了首个理论保证，证明线性RFM推广了IRLS算法，并提出一种无SVD且可扩展至数百万缺失条目的高效实现，在稀疏回归和低秩补全任务中优于标准IRLS和深度线性网络。
2024-01-09 cs.LG stat.ML
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
SoftStep: Learning Sparse Similarity Powers Deep Neighbor-Based Regression
Department of Population Health（人口健康系）；Icahn School of Medicine at Mount Sinai（辛克医学院 Mount Sinai分校）；Department of AI and Human Health（人工智能与人类健康系）
SoftStep通过学习稀疏实例级相似性，提升基于邻居的深度回归模型性能。
2025-12-04 cs.AI cs.LG
Attention layers provably solve single-location regression
Sorbonne Université（索邦大学）；Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；Institut Universitaire de France（法国大学研究院）
针对注意力机制缺乏理论理解的问题，提出单位置回归任务及简化自注意力预测器，证明其渐近最优性并分析训练动态，凸显处理稀疏信息与线性结构的能力。
2025-02-25 cs.LG stat.ML
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类（MCL）是一个著名的算法，它模拟样本相似性网络上的随机流，以检测数据中簇的结构组织，但它从来没有被推广到处理数据的非线性。最小曲线线性（MC）是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则，曲线距离被计算为其最小生成树上的横向路径，然后存储在核中。在这里，我们提出了MC-MCL，这是第一个非线性内核扩展的MCL，并利用最小曲线性，以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现，最小Curvilinearity提供了一个有价值的框架，估计非线性距离时，其内核与MCL相结合。事实上，MC-MCL克服了经典的MCL，甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
Similarity-based Feature Extraction for Large-scale Sparse Traffic Forecasting
Northeastern University（东北大学）；Technical University of Munich（慕尼黑工业大学）
短时交通量预测是智能交通系统研究的热点。然而，大多数现有的预测系统是有限的实时探测车数据的要求，因为它们的配方作为一个时间序列预测问题。针对这一问题，NeurIPS 2022年的交通流4cast挑战赛致力于利用公开的稀疏循环计数数据预测全市范围的交通状态。本技术报告介绍了我们的第二名获奖解决方案，以应对ETA预测的扩展挑战。我们提出了一种基于相似性的特征提取方法，使用多个最近邻（NN）过滤器。提取了基于相似性的特征、静态特征、节点流特征和片段组合特征，用于训练梯度提升决策树模型。在三个城市（包括伦敦，马德里和墨尔本）的实验结果表明，我们的方法具有很强的预测性能，在行程时间估计任务中优于一些基于图神经网络的解决方案。源代码可从\url{https://github.com/c-lyu/Traffic4Cast2022-TSE}获得。
2022-11-13 cs.LG
Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
研究针对预训练语言模型推理成本高的问题，提出自适应深度稀疏框架AdaDSF，基于层输入输出隐藏状态余弦相似性分配令牌保留率，用轻量级路由器选择信息令牌，在多任务中大幅降推理FLOPs且精度退化小。
2026-07-24 cs.CL cs.LG
Improving Context-Aware Semantic Relationships in Sparse Mobile Datasets
Stanford University（斯坦福大学）
传统的语义相似度模型往往无法封装文本所处的外部语境。然而，在移动平台上生成的文本数据集可以通过引入多模态数据来帮助我们构建更真实的语义相似性表示。这在稀疏数据集中尤其重要，这使得仅文本驱动的上下文解释变得更加困难。在本文中，我们开发了新的算法，用于构建外部特征到句子嵌入和语义相似性得分。然后，我们在Twitter数据上嵌入空间进行测试，使用每条推文的时间和地理位置来更好地理解其上下文。最终，我们证明了将具有八个分量的PCA应用于嵌入空间并附加多模态特征会产生最佳结果。这产生了相当大的改进，基于纯文本的方法来发现类似的推文。我们的研究结果表明，我们的新算法可以帮助提高在各种设置的语义理解。
2018-12-23 cs.CL cs.LG stat.ML
On Design Choices in Similarity-Preserving Sparse Randomized Embeddings
Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）；Luleå University of Technology（吕勒奥理工大学）；IRTC for IT and Systems（信息技术与系统研究院）
本文研究了 FlyHash 算法在生成保持相似性的稀疏嵌入时，输入预处理、激活函数和投影矩阵等设计选择对相似性搜索性能的显著影响。
2024-12-12 cs.LG cs.NE q-bio.NC
Learning Representations of Event Time Series with Sparse Autoencoders for Anomaly Detection, Similarity Search, and Unsupervised Classification
Stanford University；Center for Astrophysics | Harvard \& Smithsonian
针对事件时间序列不规则、非结构化导致难以提取模式的挑战，提出二维和三维张量表示结合稀疏自编码器学习潜在嵌入，支持异常检测、相似性检索、语义聚类和无监督分类等下游任务，并在X射线天文数据上验证了其有效性与通用性。
2025-10-11 astro-ph.HE astro-ph.IM cs.AI
Semi-Random Sparse Recovery in Nearly-Linear Time
MIT（麻省理工学院）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
稀疏恢复是反问题中最基本和研究最多的问题之一。标准的统计公式的问题可证明解决一般凸规划技术和更实用，快速（近线性时间）迭代法。然而，这些后者的“快速算法”先前已被观察到在各种现实世界的设置是脆弱的。我们研究快速稀疏恢复算法的脆性生成模型的变化，通过研究他们的鲁棒性的镜头，一个“有用的”半随机对手，一个框架，测试算法是否过拟合输入假设。我们考虑下面的基本模型：让$\mathbf{A} \in \mathbb{R}^{n \times d}$是一个测量矩阵，其中包含一个未知的子集行$\mathbf{G} \in \mathbb{R}^{m \times d}$有界，并满足限制等距属性（RIP），但在其他方面是任意的。让$x^\star \in \mathbb{R}^d$是$s$ -稀疏的，并给出精确的测量$b = \mathbf{A} x^\star$或噪声测量$b = \mathbf{A} x^\star + ξ$，我们设计算法恢复$x^\star$信息-理论上最佳地在近线性时间。我们扩展我们的算法，以保持较弱的生成模型放松我们种植RIP假设一个自然的加权变量，并表明我们的方法的保证自然插值的测量矩阵的质量，在某些参数制度，运行在次线性时间。我们的方法不同于以前的快速迭代法与半随机生成模型下的可证明保证：自然条件的子矩阵，使稀疏恢复易于验证的NP-难。我们设计了一个新的迭代法适合于稀…
2022-03-08 cs.DS cs.LG math.OC
Learning Sparse Neural Networks with Identity Layers
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
本文揭示层间特征相似性与网络稀疏性的联系，基于 CKA 和信息瓶颈理论提出即插即用正则化方法 CKA-SR，以提升稀疏训练性能。
2023-07-14 cs.LG
K-sets+: a Linear-time Clustering Algorithm for Data Points with a Sparse Similarity Measure
Institute of Communications Engineering（通信工程研究所）；National Tsing Hua University（国立清华大学）
在本文中，我们首先提出了一个新的迭代算法，称为K-sets+算法的聚类数据点在半度量空间，其中的距离测量不一定满足三角不等式。我们表明，K-集+算法收敛在一个有限的迭代次数，它保留了相同的性能保证的K-集算法聚类数据点在度量空间。然后，我们扩展的K-集+算法的适用性，从数据点在半度量空间的数据点，只有一个对称的相似性度量。这样的扩展导致计算复杂性的极大降低。特别地，对于一个n × n的相似矩阵，矩阵中有m个非零元素，K-sets+算法的计算复杂性为O（（Kn + m）I），其中I是迭代次数。实现该计算复杂性的内存复杂度为O（Kn + m）。因此，当n * n相似性矩阵稀疏时，计算复杂性和存储器复杂性都是n线性的，即，时间复杂度为O（n）。我们还进行了各种实验，通过使用来自随机块模型的合成数据集和来自WonderNetwork网站的真实网络来显示K-sets+算法的有效性。
2017-05-11 cs.DS cs.LG
Efficient Similarity-Preserving Unsupervised Learning using Modular Sparse Distributed Codes and Novelty-Contingent Noise
Neurithmic Systems（神经算法系统公司）
在神经科学中，人们越来越认识到信息是在大脑中表达的，例如，新皮层，海马，以稀疏分布代码（SDC）的形式，一种细胞组装。两个基本问题是：a）这些代码是如何在单次试验的基础上形成的，以及在学习过程中如何保持相似性，即，如何将更多相似的输入映射到更多相似的SDC。我描述了一种新颖的模块化稀疏分布式代码（MSDC），它为这两个问题提供了简单的、神经上似乎合理的答案。MSDC编码字段（CF）由Q个WTA竞争模块（CM）组成，每个模块由K个二进制单元（主单元的类似物）组成。CF的模块化性质使得单次试验、无监督学习算法成为可能，该算法近似地保持相似性，并且关键地，在固定时间内运行，即，存储项所需的步骤数量随着所存储项的数量增长而保持不变。此外，一旦项被存储为叠加的MSDC并且使得它们的交集结构反映输入相似性，固定时间最佳匹配检索和固定时间置信更新（更新所有存储项的概率）也变得可能。该算法的核心原理是简单地将噪声添加到选择代码的过程中，即，在每个CM中选择获胜者，这与输入的新颖性成比例。这使得输入X的代码与每个先前存储的输入Y的代码的预期交集与X和Y的相似性成比例。附录中给出了证明这些空间模式能力的结果。
2020-10-19 cs.LG cs.NE q-bio.NC
Attribute-Enhanced Similarity Ranking for Sparse Link Prediction
Rice University（莱斯大学）；UC Santa Barbara（加州大学圣巴巴拉分校）；TikTok Inc.（字节跳动公司）；Visa Inc.（维萨公司）
针对稀疏图链路预测中均衡评估失真问题，提出 Gelato，融合属性图学习、排序损失与图划分难负采样，性能优于现有 GNN 方法。
2024-11-29 cs.AI cs.LG cs.SI
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories（NTT通信科学实验室）；Kanagawa University（神奈川大学）
针对大规模高维稀疏数据集，提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而，在实践中，它在很大程度上取决于该算法如何适应的计算机系统的架构，它是executedon.We建议SIVF采用不变的基于质心对的过滤器（ICP），以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能，SIVF利用一个质心集的一个倒置的文件，结构，以减少管道的危险。我们证明在我们的实验中，真正的大规模文档数据集，SIVF操作速度更高，内存消耗比现有的算法。我们的性能分析表明，SIVF实现了更高的速度，通过抑制性能下降的因素，而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
ESACT: An End-to-End Sparse Accelerator for Compute-Intensive Transformers via Local Similarity
School of Integrated Circuits, Southeast University（集成电路学院，东南大学）
ESACT通过局部相似性预测机制，实现端到端稀疏加速，减少计算量达52.03%，提升能效3.29 TOPS/W。
2025-12-04 cs.AR cs.LG
Community detection in sparse time-evolving graphs with a dynamical Bethe-Hessian
GIPSA-lab（吉卜赛实验室）；UGA（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；L2S（信号与系统实验室）；CentraleSupélec（中央理工-高等电力学院）；University of Paris Saclay（巴黎萨克雷大学）
本文研究了稀疏动态图中的社区发现问题，其中社区结构随时间演化。提出了一种基于扩展的Bethe-Hessian矩阵的快速谱算法，该算法利用了类标签及其时间演化的正相关性，适用于任何具有社团结构的动态图.在动态度校正随机块模型下，在两个类大小相等的情况下，我们证明并支持广泛的模拟，我们提出的算法能够在理论上尽可能快地进行非平凡的社区重建，从而达到最佳的可检测性阈值，并可证明优于竞争谱方法。
2020-10-26 cs.LG cs.SI stat.ML
Super-sparse Learning in Similarity Spaces
University of Cagliari（卡利亚里大学）
在一些应用中，输入样本更自然地表示为彼此之间的相似性，而不是特征向量。在这些设置中，机器学习算法可能会变得非常需要计算，因为它们可能需要将测试样本与非常大的参考原型集进行匹配。为了缓解这个问题，已经开发了不同的方法来减少所需的参考原型的数量。目前的约简方法都是在相似性度量的空间中选取一小部分有代表性的原型，然后在约简后的子集上分别训练分类函数。然而，解耦这两个步骤可能不允许在不影响准确性的情况下有效地减少原型的数量。我们通过联合学习分类函数以及一组最佳的虚拟原型来克服这一限制，虚拟原型的数量可以事先固定，也可以根据特定于应用的标准进行优化。创建一组超稀疏的虚拟原型提供了更稀疏的解决方案，大大降低了测试时的复杂性，但代价是训练期间的复杂性略有增加。一个小得多的原型集也会导致由解释者来解释的决策。我们的经验表明，我们的方法可以减少高达10倍的复杂性，支持向量机，LASSO和岭回归在测试时，几乎不影响他们的分类精度。
2017-12-17 cs.CV cs.LG
Bio-Inspired Hashing for Unsupervised Similarity Search
UC San Diego（加利福尼亚大学圣地亚哥分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
果蝇的嗅觉回路启发了一种新的局部敏感哈希（LSH）算法，FlyHash。与产生低维散列码的经典LSH算法相比，FlyHash产生稀疏的高维散列码，并且在相似性搜索中也被证明具有优于经典LSH算法的经验性能。然而，FlyHash使用随机预测，无法从数据中学习。基于FlyHash的灵感和神经生物学中稀疏扩展表示的普遍性，我们的工作提出了一种新的哈希算法BioHash，该算法以数据驱动的方式产生稀疏高维哈希码。我们表明，BioHash优于以前公布的各种哈希方法的基准。由于我们的学习算法是基于一个本地和生物学上合理的突触可塑性规则，我们的工作提供了证据的建议，LSH可能是一个计算的原因，在各种生物系统的稀疏扩展图案的丰度。我们还提出了一个卷积变体BioConvHash，进一步提高了性能。从计算机科学的角度来看，BioHash和BioConvHash是快速的，可扩展的，并产生压缩的二进制表示，可用于相似性搜索。
2020-06-30 cs.DB cs.IR cs.LG
Provably Efficient Reinforcement Learning via Surprise Bound
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）
值函数逼近在现代强化学习（RL）问题中非常重要，特别是当状态空间（无限）大时。尽管价值函数逼近的重要性和广泛的适用性，它的理论理解仍然不像它的经验成功，特别是在一般函数逼近的背景下复杂。在本文中，我们提出了一个可证明有效的RL算法（计算和统计）与一般值函数近似。我们表明，如果价值函数可以近似的函数类，满足贝尔曼完备性假设，我们的算法实现了$\widetilde{O}(\text{poly}(ιH)\sqrt{T})$遗憾界$ι$是产品的惊喜界和日志覆盖数，$H$是规划视野，$K$是情节和$T = HK$是总的步骤数的代理与环境相互作用。我们的算法实现合理的遗憾界时，适用于线性设置和稀疏高维线性设置。而且，我们的算法只需要求解$O(H\log K)$经验风险最小化（ERM）问题，远比以往需要求解$Ω(HK)$次ERM问题的算法效率高。
2023-02-22 cs.LG
Interpretable Company Similarity with Sparse Autoencoders
London School of Economics（伦敦经济学院）；Tower Research Capital（塔罗研究资本）
本研究将稀疏自编码器应用于公司描述，提取可解释特征以衡量公司相似性，优于传统分类和嵌入方法，并在协整交易中产生更高夏普比率。
2025-05-24 cs.CL cs.LG econ.GN
