Tight Continuous Relaxation of the Balanced $k$-Cut Problem
Saarland University（萨尔兰大学）
谱聚类作为归一化/比率割的一种松弛方法，已经成为标准的基于图的聚类方法之一。现有的方法用于计算多个簇，对应于图的平衡$k$ -割，或者是基于贪婪技术或启发式算法，其与最小化归一化割的原始动机有弱联系。在本文中，我们提出了一个新的紧连续放松任何平衡的$k$切割问题，并表明，最近提出的相关放松在大多数情况下是松散的，导致在实践中的性能不佳。对于我们的紧连续松弛的优化，我们提出了一个新的算法的困难的比率最小化问题，实现单调下降。广泛的比较表明，我们的方法优于所有现有的比率削减和其他平衡的$k$削减标准的方法。
2015-05-24 cs.LG stat.ML
Spectral Graph Matching and Regularized Quadratic Relaxations I: The Gaussian Model
Yale University（耶鲁大学）；Duke University（杜克大学）
图匹配的目的是找到两个未标记图之间的顶点对应，最大化总的边权重相关性。这相当于解决一个计算上难以处理的二次分配问题。本文提出了一种新的谱方法，GRAph配对特征对齐（GRAMPA）。从以前的谱方法，只比较顶部的特征向量，或特征向量的相同的顺序，GRAMPA首先构造一个相似性矩阵作为两个图的所有对特征向量之间的外积的加权和，与柯西核应用到相应的特征值的分离给出的权重，然后通过一个简单的舍入过程输出匹配。相似矩阵也可以解释为二次分配问题的正则化二次规划松弛的解。对于高斯维格纳模型，其中$n$顶点上的两个完全图具有高斯边权重与相关系数$1-σ^2$，我们表明，GRAMPA准确地恢复正确的顶点对应，以高概率时，$σ= O(\frac{1}{\log n})$。这与多项式时间算法的现有技术相匹配，并且显著地改进了要求$σ$在$n$中多项式地小的现有谱方法。GRAMPA的优越性也表现在各种合成和真实的数据集，在统计精度和计算效率方面。普适性结果，包括稠密和稀疏Erdens-Rényi图的类似保证，被推迟到配套文件。
2019-07-20 cs.LG math.PR math.SP
Graph Matching via convex relaxation to the simplex
Ludwig-Maximilians-Universität München（慕尼黑大学）；Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）
本文提出将图匹配的 QAP 凸松弛到单位单纯形，并用闭式镜像下降求解，证明无噪声下可精确恢复且给出更宽松的贪心舍入条件。
2024-08-09 cs.LG math.ST stat.ML
SoftSort: A Continuous Relaxation for the argsort Operator
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
虽然排序是计算机科学中的一个重要过程，但argsort运算符--它接受一个向量作为输入并返回其排序排列--具有离散图像，因此几乎到处都是零梯度。这禁止了依赖argsort操作符的端到端的、基于梯度的模型学习。克服这个问题的一个自然的方法是用连续松弛代替argsort运算符。最近的工作已经显示了许多方法来做到这一点，但到目前为止提出的松弛计算是复杂的。在这项工作中，我们提出了一个简单的连续放松的argsort运算符，它具有以下品质：它可以在三行代码中实现，实现最先进的性能，很容易在数学上的原因-大大简化证明-并且比竞争方法更快。我们开放源代码来重现所有的实验和结果。
2020-06-29 cs.LG stat.ML
Stochastic Optimization of Sorting Networks via Continuous Relaxations
Stanford University（斯坦福大学）
对输入对象进行排序是许多机器学习管道中的重要步骤。然而，排序运算符相对于其输入是不可微的，这禁止了端到端基于梯度的优化。在这项工作中，我们提出了神经排序，一个通用的连续放松的排序算子的输出从置换矩阵的单峰行-随机阵，其中每行总和为1，并有一个不同的arg最大值。这种放松允许直接优化任何计算图涉及排序操作。此外，我们使用这种放松，使基于梯度的随机最优化组合大空间的排列，推导出一个重新参数化的梯度估计的Plackett-Luce家庭的分布排列。我们证明了我们的框架上的三个任务，需要学习的高维对象的语义排序，包括一个完全可微的，参数化的扩展的k-最近邻算法的有用性。
2019-04-29 cs.LG cs.NE stat.ML
The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
DeepMind；University of Oxford（牛津大学）
重新参数化技巧使得能够通过梯度下降来优化大规模随机计算图。其实质是将每个随机节点重构为其参数的可微函数和具有固定分布的随机变量。重构后，链规则通过图传播的损失梯度是预期损失梯度的低方差无偏估计。虽然许多连续随机变量具有这样的重新参数化，但由于离散状态的不连续性，离散随机变量缺乏有用的重新参数化。本文介绍了具体随机变量--离散随机变量的连续松弛。混凝土分布是一个新的分布族，具有封闭形式的密度和简单的重新参数化。每当计算图的离散随机节点可以被重构为被连续处理的独热位表示时，具体随机节点可以与自动微分一起使用，以在相应的离散图上产生目标（包括依赖于潜在随机节点的对数概率的目标）的低方差偏置梯度。我们证明了使用神经网络的密度估计和结构化预测任务的混凝土松弛的有效性。
2017-03-05 cs.LG stat.ML
Reparameterizable Subset Sampling via Continuous Relaxations
Stanford University（斯坦福大学）
许多机器学习任务需要基于参数化分布从集合中采样项的子集。Gumbel-softmax技巧可用于对单个项目进行采样，并允许相对于底层分布的参数进行低方差重新参数化梯度。然而，涉及子集采样的随机优化通常不可重新参数化。为了克服这一限制，我们定义了一个连续放松的子集采样，提供重新参数化梯度推广的Gumbel最大技巧。我们使用这种方法来采样特征子集的实例式特征选择任务的模型可解释性，子集的邻居实现一个深随机k-最近邻模型，和子序列的邻居实现参数t-SNE直接比较本地邻居的身份。我们通过在端到端训练中引入子集采样来提高所有这些任务的性能。
2021-02-26 cs.LG stat.ML
Learning with Algorithmic Supervision via Continuous Relaxations
University of Konstanz（康斯坦茨大学）；University of Salzburg（萨尔茨堡大学）；University of Frankfurt（法兰克福大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
最近，将算法组件集成到神经架构中得到了越来越多的关注，因为它允许使用新的监督形式（如排序约束或轮廓）来训练神经网络，而不是使用地面真值标签。该领域的许多方法都专注于特定任务的持续放松，并在此背景下显示出有希望的结果。但是，对单一任务的关注也限制了所提出的概念在狭窄范围内的应用。在这项工作中，我们建立在这些想法，提出了一种方法，允许集成算法到端到端的可训练神经网络架构的基础上一般近似的离散条件。为此，我们放宽这些条件的控制结构，如条件语句，循环，索引，使所得算法是光滑可微的。为了获得有意义的梯度，每个相关变量通过Logistic分布扰动，并在此扰动下的期望值近似。我们评估了四个具有挑战性的任务，并表明它可以跟上放松专门为每个单独的任务。
2021-10-25 cs.LG stat.ML
Near-Optimal Joint Object Matching via Convex Relaxation
Stanford University（斯坦福大学）
对象集合上的联合匹配旨在聚合来自大量相似实例（例如图像、图形、形状）的信息，以改进它们对之间的映射。给定在孤立的几个对象对之间计算的多个匹配，目标是恢复整个地图集合，这些地图是（1）全局一致的，并且（2）接近所提供的地图--并且在某些条件下可证明是地面实况地图。尽管最近在这个问题上取得了进展，最著名的恢复保证仅限于一个小的恒定的障碍-没有现有的方法找到理论支持时，超过$50\%$的输入对应被损坏。此外，现有的方法主要集中在完全相似的对象上，而实际上更需要匹配彼此仅部分相似的实例。在本文中，我们开发了一种算法，以联合匹配多个对象，表现出只有部分相似性，给出了几个成对的匹配密集损坏。具体来说，我们建议通过一个无参数的凸程序MatchLift恢复地面实况地图，遵循一种谱方法，该方法预先估计要匹配的不同元素的总数。令人鼓舞的是，MatchLift表现出接近最佳的纠错能力，即在渐近状态下，即使当输入映射的主要部分$1-Θ\left(\frac{\log^{2}n}{\sqrt{n}}\right)$表现得像随机离群值时，它也能保证工作。此外，MatchLift成功地以最小的输入复杂度，即，只要提供的映射形成连接的映射图，就可以实现完美匹配。我们在各种基准数据集上评估了所提出的算法，包括合成示例和真实示例，所有这些都证实了MatchLift的实用性。
2014-02-06 cs.CV cs.IT cs.LG
A Continuous Relaxation for Discrete Bayesian Optimization
DIKU, University of Copenhagen（哥本哈根大学DIKU学院）；IMT, Université de Toulouse III（图卢兹第三大学IMT学院）；Center for Machine Learning in Life Science（生命科学机器学习中心）；DTU（丹麦技术大学）
针对离散数据且观测值极少的贝叶斯优化挑战，提出目标函数的连续松弛方法，利用分布对Hellinger距离加权构建协方差函数，支持连续或离散算法优化采集函数，并在生化序列任务上验证有效性。
2024-04-26 cs.LG stat.ML
Graph Matching: Relax at Your Own Risk
图匹配--对齐一对图以最小化它们的边不一致--在过去的几十年里受到了理论和应用社区的广泛关注，包括组合学，计算机视觉和连接组学。它的关注可以部分归因于它的计算难度。虽然以前已经提出了许多算法来近似解决图匹配，但很少有理论支持它们的性能。一种常见的技术是将离散问题放松为连续问题，从而使从业者能够使用梯度下降型算法。我们证明了一个不定松弛（精确求解时）几乎总是发现最优置换，而一个共同的凸松弛几乎总是无法发现最优置换。这些理论结果表明，初始化的不确定算法与凸优化可能会产生改善的实际性能。事实上，实验结果照亮和证实了这些理论研究结果，证明了优秀的结果，在基准和实际数据的问题，合并这两种方法。
2015-01-10 math.OC stat.ML
Controlling Continuous Relaxation for Combinatorial Optimization
Fujitsu Limited（富士通公司）；University of Tokyo（东京大学）
针对基于无监督学习的组合优化求解器易陷局部最优、需人工舍入的问题，提出连续松弛退火策略，通过动态调整的惩罚项实现无舍入学习，提升求解性能并加快学习速度。
2024-10-31 cs.LG stat.CO stat.ME
$α$-Flow: A Unified Framework for Continuous-State Discrete Flow Matching Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
针对现有连续状态离散流匹配（CS-DFM）模型在表示与几何假设上的差异，本研究提出统一框架$α$-Flow，基于信息几何理论证明其最优性，在多离散生成任务中显著优于离散状态模型。
2025-04-14 cs.LG stat.ML
Learning Continuous Treatment Policy and Bipartite Embeddings for Matching with Heterogeneous Causal Effects
Uber Michelangelo（优步米开朗基罗）；Uber AI（优步人工智能）
因果推理方法广泛应用于医学、政策和经济学领域。这些应用的核心是估计治疗效果以做出决定。目前的方法基于单个结果维度的治疗效果做出二元是或否决定。这些方法无法捕捉连续的空间处理政策与强度的措施。他们还缺乏考虑治疗复杂性的能力，例如将候选治疗与受试者相匹配。我们建议制定治疗的有效性作为一个参数化的模型，扩大到众多的治疗强度和复杂性，通过连续的政策治疗功能，和匹配的可能性。我们的建议，将治疗效果函数分解成有效性因素，提出了一个框架，使用因果推理来模拟丰富的行动空间。我们利用深度学习来优化所需的整体度量空间，而不是预测单维处理反事实。这种方法采用了一个人口范围的有效性措施，并显着提高了模型的整体有效性。我们的算法的性能是。用实验证明。当使用通用连续空间处理和匹配架构时，我们观察到在成本效益方面比现有技术提高了41%，在平均处理效果方面比类似方法提高了68%。该算法捕捉治疗空间中的细微变化，构建有效的优化技术，并为许多应用开辟了舞台。
2020-04-21 cs.AI cs.LG stat.ML
An Empirical Investigation of Global and Local Normalization for Recurrent Neural Sequence Models Using a Continuous Relaxation to Beam Search
Carnegie Mellon University（卡内基梅隆大学）；Deepmind（深度思考）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
全局归一化神经序列模型被认为优于其局部归一化等效模型，因为它们可以改善标签偏差的影响。然而，当考虑对整个输入序列有条件的高容量神经参数化时，两个模型类在它们能够表示的分布方面理论上是等价的。因此，在现代神经方法的背景下，全局归一化的实际优势仍然不清楚。在本文中，我们试图通过实证研究来阐明这一问题。我们通过束搜索的连续松弛来扩展搜索感知训练的方法（Goyal等人，2017 b），以便通过简单的反向传播来训练全局归一化的递归序列模型。然后，我们使用这种技术进行全球规范化，高容量编码器和搜索感知优化之间的相互作用的实证研究。我们观察到，在不精确搜索的背景下，全局归一化神经模型仍然比局部归一化模型更有效。此外，由于我们的训练方法对预训练模型的热启动敏感，我们还提出了一种新的基于自归一化的初始化策略，用于预训练全局归一化模型。我们在两个任务上对我们的方法进行了分析：CCG超级标记和机器翻译，并在使用搜索感知训练的同时，在不同条件下展示了全局规范化的重要性。
2019-04-15 cs.CL cs.LG stat.ML
