首页/论文/2006.11666

arXiv 2006.116662020-06-20cs.LGstat.ML

具有张量核范数约束的高阶Planted模型的精确划分

Exact Partitioning of High-order Planted Models with a Tensor Nuclear Norm Constraint

Purdue University（普渡大学）

Chuyang Ke, Jean Honorio

发表信息：: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2022

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

研究了高阶种植模型生成的超图的有效精确划分问题。高阶种植模型假设一些底层的集群结构，并通过在节点之间放置超边来模拟高阶交互。示例模型包括不相交的超团，dennial子超图和超图随机块模型。我们证明了高阶种植模型的精确划分（一般来说是NP难问题）是通过求解具有张量核范数约束的计算效率高的凸优化问题来实现的。我们的分析为我们的方法成功地恢复真正的底层集群结构提供了条件，具有很高的概率。

英文摘要：

We study the problem of efficient exact partitioning of the hypergraphs generated by high-order planted models. A high-order planted model assumes some underlying cluster structures, and simulates high-order interactions by placing hyperedges among nodes. Example models include the disjoint hypercliques, the densest subhypergraphs, and the hypergraph stochastic block models. We show that exact partitioning of high-order planted models (a NP-hard problem in general) is achievable through solving a computationally efficient convex optimization problem with a tensor nuclear norm constraint. Our analysis provides the conditions for our approach to succeed on recovering the true underlying cluster structures, with high probability.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

通过Wasserstein差异实现多级超图划分的平衡粗化

Balanced Coarsening for Multilevel Hypergraph Partitioning via Wasserstein Discrepancy

针对多级超图划分，本文提出结合LPT先验、Wasserstein差异与Sinkhorn最优传输的平衡粗化方案，并利用Fiedler向量归一化割及三点算法改进初始k路划分。

2023-07-13cs.LG

当两层都学习：通过ReLU网络表示线性模型的训练动力学

When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks

Department of Electrical and Computer Engineering（电气工程系）；Department of Computer Science（计算机科学系）

本文研究单隐层ReLU网络联合训练两层以拟合线性目标函数的梯度下降动力学，通过三阶段分析证明从随机初始化出发能以线性速率收敛到全局最小化器并达到最优样本复杂度。

2026-06-03cs.LGmath.OCmath.ST

递归划分的逐点行为及其对异质性因果效应估计的影响

On the Pointwise Behavior of Recursive Partitioning and Its Implications for Heterogeneous Causal Effect Estimation

Princeton University（普林斯顿大学）；Two Sigma Investments, LP（Two Sigma投资公司）

本文证明自适应递归划分的决策树在一致范数下可能无法达到多项式收敛速率，而随机森林通过子采样和随机特征选择机制可实现接近最优的逐点推断性能。

2024-02-07cs.LGmath.STstat.ML

基于张量特征值分解的超图划分

Hypergraph Partitioning using Tensor Eigenvalue Decomposition

Indian Institute of Technology Madras（马德拉斯印度理工学院）

超图在机器学习领域获得了越来越多的关注，因为超图在捕捉实体间的超二元交互方面优于图。在这项工作中，我们提出了一种新的方法划分的k-一致超图。大多数现有方法的工作原理是将超图简化为一个图，然后应用标准的图划分算法。约简步骤限制了算法仅捕获一些加权的成对相互作用，因此丢失了关于原始超图的基本信息。我们克服了这个问题，利用基于张量的超图表示，这使我们能够捕捉实际的超并元相互作用。证明了超图到图的约化是张量压缩的一个特例。我们将最小比率割和归一化割的概念从图推广到超图，并证明了松弛优化问题等价于张量特征值分解。这种新的公式也使我们能够捕捉不同的方式切割超边缘，不同于现有的减少方法。我们提出了一个超图分割算法的灵感来自谱图理论，可以容纳这个概念的超边削减。我们还得到了一个更严格的上限的最小正特征值的偶数阶超图Laplacian张量的电导，这是利用在分区算法来近似归一化割。所提出的方法的有效性证明了简单超图的数值。我们还表明，2-均匀超图（图）的最小切割解决方案的标准谱分割算法的改进。

2020-11-16cs.LGstat.ML

划分问题的大间隔度量学习

Large-Margin Metric Learning for Partitioning Problems

Ecole Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）

在本文中，我们考虑无监督分割问题，如聚类，图像分割，视频分割和其他变点检测问题。我们专注于分区问题的基础上明确或隐含的最小化欧几里德失真，其中包括基于均值的变点检测，K均值，谱聚类和归一化切割。我们的主要目标是为这些无监督问题学习Mahalanobis度量，从而进行特征加权和/或选择。这是通过假设共享相同度量的几个潜在部分标记的数据集的可用性，以监督的方式完成的。我们将度量学习问题转换为大幅度结构化预测问题，并适当定义正则化器和损失，从而导致凸优化问题，可以使用迭代技术有效解决。我们提供的实验中，我们展示了如何学习的度量可以显着提高分区的性能，在合成的例子，生物信息学，视频分割和图像分割问题。

2013-03-06cs.LGstat.ML

非齐次超图聚类及其应用

Inhomogeneous Hypergraph Clustering with Applications

UIUC（伊利诺伊大学厄巴纳-香槟分校）

超图划分是机器学习、计算机视觉和网络分析中的一个重要问题。一种广泛使用的超图划分方法依赖于最小化跨簇划分超边的成本的归一化和。基于这种方法的数学解决方案假设超边的不同分区产生相同的成本。然而，这种假设未能利用同一超边内的不同顶点子集可能具有不同结构重要性的事实。因此，我们提出了一个新的超图聚类技术，称为非均匀超图分区，它分配不同的成本不同的超边削减。我们证明了非齐次划分产生的最优解的二次近似，如果非齐次成本满足子模块化约束。此外，我们证明了非均匀划分提供了显着的性能改进的应用程序，如结构学习的排名，子空间分割和主题聚类。

2017-11-02cs.LGstat.ML

更多相关论文收起更多论文

通过最优传输实现具有任意大小约束的图割

Graph Cuts with Arbitrary Size Constraints Through Optimal Transport

CDC Informatique（CDC信息公司）

本文提出一种在任意大小约束下进行图划分的新图割算法，将问题建模为带凹正则项的 Gromov-Wasserstein 问题，并用保证收敛、稀疏且高效的加速近端 GD 求解。

2024-10-04cs.LG

带公平性约束的谱归一化割图划分

Spectral Normalized-Cut Graph Partitioning with Fairness Constraints

East China Normal University（华东师范大学）；University of Helsinki（赫尔辛基大学）

针对带敏感属性公平约束的归一化割图划分问题，提出两阶段谱算法FNM，通过增广拉格朗日项获取公平节点嵌入并设计舍入方案生成簇，在9个基准数据集上优于3种基线方法。

2023-07-22cs.CYcs.DScs.LG

非相干最优矩阵完备化

Incoherence-Optimal Matrix Completion

The University of California, Berkeley（加州大学伯克利分校）

本文考虑矩阵完备化问题。我们表明，这是没有必要假设联合不连贯，这是一个标准的，但不直观的和限制性的条件，是由以前的研究。这导致样本复杂度界，其相对于不相干参数（以及秩$r$和矩阵维度$n$直到对数因子）是逐阶最优的。因此，我们将恢复半定矩阵的样本复杂度从$O(nr^{2}\log^{2}n)$提高到$O(nr\log^{2}n)$，并将最高允许秩从$Θ(\sqrt{n}/\log n)$提高到$Θ(n/\log^{2}n)$。证明中的关键步骤是获得$\ell_{\infty,2}$ -范数的新界，定义为矩阵的行范数和列范数的最大值。为了说明我们的技术的适用性，我们讨论了扩展SVD投影，结构化矩阵完成和半监督聚类，我们提供了有序的改进现有的结果。最后，我们转向密切相关的低秩加稀疏矩阵分解问题。我们表明，联合不相干条件是不可避免的多项式时间算法的条件种植集团猜想。这意味着一般来说，将秩- $ω(\sqrt{n})$半正定矩阵和稀疏矩阵分开是困难的。有趣的是，我们的研究结果表明，标准和联合不相干条件分别与矩阵分解问题的信息（统计）和计算方面。

2015-02-13cs.ITcs.LGmath.IT

基于递归划分的黑箱密度函数估计

Black-box density function estimation using recursive partitioning

University of Bristol（布里斯托大学）；Spotify（声田）；University of Bath（巴斯大学）；University of Cambridge（剑桥大学）

我们提出了一种新的方法来贝叶斯推断和一般贝叶斯计算，定义通过一个顺序的决策循环。我们的方法定义了一个递归分区的样本空间。它既不依赖于梯度，也不需要任何特定问题的调整，并且对于任何有界域的密度函数都是渐近精确的。输出是整个密度函数的近似值，包括归一化常数，通过有效的数据结构组织的分区。此类近似可用于证据估计或快速后验抽样，但也可作为处理更大类估计问题的构建模块。该算法表现出竞争力的性能，最近的国家的最先进的方法对合成和现实世界的问题，包括引力波物理参数推断。

2021-06-08cs.LGstat.ML

面向稀疏与持续强化学习微调的注意力头排序与划分

Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning

University of Washington（华盛顿大学）；Tsinghua University（清华大学）；University of Hong Kong（香港大学）；Amazon, Inc.（亚马逊公司）

该研究提出通过注意力头排序与划分，实现语言模型的稀疏与持续强化学习微调，在多类任务上验证了该方法可提升微调效果与任务保留能力。

2026-10-16cs.CLcs.LG

基于复杂度的CSFI问题实例Transformers划分

Complexity-based partitioning of CSFI problem instances with Transformers

Politecnico di Milano（米兰理工大学）；International Telematic University Uninettuno（国际远程大学尤尼内图诺）

本文提出了一种两步的方法来划分合取范式（CNF）句法公式同构问题（CSFI）的实例到不同复杂度的组。首先，我们建立一个模型，基于Transformer架构，试图解决CSFI问题的实例。然后，我们利用这种模型的错误和训练第二个基于transformer的模型划分成不同复杂度的问题实例组，从而检测出可以解决，而不使用太昂贵的资源。我们评估所提出的方法在一个伪随机生成的数据集，并获得有希望的结果。最后，我们讨论了将这种方法扩展到基于相同类型的文本表示的其他问题的可能性。

2021-06-28cs.LG

基于RD成本近似用于VVC内划分的复杂度降低研究

Complexity Reduction Study Based on RD Costs Approximation for VVC Intra Partitioning

InterDigital, R&I（InterDigital研发与创新部）；Univ Rennes, INSA Rennes（里昂大学，印斯那学院）；CNRS, IETR - UMR 6164（国家科学研究中心，IETR研究所）

本文提出两种基于机器学习的VVC内划分复杂度降低方法，通过回归和强化学习技术优化RD成本预测，提升RDO过程效率。

2025-11-25cs.LG

RIDGECUT：基于环与楔形结构的图分割学习

RIDGECUT: Learning Graph Partitioning with Rings and Wedges

College of Computer Science and Artificial Intelligence, Shanghai Key Laboratory of Data Science（计算机科学与人工智能学院，上海数据科学重点实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；PayPal Inc.（PayPal公司）；Center for AI Safety（人工智能安全中心）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·卡西姆大学）；Computing and Mathematical Sciences (CMS) Division（计算与数学科学（CMS）部门）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学（MBZUAI））；Fudan University（复旦大学）

提出RidgeCut框架，通过将动作空间约束为环与楔形结构，利用强化学习解决归一化割问题，在交通网络上实现结构感知分割，降低归一化割值并展现强泛化能力。

2026-06-16cs.AIcs.LGmath.OC

半监督学习和局部图聚类的强局部p范数割算法

Strongly local p-norm-cut algorithms for semi-supervised learning and local graph clustering

Purdue University（普渡大学）

基于图的半监督学习是在给定一些示例节点（通常称为种子）的情况下学习图节点的标记函数的问题，通常假设图的边缘指示标记的相似性。这与局部图聚类或社区发现问题密切相关，即在给定种子周围找到节点的集群或社区。对于这个问题，我们提出了一个新的推广随机游走，扩散，或光滑函数的方法在文献中的凸p-范数截函数。我们的p-范数方法的需要是，在我们对现有方法的研究中，我们发现那些基于特征向量、谱、随机游走或线性系统的原则性方法通常难以捕获目标标签或目标聚类的正确边界。相比之下，1-norm或maxflow-mincut方法捕获边界，但不能从小种子集生长;使用两者的混合程序有许多难以设置的参数。在本文中，我们提出了一个推广的目标函数背后的这些方法涉及p-规范。为了解决p-范数割问题，我们给出了一个强局部算法-其运行时间取决于输出的大小，而不是图的大小。我们的方法可以被认为是Anderson-Chung-Lang推送过程的非线性推广，以有效地近似个性化的PageRank向量。我们的程序是通用的，可以解决其他类型的非线性目标函数，如p-范数变量的Huber损失。我们提供了一个理论分析，找到种植目标集群与我们的方法，并表明p-范数切割函数提高标准的Cheeger不等式的随机游走和谱方法。最后，我们证明了我们的新方法在合成和真实世界数据集的速度和准确性。我们的代码可在http://github.com/Meng…

2020-10-23cs.LGcs.SI

一种新的正则超图割松弛方法

A New Relaxation Approach to Normalized Hypergraph Cut

Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）

规范化图割（Normalized Graph Cut，NGC）在机器学习和超大规模集成（Very Large Scale Integration，VLSI）电路设计等领域有着广泛的应用，已成为一个热门的研究课题。大多数传统的NGC方法是基于成对关系（相似性）。然而，在现实世界的应用程序中，顶点（对象）之间的关系可能比成对更复杂，这通常表示为超图中的超边。因此，归一化超图割（NHC）越来越受到人们的关注。现有的NHC方法在实际应用中不能达到令人满意的性能。在本文中，我们提出了一种新的松弛方法，这是所谓的松弛NHC（RNHC），解决NHC问题。我们的模型被定义为Stiefel流形上的优化问题。为了解决这个问题，我们求助于凯莱变换设计一个可行的学习算法。在一组超大规模集成电路领域的超图聚类和划分基准上的实验结果表明，RNHC的性能优于现有的方法。

2015-11-09cs.DScs.LG

近线性时间中的$\ell_2$ -范数流扩散

$\ell_2$-norm Flow Diffusion in Near-Linear Time

Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）

扩散是一个基本的图形过程，并已在广泛的理论和经验的应用，如图分区和图上的半监督学习的基本构建块。在本文中，我们研究计算效率的扩散原语超越随机游走。针对$\ell_2$ -范数流扩散问题，设计了一个$\widetilde{O}(m)$ -时间随机算法，该问题是最近提出的一个基于网络流的扩散模型，并在理论和实践中展示了图聚类的相关应用.例子包括寻找局部偏置的低电导切割。使用一个已知的连接之间的最佳对偶解的流动扩散问题和局部切割结构，我们的算法给出了一种替代方法，找到这样的削减在近线性时间。从技术的角度来看，我们的算法提供了一种新的方式来处理不等式约束的图优化问题。它适应了近线性时间拉普拉斯系统求解器的高级算法框架，但需要几个新的工具：约束下的顶点消除，一个新的图形超稀疏器族，以及具有不精确邻近映射计算的加速邻近梯度方法。

2021-06-03cs.DScs.LG

在高维过参数化线性回归中，批次划分稳定了最小范数风险

Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression

Tel Aviv University（特拉维夫大学）

本文研究了高维过参数化线性回归中批次划分的好处，提出了一种小批量最小范数估计器，消除了插值点处的风险激增和双下降现象，并通过Wiener系数收缩进一步降低风险。

2024-09-21cs.ITcs.LGmath.IT