Exact Recovery in the Hypergraph Stochastic Block Model: a Spectral Algorithm
University of Manitoba（曼尼托巴大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究了具有相同大小的$k$块的超图随机块模型的精确恢复问题。更准确地说，我们考虑一个随机$d$ -均匀超图$H$与$n$顶点划分成$k$簇的大小$s = n / k$。如果$e$包含在单个簇内，则以概率$p$独立地添加超边$e$，否则以概率$q$添加超边$q$，其中$0 \leq q < p \leq 1$。我们提出了一种谱算法，它恢复集群的高概率，在$n, k, p, q$，和$d$的温和条件。该算法基于$H$的邻接矩阵，$H$是一个对称的$n \times n$矩阵，其第$(u, v)$元是包含$u$和$v$的超边的个数.据我们所知，我们的算法是第一个保证准确的恢复时，集群的数量$k=Θ(\sqrt{n})$。
2020-02-02 cs.DM cs.LG math.CO
Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；University of Illinois Chicago（芝加哥大学伊利诺伊分校）
本文提出将关系学习形式化为超图恢复的数学框架，分析预训练模型恢复世界关系结构的可行性与极小极大近最优数据效率，并扩展至多模态实体对齐。
2024-06-17 cs.AI cs.LG
Stochastic Block Model for Hypergraphs: Statistical limits and a semidefinite programming approach
New York University（纽约大学）
研究了一个随机超图模型中的社团发现问题，我们称之为$k$ -一致超图的随机块模型（$k$ -SBM）.我们研究了$k$ -SBM中的精确恢复问题，并证明了在一个阈值附近会发生急剧的相变：在阈值以下，不可能以非零概率恢复社区，但在阈值以上，存在一个几乎渐近肯定地恢复社区的估计。我们还考虑了一个简单的，有效的算法的精确恢复问题是基于半定松弛技术。
2018-07-08 cs.IT cs.LG math.IT
Community Detection in the Hypergraph SBM: Exact Recovery Given the Similarity Matrix
Northwestern University（西北大学）；TTI-Chicago（芝加哥丰田技术研究所）
本文证实了超图随机块模型中基于相似矩阵的社区精确恢复的SDP猜想，并设计了达到最小二分阈值的近线性时间谱算法，在密集区域更高效。
2023-10-14 cs.LG cs.SI
Community Recovery in Hypergraphs
KAIST（韩国科学技术院）
社区恢复是一个中心问题，出现在各种各样的应用，如网络聚类，运动分割，人脸聚类和蛋白质复合物检测。该问题的目标是基于一组测量值将数据点聚类到不同的社区中，每个测量值与一定数量的数据点的值相关联。虽然大多数先前的工作集中在一个测量中涉及的数据点的数量是两个的设置，这项工作探索了一个广义的设置，其中的数量可以超过两个。特别是在机器学习和信道编码中的应用的启发下，我们考虑两种类型的测量：（1）同质性测量，其指示相关联的数据点是否属于同一社区;（2）奇偶性测量，其指示数据点的值的模2和。这样的测量可能被伯努利噪声破坏。我们的特点所需的测量数量的基本限制，以重建所考虑的模型的社区。
2017-09-12 cs.IT cs.LG math.IT
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Statistical and computational thresholds for the planted $k$-densest sub-hypergraph problem
ETH Zürich（苏黎世联邦理工学院）；Purdue University（普渡大学）
在这项工作中，我们考虑了恢复一个种植的$k$ -$d$ -均匀超图上最稠密的子超图的问题。这个基本问题出现在不同的背景下，例如，社区发现、平均情况复杂性和作为张量PCA问题的结构变体的神经科学应用。我们提供严格的\emph{information-theoretic}上限和下限的确切恢复阈值的最大似然估计，以及\emph{algorithmic}边界的基础上近似的消息传递算法。这个问题表现出一个典型的几何计算差距，观察类似的稀疏设置，扩大与问题的稀疏性。边界表明，信号结构影响的统计和计算相变的位置，已知的现有的张量PCA模型的边界不捕捉。这种效应是由于后一种模型处理的通用植入信号。
2021-01-28 cs.DS cs.IT cs.LG
Sharp Threshold for Multivariate Multi-Response Linear Regression via Block Regularized Lasso
Syracuse University（雪城大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了一个多变量多响应（MVMR）线性回归问题，该问题包含多个具有不同分布设计矩阵的线性回归模型，以及不同的回归和输出向量。目标是使用$l_1/l_2$正则化Lasso恢复所有回归向量的支持并集。我们的充分和必要条件的样本复杂性\emph{as a sharp threshold}，以保证成功恢复的支持联盟。也就是说，如果样本大小高于阈值，则$l_1/l_2$ -正则化Lasso正确地恢复支持并集;如果样本大小低于阈值，则$l_1/l_2$ -正则化Lasso无法恢复支持并集。特别是，该阈值精确地捕获了回归向量的稀疏性和设计矩阵的统计特性对样本复杂性的影响。因此，阈值函数还捕获了使用多任务Lasso的联合支持联合恢复优于使用单任务Lasso的单独支持恢复的优点。
2013-07-30 cs.LG stat.ML
Accelerating Large-Scale Regularized High-Order Tensor Recovery
School of Mathematics and Statistics, Southwest University, Chongqing（数学与统计学学院，西南大学）；School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）；School of Mathematics and Information, China West Normal University（数学与信息学院，中国西南师范大学）
本文针对大规模高阶张量恢复中尺度变化影响和计算成本高的问题，提出基于Krylov子空间和随机投影的快速低秩近似算法及广义非凸正则化框架，实验证明其有效性和优越性。
2025-07-08 cs.LG
Achieving the Kesten-Stigum bound in the non-uniform hypergraph stochastic block model
Department of Mathematics, University of Southern California（数学系，南加州大学）；Univ Rennes, Ensai, CNRS, CREST-UMR 9194（里昂大学，Ensai，CNRS，CREST-UMR 9194）
研究非均匀超图随机块模型中的社区检测问题，通过建立非均匀HSBM的Kesten-Stigum界，证明在多个均匀超图层下，当信号噪声比总和超过1时可实现弱恢复，并提出基于最优加权非回溯算子的多项式时间谱算法。
2026-04-21 cs.LG math.CO math.PR
Emotion Collider: Dual Hyperbolic Mirror Manifolds for Sentiment Recovery via Anti Emotion Reflection
University of Macau（澳门大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Tongji University（同济大学）；University of Southampton（南安普顿大学）；University of Bologna（博洛尼亚大学）；Minzu University of China（中央民族大学）
本文提出Emotion Collider网络，利用双双曲镜面流形实现多模态情感和情绪建模，通过双曲空间对比学习提升类别分离，并在标准多模态情感基准上验证了其鲁棒性和准确性。
2026-07-29 cs.CL cs.LG cs.MM
Scalable Hypergraph Structure Learning with Diverse Smoothness Priors
Department of Electrical and Computer Engineering, University of Kentucky（电气与计算机工程系，肯塔基大学）；Department of Electrical and Computer Engineering, University of Delaware（电气与计算机工程系，特拉华大学）
提出基于平滑性先验的超图结构学习方法HSLS，通过前向-后向-前向凸优化算法解决超边选择与收敛问题，提升网络可扩展性与准确率。
2025-06-27 cs.LG eess.SP
Thresholded Adaptive Validation: Tuning the Graphical Lasso for Graph Recovery
Ruhr University Bochum（波鸿鲁尔大学）
许多机器学习算法都被公式化为正则化优化问题，但它们的性能取决于一个正则化参数，该参数需要根据手头的每个应用进行校准。在本文中，我们提出了一个通用的校准计划正则化优化问题，并将其应用到图形套索，这是一种方法的高斯图形建模。该方案配备了理论保证，并激励阈值流水线，可以提高图恢复。此外，在正则化路径上最多需要一个线搜索，校准方案在计算上比基于重新搜索的竞争方案更有效。最后，我们在模拟中表明，我们的方法可以大大提高其他方法的图恢复。
2021-03-30 cs.LG stat.ME stat.ML
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut（康涅狄格大学）
本文研究了高斯混合模型上的社区发现问题，其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于，对于观测矩阵中的不同条目，高斯扰动的强度是不同的，并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
Hypergraph Representation Learning with Hyperlink Random Effects
Harvard University（哈佛大学）；University of California, Davis（加州大学戴维斯分校）；University of Michigan（密歇根大学）
提出一个利用超边随机效应并兼顾低秩结构的超图表示学习通用框架，可处理非均匀超边和异质性，具备理论保证，并通过模拟与真实数据验证其有效性。
2026-10-06 cs.LG stat.ML
Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering
低秩表示（Low-Rank Representation，LRR）在子空间聚类中由于不能考虑数据结构的非线性和观测值在环境空间中的非均匀分布，而严重地损失了数据点的局部性信息。因此，最先进的LRR模型丢失了观测密度的信息，因为它们考虑了恒定数量的相邻邻居。因此，这降低了在这种情况下的子空间聚类精度。为了应付不足，在本文中，我们建议考虑一个超图模型，以方便有一个可变数量的相邻节点，并将数据的局部信息。子空间数目的稀疏性也被考虑在内。为此，基于一组正则化项定义优化问题，并通过开发基于张量拉普拉斯的算法来解决。在人工和真实数据集上的大量实验表明，与现有方法相比，该方法在子空间聚类中具有更高的准确性和精度。该方法的突出表现在数据的固有结构如非线性、几何重叠和离群值的存在下更加明显。
2021-03-06 cs.LG stat.ML
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题，提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数，在低秩张量空间中提取非线性局部结构并自适应分配权重，有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
Meta Learning for Support Recovery in High-dimensional Precision Matrix Estimation
Purdue University（普渡大学）
在本文中，我们研究元学习的支持（即，非零项的集合）恢复，其中我们利用从其他辅助任务学习的信息来降低新任务中的足够样本复杂性。在我们的设置中，每个任务都有一个不同的随机真精度矩阵，每个都有可能不同的支持。我们假设所有真精度矩阵的支撑的联合（即，真正的支持联盟）的规模很小。我们建议从不同的任务，和\emph{improperly}估计一个单一的精度矩阵，通过最小化$\ell_1$正则化的对数行列式Bregman分歧。我们发现，以高概率，\emph{improperly}估计的单精度矩阵的支持等于真正的支持联盟，提供了足够数量的样本，每个任务$n \in O((\log N)/K)$，为$N$维向量和$K$任务。也就是说，当有更多的任务可用时，每个任务需要更少的样本。我们证明了一个匹配的信息理论下界的必要数量的样本，这是$n \in Ω((\log N)/K)$，因此，我们的算法是极小极大最优的。然后，对于新的任务，我们证明了$\ell_1$正则化的对数行列式Bregman发散的最小化与额外的约束，即支持是估计的支持联盟的一个子集，可以减少足够的样本复杂性，成功的支持恢复到$O(\log(|S_{\text{off}}|))$，其中$|S_{\text{off}}|$是在支持联盟中的非对角元素的数量，是远远小于$N$稀疏矩阵。我们还证明了一个匹配的信息理论下界的$Ω(\log(|S_{\…
2021-02-21 cs.LG stat.ML
Tensor Clustering with Planted Structures: Statistical Optimality and Computational Limits
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）
本文研究 CHC 与 ROHC 两类植入结构张量聚类，给出检测与恢复的统计边界和多项式时间计算阈值，并证明低信噪比下基于 HPC/HPDS 猜想的困难性。
2023-10-02 cs.CC cs.LG math.ST
Exact Inference in High-order Structured Prediction
Purdue University（普渡大学）
本文研究高阶结构化预测中的推断问题，提出两阶段凸优化算法实现精确标签恢复，并利用超图Cheeger型不等式将算法性能与超边扩展性质相联系。
2023-02-07 cs.LG stat.ML
Subject-specific quantitative susceptibility mapping using patch based deep image priors
Harvard Medical School（哈佛医学院）
定量磁化率映射是一种参数成像技术，用于根据MRI相位测量来估计生物组织的磁化率。估计磁化率图的这个问题是不适定的。正则化的恢复方法利用信号特性，如平滑度和稀疏度，改善重建，但遭受过平滑的文物。深度学习方法已经显示出巨大的潜力，并生成具有减少伪影的地图。然而，对于合理的重建和网络泛化，它们需要大量的训练数据集，从而增加了数据采集时间。为了克服这个问题，我们提出了一个主题特定的，基于补丁的，无监督的学习算法来估计的易感性地图。我们通过使用深度卷积神经网络来利用地图补丁上的冗余来使问题良定。我们制定了恢复的磁化率地图作为一个正规化的优化问题，并采取了交替最小化策略来解决it.We测试的3D invivo数据集上的算法，定性和定量，证明了改进的重建竞争的方法。
2022-10-10 cs.CV cs.LG eess.IV
Support Recovery for the Drift Coefficient of High-Dimensional Diffusions
Stanford University（斯坦福大学）
考虑从长度为$T$的样本路径学习$p$维随机微分方程漂移系数的问题。我们假设漂移是由一个高维向量参数化，并研究支持恢复问题时，$p$和$T$都可以趋于无穷大。特别是，我们证明了一个一般的样本复杂性的下限$T$通过使用的互信息的特征作为时间积分的条件方差，由于门田，Zakai和Ziv。对于线性随机微分方程，漂移系数由描述动力学下哪些自由度相互作用的$p\times p$矩阵参数化。在这种情况下，我们分析了一个$\ell_1$正则化最小二乘估计，并证明了上界$T$，几乎匹配的特定类别的稀疏矩阵的下界。
2013-08-20 cs.IT cs.LG math.IT
Spatiotemporal Regularized Tucker Decomposition Approach for Traffic Data Imputation
Southern University of Science and Technology（南方科技大学）
本文提出一种时空正则化Tucker分解方法用于交通数据插补，通过核心张量$l_1$范数刻画低秩性，结合流形正则化和时间约束捕获时空相关性，在真实数据集上优于矩阵和张量基线方法。
2023-10-31 cs.LG stat.ML
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
Stochastic optimization and sparse statistical recovery: An optimal algorithm for high dimensions
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
我们开发和分析随机最优化算法的问题，其中的预期损失是强凸的，和最佳的（近似）稀疏。以前的方法能够利用这两种结构中的仅一种，产生$\order(\pdim/T)$收敛率的强凸目标在$\pdim$维度，和$\order(\sqrt{(\spindex \log \pdim)/T})$收敛率时，最佳的是$\spindex$ -稀疏。我们的算法是基于连续解决一系列的$\ell_1$正则化优化问题，使用Nesterov的双平均算法。我们建立$T$迭代后，我们的解决方案的错误是最多$\order((\spindex \log\pdim)/T)$，与自然扩展近似稀疏。我们的结果适用于本地Lipschitz损失，包括逻辑，指数，铰链和最小二乘损失。借助于统计极大极小的结果，我们证明了我们的收敛速度是最佳的乘法常数因子。我们的方法的有效性也证实了在数值模拟中，我们比较几个基线上的最小二乘回归问题。
2012-07-18 cs.LG math.OC stat.ML
