StrTransformer: Source-Wise Structured Transformers for Unsupervised Blind Source Recovery
PolyU
提出StrTransformer框架，通过源向结构化Transformer分支和观测空间混合器直接优化潜在源矩阵，实现盲源恢复和分支潜在建模。
2026-05-25 cs.LG stat.ML
Mode recovery in neural autoregressive sequence modeling
New York University（纽约大学）；University of Washington（华盛顿大学）；CIFAR（加拿大高等研究院）
尽管它的广泛使用，最近的研究已经揭示了用最大似然训练的神经自回归序列模型的意想不到的和不期望的特性，例如训练后对短序列的不合理的高亲和力和在解码时对无限长序列的不合理的高亲和力。我们建议研究这些现象，通过调查的模式，或局部最大值，分布是如何保持在整个学习链的地面真理，经验，学习和解码诱导的分布，通过新提出的模式恢复成本。我们设计了一个易于处理的测试平台，在这里我们构建了三种类型的地面实况分布：（1）基于LSTM的结构化分布，（2）序列的概率不依赖于其内容的非结构化分布，以及（3）这两种分布的乘积，我们称之为半结构化分布。我们的研究揭示了预期和意外的发现。首先，从数据汇集开始，模式恢复成本强烈依赖于地面实况分布，并且半结构化分布的成本最高。其次，在学习之后，与数据汇集相比，来自地面实况分布的模式恢复成本可能增加或减少，其中最大的成本降级发生在半结构化地面实况分布的情况下。最后，解码诱导的分布从学习的分布中恢复模式的能力受到学习链中早期做出的选择的高度影响。我们的结论是，未来的研究必须考虑整个学习链，以充分了解的潜力和危险，并进一步改善神经自回归序列模型。
2021-06-10 cs.LG stat.ML
Partial Inference in Structured Prediction
Purdue University（普渡大学）
针对结构化预测中的部分推断问题，提出基于生成模型的两阶段凸优化标签恢复方法，并从 KKT 条件及原始-对偶构造出发给出可证明的统计与拓扑保证。
2023-06-06 cs.LG stat.ML
A totally unimodular view of structured sparsity
EPFL（洛桑联邦理工学院）
本文描述了一个简单的框架结构稀疏恢复的基础上凸优化。我们发现，许多结构化稀疏模型可以自然地表示为线性矩阵不等式的支持下的未知参数，其中的约束矩阵有一个完全么模（TU）结构。对于这样的结构化模型，紧凸松弛可以通过线性规划在多项式时间内获得。我们的建模框架统一了文献中普遍存在的结构化稀疏规范，引入了新的有趣的规范，并使其紧密性和易处理性参数透明。
2015-03-03 cs.LG stat.ML
Tuning-Free Structured Sparse Recovery of Multiple Measurement Vectors using Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology, Madras, India（电子工程系，印度理工学院，马德拉斯，印度）
本文提出一种无需调参的多测量向量联合稀疏恢复方法，利用隐式正则化实现高效稀疏信号恢复。
2026-01-30 cs.LG stat.ML
Tight Bounds for Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
该研究针对带结构损失函数的数据驱动超参数多重调优，利用实代数几何建立紧伪维界，提出多区域下界框架并扩展拓扑框架，解决了现有界宽松及缺乏全面下界的问题。
2026-08-19 cs.LG stat.ML
Low-Rank Bandits via Tight Two-to-Infinity Singular Subspace Recovery
Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；Division of Decision and Control Systems, KTH（瑞典皇家理工学院决策与控制系统分部）
本文针对低秩上下文老虎机提出基于谱方法的两阶段算法，先紧致恢复奇异子空间，再转化为误设定线性老虎机，在策略评估、最优策略识别和遗憾最小化上均取得近极小极大最优保证。
2024-07-04 cs.LG stat.ML
Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements
Dept. of Computer Science and Automation, Indian Institute of Science, Bengaluru（印度科学理工学院计算机科学与自动化系）；Department of Computer Science, IMT Atlantique, Plouzané（IMT Atlantique计算机科学系）
本文研究了在分布式参数服务器-工人架构中随机向量X的均值估计问题，提出了一种两时间尺度l1最小化算法，并在相同空域性质条件下建立了紧非渐近收敛速率，同时识别了在某些条件下即使无法精确恢复X，也能恢复其投影分量的条件。
2026-04-07 cs.LG stat.ML
Accelerating Ill-conditioned Hankel Matrix Recovery via Structured Newton-like Descent
Department of Statistics and Data Science and Department of Computer Science, University of Central Florida（统计与数据科学系和计算机科学系，中央佛罗里达大学）；Department of Computational Mathematics, Science and Engineering and Department of Mathematics, Michigan State University（计算数学、科学与工程系和数学系，密歇根州立大学）；School of Mathematics and Statistics, and Hubei Key Laboratory of Computational Science, Wuhan University（数学与统计学系，和湖北计算科学重点实验室，武汉大学）；School of Artificial Intelligence, Wuhan University, National Center for Applied Mathematics in Hubei, and Hubei Key Laboratory of Computational Science, Wuhan, China（人工智能学院，武汉大学，湖北应用数学中心，和湖北计算科学重点实验室，中国武汉）；Institute for Advanced Study, Shenzhen University（先进研究学院，深圳大学）
本文提出HSNLD算法，通过结构化牛顿-样下降方法高效恢复病态Hankel矩阵，具有线性收敛性并优于现有算法。
2025-04-10 cs.IT cs.LG eess.SP
i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
Rice University（莱斯大学）
提出了一种新的神经网络结构化剪枝算法--迭代稀疏结构化剪枝算法（i-SpaSP）。受稀疏信号恢复思想的启发，i-SpaSP通过迭代识别更大的重要参数组（例如，过滤器或神经元），然后基于较小的、预定义的修剪比率对这些组进行阈值化。对于具有ReLU激活的两层和多层网络架构，我们显示了i-SpaSP修剪引起的误差多项式衰减，其中该多项式的次数根据密集网络隐藏表示的稀疏性变得任意大。在我们的实验中，i-SpaSP在各种数据集上进行了评估（即，MNIST、ImageNet和XNLI）和架构（即，前馈网络，ResNet 34，MobileNetV 2，和BERT），其中它被证明发现高性能的子网络，并提高了几个数量级的可证明的基线方法的修剪效率。简而言之，i-SpaSP易于使用自动微分实现，获得了强有力的经验结果，具有理论收敛保证，并且效率高，因此成为少数几个计算效率高，实用且可证明的修剪算法之一。
2022-03-29 cs.AI cs.LG math.OC
A Nonconvex Framework for Structured Dynamic Covariance Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）
我们提出了一个灵活而可解释的模型，高维数据随时间变化的二阶顺序统计量，动机和应用功能神经影像数据。受神经科学文献的启发，我们将协方差分解为稀疏的空间和平滑的时间分量。虽然这种分解导致简约性和域可解释性，但由此产生的估计问题是非凸的。为此，我们设计了一个两阶段的优化方案，精心定制的频谱初始化，结合迭代改进的交替投影梯度下降。我们证明了一个线性收敛速度到一个非平凡的统计误差的下降计划，并建立样本的复杂性保证的估计。我们进一步量化的统计误差的多元高斯的情况下。使用模拟和真实脑成像数据的实证结果表明，我们的方法优于现有的基线。
2021-07-18 cs.LG stat.AP stat.ME
Exact inference in structured prediction
结构化预测可以被认为是多个标签的同时预测。这通常通过最大化标签空间上的得分函数来完成，该得分函数分解为成对和一元势的总和。以上自然地用图来建模，其中边和顶点分别与成对势和一元势相关。我们考虑了Globerson等人提出的生成过程，并将其应用于一般连通图。我们分析的结构条件的图，允许的标签的准确恢复。我们的研究结果表明，准确的恢复是可能的，并在多项式时间的一个大类的图实现。特别是，我们表明，图是坏的扩展器可以通过添加来自Erdens-Rényi模型的小的边缘扰动来完全恢复。最后，作为我们分析的副产品，我们提供了一个扩展的Cheeger不等式。
2019-06-02 cs.LG stat.ML
SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples
National University of Singapore（新加坡国立大学）
我们考虑学习伊辛树模型时，从节点的观察是由独立的，但不相同分布的噪声与未知的统计损坏。Katiyar等人（2020）表明，虽然无法恢复精确的树结构，但可以恢复部分树结构;即属于包含真树的等价类的结构。本文对Katiyar et al.（2020）进行了系统的改进。首先，我们提出了一个新的不可能的结果，通过推导出的部分恢复所需的样本数的界限。第二，我们推导出一个显着改善的样本复杂度的结果，其中的最小相关$ρ_{\min}$的依赖是$ρ_{\min}^{-8}$，而不是$ρ_{\min}^{-24}$。最后，我们提出了对称几何平均（SGA），一个更强大的统计算法的部分树恢复。我们提供了各种树的误差指数分析和广泛的数值结果，以表明SGA的样本复杂度明显优于Katiyar等人的算法。SGA可以很容易地扩展到高斯模型，并通过数值实验表明，同样优越。
2021-01-22 cs.IT cs.LG math.IT
Corrupted Sensing: Novel Guarantees for Separating Structured Signals
我们研究的问题，损坏的感知，压缩感知的推广，其中一个目的是恢复一个信号从收集损坏或不可靠的测量。虽然在面对任意损坏时不能恢复任意信号，但是当信号和损坏都被适当地结构化时，易于处理的恢复是可能的。我们量化的信号恢复和两个几何措施的结构，高斯复杂性的切线锥和高斯距离的次微分之间的关系。我们采取凸规划的方法来解开信号和腐败，分析惩罚方案，权衡信号和腐败的复杂性，和约束方案，约束信号或腐败的复杂性时，先验信息是可用的。在每种情况下，我们提供的条件，从结构化腐败和稳定的信号恢复结构化腐败与非结构化噪声。我们的模拟表明，我们的理论恢复界限和在实践中观察到的尖锐的相变之间的密切协议。此外，我们提供了新的可解释的高斯复杂性的稀疏向量，块稀疏向量，低秩矩阵，这导致更清晰的保证恢复时，结合我们的结果和文献中的。
2014-02-04 cs.IT math.IT math.OC
On the Fundamental Limits of Exact Inference in Structured Prediction
Purdue University（普渡大学）
推理是结构化预测中的一项主要任务，它可以很自然地用图来建模。在马尔可夫随机场的背景下，噪声观测对应的节点和边缘通常涉及，和精确推理的目标是恢复未知的真实标签为每个节点精确。本文的重点是不考虑计算效率的精确恢复的基本限制，假设由Globerson等人提出的生成过程。（2015）。我们得到了任何算法的必要条件和极大似然估计以高概率实现精确恢复的充分条件，并揭示了充分和必要条件是紧到一个对数因子的广泛的图形。最后，我们证明了Bello和Honorio（2019）的计算易处理方法的基本极限和性能之间存在差距，这意味着需要进一步开发精确推理的算法。
2021-02-17 cs.LG stat.ML
Structured Low-Rank Algorithms: Theory, MR Applications, and Links to Machine Learning
University of Iowa（爱荷华大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在这次调查中，我们提供了一个详细的审查最近的进展，在恢复连续域多维信号从他们的几个非均匀（多通道）测量使用结构化的低秩矩阵完成制定。这个框架的核心是紧凑性之间的基本二元性（例如，稀疏性）和结构化矩阵的秩，结构化矩阵的条目是信号的函数。该属性使得信号恢复能够重新表述为低秩结构化矩阵完成，这具有性能保证。我们还将审查快速算法，其复杂性与当前的压缩感知方法相当，这使得该框架能够应用于大规模磁共振（MR）恢复问题。显着的灵活性，制定可用于利用信号的属性，难以捕捉当前的稀疏和低秩优化策略。我们证明了该框架在广泛的MR成像（MRI）应用中的实用性，包括高度加速成像、免校准采集、MR伪影校正和非门控动态MRI。
2019-10-27 cs.CV cs.IT cs.LG
Towards a mathematical theory of superposition
该研究利用框架理论和压缩感知工具构建神经网络叠加的数学理论，针对超完备字典编码的稀疏二元特征向量，证明了随机支撑和最坏情况支撑设定下的支撑恢复定理，确定了实等角紧框架的精确恢复阈值。
2026-08-31 cs.IT cs.LG math.CO
Tight Error Bounds for Structured Prediction
机器学习中的结构化预测任务涉及多个标签的同时预测。这通常通过最大化标签空间上的得分函数来完成，该得分函数分解为成对元素的总和，每个元素取决于两个特定的标签。直观地说，使用的成对项越多，预期的准确性就越好。然而，目前还没有关于这种直觉的理论解释。本文件朝着这个方向迈出了重要的一步。我们制定的问题分类的顶点的一个已知的图$G=(V,E)$，其中的顶点和边的图形标记和相关的半随机与地面真相。我们表明，实现低预期的汉明误差的前景取决于有趣的方式图$G$的结构。例如，如果$G$是非常差的扩展器，如路径，则大的预期汉明误差是不可避免的。我们的主要积极的结果表明，对于广泛的一类图形，包括在机器视觉应用中常见的2D网格图，有一个多项式时间的算法与小和信息理论上接近最优的预期误差。我们的研究结果提供了第一步的理论依据的经验成功的有效近似推理算法，用于结构化预测模型，精确的推理是棘手的。
2014-09-19 cs.DS cs.LG stat.ML
Optimal Sparse Recovery with Decision Stumps
University of Maryland（马里兰大学）
决策树以其低计算成本、良好的预测性能和评估特征重要性的能力而被广泛使用。虽然在实践中经常用于特征选择，但这些方法的理论保证并没有得到很好的理解。我们在这里得到一个紧有限样本界的特征选择问题，线性回归使用单深度决策树。我们检查这些“决策树桩”的统计特性，从$p$总功能，其中$s \ll p$的$s$活动功能的恢复。我们的分析提供了严格的样本性能保证高维稀疏系统对齐有限样本界的$O(s \log p)$获得拉索，提高了以前的界限的中位数和最佳分裂准则。我们的研究结果扩展到非线性制度以及任意的亚高斯分布，表明基于树的方法在各种各样的设置下获得强大的特征选择特性，并进一步阐明这些方法在实践中的成功。作为我们的分析的副产品，我们表明，我们可以证明，即使当活跃功能$s$的数量是未知的，保证恢复。我们进一步验证我们的理论结果和证明方法，使用计算实验。
2023-03-08 cs.DS cs.LG stat.ML
On the Difficulty of Selecting Ising Models with Approximate Recovery
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在本文中，我们考虑的问题，估计与伊辛模型的基本图给定的独立和同分布的样本数。我们采用了一个\emph{approximate recovery}标准，允许一些错过的边缘或不正确包括的边缘，与广泛研究的精确恢复问题。我们的主要研究结果提供了信息理论的下界的样本复杂性的图类施加限制的边缘，最大程度，和其他属性的数量。我们确定了广泛的情况下，无论是常数因子或对数因子，我们的下限匹配最好的已知下限的确切恢复标准，其中几个是已知的紧或近紧。因此，在这些情况下，近似恢复在极大极小意义上具有与精确恢复类似的困难。我们的边界是通过修改Fano不等式来处理近似恢复准则，以及适当设计的图的集合来获得的，这些图可以大致分为两类：（i）包含含有几个孤立边或团的图，因此难以与空图区分开;（ii）那些包含某些节点组高度相关的图，因此难以精确确定哪些边连接它们。我们支持我们的理论结果，这些合奏与数值实验。
2016-07-08 cs.IT cs.LG cs.SI
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California（南加州大学）
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸（$m<<n$）。我们制定的恢复问题作为一个非凸的优化问题，通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降，当初始化的期望信号的邻域中，以线性速度收敛到未知信号。这些结果适用于任何约束集（凸或非凸）提供收敛保证的全局最优，即使当目标函数和约束集是非凸的。此外，这些结果与测量的数量保持一致，所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法，这种数据贫乏的制度，打破了局部样本的复杂性障碍，出现在最近的文献。在配套文件中，我们展示了有利的性能的优化问题，可以使类似的结果继续持有更多的全球性（在整个环境空间）。总的来说，这两篇论文利用并开发了强大的工具，统一收敛的经验过程，可能有更广泛的影响，严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路，该系统可以利用先验信息显着减少采集时间并增强图像重建，从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA
Convex Hierarchical Clustering for Graph-Structured Data
Stanford University（斯坦福大学）
凸聚类是一个最近稳定的替代层次聚类。它制定了逐步合并集群的恢复作为一个正规化的凸问题。虽然凸聚类最初是为了处理数据点之间的欧氏距离而设计的，但在越来越多的应用中，数据直接由相似性矩阵或加权图来表征。在本文中，我们扩展了强大的层次聚类方法，这些更广泛的类的相似性。在定义了一个适当的凸目标之后，这种适应的关键在于我们能够提供：（a）正则化路径的有效恢复和（b）使用我们方法的经验证明。我们通过一个近端对偶算法解决第一个挑战，为此我们描述了一组实验的理论效率和经验性能。最后，我们强调了我们的方法的潜力，通过展示其应用到几个现实生活中的数据集，从而提供了一个自然的扩展到当前的凸聚类的应用范围。
2019-12-11 cs.LG stat.AP stat.ML
Minimax Structured Normal Means Inference
我们提供了一个统一的治疗一类广泛的嘈杂的结构恢复问题，被称为结构正常的手段问题。在这种情况下，目标是从具有不同均值的高斯分布的有限集合中识别产生一些观测数据的分布。最近的工作已经研究了几个特殊的情况下，包括稀疏向量，biclusters，和基于图形的结构。我们建立几乎匹配的上限和下限的极小极大概率的错误的任何结构化的正常手段的问题，我们推导出一个最优性证书的极大似然估计，它可以应用于许多实例。我们还考虑了一个试验设计设置，在那里我们推广我们的极大极小的界限，并推导出一个算法计算的设计策略具有一定的最优性。我们表明，我们的研究结果给出了严格的极小极大界的许多结构恢复问题，并考虑一些后果的交互式采样。
2016-01-26 cs.IT math.IT stat.ML
Predictive Learning on Hidden Tree-Structured Ising Models
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Michigan State University（密歇根州立大学）
我们提供了高概率的样本复杂性保证，使用来自非循环（树形）图形模型的噪声损坏样本进行精确的结构恢复和准确的预测学习。隐变量遵循树结构的伊辛模型分布，而可观测变量是由二进制对称通道生成的，该通道将隐变量作为其输入（以某个恒定概率$q\in [0,1/2)$独立翻转每个位）。在没有噪声的情况下，Bresler和Karzand（2020）最近研究了Ising模型的预测学习;本文通过证明样本复杂度的上限和下限，量化了隐藏模型中的噪声如何影响结构恢复和边缘分布估计的任务。我们的结果概括了现有工作中报道的最先进的界限，他们完全恢复无噪声的情况下（$q=0$）。事实上，对于具有$p$顶点和不正确恢复概率$δ>0$的任何树，足够数量的样本与无噪声情况一样保持对数，即，$\mathcal{O}(\log(p/δ))$，而对$q$的依赖是$\mathcal{O}\big( 1/(1-2q)^{4} \big)$。我们还提出了一个新的等价的符号值树结构分布的Isserlis定理，产生一个新的低复杂度的高阶矩估计算法。
2021-02-17 cs.IT cs.LG math.IT
Tight Performance Bounds for Compressed Sensing With Conventional and Group Sparsity
本文研究了从少量线性观测值中恢复一组稀疏向量的问题。在过去，常用的方法是使用各种“群体稀疏诱导”规范，如群体LASSO规范。通过使用凸松弛理论，我们表明，它也可以使用$\ell_1$ -范数最小化组稀疏恢复。我们引入了一个新的概念，称为组鲁棒零空间属性（GRNSP），并表明，在适当的条件下，一个组版本的限制等距属性（GRIP）意味着GRNSP，从而导致组稀疏恢复。当所有群的大小相等时，我们的界比已知的界保守性小。此外，我们的研究结果甚至适用于群体规模不同的情况。当专门为传统的稀疏性，我们的界限减少到一个众所周知的“最好的”稀疏恢复的条件。GRNSP和GRIP之间的这种关系是新的，即使是传统的稀疏性，并大大简化了一些已知结果的证明。使用这种关系，我们推导出的$\ell_p$ -范数的残差向量的所有$p \in [1,2]$，而不仅仅是当$p = 2$。当测量矩阵由一个亚高斯随机变量的随机样本组成时，我们给出了测量数的界，它比目前已知的界保守。
2018-07-28 stat.ML
Identifiability of Kronecker-structured Dictionaries for Tensor Data
本文推导了局部恢复坐标字典的充分条件，包括一个Kronecker结构的字典，用于表示$K$的th阶张量数据。张量观测被假设为从克罗内克结构的字典乘以稀疏系数张量，遵循可分离的稀疏模型。这项工作提供了足够的条件，基本的坐标字典，系数和噪声分布，以及样本的数量，保证恢复的个别坐标字典到指定的错误，作为局部最小的目标函数，具有很高的概率。具体地，恢复具有维度$m_k \times p_k$直到估计误差$\varepsilon_k$的$K$坐标字典的样本复杂度被示出为$\max_{k \in [K]}\mathcal{O}(m_kp_k^3\varepsilon_k^{-2})$。
2018-05-25 cs.IT math.IT stat.ML
Community Detection: Exact Recovery in Weighted Graphs
在社区发现中，主要研究了边缘取自Bernoulli分布的一般随机块模型下社区（簇）的精确恢复问题。本文考虑了完全图中社区的精确恢复，其中图的边来自一组具有社区依赖均值和方差的高斯分布，或一组具有社区依赖均值的指数分布。对于每种情况下，我们引入了一个新的半度量，描述了充分和必要条件的精确恢复。充分必要条件是渐近紧的。分析也扩展到不完全的，完全连接的加权图。
2021-02-08 cs.IT cs.SI eess.SP
