A Geometric Theory of Decision Boundaries in Structured Markov Decision Processes
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文提出结构化马尔可夫决策过程中最优策略的几何理论,证明策略重构复杂度由决策边界几何而非状态空间大小决定,并给出统计保证与实验验证。
2026-09-17 cs.LG math.OC
On the complexity of the optimal transport problem with graph-structured cost
Georgia Tech(佐治亚理工学院);KTH(瑞典皇家理工学院)
多边际最优运输(MOT)是对多边际最优运输的推广。最优传输已经发展成为许多机器学习应用中的重要工具,其多边缘扩展为解决机器学习领域的新挑战开辟了道路。然而,MOT的使用在很大程度上受到其计算复杂性的阻碍,该计算复杂性在边缘的数量上呈指数级。幸运的是,在许多应用中,如重心或插值问题,成本函数坚持的结构,这最近被利用开发有效的计算方法。在这项工作中,我们推导出这些方法的计算界限。与$m$边缘分布支持$n$点,我们提供了一个$ \mathcal{\tilde O}(d(G)m n^2ε^{-2})$界的$ε$的准确性时,问题与直径$d(G)$的树。对于Wasserstein重心问题的特殊情况,它对应于一个星形树,我们的界限与现有的复杂性界限一致。
2021-12-05 cs.CC cs.LG stat.AP
Complexity Induction: Compositional Generalization via Structured Training Distortion
研究提出复杂度诱导方法,通过结构化标签失真(混合标签、扩展数据集),使标准CNN分类器在不修改架构时具备组合泛化能力,可预测未见颜色-形状组合,为自然语言在认知发展中的作用提供启发。
2026-08-28 cs.AI cs.CV cs.LG
Sample complexity of data-driven tuning of model hyperparameters in neural networks with structured parameter-dependent dual function
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文通过数据驱动设置研究深度学习中超参数调整的学习理论复杂度,利用微分/代数几何和约束优化工具刻画效用函数的不连续性和振荡,证明了效用函数族复杂度有界,并给出了神经激活函数插值和图神经网络核参数调整的样本复杂度界限。
2025-04-29 cs.LG
On The Complexity of Sparse Label Propagation
Aalto University(阿尔托大学)
本文研究了最近提出的用于处理网络结构化数据的稀疏标签传播算法的计算复杂度。稀疏标签传播相当于一个凸优化问题,可以被认为是从稀疏向量到网络结构数据集的基追踪的扩展。使用一个标准的一阶预言机模型,我们的特点稀疏标签传播的迭代次数,以达到规定的精度。特别是,我们推导出达到一定精度所需的迭代次数的上限,并表明该上限对于具有链结构的数据集是尖锐的(例如,时间序列)。
2018-05-29 cs.LG stat.ML
Learning in Structured Stackelberg Games
Carnegie Mellon University(卡内基梅隆大学);University of California(加州大学)
本文研究了结构化Stackelberg游戏,提出Stackelberg-Littlestone维度以优化在线学习算法,并在分布设定中提供样本复杂度的上下界。
2026-09-22 cs.GT cs.LG
Trading Complexity for Expressivity Through Structured Generalized Linear Token Mixing
Department of Computer Science, School of Computing, Institute of Science Tokyo(东京科学研究所计算机科学系)
本文提出一个统一框架,将令牌混合层分解为直接输入-输出影响和递归传播,通过设计结构化递归模式在运行时复杂度和表达性之间进行可证明的权衡,并在合成任务和语言建模上验证。
2026-05-29 cs.CL cs.LG
On the Sample Complexity of Learning Sum-Product Networks
McMaster University(麦克马斯特大学)
和积网络(SPN)可以被视为一种深度图形模型,它可以压缩表示深度分解和混合分布。SPN是一个有根有向无环图(DAG),由一组叶子(对应于基本分布),一组和节点(表示其子分布的混合)和一组产品节点(表示其子分布的产品)组成。在这项工作中,我们开始研究PAC学习的样本复杂性的一组分布,对应于SPN。我们表明,学习树结构的SPN与通常类型的叶子(即,高斯或离散的)最多随SPN的参数数量线性增长(直至对数因子)。更具体地说,我们表明,类的分布,对应于树结构的高斯SPN与$k$混合权重和$e$($d$维高斯)叶可以学习内的总变差误差$ε$使用最多$\widetilde{O}(\frac{ed^2+k}{ε^2})$样本。类似的结果适用于具有离散叶子的树结构的SPN。我们得到的上界的基础上最近提出的概念的分布压缩方案。更具体地说,我们表明,如果一个(基础)类的分布$\mathcal{F}$承认一个“有效”的压缩,然后类树结构的SPN与叶子从$\mathcal{F}$也承认一个有效的压缩。
2020-02-26 cs.LG math.ST stat.ML
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania(宾夕法尼亚大学)
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题,本文提出结构化变分族,证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity
ESPCI PSL(ESPCI 法国巴黎大学);LAMSADE, Université Paris Dauphine - PSL(LAMSADE 巴黎dauphine大学-巴黎科学实验室)
本文提出了一种结构稀疏注意力机制,用于在长序列中高效维护和更新实体和属性的潜在状态,通过减少计算复杂度提升实体跟踪的效率和准确性。
2026-05-21 cs.CL cs.LG
Landscape Complexity for the Empirical Risk of Generalized Linear Models: Discrimination between Structured Data
Department of Physics, National Kapodistrian University of Athens, Athens, Greece(物理系,国家kapodistrian大学,雅典,希腊);Athena Research Center / Archimedes Research Unit, Athens, Greece(雅典研究中心/阿基米德研究单位,雅典,希腊)
本文通过Kac-Rice公式和随机矩阵理论,研究了高维经验损失函数的临界点数量,探讨了结构数据在广义线性模型训练中的辨别问题。
2025-03-18 cond-mat.stat-mech cs.LG stat.ML
Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis
Shanghai University of Finance and Economics(上海财经大学);UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);University of Minnesota(明尼苏达大学)
非凸和非光滑最优化问题在统计、商业、科学和工程等领域中经常遇到,但在可扩展性方面,它们还没有被广泛地认识为一种技术。这种相对较低的普及程度的一个原因是缺乏一个良好的发展系统的理论和算法来支持的应用程序,是其凸对应的情况下。本文的目的是采取纪律的非凸和非光滑最优化的方向迈出了一步。特别地,本文考虑了块决策变量中有约束的非凸最优化模型,无论有无耦合仿射约束。在无耦合约束的情况下,证明了广义条件梯度法以变分不等式的形式具有次线性收敛速率到$ε$ -平稳解的速度,其中收敛速度依赖于目标光滑部分梯度的Hölderian连续性.对于耦合仿射约束的模型,我们引入相应的$ε$ -平稳性条件,并应用两个近似型的ADMM的变体来解决这样的模型,假设可以实现的所有块变量的最后一块,除了梯度步骤或优化最小化步骤的最接近的ADMM更新。我们证明了迭代复杂性界的$O(1/ε^2)$达到$ε$ -固定的解决方案,这两种算法。此外,我们表明,相同的迭代复杂性的一个接近BCD方法如下立即。数值结果表明,所提出的张量鲁棒PCA算法的有效性。
2018-01-17 cs.LG math.OC stat.ML
Predictive Learning on Hidden Tree-Structured Ising Models
Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);Michigan State University(密歇根州立大学)
我们提供了高概率的样本复杂性保证,使用来自非循环(树形)图形模型的噪声损坏样本进行精确的结构恢复和准确的预测学习。隐变量遵循树结构的伊辛模型分布,而可观测变量是由二进制对称通道生成的,该通道将隐变量作为其输入(以某个恒定概率$q\in [0,1/2)$独立翻转每个位)。在没有噪声的情况下,Bresler和Karzand(2020)最近研究了Ising模型的预测学习;本文通过证明样本复杂度的上限和下限,量化了隐藏模型中的噪声如何影响结构恢复和边缘分布估计的任务。我们的结果概括了现有工作中报道的最先进的界限,他们完全恢复无噪声的情况下($q=0$)。事实上,对于具有$p$顶点和不正确恢复概率$δ>0$的任何树,足够数量的样本与无噪声情况一样保持对数,即,$\mathcal{O}(\log(p/δ))$,而对$q$的依赖是$\mathcal{O}\big( 1/(1-2q)^{4} \big)$。我们还提出了一个新的等价的符号值树结构分布的Isserlis定理,产生一个新的低复杂度的高阶矩估计算法。
2021-02-17 cs.IT cs.LG math.IT
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题,提出结合生成式单智能体策略学习与博弈论结构的框架,通过两步学习提升性能,仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Deformable Butterfly: A Highly Structured and Sparse Linear Transform
The University of Hong Kong(香港大学);United Microelectronics Centre (Hong Kong) Limited(联华电子(香港)有限公司)
我们介绍了一种新的线性变换命名为变形蝴蝶(DeBut),推广了传统的蝴蝶矩阵,可以适应各种输入输出尺寸。它继承了传统蝴蝶从细到粗的可学习层次结构,当部署到神经网络时,DeBut层中的突出结构和稀疏性构成了网络压缩的新方法。我们应用DeBut作为标准全连接和卷积层的直接替代,并展示了其在神经网络神经网络中的优越性,并使其具有良好的特性,如重量轻,推理复杂度低,而不影响准确性。DeBut层的无数变形所产生的自然复杂性-准确性权衡也为分析和实践研究开辟了新的空间。这些准则和附录可在https://github.com/ruilin0212/DeBut上公开查阅。
2022-03-25 cs.CV cs.LG
MonarchAttention: Zero-Shot Conversion to Fast, Hardware-Aware Structured Attention
提出MonarchAttention,利用Monarch矩阵实现次二次注意力近似,零样本转换,硬件高效,显著加速FlashAttention-2,适用于多种任务。
2025-10-25 cs.LG
Structured signal recovery from quadratic measurements: Breaking sample complexity barriers via nonconvex optimization
University of Southern California(南加州大学)
本文研究从$r=1,2,...,m$的形式为$y_r=|<a_r,x>|^2$的$m$二次测量中恢复未知但结构化的信号$x \in R^n$的问题。我们专注于欠定设置的测量的数量是显着小于信号的尺寸($m<<n$)。我们制定的恢复问题作为一个非凸的优化问题,通过约束的优化变量的信号的先验结构信息。我们证明了投影梯度下降,当初始化的期望信号的邻域中,以线性速度收敛到未知信号。这些结果适用于任何约束集(凸或非凸)提供收敛保证的全局最优,即使当目标函数和约束集是非凸的。此外,这些结果与测量的数量保持一致,所述测量的数量与唯一地识别未知信号所需的最小测量数量仅相差恒定因子。我们的研究结果提供了第一个可证明的易于处理的算法,这种数据贫乏的制度,打破了局部样本的复杂性障碍,出现在最近的文献。在配套文件中,我们展示了有利的性能的优化问题,可以使类似的结果继续持有更多的全球性(在整个环境空间)。总的来说,这两篇论文利用并开发了强大的工具,统一收敛的经验过程,可能有更广泛的影响,严格的理解约束非凸优化算法。本文中的数学结果还为新一代数据驱动的无相位成像系统铺平了道路,该系统可以利用先验信息显着减少采集时间并增强图像重建,从而以前所未有的速度和分辨率实现纳米级成像。
2017-02-20 cs.IT cs.LG math.FA
Meta-Learning of Structured Task Distributions in Humans and Machines
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
近年来,元学习(其中模型在一系列任务(即任务分布)上进行训练)已经成为训练神经网络执行先前被认为需要结构化表示的任务的方法,朝着缩小人类和机器之间的差距迈出了大步。然而,我们认为,评估元学习仍然是一个挑战,并可能错过元学习是否实际上使用嵌入在任务中的结构。因此,这些元学习者可能仍然与人类学习者有很大的不同。为了证明这种差异,我们首先定义了一个新的Meta强化学习任务,其中使用组合语法生成结构化任务分布。然后,我们引入了一种新的方法来构建一个“空任务分布”,具有相同的统计复杂性,这种结构化的任务分布,但没有明确的规则为基础的结构,用于生成结构化的任务。我们训练一个标准的元学习代理,一个用无模型强化学习训练的循环网络,并将其与两种任务分布的人类表现进行比较。我们发现了一个双重分离,其中人类在结构化任务分布中做得更好,而代理在空任务分布中做得更好-尽管具有可比的统计复杂性。这项工作强调了多种策略可以实现合理的元测试性能,并且仔细构建控制任务分布是了解元学习者获得哪些策略以及它们与人类有何不同的有价值的方法。
2021-03-18 cs.AI cs.LG
Controller Design for Structured State-space Models via Contraction Theory
Laboratoire d’Automatique, EPFL(EPFL自动控制实验室);Control & Automation Group, Inspire AG(Inspire AG控制与自动化组);Automatic Control Laboratory (IfA), ETH Zürich(苏黎世联邦理工学院自动控制实验室)
本文提出了一种间接数据驱动的输出反馈控制器设计方法,利用结构状态空间模型作为替代模型,通过线性矩阵不等式和收缩理论实现可扩展的控制设计,并建立分离原理以独立设计观测器和状态反馈控制器。
2026-04-08 cs.LG cs.SY eess.SY
Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach
The Hong Kong University of Science and Technology(香港科技大学)
针对深度神经网络剪枝中稀疏结构不规则导致硬件开销高的问题,本文提出三层分层先验及高效Turbo-VBI算法,实现权重级和神经元级结构化稀疏,在提升压缩率与推理精度的同时获得更规则的剪枝结构。
2023-02-21 cs.LG
L-Shapley and C-Shapley: Efficient Model Interpretation for Structured Data
University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服);Voleon Group(Voleon集团)
我们研究实例特征重要性评分作为模型解释的方法。对于每个预测实例,任何这样的方法产生与特征向量相关联的重要性分数的向量。基于Shapley得分的方法已经被提出作为计算这种特征属性的公平方式,但在特征数量上会导致指数复杂度。这种组合爆炸源于Shapley值的定义,并阻止这些方法可扩展到大型数据集和复杂模型。我们专注于数据具有图形结构的设置,并且特征对目标变量的贡献通过图形结构的因子分解很好地近似。在这样的设置中,我们开发了两个算法的线性复杂度的实例特征的重要性评分。我们建立我们的方法的关系,沙普利值和另一个密切相关的概念,被称为迈尔森值从合作博弈论。我们证明了语言和图像数据,我们的算法相比,毫不逊色与其他方法的模型解释。
2018-08-08 cs.LG stat.ML
Structured Convolutions for Efficient Neural Network Design
Qualcomm AI Research(高通人工智能研究院)
在这项工作中,我们通过利用卷积神经网络构建块的\textit{implicit structure}中的冗余来解决模型效率问题。我们通过介绍复合内核结构的一般定义来开始分析,该结构以高效,缩放,和池组件的形式执行卷积运算。作为其特殊情况下,我们提出了\textit{Structured Convolutions},并表明,这些允许分解的卷积操作成一个和池操作,然后是卷积具有显着较低的复杂性和较少的权重。我们展示了这种分解如何应用于2D和3D内核以及全连接层。此外,我们提出了一种结构正则化损失,它可以促进神经网络层以一种方式利用这种所需的结构,在训练后,它们可以被分解,而性能损失可以忽略不计。通过将我们的方法应用于广泛的CNN架构,我们展示了ResNet的“结构化”版本,其最多可小2个$\times$和一个新的结构化MobileNetV 2,该版本更有效,同时在ImageNet和CIFAR-10数据集上保持在1%的准确性损失范围内。我们还在ImageNet上展示了类似的结构化版本的EfficientNet,并在Cityscapes数据集上展示了用于语义分割的HRNet架构。与现有的张量分解和通道修剪方法相比,我们的方法在复杂度降低方面表现得同样好或更好。
2020-10-31 cs.CV cs.LG cs.NE
Quantum Kernels for Parity-Structured Classification: A Hybrid Pipeline
Texas A\&M University, Department of Mathematics College Station, TX, USA ORCID: 0000-0001-7448-5723
本文研究量子核在奇偶复杂度下的优势,通过混合流程揭示奇偶结构,发现高复杂度下量子核性能显著优于经典方法。
2026-05-07 cs.LG quant-ph
Fast nonlinear embeddings via structured matrices
Google Research(谷歌研究院);Columbia University(哥伦比亚大学)
我们提出了一个新的范例,加快随机计算的几个经常使用的功能在机器学习。特别是,我们的范例可以应用于改进基于随机嵌入的内核计算。在此基础上,提出的框架涵盖了多元随机函数。作为一个副产品,我们提出了一个算法的方法,也导致了显着降低空间的复杂性。我们的方法是基于仔细回收高斯向量到结构化矩阵,共享完全随机矩阵的属性。所提出的结构化方法的质量如下从这些结构化矩阵的行之间的相关性编码的图形的组合属性。我们的框架涵盖了特殊情况下已经知道的结构化方法,如快速约翰逊-林登施特劳斯变换,但更一般,因为它也可以应用于高度非线性嵌入。我们提供了强大的浓度结果显示所提出的范例的质量。
2016-04-25 cs.LG stat.ML
Structured Learning on Mapper Representations
University of Tennessee(田纳西大学)
该研究提出了一个基于拓扑数据分析中Mapper结构化表示的学习框架,研究了其数学性质,通过时间序列和图分类数据集实验验证了框架的有效性,为相关学习任务提供了实用工具。
2026-08-25 cs.LG stat.ML
Deep Structured Prediction with Nonlinear Output Transformations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌)
深度结构化模型广泛用于语义分割等任务,其中变量之间的显式相关性提供了重要的先验信息,这通常有助于减少深度网络的数据需求。然而,当前的深度结构化模型常常受到由于计算复杂性原因而不能增加的非常局部的邻域结构的限制,并且受到输出配置或其表示不能被进一步变换的事实的限制。解决这些问题的最新方法包括深度网络内的图形模型推理,以便允许随后的非线性输出空间变换。然而,这些配方的优化是具有挑战性的,并且没有得到很好的理解。在这里,我们开发了一种新的模型,它概括了现有的方法,如结构化预测能量网络,并讨论了一个配方,保持现有的推理技术的适用性。
2018-11-01 cs.LG stat.ML
Gradient-Based Feature Learning under Structured Data
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);New York University(纽约大学);Flatiron Institute(弗莱泰伦研究所);University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
研究结构化数据下基于梯度的特征学习,揭示各向异性设置中球面梯度动力学的缺陷,提出权重归一化缓解方案,并利用尖峰协方差与目标对齐改善样本复杂度。
2023-09-07 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
针对长上下文大语言模型原生注意力二次复杂度导致首令牌生成延迟高的问题,提出自适应结构化近无损稀疏注意力方法SampleAttention,无需额外训练即可无缝替换原生注意力,在几乎无损的前提下最高将首令牌生成时间降低2.42倍。
2025-09-03 cs.AI cs.CL cs.LG
Deep Generalization of Structured Low-Rank Algorithms (Deep-SLR)
The University of Iowa(爱荷华大学)
结构化低秩(SLR)算法,它利用由不同属性产生的信号的傅立叶样本之间的湮灭关系,是一个强大的图像重建框架中的几个应用。该方案依赖于低秩矩阵完成估计的湮灭关系的测量。这种策略的主要挑战是矩阵补全的高计算复杂性。我们引入深度学习(DL)方法来显著降低计算复杂性。具体而言,我们使用基于卷积神经网络(CNN)的滤波器组,该滤波器组经过训练,可以从磁共振成像(MRI)的不完美(欠采样和噪声)k空间测量中估计湮灭关系。计算效率的主要原因是与从数据集本身学习线性滤波器组参数的SLR方案相比,从样本数据预先学习非线性CNN的参数。实验比较表明,该方案可以实现校准少的并行MRI,它可以提供类似的SLR方案的性能,同时减少约三个数量级的运行时间。与预校准和自校准方法不同,所提出的未校准方法对运动误差不敏感,并提供更高的加速度。该方案还采用了图像域先验是互补的,从而显着提高了性能的SLR计划。
2020-08-08 cs.LG eess.SP stat.ML
Learning to Walk from Three Minutes of Real-World Data with Semi-structured Dynamics Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
本文提出融合 Lagrangian 先验与黑箱自回归外力模型的半结构化动力学框架 SSRL,使 Unitree Go1 仅用数分钟真实数据即可在软硬表面从零学会动态行走。
2024-10-28 cs.LG cs.RO math.OC
Spectral Learning of Large Structured HMMs for Comparative Epigenomics
UC San Diego(加州大学圣迭戈分校);Rutgers University(罗格斯大学)
我们开发了一个潜在的变量模型和一个有效的光谱算法的动机最近出现的非常大的数据集的染色质标记从多种人类细胞类型。一种细胞类型中染色质数据的自然模型是隐马尔可夫模型(HMM);我们通过已知结构的固定树连接它们的隐藏状态来建模多个细胞类型之间的关系。这种模型的学习参数的主要挑战是,诸如EM的迭代方法非常慢,而朴素谱方法导致时间和空间复杂度与细胞类型的数量成指数关系。我们利用隐藏状态的树结构的属性来提供对于当前生物数据集计算效率更高的谱算法。我们为我们的算法提供了样本的复杂性界限,并从九种人类细胞类型的生物数据进行了实验评估。最后,我们表明,除了我们的特定模型,我们的一些算法思想可以应用到其他图形模型。
2015-06-04 cs.LG math.ST q-bio.GN
Minimax Lower Bounds for Kronecker-Structured Dictionary Learning
Rutgers University(罗格斯大学)
字典学习是估计提供测量/收集的信号或数据的稀疏表示的原子元素的集合的问题。本文通过证明极大极小风险的下界,发现了张量数据估计字典的样本复杂性的根本限制。这个下限取决于张量的维度和生成模型的参数。本文的重点是二阶张量数据,与基础的字典构造两个较小的字典和观测数据的字典原子通过高斯白噪声观察到的稀疏线性组合的克罗内克积。在这方面,本文提供了一个一般的最小最大风险的下限,并采用稀疏和高斯系数模型的等价结果的证明技术。报告的结果表明,张量数据的字典学习的样本复杂度可以显着低于非结构化数据。
2016-05-17 cs.IT cs.LG math.IT