A Novel Efficient Approach with Data-Adaptive Capability for OMP-based Sparse Subspace Clustering
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
正交匹配追踪算法在数据科学及其稀疏子空间聚类、图像处理等应用中有着重要的作用。然而，现有的基于OMP的方法缺乏数据自适应性，从而不能很好地表示数据，并可能失去准确性。本文提出了一种新的方法，以提高基于OMP的稀疏子空间聚类的数据自适应能力。在我们的方法中，参数选择过程的基础上调整的数据分布的信息表示的参数。我们的理论分析表明，参数选择过程可以有效地协调任何OMP为基础的方法，以提高聚类性能。此外，一个新的自我表达的亲和力（SEA）比率度量的定义来衡量稀疏表示转换效率的谱聚类，以获得数据分割。实验结果表明，与其他基于OMP的稀疏子空间聚类算法相比，该算法在聚类精度、SEA比和表示质量等方面均具有更好的性能，同时保持了时间效率和抗噪能力。
2019-08-30 cs.LG stat.ML
Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来，由于在大数据集上的标记任务繁重，基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法，通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性，而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明，与现有的方法相比，我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Learning Instance-Adaptive Low-Rank Orthogonal Subspaces for Clothes-Changing Person Re-Identification
Dongwoo Kim（金东吾）；Tae-Kyun Kim（金泰勋）
提出Ortho-ReID方法，通过从VLM文本描述中显式建模低秩服装子空间，并利用几何约束提取服装不变特征，在多个基准数据集上取得最优性能。
2026-06-11 cs.CV cs.LG
MIC: Maximizing Informational Capacity in Adaptive Representations via Isotropic Subspace Alignment
National University of Singapore（新加坡国立大学）
针对多尺度表示中的维度冗余和谱坍缩问题，提出MIC框架，通过各向同性子空间对齐、软坍缩正则化和谱各向同性正则化，结合自蒸馏目标生成语义密集且高判别力的表示，在高压缩场景下显著优于基线。
2026-05-31 cs.CL cs.LG
Adaptive and Oblivious Randomized Subspace Methods for High-Dimensional Optimization: Sharp Analysis and Lower Bounds
Stanford University（斯坦福大学）
基于变量对随机子空间的约束，提出了一种新的高维凸优化方法。我们考虑不经意和数据自适应子空间，并通过凸对偶和Fenchel共轭研究其逼近性质。可以通过对相关随机矩阵进行采样来生成合适的自适应子空间，所述相关随机矩阵的二阶统计量反映输入数据。我们说明，自适应策略可以显着优于标准的不经意采样方法，这是广泛使用的最近的文献。我们表明，随机近似的相对误差可以紧密地表征在最佳的数据矩阵的频谱和高斯宽度的对偶切锥。我们开发的下界优化和统计误差措施的基础上集中的措施和法诺不等式。然后，我们提出的后果，我们的理论与数据矩阵不同的光谱衰减曲线。实验结果表明，该方法能够显著提高各种机器学习和优化问题的速度，包括逻辑回归、随机卷积层核分类和具有整流线性单元的浅层神经网络。
2020-12-13 cs.IT cs.LG math.IT
Adaptive Attribute and Structure Subspace Clustering Network
City University of Hong Kong（香港城市大学）；Caritas Institute of Higher Education（明爱专上学院）；Southeast University（东南大学）
基于深度自表达的子空间聚类方法已经证明了其有效性。然而，现有的工作只考虑属性信息进行自我表达，这可能会限制聚类性能。本文提出了一种新的自适应属性和结构子空间聚类网络（AASSC-Net），以自适应图融合的方式同时考虑属性和结构信息。具体来说，我们首先利用一个自动编码器来表示输入数据样本的潜在特征的属性矩阵的建设。我们还构造了一个混合的有符号和对称结构矩阵来捕获数据样本的局部几何结构。然后，我们对构造的属性矩阵和结构矩阵执行自表达，以分别学习它们的亲和图。最后，我们设计了一个新的基于注意力的融合模块，自适应地利用这两个亲和图来构建一个更具鉴别力的亲和图。在常用基准数据集上进行的大量实验结果表明，我们的AASSC-Net显着优于最先进的方法。此外，我们进行全面的消融研究，讨论设计模块的有效性。该代码将在https://github.com/ZhihaoPENG-CityU上公开发布。
2022-04-22 cs.CV cs.LG
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Apple Inc.（苹果公司）
在将深度学习模型部署到设备时，传统上假设可用的计算资源（计算、内存和电源）保持静态。然而，现实世界的计算系统并不总是提供稳定的资源保证。当来自其他进程的负载高或电池电量低时，需要节省计算资源。受神经网络子空间最近工作的启发，我们提出了一种训练神经网络的“可压缩子空间”的方法，该子空间包含从高效到高精度的细粒度模型谱。我们的模型不需要再训练，因此我们的模型子空间可以完全部署在设备上，以允许在推理时进行自适应网络压缩。我们提出的结果实现任意细粒度的准确性和效率的权衡在推理时间的结构化和非结构化稀疏。在测试未压缩模型时，我们实现了与标准模型相当的精度，并且在测试压缩模型时，稀疏率保持在90%以上的高精度。我们还证明了我们的算法扩展到可变位宽的量化，实现了与单独训练的网络相当的精度。
2021-10-08 cs.CV cs.LG
Optimizing Polynomial Graph Filters: A Novel Adaptive Krylov Subspace Approach
National University of Singapore（新加坡国立大学）；OPPO Shenzhen Research Institute（OPPO深圳研究院）；Micro Connect Technology, China（中国微联通技术公司）；University of Cambridge（剑桥大学）
本研究将多项式图滤波器统一到Krylov子空间框架下，提出自适应Krylov子空间方法及AdaptKry滤波器，可适配不同异质性图，实验验证了其优异的滤波性能。
2024-05-21 cs.LG eess.SP
Cross-Modal Subspace Learning with Scheduled Adaptive Margin Constraints
NOVALINCS（NOVALINCS实验室）；Universidade NOVA de Lisboa（新里斯本大学）
跨模态嵌入，文本和视觉模态之间，旨在组织多模态实例的语义相关性。最先进的方法使用基于铰链损失的最大余量方法来强制执行恒定余量m，以将多模态实例的投影从不同类别中分离。在本文中，我们提出了一种新的计划自适应最大利润率（SAM）制定，推断特定的三元组的限制在训练过程中，因此组织实例自适应执行类别间和模态间的相关性。这是由一个预定的自适应余量函数，这是顺利激活，取代静态余量的自适应推断一个反映特定的三元组的语义相关性，同时占增量学习行为的神经网络，以执行类别集群的形成和执行。在广泛使用的数据集上的实验表明，我们的模型改进了最先进的方法，与第二好的方法相比，实现了高达12.5%的相对改进，从而证实了我们预定的自适应保证金公式的有效性。
2019-09-30 cs.LG cs.MM
Adaptive Subspace Sampling for Class Imbalance Processing-Some clarifications, algorithm, and further investigation including applications to Brain Computer Interface
National Chiao Tung University（国立交通大学）；Indian Statistical Institute（印度统计研究所）；University of Technology Sydney（悉尼科技大学）；University of Pennsylvania（宾夕法尼亚大学）
Kohonen的自适应子空间自组织映射（ASSOM）学习数据的几个子空间，每个子空间代表数据的一些不变特征。为了处理不平衡的分类问题，早些时候，我们提出了一种方法，使用Kohonen的ASSOM过采样的少数类。这项调查扩展了这项研究，澄清了一些问题，我们以前的工作，提供了算法生成的过样本，应用该方法在几个基准数据集，并使应用程序的三个脑机接口（BCI）的应用。首先，我们使用一些基准数据集与几个国家的最先进的方法比较我们的方法的性能。最后，我们应用ASSOM为基础的技术来分析三个基于BCI的应用程序使用脑电图（EEG）数据集。这些任务是运动想象、驾驶员疲劳状态和偏头痛阶段的分类。我们的实验结果表明了基于ASSOM的方法在处理不平衡分类问题上的有效性。
2020-10-07 cs.LG eess.SP
Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer
School of Mathematics, Sun Yat-sen University, Guangzhou, China（中山大学数学学院）
本文提出BSZO方法，通过自适应贝叶斯子空间优化提升零阶LLM微调的鲁棒性和效率，实验显示在多种任务中性能优于基线方法。
2026-01-16 cs.AI cs.LG
Enhanced Random Subspace Local Projections for High-Dimensional Time Series Analysis
Department of Computer Science（计算机科学系）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
本文提出增强型随机子空间局部投影框架，通过改进方法提升高维时间序列预测的稳健性和准确性，减少估计器变异性并提供更可靠的有限样本推断。
2026-03-08 cs.LG
Multi-view Subspace Clustering via An Adaptive Consensus Graph Filter
Shanghai Maritime University（上海海事大学）
提出一种多视图子空间聚类方法，通过构建共识图滤波器并联合优化共识重构系数矩阵与各视图系数，提升聚类性能。
2024-01-30 cs.CV cs.LG
Adaptive and Safe Bayesian Optimization in High Dimensions via One-Dimensional Subspaces
ETH Zurich（苏黎世联邦理工学院）；Paul Scherrer Institut（保罗·谢勒研究所）
已知贝叶斯优化难以扩展到高维，因为获取步骤需要在相同的搜索空间中求解非凸优化问题。为了扩展该方法并保持其优势，我们提出了一种算法（LineBO），该算法将问题限制为一系列迭代选择的一维子问题，可以有效地解决。我们表明，我们的算法全局收敛，并获得一个快速的局部速度时，函数是强凸的。此外，如果目标有一个不变的子空间，我们的方法自动适应有效的尺寸，而不改变算法。当与SafeOpt算法相结合来解决子问题时，我们获得了第一个安全的贝叶斯优化算法，该算法具有适用于高维设置的理论保证。我们在多个合成基准上评估我们的方法，在那里我们获得了有竞争力的性能。此外，我们部署我们的算法，以优化瑞士自由电子激光器的光束强度与多达40个参数，同时满足安全操作的限制。
2019-05-28 cs.LG stat.ML
Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Pengcheng Laboratory（鹏城实验室）；University of Houston（休斯顿大学）
针对大语言模型持续学习中的灾难性遗忘问题，提出OA-Adapter方法，将动态预算分配与正交子空间学习统一于端到端训练，在提升准确率的同时减少58.5%参数。
2025-10-16 cs.AI cs.LG
Convex Subspace Clustering by Adaptive Block Diagonal Representation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
子空间聚类是一类被广泛研究的聚类方法，其中谱型方法是其重要的子类。其关键的第一步是期望学习具有块对角结构的表示系数矩阵。为了实现这一步，通过对系数矩阵施加不同的结构先验，相继提出了许多方法。这些强制措施大致可分为两类，即，间接和直接。前者通过引入稀疏性和低秩性等先验知识，间接或隐式地学习块对角结构。然而，所需的块对角不一定能保证噪声数据。而后者直接或显式地施加块对角结构先验，如块对角表示（BDR），以确保所需的块对角性，即使数据是有噪声的，但代价是失去了凸性，前者的目标。为了弥补它们各自的不足，本文沿着直接的路线提出了自适应块对角表示（ABDR），它明确地追求块对角性而不牺牲间接块对角性的凸性。具体来说，受Convex BiClustering的启发，ABDR通过一个特殊设计的凸正则化器将系数矩阵的列和行进行融合，从而自然地享受它们的优点并自适应地获得块的数量。最后，合成和真实基准测试的实验结果证明了ABDR相对于最新技术（SOTA）的优越性。
2022-05-09 cs.LG stat.ML
Adaptive Hybrid Subspace Levenberg Marquardt Algorithm with Adequacy Monitor for Large Scale Least Squares Problems
University of California, Davis（加利福尼亚大学戴维斯分校）
该研究提出带充足性监测器的自适应混合子空间LM算法，通过构建低维子空间解耦步长接受与阻尼调整，在保证收敛性的同时降低大规模最小二乘问题的迭代计算成本，在神经网络训练中表现优异。
2026-08-27 cs.LG cs.NA math.NA
Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces
Lund University（吕勒欧大学）；Stanford University（斯坦福大学）；DBtune；Amazon（亚马逊）
本文提出BAxUS方法，通过嵌套随机子空间自适应优化空间，提升高维贝叶斯优化性能，理论保证其鲁棒性并在多种应用中表现更优。
2023-04-22 cs.LG stat.ML
Q-GaLore: Quantized GaLore with INT4 Projection and Layer-Adaptive Low-Rank Gradients
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Surrey（萨里大学）；University of Oxford（牛津大学）；California Institute of Technology（加州理工学院）；Meta AI
针对大语言模型训练内存开销高、GaLore方法SVD运算耗时及微调场景提升有限的问题，提出结合INT4量化投影与层自适应低秩梯度的Q-GaLore，大幅降低内存占用且性能优异。
2024-07-11 cs.LG
Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
Hong Kong Baptist University, School of Science, Hong Kong, China（香港 Baptist 大学，科学学院，香港，中国）；Fudan University, School of Data Science, Shanghai, China（复旦大学，数据科学学院，上海，中国）；New York University, Tandon School of Engineering, New York, USA（纽约大学，Tandon 工程学院，纽约，美国）
Lotus通过随机低秩梯度投影与自适应子空间切换，实现LLM训练的高效优化，减少30%训练时间和40%内存消耗。
2026-02-01 cs.AI cs.LG
Lean and Mean Adaptive Optimization via Subset-Norm and Subspace-Momentum with Convergence Guarantees
Khoury College of Computer Sciences, Northeastern University, Boston.（东北大学柯里计算机科学学院）
提出子集范数步长和子空间动量两种技术，在减少内存占用同时加速大规模神经网络训练，并证明收敛性；在LLaMA 1B上以一半训练令牌达到Adam性能，内存减少超80%。
2025-05-24 cs.LG cs.NE math.OC
Adaptive Consensus Gradients Aggregation for Scaled Distributed Training
Huawei Tel Aviv Research Center（华为特拉维夫研究中心）
本文提出一种基于子空间优化的自适应梯度加权聚合方法，并引入子空间动量加速收敛，在MLPerf任务上优于传统梯度平均，且通信和计算开销低。
2024-11-06 cs.AI cs.DC cs.LG
From Complexity to Simplicity: Adaptive ES-Active Subspaces for Blackbox Optimization
Google Brain Robotics（谷歌大脑机器人部门）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
本文提出了一种新的优化高维黑盒函数的算法ASEBO。ASEBO适应函数的几何形状，并学习最佳的传感方向集，用于实时探测。它通过不断学习用于通过压缩感知和上下文强盗方法近似函数平滑梯度的低维模型的偏差，解决了黑盒优化与昂贵黑盒查询的探索-利用权衡。为了获得这个模型，它利用了新的ES黑箱优化上下文中的活跃子空间理论的技术。因此，ASEBO可以学习梯度空间动态变化的内在维度，并在没有外部监督的情况下适应不同优化阶段的难度。因此，它导致比最先进的算法更采样效率的黑盒优化。我们提供了理论结果，并通过对强化学习策略优化任务集以及最近开源的Nevergrad库中的函数进行评估，实证测试了ASEBO相对于其他方法的优势。
2019-06-04 cs.LG math.OC stat.ML
MASS: MoErging through Adaptive Subspace Selection
Sapienza University of Rome（罗马萨皮恩扎大学）；Paradigma；CNRS（法国国家科学研究中心）；i3s
MASS通过自适应子空间选择融合多个微调模型，保持接近最先进性能，实现低存储成本的模型合并替代集成。
2026-03-17 cs.AI cs.CV cs.LG
To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace Expansion
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
研究针对文本到图像扩散模型的概念擦除技术面临的鲁棒性与效用权衡问题，提出无训练框架PARSE，通过自适应发现擦除与保留概念、编辑交叉注意力值空间及迭代搜索触发因素来实现鲁棒概念擦除，引入BEUS评估，实验证明其有效性。
2026-09-07 cs.CV cs.LG
Adaptive Bernstein Change Detector for High-Dimensional Data Streams
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出ABCD方法，通过编码器-解码器模型和伯恩斯坦不等式在高维数据流中快速检测变化及其子空间和严重程度，实验显示F1分数平均比最佳竞争者高20%。
2024-01-15 cs.LG
GP-select: Accelerating EM using adaptive subspace preselection
Technical University Berlin（柏林工业大学）；University College London（伦敦大学学院）；Amazon Development Center（亚马逊开发中心）；University of Sheffield（谢菲尔德大学）；University of Oldenburg（奥尔登堡大学）
我们提出了一个非参数的过程，以实现快速推理生成图形模型时，潜在状态的数量是非常大的。该方法基于迭代潜变量预选，其中我们交替学习“选择函数”以揭示相关的潜变量，并使用该函数获得EM的后验分布的紧凑近似;这可以使得可能的潜在状态的数量是潜在变量的数量的指数，而精确的方法在计算上是不可行的。通过高斯过程回归，我们完全从观测数据和当前EM状态中学习选择函数。这与早期的方法形成对比，在早期的方法中，选择函数是为每个问题设置手动设计的。我们表明，我们的方法在各种各样的推理问题上表现得与这些定制的选择函数一样好：特别是，对于具有遮挡的对象定位分层模型的挑战性情况，我们以低得多的计算成本实现了与定制的最先进的选择方法相匹配的结果。
2016-07-17 cs.LG stat.ML
Riemannian adaptive stochastic gradient algorithms on matrix manifolds
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
欧氏空间中的自适应随机梯度算法是近年来研究的热点。另一方面，黎曼流形上的这种探索相对较新，有限且具有挑战性。这是因为底层流形的内在非线性结构和缺乏正则坐标系。然而，在机器学习应用中，大多数感兴趣的流形被表示为具有行和列子空间概念的矩阵。此外，隐式流形相关约束也可以位于这样的子空间上。例如，格拉斯曼流形是列子空间的集合。为此，在流形上开发优化算法时，不应将矩阵转换为向量堆栈，从而丢失这种丰富的结构。我们提出了新的随机梯度算法的黎曼矩阵流形上的问题，通过调整梯度的行和列子空间。我们的算法是可证明收敛的，它们达到了$\mathcal{O}(\log (T)/\sqrt{T})$阶的收敛速度，其中$T$是迭代次数。我们的实验说明了所提出的算法在几个应用程序的有效性。
2019-06-28 cs.LG math.OC stat.ML
On Subspace Approximation and Subset Selection in Fewer Passes by MCMC Sampling
Microsoft Research（微软研究院）；IIT Mandi（曼迪印度理工学院）
我们考虑$\ell_{p}$子空间逼近的子集选择问题，即，给定$d$维中的$n$点，我们需要挑选给定点的一个小的代表性子集，使得其跨度给出最佳$k$维子空间的$(1+ε)$近似，该最佳$k$维子空间最小化所有点到该子空间的距离的$p$次幂之和。基于采样的子集选择技术需要在数据上多次通过的自适应采样迭代。矩阵草绘技术为$\ell_{p}$子空间近似提供了单通道$(1+ε)$近似，但需要额外的通道进行子集选择。在这项工作中，我们提出了一个MCMC算法，以减少以往的子集选择算法的基础上，自适应采样所需的通过次数。对于$p=2$，我们的算法给出了子集选择的接近最佳的大小，只有$2$通过，而在以前的工作中所需的通过数取决于$k$。我们的算法挑选一个子集的大小$\mathrm{poly}(k/ε)$，使$(1+ε)$近似的最佳子空间。该算法的运行时间为$nd + d~\mathrm{poly}(k/ε)$。我们将我们的结果扩展到数据集中存在离群值的情况，并提出了一个两遍算法。我们的想法也扩展到给减少通过自适应采样算法所需的$\ell_{p}$子空间近似和子集选择，$p \geq 2$。
2021-03-20 cs.CG cs.LG math.SP
Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
NAG Ltd（NAG有限公司）
本文提出ARC算法的随机子空间变体，仅利用导数的低维投影计算步长，在保持最优全局收敛速率的同时提升可扩展性，并可自适应低秩函数的真实秩。
2025-01-16 cs.LG cs.NA math.NA
Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）
本文提出MADE-IT方法，通过流形几何引导专家表示，解决持续模型合并中的参数饱和与冗余问题，实现自适应专家进化与隐式路由，提升模型在长周期任务序列中的准确性和鲁棒性。
2026-04-24 cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift
Yonsei University（延世大学）；Harvard University（哈佛大学）
本文提出了一种几何适应解释器（GAE），用于在分布偏移下提高基于字典的可解释性。通过重新对齐解释器的字典与偏移活跃子空间，同时保持原始特征结构，GAE在无监督的情况下减少了分布偏移下的忠实性差距。
2026-11-05 cs.CL cs.LG
Quantum subspace alignment for domain adaptation
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）
域自适应（DA）用于自适应地获得具有给定相关但不同标记的数据集的未处理数据集的标签。子空间对齐（SA）是一种典型的DA算法，它试图找到一个线性变换来对齐两个不同数据集的子空间。在对齐的标记数据集上训练的分类器可以被转移到未标记的数据集以预测目标标签。在本文中，两个量子版本的SA被提出来实现量子设备上的DA过程。一种方法，量子子空间对齐算法（QSA），在给定的样本的数量和维度上实现了二次加速。另一种方法，变分量子子空间排列算法（VQSA），可以通过变分混合量子经典过程在近期量子器件上实现。在不同类型数据集上的数值实验结果表明，与相应的经典算法相比，VQSA具有较好的性能。
2020-06-29 cs.LG quant-ph
Message Passing in Graph Convolution Networks via Adaptive Filter Banks
Shanghai Jiao Tong University（上海交通大学）；EPFL（洛桑联邦理工学院）
图卷积网络，如消息传递图卷积网络（MPGCN），已经成为网络数据表示学习的强大工具。然而，当数据是异构的，大多数架构是有限的，因为他们采用单一的策略来处理多通道图形信号，他们通常专注于低频信息。在本文中，我们提出了一种新的图卷积运算符，称为BankGCN，它保持了消息传递模型的优点，但扩展了它们的功能超出了“低通”功能。它将图上的多通道信号分解成子空间，并利用自适应滤波器处理每个子空间中的特定信息。所有子空间的滤波器具有不同的频率响应，并且一起形成滤波器组。此外，频谱域中的每个滤波器对应于消息传递方案，并且经由滤波器组实现不同的方案。重要的是，滤波器组和信号分解是联合学习的，以适应数据的频谱特性和目标应用。此外，与大多数现有的MPGCN相比，这几乎在没有额外参数的情况下实现。实验结果表明，所提出的卷积运算允许实现良好的性能，在图分类的基准图数据集的集合。
2021-06-18 cs.AI cs.LG eess.SP
LDAdam: Adaptive Optimization from Low-Dimensional Gradient Statistics
Institut Polytechnique de Paris (IPP)（巴黎理工学院）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
提出内存高效的优化器LDAdam，通过在低维子空间执行自适应优化并引入投影感知更新与广义误差反馈机制，大幅降低内存占用，同时保证收敛性，实现语言模型的高效微调与预训练。
2025-03-02 cs.LG math.OC stat.ML
Non-Adaptive Adaptive Sampling on Turnstile Streams
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
自适应采样是一个有用的算法工具，在经典的集中式设置的数据汇总问题，其中整个数据集可用于执行计算的单个处理器。自适应采样重复地选择基础矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$的行，其中$n\gg d$的概率与它们到先前选择的行的子空间的距离成比例。直观地说，自适应采样似乎仅限于流计算模型中的平凡多遍算法，这是由于其固有的顺序性质，即仅在前一次迭代完成后才将采样概率分配给每行。令人惊讶的是，我们表明，这是不是这样的情况下，通过给第一个单通算法的自适应采样旋转栅门流和使用空间$\text{poly}(d,k,\log n)$，其中$k$是自适应采样轮数进行。我们的自适应采样过程可以应用于各种数据汇总问题，这些问题要么改进了最新技术，要么之前只在更宽松的行到达模型中进行过研究。我们给出了第一个相对误差算法的列子集选择，子空间近似，投影聚类，并使用空间次线性$n$的旋转栅门流的体积最大化。我们补充我们的体积最大化算法的结果与下界，是紧到低阶项，即使是多通道算法。通过类似的构造，我们也得到了行到达模型中体积最大化的下界，我们将其与竞争性上界相匹配。见论文全文摘要。
2020-04-23 cs.CG cs.DS cs.LG
Accelerated Gradient Algorithms with Adaptive Subspace Search for Instance-Faster Optimization
Peking University（北京大学）
针对最坏情形复杂度无法反映具体问题难度的问题，本文引入 $(α, τ_α)$ 刻画 Hessian 退化并提出自适应子空间搜索加速梯度算法，在线性回归等任务上取得更优梯度复杂度。
2023-12-06 cs.CC cs.LG stat.ML
AdaSub: Stochastic Optimization Using Second-Order Information in Low-Dimensional Subspaces
Technical University of Denmark（丹麦技术大学）
本研究针对二阶随机优化方法计算成本过高的问题，提出了自适应低维子空间二阶优化算法AdaSub，可通过选择子空间维度平衡计算成本与效率，实验验证其在收敛时间和迭代次数上优于主流随机优化器。
2023-11-06 cs.LG math.OC stat.ML
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University（清华大学）
稀疏子空间聚类（SSC）是一种对低维子空间中的高维数据点进行聚类的方法。然而，虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性，但是SSC的其他变体，诸如基于正交匹配追踪的SSC（OMP-SSC），在追求提高时间效率时损失聚类准确性。在这封信中，我们提出了一种新的主动OMP-SSC，它提高了OMP-SSC的聚类精度，通过自适应更新数据点和随机丢弃的数据点在OMP过程中，同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法，并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析，并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
