MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning
研究针对多模态模型训练障碍,提出MultiLoReFT框架,通过低秩表示微调,将低秩适应扩展到多模态,学习可解释投影子空间解耦信息,能在多模态预测时揭示信息分布。
2026-07-21 cs.LG
A Low-Rank Subspace Analysis of LLM Interventions
University of Cambridge(剑桥大学)
提出诊断框架,将行为建模为激活空间中的低秩子空间,发现干预一个行为会不对称地影响其他行为,效果与子空间重叠和决策子空间角度相关。
2026-06-15 cs.LG
Continual Learning in Low-rank Orthogonal Subspaces
University of Oxford(牛津大学);Five AI Ltd(Five AI有限公司)
在持续学习(CL)中,学习者面临一系列任务,一个接一个地到达,目标是在持续学习体验结束后记住所有任务。CL中的现有技术使用情景记忆、参数正则化或可扩展网络结构来减少任务之间的干扰,但最终,所有方法都在联合向量空间中学习不同的任务。我们认为,这必然会导致不同任务之间的干扰。我们建议在不同的(低秩)向量子空间中学习任务,这些向量子空间彼此保持正交,以最大限度地减少干扰。此外,为了保持来自这些子空间的不同任务的梯度彼此正交,我们通过将网络训练作为Stiefel流形上的优化问题来学习等距映射。据我们所知,我们报告,第一次,强有力的结果超过经验重放基线,有记忆和没有记忆的标准分类基准在持续学习。该代码是公开的。
2020-12-08 cs.LG
Classification with Low Rank and Missing Data
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Hebrew University(希伯来大学);Tel Aviv University(特拉维夫大学)
我们考虑分类和回归任务,其中我们有丢失的数据,并假设(干净的)数据驻留在低秩子空间中。找到一个隐藏的子空间是已知的计算困难。尽管如此,使用非适当的配方,我们给出了一个有效的不可知算法,最好的线性分类器加上最好的低维子空间中的数据驻留的分类。一个直接的含义是,我们的算法可以线性地(和非线性地通过内核)分类证明以及最好的分类器,可以访问完整的数据。
2015-01-14 cs.LG
A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA
Tenyx(Tenyx公司)
针对 LoRA 按秩缩放导致高秩适配器学习受限的问题,本文证明应除以秩的平方根,提出 rsLoRA,在不增加推理成本的前提下实现更高秩带来的性能提升。
2023-11-28 cs.CL cs.LG
Rank Subspace Learning for Compact Hash Codes
University of Central Florida(中佛罗里达大学)
大数据时代催生了对开发哈希算法以实现高效存储和快速最近邻搜索的前所未有的兴趣。大多数现有的工作学习散列函数是投影特征空间中特征值的数值量化。在这项工作中,我们提出了一种新的哈希学习框架,编码功能的排名顺序,而不是在一些最佳的低维排名子空间的数值。我们制定的排名子空间学习问题的分段线性凹凸函数的优化,并提出了两个版本的算法:一个独立的优化每个哈希位和其他利用顺序学习框架。我们的工作是赢家通吃(WTA)散列族的推广,自然享有所有的秩相关措施的数值稳定性的好处,同时被优化,以实现在非常短的代码长度的高精度。我们比较了几个国家的最先进的散列算法在监督和无监督域,在一些数据集表现出优越的性能。
2015-03-19 cs.IR cs.LG
Mixture-of-Subspaces in Low-Rank Adaptation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯AI实验室)
本文提出受子空间启发的MoSLoRA方法,通过联合学习混合器与原始LoRA权重以灵活融合等效分解的子空间,在多模态任务上始终优于LoRA。
2025-03-02 cs.AI cs.LG
Relations among Some Low Rank Subspace Recovery Models
Peking University(北京大学);Charles Sturt University(查尔斯特大学)
从分布在其上的数据恢复固有低维子空间是许多应用的关键预处理步骤。近年来,已经有大量的工作,模型的子空间恢复低秩最小化问题。我们发现,一些代表性的模型,如鲁棒主成分分析(R-PCA),鲁棒低秩表示(R-LRR)和鲁棒潜在低秩表示(R-LatLRR),实际上是深连接的。更具体地说,我们发现,一旦一个模型的解决方案是获得,我们可以获得其他模型的解决方案在封闭形式的配方。由于R-PCA是最简单的,我们的发现使它成为低秩子空间恢复模型的中心。我们的工作有两个重要意义。首先,R-PCA具有坚实的理论基础。在一定的条件下,我们可以找到更好的解决方案,这些低秩模型在压倒性的概率,虽然这些模型是非凸的。其次,我们可以通过首先求解R-PCA来获得这些模型的更快算法。通过应用低复杂度的随机算法,例如,我们的新的$\ell_{2,1}$滤波算法,R-PCA。实验结果表明,该算法优于其他基于交替方向法的算法。
2014-12-06 cs.LG math.OC
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文在矩阵列属于多个低秩子空间并的假设下,研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集,因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵,其(完全)列位于至多k个子空间的并集中,每个子空间的秩<= r < n,并假设N >> kn。本文的主要结果表明,在温和的假设下,只要X的至少CrNlog^2(n)个元素是随机一致观测的,且C>1是一个常数,取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布,那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明,并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Soft and subspace robust multivariate rank tests based on entropy regularized optimal transport
Tufts University(塔夫茨大学)
在本文中,我们最近提出的多元秩能量距离,最优运输理论的基础上,分布相似性的统计检验,软秩能量距离。由于是可微的,这反过来又允许我们将秩能量扩展到子空间鲁棒秩能量距离,称为投影软秩能量距离,它可以通过Stiefel流形上的优化来计算。我们通过实验表明,使用投影软秩能量可以权衡检测功率与虚警通过投影到一个适当选择的低维子空间。我们还展示了多变量时间序列数据中无监督变点检测的实用性。所有代码都可以在实验部分提供的链接中公开获得。
2021-04-17 cs.IT cs.LG math.IT
Multi-view Low-rank Sparse Subspace Clustering
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
大多数现有的方法解决多视图子空间聚类问题,通过构造每个视图上的亲和矩阵,然后提出如何扩展谱聚类算法来处理多视图数据。本文提出了一种多视点子空间聚类方法,通过构造视点间共享的亲和矩阵来学习联合子空间表示。依赖于低秩和稀疏约束在亲和矩阵的构建中的重要性,我们引入了在不同观点之间的协议之间进行平衡的目标,同时鼓励解决方案的稀疏性和低秩。对于每个视图,采用乘子交替方向法求解相关的低秩稀疏约束优化问题。此外,我们将我们的方法扩展到集群数据从非线性子空间中解决相应的问题,在再生核希尔伯特空间。该算法优于国家的最先进的多视角子空间聚类算法在一个合成和四个真实世界的数据集。
2017-08-29 cs.CV cs.LG math.OC
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University(东南大学);Caritas Institute of Higher Education(明爱专上学院);City University of Hong Kong(香港城市大学)
在这封信中,我们提出了一种新的半监督子空间聚类方法,它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵,我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此,我们将这两个矩阵堆叠成一个3-D张量,其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外,我们使用输入样本的局部几何结构来补充全局低秩先验,以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题,这是进一步解决了一个替代的迭代算法。此外,我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明,我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
LogDet Rank Minimization with Application to Subspace Clustering
Southern Illinois University(南伊利诺伊大学);University of Hawaii at Hilo(夏威夷大学希洛分校)
低秩矩阵是许多机器学习和计算机视觉问题所需要的。最近的研究大多使用核范数作为秩算子的凸替代。然而,所有奇异值都是简单地通过核范数加在一起,因此在实际问题中可能无法很好地近似秩。在本文中,我们建议使用一个对数行列式(LogDet)函数作为一个光滑和更接近,虽然非凸,近似秩获得低秩表示子空间聚类。采用增广拉格朗日乘子策略迭代优化基于LogDet的非凸目标函数。利用低秩表示的主方向的角度信息,构造了一个用于谱聚类的亲和图矩阵。运动分割和人脸聚类数据的实验结果表明,该方法往往优于国家的最先进的子空间聚类算法。
2015-07-03 cs.CV cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用科学大学)
当前的监督学习模型不能很好地跨域边界泛化,这在许多应用中是已知的问题,例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而,这些技术要么受限于特定的任务,如视觉适应,需要大量的计算时间和数据,这并不总是得到保证,具有复杂的参数化,或昂贵的优化过程。在这项工作中,我们提出了一种方法,只需要一个精心挑选的快照的数据,找到一个单一的域不变的子空间。该子空间以封闭形式计算,并覆盖域结构,这使得它在参数化中快速且稳定。通过采用低秩技术,我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务,如文本和图像分类对国家的最先进的领域自适应方法,并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering
低秩表示(Low-Rank Representation,LRR)在子空间聚类中由于不能考虑数据结构的非线性和观测值在环境空间中的非均匀分布,而严重地损失了数据点的局部性信息。因此,最先进的LRR模型丢失了观测密度的信息,因为它们考虑了恒定数量的相邻邻居。因此,这降低了在这种情况下的子空间聚类精度。为了应付不足,在本文中,我们建议考虑一个超图模型,以方便有一个可变数量的相邻节点,并将数据的局部信息。子空间数目的稀疏性也被考虑在内。为此,基于一组正则化项定义优化问题,并通过开发基于张量拉普拉斯的算法来解决。在人工和真实数据集上的大量实验表明,与现有方法相比,该方法在子空间聚类中具有更高的准确性和精度。该方法的突出表现在数据的固有结构如非线性、几何重叠和离群值的存在下更加明显。
2021-03-06 cs.LG stat.ML
Learning Instance-Adaptive Low-Rank Orthogonal Subspaces for Clothes-Changing Person Re-Identification
Dongwoo Kim(金东吾);Tae-Kyun Kim(金泰勋)
提出Ortho-ReID方法,通过从VLM文本描述中显式建模低秩服装子空间,并利用几何约束提取服装不变特征,在多个基准数据集上取得最优性能。
2026-06-11 cs.CV cs.LG
Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
NAG Ltd(NAG有限公司)
本文提出ARC算法的随机子空间变体,仅利用导数的低维投影计算步长,在保持最优全局收敛速率的同时提升可扩展性,并可自适应低秩函数的真实秩。
2025-01-16 cs.LG cs.NA math.NA
Robust Subspace Clustering via Tighter Rank Approximation
Southern Illinois University(南伊利诺伊大学)
矩阵秩最小化问题一般是NP-难的。核范数在最近的许多研究中被用来代替秩函数。然而,核范数近似将所有奇异值加在一起,并且近似误差可能在很大程度上取决于奇异值的大小。这可能会限制其处理许多实际问题的能力。在本文中,反正切函数被用来作为一个更紧密的逼近秩函数。我们将其用于具有挑战性的子空间聚类问题。对于这个非凸最小化问题,我们开发了一种有效的优化程序的基础上的一种增广拉格朗日乘子(ALM)方法。大量的人脸聚类和运动分割实验表明,该方法是有效的秩近似。
2015-10-30 cs.AI cs.CV cs.LG
Subspace-Constrained Federated Learning with Low-Rank Adaptation
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对联邦低秩自适应中客户端子空间错位导致聚合效率低的问题,提出子空间正则化联邦LoRA目标,鼓励局部更新靠近共享全局子空间,在RoBERTa-large和SmolLM-360M上验证了方法有效性。
2026-06-23 cs.AI cs.LG
Distributed Low-rank Subspace Segmentation
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Columbia(哥伦比亚大学)
从图像聚类到运动分割再到半监督学习的视觉问题可以很自然地被框定为子空间分割问题,其中一个目标是从噪声和损坏的输入数据中恢复多个低维子空间。低秩表示(LRR)是子空间分割问题的凸公式,在小问题上可证明和经验上是准确的,但不能扩展到现代视觉数据集的大规模。此外,过去的工作,旨在扩大低秩矩阵分解是不适用于LRR考虑其不可分解的限制。在这项工作中,我们提出了一种新的分治算法的大规模子空间分割,可以应付LRR的不可分解的约束,并保持LRR的强大的恢复保证。这对子空间分割的可扩展性有直接的影响,我们在基准人脸识别数据集和模拟中证明了这一点。然后,我们介绍了新的应用LRR为基础的子空间分割的大规模半监督学习多媒体事件检测,概念检测和图像标记。在每种情况下,我们都获得了最先进的结果和数量级的速度提升。
2013-10-16 cs.CV cs.DC cs.LG
Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering
University of Alberta(阿尔伯塔大学)
本文通过推广Eckart-Young-Mirsky定理到所有酉不变范数,得到秩/范数正则化问题的闭式解,并应用于子空间聚类,获得新理论见解和实验效果。
2012-10-09 cs.LG cs.NA math.NA
High Rank Matrix Completion via Grassmannian Proxy Fusion
Department of Electrical Engineering, Mathematics, Biostatistics(电气工程、数学与生物统计学系);Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种基于格拉斯曼代理融合的高秩矩阵补全方法,通过聚类和优化子空间距离,提升低采样率下的补全性能。
2026-01-30 cs.AI cs.LG
SAD-LoRA: Spectral Alignment for Low-Rank Knowledge Distillation
提出SAD-LoRA方法用于低秩知识蒸馏,从数据加权学生空间参考更新中选择权重子空间,通过可微主角度损失训练,减少子空间错位,提升对齐效果,提高秩效率。
2026-07-07 cs.CV cs.LG
Scalable Nuclear-norm Minimization by Subspace Pursuit Proximal Riemannian Gradient
The University of Adelaide(阿德莱德大学);Charles Sturt University(查尔斯特大学)
本文提出一种基于子空间追求的近端黎曼梯度方法,用于高效求解核范数正则化问题,避免大秩SVD,提升矩阵补全和子空间聚类等任务的性能。
2015-03-18 cs.LG cs.NA math.NA
Learning Transformations for Clustering and Classification
Duke University(杜克大学)
提出了一种用于子空间聚类和分类的低秩变换学习框架。许多高维数据,如人脸图像和运动序列,近似地位于低维子空间的并集中。相应的子空间聚类问题已经在文献中得到了广泛的研究,以将这些高维数据划分为与其底层低维子空间相对应的聚类。然而,低维的内在结构经常被现实世界的观测所破坏,因为它们可能被错误破坏或偏离理想模型。我们建议通过学习子空间上的线性变换,使用矩阵秩,通过其凸代理核范数,作为优化标准来解决这个问题。学习的线性变换恢复来自相同子空间的数据的低秩结构,并且同时强制来自不同子空间的数据的最大分离结构。通过这种方式,我们减少了子空间内的变化,并增加了子空间之间的分离,以实现更鲁棒的子空间聚类。该学习鲁棒子空间聚类框架显著提高了现有子空间聚类方法的性能。这里提出的基本理论结果有助于进一步支持基本框架。为了利用变换后的子空间的低秩结构,我们进一步引入了一种快速子空间聚类技术,该技术有效地结合了鲁棒PCA和稀疏建模。当类标签出现在训练阶段时,我们发现这种低秩变换框架也显著提高了分类性能。使用公共数据集进行的大量实验表明,该方法显着优于最先进的子空间聚类和分类方法。
2014-03-09 cs.CV cs.LG stat.ML
Robust Recovery of Subspace Structures by Low-Rank Representation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
在这项工作中,我们解决子空间恢复问题。给定一组近似从多个子空间的并集中提取的数据样本(向量),我们的目标是将样本分割到各自的子空间中,并纠正可能的错误。为此,我们提出了一种新的方法,称为低秩表示(LRR),它寻求所有候选人中的最低秩表示,可以表示数据样本的线性组合的基础在一个给定的字典。结果表明,LRR算法很好地解决了子空间恢复问题:当数据是干净数据时,证明了LRR算法能准确地捕捉到真实的子空间结构;对于被离群点污染的数据,证明了在一定条件下,LRR算法能准确地恢复原始数据的行空间,同时也能检测出离群点;对于被任意错误破坏的数据,LRR也能近似地恢复具有理论保证的行空间。由于子空间隶属度是由行空间可证明地确定的,这些进一步意味着LRR可以以有效的方式执行鲁棒的子空间分割和纠错。
2012-05-06 cs.CV cs.IT cs.LG
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization
Australian National University(澳大利亚国立大学);Griffith University(格里菲斯大学);Curtin University(Curtin大学);Data61/CSIRO Research Report(Data61/CSIRO研究报告)
针对标准LoRA固定低秩子空间限制表征能力的问题,提出SRLoRA方法,通过基于重要性的LoRA对融合与沿预训练权重SVD未使用主方向的重初始化动态重构子空间,在不增加可训练参数的前提下,于语言和视觉任务上实现了更快收敛与更高准确率。
2025-05-18 cs.AI cs.CV cs.LG
Subspace Change-Point Detection via Low-Rank Matrix Factorisation
University of Bristol(布里斯托大学);University of Cambridge(剑桥大学)
多变量时间序列通常可以具有大量的维度,无论是由于收集的大量特征还是由于如何处理数据源。通常,高维时间序列的主要结构可以很好地由低维子空间表示。由于大量的数据是在很长一段时间内收集的,因此可以合理地假设基本的子空间结构会随着时间的推移而变化。在这项工作中,我们提出了一种基于低秩矩阵分解的变点检测方法,可以检测多变量时间序列的底层子空间中的多个变化。在合成数据集和真实数据集上的实验结果证明了该方法的有效性及其与各种最先进方法的比较优势。
2021-10-08 cs.LG eess.SP stat.AP
DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
针对基于LoRA的参数高效微调存在的性能差距问题,提出DropLoRA方法,通过在LoRA的两个低秩矩阵间集成剪枝模块模拟动态子空间学习,在不增加成本的情况下提升性能,在LLaMA系列模型的多任务微调中持续优于LoRA。
2025-08-24 cs.CL cs.LG
Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement
Department of Computer Science, University of Copenhagen, Copenhagen, Denmark(计算机科学系,哥本哈根大学,哥本哈根,丹麦)
本文提出一种秩-2子空间方法,用于多步分析NLE中的知识交互,揭示PK和CK在不同生成中的对齐特性。
2026-09-02 cs.AI cs.CL cs.LG
Recycling Model Updates in Federated Learning: Are Gradient Subspaces Low-Rank?
Purdue University(普渡大学)
在本文中,我们质疑在联邦学习过程中通过分布式系统传播大量参数的基本原理。我们首先检查由跨时期的梯度所跨越的子空间的秩特性(即,梯度空间),并观察到该梯度空间通常由占解释方差的绝大多数(95-99%)的几个主要主成分组成。受此启发,我们提出了“回望梯度乘法器”(LBGM)算法,该算法利用这种低秩属性,使梯度循环之间的模型更新轮的联邦学习,减少大参数的传输到单个标量的聚合。我们分析了LBGM的收敛行为,揭示了通信节省和模型性能之间的权衡的性质。我们随后的实验结果表明,与传统的联邦学习相比,LBGM在多个数据集和深度学习模型上的通信开销有所改善。此外,我们表明,LBGM是一个通用的即插即用算法,可以单独使用或堆叠在现有的稀疏化技术的分布式模型训练。
2022-02-01 cs.LG stat.ML
Low-Rank Subspaces for Unsupervised Entity Linking
EPFL(洛桑联邦理工学院);Atinary Technologies(Atinary技术公司)
实体链接是许多应用中的一个重要问题。大多数先前的解决方案是针对带注释的训练数据可用的设置而设计的,然而,在许多领域中并非如此。我们提出了一个轻量级和可扩展的实体链接方法,Eigenthemes,它只依赖于实体名称和所指的知识库的可用性。特征主题利用了这样一个事实,即文档中真正提到的实体(“黄金实体”)往往形成文档中所有候选实体的语义密集子集。从几何上讲,当通过一些给定的嵌入将实体表示为向量时,黄金实体往往位于完整嵌入空间的低秩子空间中。特征主题使用奇异值分解识别该子空间,并根据候选实体与子空间的接近程度对其进行评分。在经验方面,我们引入了多个强基线,这些基线与现有的最先进的技术相比是有利的(有时甚至优于现有的技术)。在来自各种现实世界领域的基准数据集上进行的广泛实验展示了我们方法的有效性。
2021-10-14 cs.CL cs.IR cs.LG
$\ell_0$-Motivated Low-Rank Sparse Subspace Clustering
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
在许多应用中,高维数据点可以很好地表示为低维子空间。为了识别子空间,重要的是捕获数据的全局和局部结构,这是通过对数据表示矩阵施加低秩和稀疏约束来实现的。在低秩稀疏子空间聚类(LRSSC)中,核范数和$\ell_1$范数用于度量秩和稀疏性。然而,核规范和$\ell_1$规范的使用导致过度惩罚问题,并且仅近似于原始问题。在本文中,我们提出了两个$\ell_0$准范数的正则化。首先,本文提出了基于多元推广极大极小凹罚的正则化方法(GMC-LRSSC),它包含了$\ell_0$拟范数正则化目标的全局极小解。之后,我们引入Schatten-0($S_0$)和$\ell_0$正则化目标,并使用邻近平均方法($S_0/\ell_0$ -LRSSC)近似联合解的邻近映射。由此产生的非凸优化问题求解交替方向方法的乘数与建立的收敛条件的两种算法。合成和四个真实世界的数据集上获得的结果显示GMC-LRSSC和$S_0/\ell_0$ -LRSSC的有效性相比,国家的最先进的方法。
2018-12-17 cs.CV cs.LG math.OC
Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
Beijing University of Posts and Telecommunications(北京邮电大学)
SAILS通过SAE构造低秩子空间实现安全对齐,提升安全性能并保持参数效率。
2026-01-05 cs.AI cs.CL cs.LG
Robust Subspace Clustering via Smoothed Rank Approximation
Southern Illinois University(南伊利诺伊大学)
本文提出基于对数-行列式秩近似的方法,用于子空间聚类,以提高精度并有效处理误差和噪声。
2015-08-18 cs.CV cs.IT cs.LG
Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
Neuro-Symbolic Computing and Intelligence Research Group(神经符号计算与智能研究组);Computer Science Laboratory(计算机科学实验室);SRI International(SRI国际)
针对大型语言模型不确定性量化难以扩展的问题,提出ScalaBL方法,通过在低维子空间进行随机变分推断并复用LoRA参数,以极少额外参数实现了与SOTA相当的性能并扩展至迄今最大规模。
2025-06-26 cs.AI cs.CL cs.LG
Dencentralized learning in the presence of low-rank noise
Imperial College London(帝国理工学院)
由于观测噪声或干扰,网络中的代理收集的观测可能是不可靠的。本文提出了一种分布式算法,允许每个节点,以提高其自身的观察的可靠性,仅依靠本地计算和直接邻居的相互作用,假设由网络监测的字段(图形信号)位于一个低维子空间和低秩噪声存在除了通常的满秩噪声。虽然倾斜投影可以用于沿着与子空间倾斜的方向将测量投影到低秩子空间上,但是所得到的解不是分布的。从集中式的解决方案,我们提出了一种算法,执行倾斜投影的整体观测到信号子空间的迭代和分布式的方式。然后,我们展示了如何斜投影框架可以扩展到处理分布式学习和适应问题的网络。
2022-03-18 cs.LG cs.MA eess.SP
Catching a Moving Subspace: Low-Rank Bandits Beyond Stationarity
H. Milton Stewart School of Industrial and Systems Engineering(H. Milton Stewart工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文研究了在子空间漂移的情况下,低秩线性上下文老虎机的问题,提出了一种新的算法SPSC,在保持子空间变化的同时,实现了基于秩的动态遗憾率。
2026-05-18 cs.AI cs.LG stat.ML
Robust Low-Rank Subspace Segmentation with Semidefinite Guarantees
National University of Singapore(新加坡国立大学)
最近有一系列的研究工作建议使用谱聚类(SC)来分割(组){在整个论文中,我们使用分割,聚类和分组,以及它们的动词形式,可互换。高维结构数据,例如那些(近似)位于子空间{我们遵循{liu 2010 robust}并使用术语“子空间”来表示线性子空间和仿射子空间。在线性子空间和仿射子空间之间有一个平凡的转换,如其中提到的。或低维流形。通过以稀疏重构的形式学习亲和矩阵,在这种情况下提出的技术通常大大提高了传统SC可能失败的子空间设置中的性能。尽管取得了成功,但仍有一些基本问题尚未解决:学习的亲和矩阵的频谱特性无法提前测量,并且通常存在一个丑陋的对称化步骤,该步骤对SC输入的亲和性进行后处理。因此,我们提倡在学习过程中明确地强制执行对称半正定约束(具有半正定约束的低秩表示,或LRR-PSD),并表明它实际上可以在精致的方案中有效地解决,而不是通常规模很差的通用SDP求解器。我们提供了严格的数学推导表明,在其规范形式,LRR-PSD是等价于最近提出的低秩表示(LRR)计划{liu 2010 robust},因此提供理论和实践的见解LRR-PSD和LRR,邀请未来的研究。根据计算成本,我们的建议是最多可比的LRR,如果不是更少。我们验证了我们的理论分析和优化方案的实验上的合成和真实的数据集。
2010-10-08 cs.CV cs.IT cs.LG