Low-Rank Single-Index Bandits with Unknown Links: From Matrices to Tensors
本研究提出T-ESTOR和T-BSTOR算法,解决低秩矩阵与张量老虎机中未知奖励链接的问题,分别实现最优遗憾界,并通过实验验证了结构化估计的优势。
2026-09-29 cs.LG stat.ML
Structured low-rank matrix completion for forecasting in time series analysis
Cardiff University(卡迪夫大学);CNRS(法国国家科学研究中心)
本文研究了低秩矩阵补全问题,应用于时间序列预测。基于Hankel矩阵的补全方法和核范数松弛,通过理论和实验证明了适当选择已知观测加权方案的重要性。
2018-02-22 cs.NA cs.SY eess.SY
Mismatched estimation of non-symmetric rank-one matrices corrupted by structured noise
Tsinghua University(清华大学);Institute of Science and Technology, Austria(奥地利科学技术研究所);Huawei Technologies Co., Ltd.(华为技术有限公司)
我们研究了贝叶斯统计学家的性能,他估计了一个被非对称旋转不变噪声破坏的秩一信号,该噪声具有奇异值的通用分布。由于信噪比和噪声结构是未知的,因此错误地假设了高斯设置。我们推导出不匹配贝叶斯估计误差的精确解析表达式,并提供了近似消息传递(AMP)算法的分析。第一个结果利用了矩形矩阵和低秩矩阵扰动的球积分的渐近行为;第二个结果依赖于辅助AMP的设计和分析。数值实验表明,AMP和贝叶斯估计器之间存在性能差距,这是由于不正确的估计信号范数。
2023-02-08 cs.IT cs.LG math.IT
Calibrationless Parallel MRI using Model based Deep Learning (C-MODL)
The University of Iowa(爱荷华大学)
我们介绍了一种基于快速模型的深度学习方法,用于无校准并行MRI重建。该方案是一个非线性推广的结构化低秩(SLR)方法,自学习线性湮没滤波器从同一主题。它从样本数据中预先学习傅立叶域中的非线性湮灭关系。预学习策略显著降低了计算复杂性,使得所提出的方案比SLR方案快三个数量级。所提出的框架还允许使用互补的空间域先验;混合正则化方案提供了比校准图像域MoDL方法更好的性能。无校准策略最大限度地减少了校准数据和主扫描之间的潜在失配,同时消除了对完全采样校准区域的需求。
2020-01-21 cs.LG eess.SP stat.ML
Reconstruction and Segmentation of Parallel MR Data using Image Domain DEEP-SLR
The University of Iowa(爱荷华大学)
这项工作的主要重点是一个新的框架,并行MRI(PMRI)的大脑数据的联合重建和分割。我们介绍了一种图像域深度网络,用于欠采样PMRI数据的无校准恢复。所提出的方法是基于深度学习(DL)的局部低秩方法的推广,用于未校准的PMRI恢复,包括CLEAR [6]。由于图像域的方法利用额外的湮灭关系相比,基于k空间的方法,我们希望它提供更好的性能。为了最大限度地减少采样不足造成的分割错误,我们将所提出的方案与分割网络相结合,并以端到端的方式对其进行训练。除了减少分割误差外,这种方法还通过减少过拟合来提高重建性能;重建图像比独立训练的重建网络表现出更少的模糊和更清晰的边缘。
2021-02-01 cs.CV cs.LG eess.IV
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University(罗格斯大学)
近年来,已经提出了一类用于多维(张量)数据表示的字典,其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中,一种新的算法称为“STARK”的学习克罗内克结构字典,可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列,以形成一个秩1张量,我们表明,克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题,我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明,我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction
University College London(伦敦大学学院);Istituto Italiano di Tecnologia(意大利技术研究院);Imperial College London(帝国理工学院)
我们研究了结构化预测的代理方法和多任务学习技术之间的相互作用,这些方法旨在利用代理输出之间的关系。我们提出了一个有效的算法的基础上跟踪范数正则化,不同于以往的方法,不需要明确的知识的代理框架的编码/解码功能。因此,我们的算法可以适用于代理空间是大的,甚至无限维的广泛的问题。我们研究了迹范数正则化结构预测的超额风险界,这意味着我们的估计的一致性和学习率。我们还确定了相关的制度,我们的方法可以享受更好的泛化性能比以前的方法。排序问题的数值实验表明,在代理输出之间强制执行低秩关系确实可以在实践中提供显着的优势。
2019-03-02 cs.LG stat.ML
Latent Structured Ranking
Google(谷歌)
许多潜在的(因子分解)模型已经被提出用于推荐任务,如协同过滤和排名任务,如文档或图像检索和注释。所有这些方法的共同点是,在推理过程中,项目通过其与潜在嵌入空间中的查询的相似性来独立评分。排名列表的结构(即考虑作为整体返回的项目集)不被考虑。这可能是一个问题,因为顶级预测集可能过于多样化(包含相互矛盾的结果)或不够多样化。在本文中,我们介绍了一种用于学习潜在结构化排名的方法,该方法通过在排名列表的顶部提供正确的预测组合来改进现有方法。特别强调的是,使这种方法可扩展。在大规模图像标注和音乐推荐任务上的实验结果显示了对现有方法的改进。
2012-10-16 cs.IR cs.LG stat.ML
Dynamic Programming in Rank Space: Scaling Structured Inference with Low-Rank HMMs and PCFGs
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
隐马尔可夫模型(Hidden Markov Models,HRM)和概率上下文无关文法(ProbabilityContext-Free Grammars,PCFG)是广泛使用的结构化模型,它们都可以表示为因子图文法(FactorGraph Grammars,FGG),这是一种能够描述广泛模型的强大形式主义。最近的研究发现,使用大的状态空间对HALF和PCFG是有益的。然而,具有大状态空间的推断在计算上要求很高,特别是对于PCFG。为了应对这一挑战,我们利用张量秩分解(tensor rank decomposition)。CPD)来降低包含HMF和PCFG的FGG子集的推理计算复杂性。我们应用CPD的FGG的因素,然后构造一个新的定义在秩空间中的FGG。当秩大小小于状态大小时,用新的FGG进行推断产生相同的结果,但是具有较低的时间复杂度。我们进行实验,HMM语言建模和无监督PCFG解析,表现出更好的性能比以前的工作。我们的代码可在\url{https://github.com/VPeterV/RankSpace-Models}上公开获取。
2022-05-01 cs.CL cs.LG
Iterative Views Agreement: An Iterative Low-Rank based Structured Optimization Method to Multi-View Spectral Clustering
The University of New South Wales(新南威尔士大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
多视图谱聚类是一个基本的聚类问题,其目的是利用图拉普拉斯矩阵对多视图数据对象进行一致或一致的分组。在现有的方法中,基于低秩表示(LRR)的方法在其有效性、直观性和对噪声的鲁棒性方面具有相当的优势。然而,它积极地试图学习一个共同的低维子空间的多视图数据,而忽视了局部流形结构,在每个视图,这是至关重要的谱聚类;更糟糕的是,低秩最小化是强制执行,以实现所有视图之间的数据相关性的共识,未能灵活地保持局部流形结构为每个视图。本文提出了一种多图Laplacian正则化LRR,每个图Laplacian对应一个视图,以刻画其局部流形结构。2)我们不是直接在所有视图之间强制低秩最小化以实现相关一致性,而是分别对每个视图施加低秩约束,再加上相互的结构一致性约束,它不仅能够很好地保持局部流形结构,而且还可以作为其他视图的约束,这迭代地使视图更令人满意。在真实世界多视图数据集上的大量实验证明了其优越性。
2016-08-19 cs.LG stat.ML
Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation
The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对LoRA表征能力不足的问题,提出PrunedLoRA框架,通过动态结构化剪枝实现自适应秩分配,在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。
2026-07-30 cs.AI cs.LG
Low-Rank Phase Retrieval with Structured Tensor Models
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了低秩相位恢复问题,其目标是恢复一系列信号(通常是图像),这些信号的线性测量的幅度。现有的解决方案涉及恢复通过对每个图像进行矢量化和堆叠而构造的矩阵。这些算法将该矩阵建模为低秩,并利用低秩属性来降低准确恢复所需的样本复杂度。然而,当可用测量的数量更有限时,这些低秩矩阵模型通常会失败。我们提出了一种称为塔克结构相位检索(TSPR)的算法,该算法将图像序列建模为张量而不是我们使用塔克分解的矩阵。这种因式分解减少了需要估计的参数的数量,允许在欠采样状态下进行更准确的重建。有趣的是,我们观察到,当适当地选择Tucker秩时,这种结构在超定设置中也具有改进的性能。我们证明了我们的方法在几种不同的测量模型下对真实视频数据集的有效性。
2022-02-15 cs.LG eess.IV
Structured Low-Rank Tensor Learning
CSTAR, IIIT Hyderabad(海得拉巴国际信息技术研究所CSTAR)
本文提出一种结构化低秩张量学习的新分解方法,将问题转化为流形上的优化,并开发一阶与二阶黎曼算法,推导对偶间隙,实验验证于非负和汉克尔约束。
2023-05-13 cs.LG cs.NA math.NA
LoSparse: Structured Compression of Large Language Models based on Low-Rank and Sparse Approximation
Georgia Tech(佐治亚理工学院);Microsoft Azure(微软Azure)
提出LoSparse模型压缩技术,通过低秩矩阵与稀疏矩阵之和近似权重矩阵,结合低秩近似与剪枝优势,在自然语言任务中显著优于现有方法。
2023-06-26 cs.CL cs.LG
Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
University of California, Los Angeles(加州大学洛杉矶分校)
提出局部化LoRA框架,通过结构化块上的低秩组合实现密集局部更新,在相同参数预算下降低近似误差,提升微调性能。
2025-09-23 cs.AI cs.CL cs.LG
Structured Pruning of Large Language Models
ASAPP, Inc.(ASAPP公司)
大语言模型最近已经在各种各样的自然语言任务上实现了最先进的性能。与此同时,这些模型的大小和延迟显著增加,这使得它们的使用成本很高,并提出了一个有趣的问题:语言模型需要很大吗?我们从模型压缩的角度来研究这个问题。我们提出了一个通用的,结构化的修剪方法,通过参数化每个权重矩阵使用其低秩分解,并在训练过程中自适应地去除秩1分量。在语言建模任务上,我们的结构化方法在各种压缩级别上都优于其他非结构化和块结构化修剪基线,同时在训练和推理过程中实现了显着的加速。我们还证明,我们的方法可以应用于修剪自适应词嵌入在大语言模型,并修剪BERT模型的几个下游微调分类基准。
2021-03-28 cs.CL cs.LG stat.ML
Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension
Microsoft Research(微软研究院)
本研究从结构化Fisher信息矩阵近似视角出发,提出两项大语言模型高效优化器设计策略,推导了RACS和Alice两种新型低内存优化器,在LLaMA预训练实验中实现了优于现有基线的收敛速度与内存效率。
2025-02-20 cs.AI cs.LG stat.ML
Online Learning for Structured Loss Spaces
Indian Institute of Science(印度科学理工学院)
我们考虑预测专家的意见时,损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降(OMD)算法,使用正则化的组合,每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界,并产生遗憾界的新结构化设置的损失向量是(i)噪声版本的点从一个低秩子空间,(ii)稀疏向量损坏的噪声,和(iii)稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题,我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界,这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
Structured Transforms for Small-Footprint Deep Learning
Google(谷歌)
我们考虑的任务是构建适合在存储和电源受限的移动设备上部署的紧凑型深度学习管道。我们提出了一个统一的框架来学习一个广泛的家庭的结构参数矩阵,其特征在于低位移秩的概念。我们的结构化变换允许快速的函数和梯度评估,并跨越了丰富的参数共享配置,其统计建模能力可以明确地调整沿连续从结构化到非结构化。实验结果表明,这些变换可以显着加快推理和前向/后向通过在训练过程中,并提供优越的准确性,紧凑性,速度的权衡相比,一些现有的技术。在移动语音识别中的关键字定位应用中,我们的方法比标准的线性低秩瓶颈层更有效,几乎保留了最先进模型的性能,同时提供了超过3.5倍的压缩。
2015-10-06 cs.CV cs.LG stat.ML
Derivative-Free Structured Updates for Muon
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California(加利福尼亚大学)
本文提出无导数框架,用结构化有限差分构造Muon风格更新,通过四种变体在矩阵回归和神经网络实验中验证,表明结构化探测在特定黑箱问题中实用,但无通用收敛保证。
2026-09-17 cs.LG math.OC
Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning
Purdue University(普渡大学)
针对直接反馈对齐存在的非结构化反馈、深层架构扩展性差的问题,提出在权重矩阵SVD定义的低秩流形上运行的结构化局部学习框架,减少可训练参数,在多个数据集上取得与反向传播相当的准确率,为全秩梯度训练提供了可扩展替代方案。
2025-10-29 cs.CV cs.LG
EviRank: Structured Relevance Evidence for Multimodal Image Re-ranking
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent Yuanbao(腾讯元宝);The University of Hong Kong(香港大学)
针对现有多模态图像重排序器的不足,提出EviRank将查询解析为结构化证据包,通过证据条件验证实现重排序,在五个基准上达SOTA,蒸馏学生模型保留超90%能力且成本更低。
2026-08-24 cs.CV cs.LG
LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对大语言模型压缩需求,本文提出LoRAP混合压缩框架,对Transformer的MHA子层采用差异化低秩近似、对FFN子层采用无梯度结构化剪枝,实验证明在多种压缩比下性能优于现有结构化压缩方法。
2024-04-15 cs.AI cs.CL cs.LG
Energy-Structured Low-Rank Adaptation for Continual Learning
School of Computer Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院,南京,中国);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(新一代人工智能技术及其交叉应用重点实验室(东南大学),教育部,中国);Huawei Technologies, Shenzhen, China(华为技术有限公司,深圳,中国)
提出E²-LoRA方法,通过能量集中和排序的低秩自适应以及动态秩分配策略,解决持续学习中的任务干扰和知识压缩问题,实现最优性能。
2026-06-29 cs.AI cs.LG
Nonlinearity-Aware LoRA: Structured Gate Adaptation under Low-Rank Constraints
Beijing Institute of Technology, Zhuhai(北京理工大学珠海学院);The Hong Kong Polytechnic University(香港理工大学);The University of Osaka(大阪大学);Shenzhen University(深圳大学)
针对门控FFN中低秩更新导致的选择偏差问题,提出NA-LoRA,通过导数时序重要性掩码和激活特定步长缩放规则,提升参数高效微调性能。
2026-07-01 cs.LG
Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning
Google DeepMind(谷歌DeepMind);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google Research(谷歌研究院);Columbia University(哥伦比亚大学)
提出基于结构化无限制秩矩阵(SURM)的通用参数高效微调框架,替代LoRA和Adapters,在图像分类上提升5-7%准确率,并在GLUE上减少12倍参数。
2024-12-17 cs.AI cs.CV cs.LG
Hankel-structured Tensor Robust PCA for Multivariate Traffic Time Series Anomaly Detection
McGill University(麦吉尔大学)
时空交通数据(例如,链路速度/流量)可以被组织为具有附加空间属性的多变量时间序列。分析这些数据的一个关键任务是从具有复杂空间和时间依赖性的数据中识别和检测异常观测和事件。鲁棒主成分分析(RPCA)是一种广泛使用的异常检测工具。然而,传统的RPCA纯粹依赖于全局低秩假设,而忽略了局部时间相关性。有鉴于此,本研究提出了一个Hankel结构的张量版本的RPCA时空数据的异常检测。我们将具有异常的原始数据视为多变量时间序列矩阵(位置$\times$时间),并假设去噪矩阵具有低秩结构。然后,我们通过应用时间Hankel化将低秩矩阵变换为三阶张量。最后,我们分解成一个低秩的汉克尔张量和稀疏矩阵的腐败矩阵。通过Hankel化操作,该模型可以同时捕获全局和局部时空相关性,表现出更强的鲁棒性。我们将该问题描述为一个优化问题,并使用张量核范数(TNN)来近似张量秩,并使用$l_1$范数来近似稀疏性。我们开发了一个有效的解决方案的算法的基础上交替方向的乘法器(ADMM)。尽管有三个超参数,但该模型在实践中很容易设置。利用合成数据和地铁客流时间序列对该方法进行了验证,结果表明该方法具有较好的异常检测效果。
2021-10-08 cs.LG
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
Seoul National University(首尔国立大学);AI Institute at Seoul National University(首尔国立大学人工智能研究所)
本文提出可微分框架 DF,将滤波器选择、秩选择与预算约束统一为单一解析形式,并通过 DML-S 和 DTL-S 实现端到端混合结构化压缩,实验证明其性能超越现有最先进方法。
2023-09-21 cs.AI cs.LG eess.IV
Unsupervised Submodular Rank Aggregation on Score-based Permutations
University of Washington(华盛顿大学);The University of Tokyo(东京大学);University San Pablo CEU(圣巴布罗CEU大学)
无监督的基于得分的排序聚合算法在许多应用中得到了广泛的应用,但尚未得到深入的研究。本文研究了在无监督的情况下,使用子模优化算法对基于分数的排列进行秩聚合。具体来说,我们提出了一个无监督的方法的基础上的Lovasz Bregman分歧建立线性结构的凸和嵌套结构的凹目标函数。此外,在训练过程中应用随机优化方法,可以保证有效的推理算法。信息检索、组合分布式神经网络、社交网络中的影响者和分布式自动语音识别任务的实验结果证明了所提方法的有效性。
2017-09-06 cs.AI cs.LG
Structured Variational $D$-Decomposition for Accurate and Stable Low-Rank Approximation
Department of Mathematics, Kabale University(数学系,卡巴勒大学)
提出结构化变分 $D$-分解,通过正则化 Frobenius 损失与交替最小化实现可控、稳定的低秩逼近,并在多个数据集上优于截断 SVD、CUR 和 NMF。
2025-06-10 cs.LG cs.NA math.NA
Structured Low-Rank Matrix Factorization: Global Optimality, Algorithms, and Applications
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种适用于大规模数据集的矩阵分解技术,通过特定正则化形式捕捉额外结构,证明在因子规模足够时局部极小值即为全局极小值,并展示在神经钙成像视频分割和高光谱压缩恢复中的优势。
2017-08-25 cs.CV cs.LG cs.NA
Fine-Tuning Integrity for Modern Neural Networks: Structured Drift Proofs via Norm, Rank, and Sparsity Certificates
The Hong Kong University of Science and Technology(香港科技大学)
本文提出Fine-Tuning Integrity作为控制模型演化的安全目标,通过Succinct Model Difference Proofs验证微调模型与可信基础模型的差异仅在政策定义的漂移类别内,提供零知识证明以确保更新的范数、低秩或稀疏性。
2026-07-08 cs.CR cs.LG