Loss-guided Stability Selection
Carl von Ossietzky University Oldenburg(卡尔·冯·奥西茨基大学奥尔登堡分校);Institute for Mathematics(数学研究所)
在现代数据分析中,一旦预测变量的数量非常高,稀疏模型选择就变得不可避免。众所周知,Lasso或Boosting等模型选择程序往往会在真实数据上过拟合。著名的稳定性选择克服了这些弱点,聚合模型,基于子样本的训练数据,然后选择一个稳定的预测集,这通常是稀疏得多的预测集从原始模型。标准稳定性选择基于全局标准,即每个系列的出错率,同时还需要专家知识来适当地配置超参数。由于模型选择取决于损失函数,即,选择的预测器集w.r.t.某些特定损失函数不同于w.r. t所选择的那些损失函数。对于其他一些损失函数,我们提出了一个稳定性选择变体,该变体通过基于样本外验证数据的额外验证步骤来尊重所选择的损失函数,并可选地通过详尽的搜索策略进行增强。我们的稳定性选择变体适用广泛且用户友好。此外,我们的稳定性选择变体可以避免严重的欠拟合问题,这会影响噪声高维数据的原始稳定性选择,因此我们的优先事项不是不惜一切代价避免误报,而是产生一个稀疏的稳定模型,可以进行预测。我们考虑回归和二进制分类的实验以及我们使用Boosting作为模型选择算法的实验表明,与原始Boosting模型相比,精度有了显着提高,同时没有受到原始稳定性选择的任何问题的影响。
2022-02-10 cs.LG
Non-convex Regularizations for Feature Selection in Ranking With Sparse SVM
Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Nomao SA(Nomao公司);Laboratoire Lagrange(拉格朗日实验室);Université de Nice-Sophia Antipolis(尼斯-索菲亚·安提波利斯大学);INSA de Rouen(鲁昂国立应用科学学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Institut Universitaire de Formation de Maîtres(大学教师培训学院)
学习排序中的特征选择是一个重要的问题。虽然已经提出了几种预处理方法,但只有少数作品专注于将特征选择集成到学习过程中。在这项工作中,我们提出了一个通用的框架,特征选择在学习排序使用SVM与稀疏正则项。我们研究了经典的凸正则化,如$\ell\_1$或加权$\ell\_1$和非凸正则化项,如对数罚,极小极大凹罚(MCP)或$\ell\_p$伪范数与$p\textless{}1$。提出了两种算法,第一种是求解凸问题的加速近似方法,第二种是求解非凸正则化问题的加权$\ell\_1$方法。我们从Letor 3.0和Letor 4.0语料库的九个数据集进行密集的实验。数值结果表明,使用非凸正则化,我们建议导致更稀疏的模型,同时保持预测性能。与$\ell\_1$正则化相比,特征的数量减少了六倍。此外,该软件在网上公开提供。
2015-07-02 cs.LG
Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection
Imperial College London(帝国理工学院)
提出一种利用LLMs指导张量网络模型秩选择的框架,通过LLMs的推理与知识提升可解释性并优化目标函数,在金融高阶数据集上验证了其强泛化与自我增强能力。
2024-10-14 cs.AI cs.LG
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Unsupervised Hypergraph Feature Selection via a Novel Point-Weighting Framework and Low-Rank Representation
Amirkabir University of Technology(阿米尔卡比尔理工大学)
特征选择方法被广泛用于解决“维数灾难”问题。许多提出的特征选择框架,平等地对待所有的数据点,忽略了它们不同的表示能力和重要性。在本文中,我们提出了一个无监督的超图特征选择方法,通过一个新的点加权框架和低秩表示,捕捉不同的数据点的重要性。我们引入了一种新的低复杂度的软超图来建模数据。然后,我们制定的特征选择作为一个优化问题,以保持局部关系,也是全球的数据结构。我们的全局结构保存方法有助于该框架克服无监督学习中数据标签不可用的问题。所提出的特征选择方法根据数据点在定义数据结构和表示能力方面的重要性来处理不同的数据点。此外,由于特征选择方法对噪声和离群值的鲁棒性是非常重要的,我们在我们的模型中采用低秩表示。此外,我们提供了一个有效的算法来解决所提出的优化问题。所提出的算法的计算成本低于许多国家的最先进的方法,这是非常重要的特征选择任务。我们在不同的基准数据集上进行了各种评估方法的综合实验。这些实验表明,显着的改善,与国家的最先进的特征选择方法相比。
2018-10-03 cs.LG stat.ML
Drug Selection via Joint Push and Learning to Rank
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Indiana University - Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
针对精准医学中的癌症药物选择问题,提出结合推送约束与基因组信息的排序学习方法pLETORg,在基准数据集上的敏感药物优先级排序性能优于现有最优方法。
2018-05-18 cs.LG stat.ML
Distance Rank Score: Unsupervised filter method for feature selection on imbalanced dataset
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Univ. Savoie Mont Blanc(萨瓦大学);CNRS(法国国家科学研究中心);Optimistik
本文提出一种基于斯皮尔曼秩相关的无监督过滤特征选择方法,通过观测距离与特征距离的秩相关性避免方差法在不平衡多类数据上的缺陷,并在多个聚类任务中验证其有效性。
2023-05-31 cs.LG stat.ML
An Exploratory Study on Simulated Annealing for Feature Selection in Learning-to-Rank
University of Dhaka(达卡大学)
本文探索了模拟退火在学习排序特征选择中的应用,通过引入进度参数等新策略优化搜索空间遍历,并在五个基准数据集上验证了其优于局部束搜索的有效性。
2023-10-20 cs.AI cs.IR cs.LG
MARS: Masked Automatic Ranks Selection in Tensor Decompositions
HSE University(高等经济大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);AIRI
针对张量分解中确定最优秩的难题,提出MARS方法,通过在贝叶斯模型中进行松弛MAP估计来学习分解核心上的二进制掩码以自动选择最优秩,可无缝嵌入标准神经网络训练,在多种任务上优于以往工作。
2023-04-04 cs.LG stat.ML
Bayesian Tensorized Neural Networks with Automatic Rank Selection
University of California, Santa Barbara(加州大学圣巴巴拉分校)
张量分解是压缩过参数化神经网络并使其能够部署在资源受限的硬件平台上的有效方法。然而,在训练过程中直接应用张量压缩是一项具有挑战性的任务,因为很难选择合适的张量秩。为了实现这一目标,本文提出了一种贝叶斯张量化神经网络。我们的贝叶斯方法执行自动模型压缩通过自适应张量秩的确定。我们还提出了后验密度计算和最大后验(MAP)估计的方法,我们的张量神经网络的端到端的训练。我们提供了一个完全连接的神经网络,一个CNN和一个残差神经网络的实验验证,我们的工作产生$7.4\times$ $137\times$更紧凑的神经网络直接从训练。
2019-05-24 cs.LG stat.ML
On Socially Fair Low-Rank Approximation and Column Subset Selection
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Texas A&M University(德克萨斯农工大学)
本文研究社会公平的低秩近似与列子集选择问题,证明常数因子近似在标准假设下需指数时间,提出更高效的近似算法并给出多项式时间的双准则近似算法。
2024-12-08 cs.DS cs.LG stat.ML
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG)
本文提出统一框架,在连续空间中自动搜索最优秩并同时进行张量分解,无需额外训练数据即可高效压缩预训练模型,并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
FermiGrad-SVD: An LLM Compression Pipeline with Global Rank Selection and Gauge Fixing
Multiverse Computing(多维计算公司);Donostia International Physics Center(Donostia国际物理中心);Ikerbasque Foundation for Science(Ikerbasque科学基金会)
本文提出FermiGrad和PivGa两种方法,通过费米函数优化秩选择和规范固定,实现LLM压缩的全局优化。
2026-10-30 cs.LG stat.ML
Time-shift selection for reservoir computing using a rank-revealing QR algorithm
US Naval Research Laboratory(美国海军研究实验室);University of New Mexico(新墨西哥大学)
本文提出利用秩揭示 QR 算法最大化储备池矩阵秩来选择时移,该方法无需任务信息或系统模型,并在光电振荡器和 tanh 循环网络储备池上几乎全面优于随机选择。
2023-04-25 cond-mat.dis-nn cs.LG
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学)
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中,秩显示QR(RRQR)因子分解,这是计算上比奇异值分解(SVD)便宜,利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择,这是该因子分解方法的独特性质。此外,QR分解嵌入到非负矩阵分解(NMF)的目标函数作为一种新的无监督特征选择方法。最后,提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中,使用RRQR分解去除冗余特征,并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的,当与最先进的特征选择算法在监督,无监督和半监督设置。所有的方法进行了测试,7个可用的微阵列数据集,使用KNN,SVM和C4.5分类。实验结果表明,该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Decoy Selection for Protein Structure Prediction Via Extreme Gradient Boosting and Ranking
George Mason University(乔治梅森大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
从数以百万计的非天然诱饵中识别一个或多个生物活性/天然诱饵是计算结构生物学中的主要挑战之一。诱饵集合中的阳性和阴性样本(原生和非原生诱饵)的极度缺乏平衡使得问题更加复杂。共识方法在处理诱饵选择的挑战方面取得了不同的成功,尽管与聚类大诱饵集和没有显示出太多结构相似性的诱饵集相关的一些问题。最近的调查显示,基于能量消耗的诱饵选择方法的承诺。然而,缺乏泛化能力的各种测试用例仍然是这些方法的瓶颈。我们提出了一种新的诱饵选择方法,ML-Select,一个机器学习框架,利用与结构空间相关的能量景观探测通过无模板诱饵生成。所提出的方法优于聚类和基于能量排名的方法,同时始终提供更好的性能在不同的测试用例。此外,ML-Select显示出有前途的结果,即使是诱饵集组成的大多是低质量的诱饵。ML-Select是一种有效的诱饵选择方法。这项工作建议进一步研究,以寻找更有效的方法来采用机器学习框架,在无模板蛋白质结构预测中实现诱饵选择的鲁棒性能。
2020-10-03 cs.LG q-bio.BM
Consistent Multilabel Ranking through Univariate Losses
Mathematics and Computer Science, Marburg University(马尔堡大学数学与计算机科学学院)
我们考虑多标签分类中的秩损失最小化问题,这通常是通过定义在标签对上的凸代理损失来解决的。最近,这种方法受到质疑,一个负面的结果表明,常用的成对替代损失,如指数和逻辑损失,是不一致的。在本文中,我们展示了一个积极的结果,这可以说是令人惊讶的,鉴于前一个:更简单的单变量的指数和逻辑代理(即,定义在单个标签上)对于秩损失最小化是一致的。而不是直接证明收敛性,我们给出了一个更强大的结果,通过推导遗憾界和收敛速度。建议的损失建议有效的和可扩展的算法,这是实验测试。
2012-06-27 cs.LG stat.ML
Unbiased split variable selection for random survival forests using maximally selected rank statistics
University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
分析生存数据最常用的方法是Cox回归模型。然而,考克斯模型可能被错误地指定,其比例假设可能并不总是得到满足。生存预测的另一种方法是生存结果的随机森林。随机生存森林的标准分裂准则是对数秩检验统计量,它倾向于用许多可能的分裂点分裂变量。条件推理森林避免了这种分裂变量选择偏差。但是,默认情况下,在条件推断森林中使用线性秩统计量来选择最佳拆分变量,该变量无法检测自变量中的非线性效应。另一种方法是使用最大选择的秩统计量进行分裂点选择。与条件推断森林一样,拆分变量在p值尺度上进行比较。然而,在条件推理森林中使用的条件蒙特卡罗方法,而不是使用p值近似。我们描述了几个p值的近似和建议的随机森林方法的实施。模拟研究表明,无偏的分裂变量选择是可能的。然而,在无偏的分割变量选择和运行时间之间存在权衡。在模拟和真实数据集上的预测性能的基准研究中,如果将信息二分变量与具有更多类别的无信息变量相结合,则新方法的性能优于随机生存森林,并且如果包括非线性协变量效应,则优于条件推理森林。在运行时比较中,如果使用简单的p值近似,则该方法被证明在计算上比两种替代方法更快。
2018-05-16 cs.LG stat.ML
Low-Rank Compression of Language Models via Differentiable Rank Selection
University of Edinburgh(爱丁堡大学)
LLRC通过可微分方法实现语言模型的低秩压缩,在无需微调的情况下提升压缩率与下游任务准确性。
2025-12-14 cs.AI cs.LG
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University(北京交通大学);Hangzhou Dianzi University(杭州电子科技大学)
部分标签学习(PLL)旨在从数据中学习,其中每个训练实例与一组候选标签相关联,其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中,我们提出了一种新的PLL方法,称为HERA,它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度,同时训练模型。具体地说,异构损失综合了成对排序损失和逐点重构损失的优点,为标签识别提供了有用的标签排序和重构信息,而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩,以探索整个训练数据之间的全局标签相关性,从而改进了学习模型。在人工和真实世界数据集上的大量实验表明,我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
An Alternative Cross Entropy Loss for Learning-to-Rank
Google Research(谷歌研究院);National Institutes of Health(美国国立卫生研究院)
列表式学习排序方法形成了在诸如信息检索之类的应用中广泛采用的一类强大的排序算法。这些算法通过优化作为整个集合的函数的损失来学习对一组项目进行排名-作为典型的不可微排名度量的替代。尽管他们的经验的成功,现有的列表方法是基于统计学和理论上仍然难以理解。特别地,没有一个经验上成功的损失函数与排名度量相关。在这项工作中,我们提出了一个交叉熵为基础的学习排序损失函数,理论上是合理的,是一个凸边界NDCG -一个流行的排名指标-是一致的NDCG下常见的信息检索的学习场景。此外,在基准学习排序数据集上使用梯度提升机实现所提出的方法的经验评估表明,我们提出的公式在质量和鲁棒性方面优于现有算法。
2021-02-04 cs.IR cs.LG stat.ML
Predicting accurate probabilities with a ranking loss
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Toronto(多伦多大学)
在机器学习分类器的许多实际应用中,预测样本属于特定类的概率是至关重要的。本文提出了一种简单的技术,预测概率的基础上优化排名损失,其次是保序回归。这种半参数技术提供了良好的排名和回归性能,并且比统计工具(如逻辑回归)更丰富的概率分布集。我们提供的实验结果表明,这种技术在现实世界中的应用概率预测的有效性。
2012-06-18 cs.LG stat.ML
Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection
本文解决LoRA微调的样本复杂度问题,建立匹配的上下界,得出秩选择二分性,在合成与真实基准上验证理论预测,揭示过参数化惩罚的来源。
2026-07-31 cs.CL cs.LG
Optimal $\ell_1$ Column Subset Selection and a Fast PTAS for Low Rank Approximation
CMU(卡内基梅隆大学)
研究了逐项$\ell_1$低秩近似问题。我们给出了第一个多项式时间的列子集选择为基础的$\ell_1$低秩近似算法采样$\tilde{O}(k)$列,实现了$\tilde{O}(k^{1/2})$ -近似的任何$k$,改善了以前的最佳$\tilde{O}(k)$ -近似和匹配的先验下界的列子集选择为基础的$\ell_1$ -低秩近似,适用于任何$\text{poly}(k)$列数。我们扩展我们的结果,以获得严格的上界和下界列子集选择为基础的$\ell_p$低秩近似任何$1 < p < 2$,关闭一个长期的工作在这个问题上。接下来,我们给出了一个$(1 + \varepsilon)$近似算法的逐项$\ell_p$低秩近似,$1 \leq p < 2$,这不是一个列子集选择算法。首先,我们得到一个算法,给定一个矩阵$A \in \mathbb{R}^{n \times d}$,在$2^{\text{poly}(k/\varepsilon)} + \text{poly}(nd)$运行时返回一个秩- $k$矩阵$\hat{A}$,使得:$$\|A - \hat{A}\|_p \leq (1 + \varepsilon) \cdot OPT + \frac{\varepsilon}{\text{poly}(k)}\|A\|_p$$其中$OPT = \min_{A_k \text{ rank …
2020-11-16 cs.DS cs.LG stat.ML
Feature Selection via L1-Penalized Squared-Loss Mutual Information
Tokyo Institute of Technology(东京工业大学)
特征选择是一种筛选不太重要的特征的技术。现有的有监督特征选择算法多以冗余度和相关度作为特征选择的主要标准。然而,功能交互,潜在的一个关键特征在现实世界中的问题,并没有得到太多的关注。作为一种尝试,考虑到功能的相互作用,我们提出了L1-LSMI,L1正则化为基础的算法,最大限度地提高了平方损失变量之间的互信息选择功能和输出。数值结果表明,L1-LSMI在处理冗余、检测非线性依赖和考虑特征交互方面表现良好。
2012-10-06 cs.LG stat.ML
LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection
The University of Sydney(悉尼大学);Microsoft India(微软印度);Indian Institute of Technology Bombay(印度班加罗尔理工学院);University of Cambridge(剑桥大学)
LOFT通过明确分离适应子空间和变换操作,改进正交参数高效微调方法,提出任务感知支持选择策略,提升效率与性能平衡。
2026-11-13 cs.LG stat.ML
Learning Rank Functionals: An Empirical Study
Centre for Pattern Recognition and Data Analytics, Deakin University(迪肯大学模式识别与数据分析中心)
排序是诸如信息检索、问答、广告投放和推荐系统等许多应用的关键方面。学习排序的目标是根据训练数据自动估计排序模型。在实际设置中,任务通常简化为估计对象相对于查询的秩函数。在本文中,我们研究设计一个有效的学习排序算法的关键问题。这些包括数据表示,秩泛函的选择,损失函数的设计,使其与评价中使用的秩度量相关。对于损失函数,我们研究了三种技术:近似的秩度量的光滑函数,分解的损失成一个加权和的元素的损失和成对的损失的加权和。然后,我们提出的推导分段损失的高阶马尔可夫链和马尔可夫随机场的理论。在实验中,我们评估这些设计方面的两个任务:在社会问答网站的答案排名,和Web信息检索。
2015-02-07 cs.IR cs.LG stat.ML
Label-Aware Ranked Loss for robust People Counting using Automotive in-cabin Radar
Infineon Technologies AG(英飞凌科技股份公司);Technical University of Munich(慕尼黑工业大学);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Friedrich-Alexander-University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
在本文中,我们介绍了标签感知的排名损失,一种新的度量损失函数。与最先进的深度度量学习损失相比,该函数利用了回归问题中标签的排序。为此,我们首先证明了当不同标签的数据点在嵌入空间中以彼此之间的均匀角度排列和放置时,损失最小化。然后,为了衡量其性能,我们将所提出的损失应用于在具有挑战性的情况下,即车辆舱中使用短程雷达进行人员计数的回归任务。所介绍的方法将准确度以及相邻标签准确度提高到83.0%和99.9%:比最先进的方法分别提高了6.7%和2.1%。
2022-03-03 cs.AI cs.LG eess.SP
Towards a Zero-One Law for Column Subset Selection
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
存在用于低秩近似的NP难版本的许多近似算法,诸如找到使差的绝对值的和最小化的秩- $k$矩阵$B$到给定的$n$乘$n$矩阵$A$,$\min_{\textrm{rank-}k~B}\|A-B\|_1$,或者更一般地找到使差的绝对值的$p$次幂的和最小化的秩- $k$矩阵$B$,$\min_{\textrm{rank-}k~B}\|A-B\|_p^p$。这些算法中的许多是线性时间列子集选择算法,其返回$\mathrm{poly}(k \log n)$列的子集,该子集的成本不超过比最佳秩$k$矩阵的成本大的$\mathrm{poly}(k)$因子。上述误差度量是以下一般逐项低秩逼近问题的特殊情况:给定任意函数$g:\mathbb{R} \rightarrow \mathbb{R}_{\geq 0}$,找到使$\|A-B\|_g = \sum_{i,j}g(A_{i,j}-B_{i,j})$最小化的秩- $k$矩阵$B$.一个自然的问题是哪些功能$g$承认有效的近似算法?事实上,这是最近研究广义低秩模型的工作的一个中心问题。本文给出了近似单调且满足近似三角不等式的$\textit{every}$函数$g$的逼近算法,并证明了这两个条件都是必要的.此外,我们的算法是有效的,如果函数$g$承认一个有效的近似回归算法。我们的近似算法处理甚至不是尺度不变的函数,例如Huber损失函数,我们表明…
2020-04-16 cs.CC cs.DS cs.LG
FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
Zhejiang University(浙江大学)
提出FLoE框架,通过Fisher信息引导的层选择实现稀疏适配器部署,并利用贝叶斯优化自动确定LoRA秩,在资源受限环境中实现高效的效率-精度权衡。
2025-05-31 cs.CL cs.LG stat.ML
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington(华盛顿大学);Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现有的低秩矩阵恢复的结果主要集中在二次损失,它享有良好的性质,如限制强凸性/光滑性(RSC/RSM)和良好的条件所有低秩矩阵。然而,许多有趣的问题涉及更一般的,非二次损失,不满足这些属性。对于这些问题,标准的非凸方法,如秩约束投影梯度下降(a.k.a.迭代硬阈值)和Burer-Monteiro分解可能具有较差的经验性能,并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中,我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵,在该集合上,损失函数表现良好,并满足一组近似RSC/RSM条件。相应地,我们分析了(平均)投影梯度法配备这样的预言,并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题,包括一位矩阵传感/完成,个性化的秩聚合,更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
The Loss Rank Principle for Model Selection
我们介绍了一个新的原则,在回归和分类模型的选择。许多回归模型由一些平滑性或灵活性或复杂性参数c控制,例如,在k最近邻(kNN)回归中要平均的邻居的数量或在多项式回归中的多项式次数。设f_D^c是数据D上复杂度c的(最佳)回归量。一个更灵活的回归变量可以比一个更刚性的回归变量更好地拟合更多的数据D'。我们将f_D^c的损失秩定义为其他(虚构的)数据D'的数量,这些数据D'被f_D ^c拟合得比D被f_D ^c拟合得更好。我们建议选择具有最小损失秩(LoRP)的模型复杂度c。与大多数惩罚最大似然变量(AIC、BIC、MDL)不同,LoRP仅取决于回归函数和损失函数。它在没有随机噪声模型的情况下工作,并且直接适用于任何非参数回归量,如kNN。在本文中,我们形式化,讨论和激励LoRP,研究它的特定回归问题,特别是线性的,并将其与其他模型选择方案进行比较。
2007-02-27 cs.LG math.ST stat.ME
De-floored Principal Component Regression: When Rank Selection Alone Is Insufficient for Prediction
Department of Applied Economics and Statistics, University of Delaware(应用经济学与统计学系,德雷克大学)
研究主成分回归中秩选择不足问题,提出去底主成分回归方法,证明其预测风险上下限,通过风险分解解释分离现象,给出同一样本截尾均值下限估计及相关公式,表明该方法改进秩为1的PCR,对马尔琴科 - 帕斯特尔主体平均下限减法非最优。
2026-07-21 cs.LG math.ST stat.ME
Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
UT-Battelle, LLC(UT-巴特尔有限责任公司);Oak Ridge National Laboratory(橡树岭国家实验室)
提出联邦动态低秩训练(FeDLRT)方案,通过全局低秩基和方差校正实现全局损失收敛,显著降低客户端计算与通信成本且精度损失极小。
2024-06-25 cs.AI cs.LG math.OC
Ranking over Regression for Bayesian Optimization and Molecule Selection
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);CIFAR Lebovic Fellow(CIFAR 莱博维奇 Fellow);Canada(加拿大);Chair, Director of Acceleration Consortium(150 职位,加速联盟主任)
本文提出基于排序的贝叶斯优化(RBO),用排序模型替代回归代理,在化学数据集上取得相似或更优的优化性能,尤其适用于结构-性质景观粗糙和存在活性悬崖的分子优化任务。
2024-10-11 cs.AI cs.LG stat.ML