Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization
INRIA(法国国家信息与自动化研究所);Ecole normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文研究了序约束下的次模函数的极小化问题。我们表明,这个优化问题可以作为一个凸优化问题的一维措施的空间,对应于一阶随机优势的顺序约束。我们提出了新的离散化方案,导致简单而有效的算法的基础上零次,第一次,或更高阶的预言,这些算法也导致改进,而不保序约束。最后,我们的实验表明,非凸损失函数可以更强大的离群保序回归,同时仍然导致一个有效的优化问题。
2017-07-28 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University(西北大学)
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是,凸松弛通常必须在逐个问题的基础上找到。因此,提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里,我们介绍凸松弛回归(CoRR),一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$,然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下,对于某些$α> 0$,算法的解收敛到$f$的全局最优解,且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
Exact Instance Compression for Convex Empirical Risk Minimization via Color Refinement
Program for Research in Mathematics, Engineering, and Science (PRIMES-USA)(数学、工程与科学研究计划(PRIMES-USA));Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种基于颜色细化的无损压缩框架,用于高效解决凸经验风险最小化问题,适用于多种可微凸优化模型。
2026-01-31 cs.LG math.OC
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University(杜克大学)
本文提出集成方法(如bagging、smearing和随机划分)来改进分段线性凸回归的稳定性,并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
An Efficient Minimax Optimal Estimator For Multivariate Convex Regression
Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电气工程与计算机科学系);Department of Mathematics, Tel Aviv University(特拉维夫大学数学系)
本文提出了一种高效且最小最大最优的多变量凸回归估计器,适用于高维数据和多面体支持条件,解决了传统方法的最小二乘估计器次优问题。
2025-12-28 cs.LG math.MG math.ST
Estimation from Non-Linear Observations via Convex Programming with Application to Bilinear Regression
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个计算效率的估计,制定为一个凸计划,为广泛的一类非线性回归问题,涉及凸(DC)的非线性差异。所提出的方法可以被视为[10]中针对凸非线性回归制定和分析的“锚定回归”方法的重要扩展。我们的主要假设,除了其他温和的统计和计算假设,是在地面真值的观测函数的梯度的平均值的某种近似预言的可用性。在此假设下,并使用PAC-Bayesian分析,我们表明,所提出的估计产生一个准确的估计,具有很高的概率。作为一个具体的例子,我们研究了所提出的框架中的双线性回归问题的高斯因子和量化的样本复杂性,准确的恢复。此外,我们描述了一个计算易处理的计划,可证明所需的近似预言机在考虑双线性回归问题。
2019-03-28 cs.LG math.OC stat.CO
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University(上海交通大学);Nanjing University of Science and Technology(南京理工大学);KU Leuven(鲁汶大学)
在核方法中,通常要求核是正定的,这限制了许多不定核的使用。为了考虑这些非正定核,本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间(RKKS)中分析了所提出的不定核逻辑回归(IKLR)模型,使其成为非凸的.利用非正定核的正分解,导出的IKLR模型可以分解为两个凸函数的差。相应地,一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题,因此我们提出了一种具有不精确求解方案的凹凸过程(CCICP)算法来加速求解过程。此外,我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案,这达到了类似的目的,在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做,我们的方法不仅在确定性设置下有效地工作,而且在随机设置下有效地工作。几个基准的实验结果表明,建议IKLR模型表现良好的标准(正定)核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
Maximal Margin Distribution Support Vector Regression with coupled Constraints-based Convex Optimization
Shanghai Tenth People's Hospital(上海市第十人民医院);Tongji University(同济大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Jilin University(吉林大学);The Ohio State University(俄亥俄州立大学)
支持向量回归(SVR)是最流行的机器学习算法之一,其目标是通过最大化所选训练样本的最小间隔来生成最优回归曲线,即,支持向量最近的研究表明,最大化整个训练数据集的间隔分布,而不是少数支持向量的最小间隔,更容易获得更好的泛化性能。针对支持向量回归机(SVM)的边缘分布策略存在求解非凸二次优化问题困难的问题,提出了一种最大边缘分布支持向量回归机(MMD-SVR)模型,通过引入耦合约束因子,将非凸二次优化问题转化为线性约束的凸问题,该方法提高了支持向量回归机的训练可行性和效率。理论和实证分析表明了MMD-SVR的优越性。此外,数值实验表明,与经典的支持向量回归机相比,MMD-SVR可以显著提高预测精度,生成更光滑的回归曲线,具有更好的泛化能力。
2019-05-05 cs.LG stat.ML
A convex formulation for high-dimensional sparse sliced inverse regression
切片逆回归是一种用于充分降维的流行工具,它用协变量的线性组合的最小集合替换协变量,而不会丢失关于给定协变量的响应的条件分布的信息。估计的线性组合包括所有协变量,使得结果难以解释,并且可能是不必要的变量,特别是当协变量的数量很大时。在本文中,我们提出了一个凸公式拟合稀疏切片逆回归在高维。我们的建议估计的子空间的线性组合的协变量直接进行变量选择。我们通过线性化的交替方向方法的乘子算法来解决由此产生的凸优化问题,并建立一个上界的估计和真正的子空间之间的子空间距离。通过数值研究,我们表明,我们的建议是能够识别正确的协变量在高维设置。
2018-09-17 cs.LG stat.ML
A Convex Framework for Fair Regression
University of Pennsylvania(宾夕法尼亚大学)
我们介绍了一个灵活的家庭的公平正规化(线性和逻辑)回归问题。这些正则化器都具有凸性,允许快速优化,并且它们跨越了从群体公平到强个体公平的概念。通过改变公平正则化器的权重,我们可以计算任何给定数据集上的准确性-公平性权衡的有效边界,并且我们通过我们称为公平价格(PoF)的数值来衡量这种权衡的严重性。我们研究结果的核心是对六个不同数据集的PoF进行了广泛的比较研究,其中公平性是首要考虑因素。
2017-06-07 cs.LG stat.ML
Loss Minimization through the Lens of Outcome Indistinguishability
Apple(苹果公司);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);VMware(威睿)
我们提出了一个新的观点,损失最小化和最近的概念,通过镜头的结果不可预测性。对于损失和假设类的集合,全方位预测要求预测器同时为集合中的每个损失提供损失最小化保证,并与类中的最佳(损失特定)假设进行比较。我们提出了一个通用的模板来学习预测满足我们称之为损失结果不可否认性的保证。对于一组统计测试--基于损失和假设类的集合--预测因子是损失OI,如果它与自然界对结果的真实概率无法区分(根据测试)。通过设计,损失OI意味着以直接和直观的方式进行全方位预测。我们进一步简化损失OI,将其分解为一个校准条件加上来自损失和假设类的一类函数的多精度。通过仔细分析这个类,我们给出了有效的构造omnipredictors有趣的类损失函数,包括非凸损失。这种分解突出了一个新的多组公平性的概念,我们称之为校准的多精度,它位于多精度和多校准之间的效用。我们表明,校准多精度意味着损失OI的重要的一组凸损失所产生的广义线性模型,而不需要充分的多校准。对于这样的损失,我们表现出我们的计算概念的损失OI和几何概念的不可分割性,制定为勾股定理在相关的布雷格曼分歧之间的等价性。我们给出了一种有效的校准多精度算法,其计算复杂性与多精度算法相当。总之,校准的多精度在全方位预测领域的效率和通用性之间提供了一个有趣的权衡点。
2022-12-08 cs.LG
Convex Nonparanormal Regression
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院)
量化预测中的不确定性,或者更一般地说,估计后验条件分布,是机器学习和统计学中的核心挑战。我们介绍了凸非超常回归(CNR),有条件的nonparanormal方法来处理这个任务。CNR涉及通过高斯上的预定义非线性变换的丰富字典定义的后验的凸优化。它可以拟合任意条件分布,包括多峰和非对称后验。对于特殊但功能强大的情况下,分段线性字典,我们提供了一个封闭形式的后验均值,可用于逐点预测。最后,我们证明了CNR的优势,传统的竞争对手使用合成和真实世界的数据。
2021-04-04 cs.LG eess.SP stat.ML
Convex and Nonconvex Sublinear Regression with Application to Data-driven Learning of Reach Sets
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们考虑从有限数据中估计一个紧集,通过次线性回归近似该集的支持函数。支撑函数唯一地刻画了直到凸化闭包的紧集,并且是次线性的(凸的以及一次正齐次的)。相反,任何次线性函数都是紧集的支撑函数。我们利用这个属性来转录的任务学习一个紧凑的集,学习其支持功能。我们提出了两个算法进行次线性回归,一个通过凸和另一个通过非凸规划。凸规划方法涉及求解二次规划(QP)。非凸规划方法涉及训练输入次线性神经网络。我们说明了所提出的方法,通过数值例子学习的控制动力学的集值输入不确定性的轨迹数据的到达集。
2023-03-23 cs.AI cs.LG cs.SY
Rank-one Convexification for Sparse Regression
University of California, Berkeley(加州大学伯克利分校);University of Pittsburgh(匹兹堡大学)
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而,稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的(\NP硬)非凸优化问题。在本文中,我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的(凸包)配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间,更强大和更一般的比国家的最先进的配方,包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外,建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化,它动态地调整其惩罚根据误差函数的形状,而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中,提出的二次曲线公式在几秒钟内解决,并导致非凸$\ell_0$ -问题的接近最优的解决方案(0.4\%的最优性差距)。此外,从统计的角度来看,所得到的估计也优于其他凸方法,实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Efficient, Anytime Algorithms for Calibration with Isotonic Regression under Strictly Convex Losses
我们调查的校准估计,以提高性能的最佳单调变换的估计输出。我们首先研究了传统的平方误差设置及其加权变量,并表明最佳单调变换是一个独特的阶梯函数的形式。我们进一步表明,这种阶梯行为保持一般严格凸损失函数。它们的最佳单调变换也是唯一的,即,存在实现最小损耗的单个阶梯变换。我们提出了一个线性的时间和空间算法,可以找到这样的最佳转换为特定的损失设置。我们的算法有一个在线实现,其中到目前为止观察到的样本的最佳变换是在线性空间和摊销时间中找到的,当样本以有序的方式到达时。我们还扩展我们的结果的情况下,功能是不平凡的单独优化,并提出了一个随时算法,它具有线性空间和伪线性时间复杂度。
2021-10-31 cs.CC cs.LG math.OC
DiscoverDCP: A Data-Driven Approach for Construction of Disciplined Convex Programs via Symbolic Regression
Department of Electrical Engineering and Computer Sciences University of California, Berkeley(电气工程与计算机科学系加州大学伯克利分校)
DiscoverDCP 通过符号回归与 DCP 规则结合,构建可验证的凸模型,用于系统辨识和安全关键任务。
2025-12-03 cs.AI cs.LG cs.SY
Shuffled linear regression through graduated convex relaxation
Technion - Israel Institute of Technology(以色列理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
混洗线性回归问题旨在恢复数据集的线性关系,其中输入和输出之间的对应关系是未知的。这个问题出现在广泛的应用程序,包括调查数据,其中需要决定是否可以保持匿名的响应,同时发现显着的统计联系。在这项工作中,我们提出了一种新的优化算法的混洗线性回归的基础上后验最大化的目标函数假设高斯噪声先验。我们比较和对比我们的方法与现有的合成和真实数据的方法。我们表明,我们的方法具有竞争力,同时实现经验的运行时间的改善。此外,我们证明了我们的算法能够利用种子形式的边信息,最近在相关问题中变得突出。
2022-09-30 cs.LG stat.CO
AdaBoost and Forward Stagewise Regression are First-Order Convex Optimization Methods
MIT Sloan School of Management(麻省理工学院斯隆管理学院);MIT Operations Research Center(麻省理工学院运筹学中心)
Boosting方法是一种非常流行和有效的监督学习方法,它将弱学习器组合成一个具有良好统计性能的精确模型。在本文中,我们分析了两个著名的提升方法,AdaBoost和增量前向逐步回归(FS $_\varepsilon$),通过建立他们的精确连接到镜像下降算法,这是一个一阶方法在凸优化。作为这些连接的结果,我们获得了新的计算保证这些提升方法。特别是,我们的AdaBoost收敛界的特征,相关的利润率和对数指数损失函数,任何步长序列。此外,本文提出了,第一次,精确的计算复杂性的结果FS $_\varepsilon$。
2013-07-04 cs.LG math.OC stat.ML
Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Aalto University(阿尔托大学)
针对物联网分布式分位数回归,本文提出DSAD,在平滑ADMM中结合MCP、SCAD与全变差范数,实现节点一致、可靠收敛和更高估计精度。
2024-08-08 cs.LG
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens(雅典国家技术大学);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们研究的问题,找到近似,最小支撑集,解决矩阵最大-加方程,我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案,并在多项式时间的任何$\ell_p$近似误差。基于这些结果,我们提出了一种新的方法,凸多元函数的分段线性拟合,最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
Adaptive Sampling for Convex Regression
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
在本文中,我们介绍了第一个原则性的自适应采样程序学习凸函数的$L_\infty$规范,经常出现在行为和社会科学的问题。我们提出了一个函数的复杂性的措施,并使用它来证明,对于每个凸函数$f_{\star}$,我们的算法几乎达到信息理论上的最佳,功能特定的出错率。我们还证实了我们的理论贡献与数值实验,发现我们的方法大大优于被动,均匀采样有利的合成和数据导出的功能,在低噪声设置与大的采样预算。我们的研究结果还提出了一个理想化的“预言策略”,我们用它来衡量任何自适应采样策略的潜在进步被动采样,对于任何给定的凸函数。
2018-08-26 cs.LG math.ST stat.ML
A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates
The University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了在对抗噪声和随机噪声下的两个分量的混合回归问题。我们给出了一个凸优化公式,可证明恢复的真实解,并提供上界的恢复误差为任意噪声和随机噪声设置。我们还匹配极大极小下界(对数因子),表明在一定的假设下,我们的算法是信息理论上最优的。我们的研究结果代表了第一个易于处理的算法,保证成功恢复与紧界恢复错误和样本的复杂性。
2015-02-13 cs.IT cs.LG math.IT
Maximin Optimization for Binary Regression
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑二进制权重的回归问题。这种优化问题在量化学习模型和数字通信系统中普遍存在。一种自然的方法是使用梯度上升下降法的变体来优化相应的拉格朗日量。即使在凹凸情况下,这样的极大极小技术仍然知之甚少。非凸二元约束可能导致虚假的局部极小值。有趣的是,我们证明了这种方法在低噪声条件下的线性回归以及具有少量离群值的鲁棒回归中是最优的。在实际应用中,该方法在具有交叉熵损失的回归和非凸多层神经网络中也有很好的效果。总之,我们的方法突出了鞍点优化学习约束模型的潜力。
2020-11-28 cs.LG math.OC stat.ML
Ideal formulations for constrained convex optimization problems with indicator variables
Northwestern University(西北大学);University of Southern California(南加州大学)
受现代回归应用的启发,本文研究了一类具有指示变量和组合约束的凸优化问题的凸化问题。与以往大多数稀疏回归问题凸化的工作,我们同时考虑非线性不可分离的目标,指示变量,和组合约束。具体地,我们给出了任意组合约束下一维凸函数与仿射函数的合成上图的凸包描述。作为这一结果的特殊情况下,我们得到理想的凸性问题的层次,多重共线性,稀疏约束。此外,我们还给出了一个简短的证明,对于一个可分离的目标函数,透视重构是理想的独立于问题的约束。我们的计算实验与回归问题的层次约束下的真实数据集证明了所提出的方法在提高松弛质量,而没有显着的计算开销的潜力。
2021-06-16 cs.LG math.OC
Convex Regression with a Penalty
针对凸回归估计在边界处过拟合的问题,提出一种最小化次梯度惩罚并约束平方误差和的估计器,可数据驱动选择约束参数,并证明其一致收敛性及在排队等待时间估计中的有效性。
2025-09-24 cs.LG stat.ML
Smoothed Online Optimization for Regression and Control
Caltech(加州理工学院)
我们认为在线凸优化(OCO)的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现,最近提出的在线平衡下降(OBD)算法是恒定的竞争力,在这种设置中,与竞争比$3 + O(1/m)$,无论周围的尺寸。此外,我们表明,当成本函数的序列是$ε$ -光滑,OBD具有接近最佳的动态遗憾,并保持较强的每轮精度。我们证明了我们的方法的一般性,通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法,包括岭回归,逻辑回归,最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Solving Equations of Random Convex Functions via Anchored Regression
我们考虑的问题,估计一个方程组的解决方案,涉及凸非线性,一个问题,这是常见的机器学习和信号处理。由于这些非线性,传统的估计经验风险最小化的基础上,一般涉及解决非凸优化程序。我们提出了锚定回归,一种新的方法,基于凸规划,相当于最大化一个线性功能(也许增加了正则化)在一个凸集。所提出的凸规划是在问题的自然空间中制定的,并且避免了辅助变量的引入,使其在计算上有利。在本机空间中工作还提供了很大的灵活性,因为结构先验(例如,稀疏性)可以被无缝地结合。对于我们的分析,我们将方程建模为根据概率定律从固定集合中绘制。我们的主要结果提供了保证的估计的准确性,我们正在解决的方程的数量,存在的噪声量,随机方程的统计复杂性的措施,和真正的解决方案的正则化几何。我们还提供了直接从观测数据构建锚向量(确定要最大化的线性泛函)的方法。
2018-08-13 cs.IT cs.LG math.IT
Learning Feature Nonlinearities with Non-Convex Regularized Binned Regression
The Voleon Group;University of California, Riverside(加州大学河滨分校)
对于各种应用,因变量和自变量之间的关系是高度非线性的。因此,对于大规模的复杂问题,神经网络和回归树通常优于线性模型,如Lasso。这项工作提出了学习特征的非线性分箱特征值,并找到最适合在每个分位数使用非凸正则线性回归。该算法首先捕获相邻分位数之间的依赖性,通过分段常数/线性近似强制平滑,然后选择一个稀疏子集的好功能。我们证明了该算法是统计和计算效率。特别是,它实现了线性收敛速度,同时需要接近最小数量的样本。对合成数据集和真实数据集的评估表明,该算法与当前最先进的算法相比具有竞争力,并且能够准确地学习特征非线性。最后,我们探讨了一个有趣的连接之间的分仓阶段,我们的算法和稀疏约翰逊-林登施特劳斯矩阵。
2017-05-20 cs.IT cs.LG math.IT
Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares
本文提出ICCNLS方法,通过正交约束和次梯度正则化实现凸-凹分解的可识别非参数回归,在合成与真实数据上提升预测精度和模型简洁性。
2026-09-29 cs.LG math.ST stat.AP
Optimally Weighted Ensembles of Regression Models: Exact Weight Optimization and Applications
Leiden University(莱顿大学);TH Cologne(科隆应用技术大学)
自动模型选择通常被建议给用户以选择将哪个机器学习模型(或方法)应用于给定的回归任务。在本文中,我们表明,结合不同的回归模型可以产生更好的结果比选择一个单一的(“最好的”)回归模型,并概述了一个有效的方法,获得最佳加权凸线性组合从一个异构的回归模型。更具体地说,在本文中,启发式权重优化,在前面的会议论文中使用的,被替换为一个精确的优化算法,使用凸二次规划。我们证明了凸性的二次规划制定的直接制定和制定加权数据点。新的权重优化不仅更精确,而且更有效。我们在本文中开发的方法通过github-open source实现并提供。它们可以在常用硬件上执行,并提供透明且易于解释的界面。结果表明,该方法在一系列数据集上优于模型选择方法,包括来自药物发现应用的混合变量类型的数据集。
2022-06-22 cs.LG
A Note On Nonlinear Regression Under L2 Loss
本文研究 L2 损失下的非线性回归问题,针对传统模型非凸优化的缺陷,证明传统最小二乘问题存在凸非线性回归模型,为设计更易训练的复杂系统提供了新途径。
2023-03-30 cs.LG cs.NA math.NA
Convex Factorization Machine for Regression
Kyoto University(京都大学);Yahoo Labs(雅虎实验室);Duke University(杜克大学);Aalto University(阿尔托大学)
我们提出了凸因式分解机(CFM),这是一个凸变量的广泛使用的因式分解机(FM)。具体地说,我们采用线性+二次模型,并用$\ell_2$ -正则化器正则化线性项,并用迹范数正则化器正则化二次项。然后,我们制定CFM优化作为一个半定规划问题,并提出了一个有效的优化过程与哈赞的算法。与现有的FM相比,CFM的一个关键优点是它可以找到全局最优解,而FM可能会得到一个差的局部最优解,因为FM的目标函数是非凸的。此外,该算法简单有效,易于实现。最后,CFM是一种通用的因子分解方法,也可以用于其他因子分解问题,包括多视图矩阵因子分解和张量完成问题。通过合成和movielens数据集,我们首先表明,所提出的CFM实现的结果具有竞争力的FM。此外,在毒理基因组学预测任务中,我们表明CFM优于最先进的张量因子分解方法。
2016-08-10 cs.LG stat.ML
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China(自动化系,清华大学,北京100084,中国);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(TNList)(信息科学与技术国家实验室(清华大学))
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件,证明了非凸正则化在稀疏估计中的有效性,并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression
Univ. de Rouen(鲁昂大学);Criteo AI Lab(Criteo人工智能实验室);Univ Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);OCA Lagrange(拉格朗日蔚蓝海岸天文台);INSA de Rouen(鲁昂国立应用科学学院);IMAG(蒙彼利埃亚历山大·格罗滕迪克研究所);Université de Montpellier(蒙彼利埃大学)
非凸稀疏正则化子由于其统计性质,在高维数据的稀疏线性模型估计中引起了广泛的兴趣。考虑到解是稀疏的,为了加速收敛,工作集策略通过迭代算法来解决优化问题,即增加待优化变量的数量,直到识别出解的支持。虽然这些方法已经得到了很好的研究和理论支持的凸正则化,本文提出了一个工作集算法的非凸稀疏正则收敛保证。该算法,名为FireWorks,是基于最近的原始对偶方法的非凸重构,并利用残差的几何形状。我们的理论保证来自于两个内部求解器迭代之间的目标函数的下界减少,并显示收敛到整个问题的稳定点。更重要的是,我们还表明,即使内部求解器是不精确的,在足够的衰减的误差跨越迭代收敛。我们的实验结果表明,高计算增益时,使用我们的工作集策略相比,完整的问题求解器块坐标下降或近端梯度求解器。
2021-10-20 cs.LG stat.ML
Smoothing ADMM for Sparse-Penalized Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Linköping University(林雪平大学);University of Southern Denmark(南丹麦大学)
本文研究了非凸非光滑稀疏惩罚下的分位数回归问题,提出了一种名为SIAD的单循环平滑ADMM算法,通过递增惩罚参数加速收敛,理论上确认了子梯度界收敛率为o(k^{-1/4}),数值实验证明其优于现有方法。
2023-09-04 cs.AI cs.LG stat.ML
Rank-Based Multi-task Learning for Fair Regression
The University of Texas at Dallas(得克萨斯大学达拉斯分校);Department of Computer Science(计算机科学系)
在这项工作中,我们开发了一种新的公平性学习方法,用于基于有偏训练数据集的多任务回归模型,使用流行的基于秩的非参数独立性检验,即,Mann Whitney U统计量,用于测量目标变量和保护变量之间的依赖性。为了有效地解决这个学习问题,我们首先将这个问题重新表述为一个新的非凸优化问题,其中基于单个对象的分组排序函数定义了一个非凸约束。然后,我们开发了一个有效的模型训练算法的框架下的非凸交替方向的乘法器(NC-ADMM),其中的主要挑战之一是实现一个有效的投影预言机的基础上定义的排名功能的前一个非凸集。通过对合成数据集和真实数据集的广泛实验,我们验证了我们的新方法在与公平学习相关的几个流行指标上与几种最先进的竞争方法相比的出色性能。
2020-09-23 cs.LG stat.ML
Faster Algorithms for Learning Convex Functions
Boston University(波士顿大学)
近似任意凸函数的任务出现在几个学习问题中,例如凸回归,学习凸(DC)函数的差异,以及学习Bregman或$f$ -发散。在本文中,我们开发并分析了一种解决各种凸函数学习问题的方法,该方法比最先进的方法更快。我们的方法是基于一个2块ADMM方法,每个块可以计算在封闭的形式。对于凸Lipschitz回归的任务,我们建立了我们提出的算法收敛的迭代复杂度为$ O(n\sqrt{d}/ε)$的数据集$\bm X \in \mathbb R^{n\times d}$和$ε> 0$。结合每次迭代的计算复杂度,我们的方法以$O(n^3 d^{1.5}/ε+n^2 d^{2.5}/ε+n d^3/ε)$的速度收敛。如果是$d = o( n^4)$,则该新速率提高了$O(n^5d^2/ε)$的最新速率。此外,我们还为DC回归和Bregman发散学习提供了类似的求解器。与以前的方法不同,我们的方法适合使用GPU。我们在回归和度量学习实验中证明,我们的方法在某些数据集上比现有方法快100倍以上,并且产生的结果与最先进的方法相当。
2022-06-19 cs.LG stat.ML
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation(微软公司);University of California, Davis(加州大学戴维斯分校)
本文介绍了Jensen,这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸(或损失)函数、凸优化算法(包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等)的框架,以及一系列机器学习分类器和回归器(逻辑回归、SVM、最小二乘回归等)。该框架使得使用几行代码部署和训练模型成为可能,并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression
Massachusetts Institute of Technology(麻省理工学院)
本文研究了两个问题:(1)$d$维对数凹分布的估计和(2)随机设计下的有界多元凸回归问题,其中随机设计下的密度为对数凹或密度为连续的紧支撑分布。首先,我们表明,对于所有的$d \ge 4$的最大似然估计的两个问题实现了最佳的风险$Θ_d(n^{-2/(d+1)})$(对数因子)的平方Hellinger距离和$L_2$平方距离,分别。以前,这两个估计量的最优性仅为$d\le 3$所知。我们还证明了上述两个家庭的$ε$ -熵数是相等的对数因子。我们补充这些结果证明了一个尖锐的界限$Θ_d(n^{-2/(d+4)})$的极大极小率(对数因子)相对于总的变化距离。最后,我们证明,估计对数凹密度-甚至均匀分布的凸集-到一个固定的精度需要样本数\emph{at least}指数的尺寸。我们通过将极小极大率的最佳已知下限中的维数常数从$2^{-d}\cdot n^{-2/(d+1)}$改进为$c\cdot n^{-2/(d+1)}$(当$d\geq 2$时)来实现。
2020-02-20 cs.LG math.ST stat.TH
Risk Bounds For Distributional Regression
Department of Statistics and Data Science(统计学与数据科学系);Washington University in St Louis(圣路易斯华盛顿大学);Department of Statistics(统计学系);University of California, Los Angeles(加州大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了非参数分布回归估计量的风险界,为凸与非凸约束下的分布回归建立了CRPS和MSE的一般上界,并通过模拟与真实数据实验验证了理论的有效性。
2025-07-11 cs.LG stat.ML
Max-Linear Regression by Convex Programming
The Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出锚定回归(AR)凸规划方法解决多元最大线性回归的参数估计问题,证明在高斯观测下以高概率恢复参数,并给出精确恢复所需样本复杂度为 $k^{4}p$,实验表明该方法与交替最小化算法具有竞争力且递归应用可进一步提升精度。
2024-02-24 cs.IT cs.LG math.IT
Efficient and Scalable Multi-task Regression on Massive Number of Tasks
NEC Labs Europe(NEC欧洲实验室)
许多现实世界中的大规模回归问题可以被表述为具有大量任务的多任务学习(MTL)问题,例如在零售和运输领域。然而,现有的MTL方法仍然无法提供这类问题的泛化性能和可扩展性。将MTL方法扩展到具有大量任务的问题是一个很大的挑战。在这里,我们提出了一种新的算法,称为凸聚类多任务回归学习(CCMTL),它集成了凸聚类的k-最近邻图的预测模型。此外,CCMTL有效地解决了一个新提出的优化方法的基本凸问题。CCMTL对训练是准确的、高效的,并且根据经验在任务数量上线性缩放。在合成和真实世界的数据集上,所提出的CCMTL在预测精度和计算效率方面优于七种最先进的(SoA)多任务学习方法。在一个包含23,812个任务的真实零售数据集上,CCMTL只需要大约30秒就可以在一个线程上进行训练,而SoA方法需要长达几个小时甚至几天。
2018-11-14 cs.LG stat.ML
Non-PSD Matrix Sketching with Applications to Regression and Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Queensland(昆士兰大学)
各种降维技术已被应用于涉及大型矩阵的计算。底层矩阵被随机压缩成一个较小的矩阵,同时近似保留其许多原始属性。因此,许多昂贵的计算可以在小矩阵上执行。半正定(PSD)矩阵的绘制是很好理解的,但是有许多应用中相关矩阵不是PSD,包括非凸优化中的Hessian矩阵和协方差矩阵。在本文中,我们提出了新的非PSD矩阵的降维方法,以及他们的"平方根”,其中涉及矩阵的复杂项目。我们展示了如何将这些技术用于多个下游任务。特别是,我们将展示如何使用所提出的矩阵草图技术的凸和非凸优化,$\ell_p$ -回归每$1 \leq p \leq \infty$,和向量矩阵向量查询。
2021-06-16 cs.LG cs.NA math.NA
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Aalto University(阿尔托大学)
针对物联网分布式稀疏高维数据的隐私保护分析需求,提出融合平滑机制与近端梯度框架的联邦分位数回归算法FSPG,可高效处理非凸惩罚与非光滑损失,提升估计精度与收敛可靠性。
2024-08-13 cs.AI cs.LG
Brenier Isotonic Regression
本文提出Brenier isotonic回归,通过最优传输理论将循环单调性应用于多输出回归,提升概率校准性能。
2026-03-11 cs.LG stat.ML
Geometric descent method for convex composite minimization
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
在本文中,我们推广了Bubeck,Lee和Singh最近提出的几何下降法来处理非光滑和强凸组合问题。我们证明了我们提出的算法,被称为几何邻近梯度法(GeoPG),收敛的线性速率$(1-1/\sqrtκ)$,从而达到最佳的速度之间的一阶方法,其中$κ$是条件数的问题。线性回归和逻辑斯谛回归与弹性网络正则化的数值结果表明,GeoPG优于Nesterov的加速近端梯度法,特别是当问题是病态的。
2017-05-30 cs.LG math.OC stat.ML
Linear convergence of SDCA in statistical estimation
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
本文考虑随机对偶坐标(SDCA){ \em without}强凸假设或凸假设.我们证明了SDCA线性收敛的温和条件下称为限制强凸性。这涵盖了广泛的流行统计模型,包括Lasso、group Lasso和使用$\ell_1$正则化的逻辑斯谛回归、校正Lasso和使用SCAD正则化器的线性回归。这显着改善了之前SDCA针对非强凸问题的收敛结果。作为副产品,我们得到了一个双自由形式的SDCA,可以处理一般的正则化项,这是感兴趣的本身。
2017-04-02 cs.LG stat.ML
Two-temperature logistic regression based on the Tsallis divergence
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们开发了一种多类逻辑回归的变体,它对噪声具有更强的鲁棒性。该算法每个类有一个权重向量,代理损失是线性激活的函数(每个类一个)。具有线性激活向量$\mathbf{a}$和类$c$的示例的代理损失具有$-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$的形式,其中两个温度$t_1$和$t_2$分别“回火”$\log$和$\exp$,并且$G_{t_2}(\mathbf{a})$是推广对数分区函数的标量值。我们使用Tsallis分歧来激发这种损失。我们的方法允许通过选择温度参数在非凸损耗和凸损耗之间过渡。当对数的温度$t_1$变得小于指数的温度$t_2$时,替代损失变为“准凸”。温度的各种调整恢复以前的方法和调整的非凸度的程度是至关重要的实验。特别是,准凸性和有界性的损失提供了显着的鲁棒性离群值。我们解释了这一点,表明$t_1 < 1$上限的替代损失和$t_2 >1$使预测分布有一个沉重的尾巴。我们表明,代理损失是贝叶斯一致的,即使在非凸的情况下。此外,我们提供了有效的迭代算法计算的日志分区值只有在几个迭代次数。我们在大型真实世界数据集上的令人信服的实验结果表明,在有噪声和无噪声的情况下使用双温度变量的优势。
2019-08-03 cs.LG stat.ML
Higher-Order Low-Rank Regression
Aix-Marseille University(艾克斯-马赛大学)
本文提出了一种有效的算法(HOLRR)来处理回归任务的输出具有张量结构。我们制定的回归问题最小化的最小二乘准则下的多线性秩约束,一个困难的非凸问题。HOLRR有效地计算了这个问题的近似解,并有坚实的理论保证。还提出了一个内核扩展。对合成数据和真实数据的实验表明,HOLRR优于多元和多元线性回归方法,并且比现有的张量方法快得多。
2016-02-22 cs.LG
In almost all shallow analytic neural network optimization landscapes, efficient minimizers have strongly convex neighborhoods
University of Mannheim(曼海姆大学);University of Münster(明斯特大学)
本文分析浅层解析神经网络回归问题的优化景观,发现有效域上几乎所有回归问题的局部极小值均具强凸邻域(优化景观为莫尔斯函数),而冗余域维度更小且局部极小值不孤立。
2025-04-11 cs.LG math.PR stat.ML
Projective Quadratic Regression for Online Learning
Tencent(腾讯)
本文考虑在线凸优化(OCO)问题-在线学习算法设计的首要框架。OCO环境中的学习任务的损失函数是基于流数据的,因此OCO是一个强大的工具来建模大规模的应用,如在线推荐系统。同时,由于现代特征工程技术,现实世界的数据通常是极高维的,因此二次回归是不切实际的。因子分解机及其变体是低秩矩阵模型捕获特征交互的有效模型,但由于它们的非凸性,它们不能满足OCO设置。本文提出了一种投影二次回归(PQR)模型。首先,它可以捕获输入的二阶特征信息。第二,它是一个凸模型,所以OCO的要求,可以实现全局最优解。此外,可以直接应用现有的现代在线优化方法,例如在线梯度下降(OGD)或跟随正则化领导者(FTRL)。此外,通过选择适当的超参数,我们证明了它具有与线性模型相同的空间和时间复杂度,从而可以处理高维数据。实验结果表明,所提出的PQR模型的准确性和效率方面的性能与国家的最先进的方法进行比较。
2019-11-25 cs.LG stat.ML
How Data Augmentation affects Optimization for Linear Regression
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
虽然数据增强已迅速成为现代机器学习中优化的关键工具,但增强时间表如何影响优化并与优化超参数(如学习率)相互作用的清晰画面刚刚出现。在经典凸优化和最近的工作隐式偏差的精神,目前的工作分析了增广优化的效果在简单的凸设置的线性回归MSE损失。我们发现联合时间表的学习率和数据增强计划下,增强梯度下降可证明收敛和特征所产生的最小值。我们的研究结果适用于任意增强方案,揭示了复杂的学习率和增强之间的相互作用,即使在凸设置。我们的方法解释增广(S)GD作为一个随机优化方法的代理损失随时间变化的序列。这给出了一个统一的方法来分析学习率,批量大小,以及从加性噪声到随机投影的增强。从这个角度来看,我们的结果,这也给出了收敛速度,可以被视为Monro-Robbins型条件增广(S)GD。
2021-10-27 cs.LG math.OC stat.ML
Variance function estimation in regression model via aggregation procedures
Université Gustave Eiffel(古斯塔夫·埃菲尔大学);LAMA, UMR-CNRS 8050(LAMA(法国国家科学研究中心联合研究单位))
在回归问题中,我们考虑用聚集方法估计方差函数的问题。我们专注于两个特定的聚合设置:模型选择聚合(MS)和凸聚合(C)的目标是选择最好的候选人,并建立最好的凸组合的候选人分别在一组候选人。在这两种情况下,估计量的构建依赖于两步程序,需要两个独立的样本。第一步利用第一个样本通过基于残差的方法构建方差函数的候选估计量,然后使用第二个数据集执行聚集步骤。我们显示的一致性,所提出的方法相对于MS和C聚合的L2错误。我们评估了这两种方法在异方差模型中的性能,并说明了它们在带拒绝选项的回归问题中的作用。
2021-10-06 cs.LG stat.ML
Homotopy Continuation Approaches for Robust SV Classification and Regression
Nagoya Institute of Technology(名古屋工业大学);The University of Tokyo(东京大学)
在支持向量机(SVM)应用中,当数据不可靠且含有一部分离群值时,SVM的非鲁棒性往往会导致性能下降。虽然已经研究了许多提高支持向量机鲁棒性的方法,但在鲁棒支持向量机学习中仍然存在两个主要挑战。首先,鲁棒学习算法本质上是非凸优化问题。因此,重要的是发展一种非凸优化方法的鲁棒支持向量机,可以找到一个很好的局部最优解。第二个实际问题是如何调整控制鲁棒性和效率之间平衡的超参数。不幸的是,由于非凸性,具有稍微不同的超参数值的鲁棒SVM解决方案可能会显著不同,这使得模型选择非常不稳定。在本文中,我们同时解决这两个问题,通过引入一种新的同伦方法来非凸鲁棒SVM学习。我们的基本思想是引入参数化的鲁棒支持向量机的公式,它通过代表离群值影响的参数来连接标准支持向量机和完全鲁棒支持向量机。给出了鲁棒支持向量机局部最优解存在的充要条件,并提出了一种算法,该算法在野值影响逐渐减小的情况下,能够跟踪局部最优解的路径。我们的同伦方法的一个优点是,它可以被解释为模拟退火,一种常见的方法,找到一个很好的局部最优解的非凸优化问题。此外,我们的同伦方法允许稳定和有效的模型选择的基础上的路径的局部最优解。所提出的方法的经验表现,通过密集的数值实验,无论是强大的分类和回归问题。
2015-07-12 cs.LG stat.ML