Learning from Imprecise and Fuzzy Observations: Data Disambiguation through Generalized Loss Minimization
University of Marburg(马尔堡大学)
近年来,从“模糊数据”中分析或学习的方法引起了越来越多的关注。然而,在许多情况下,现有的方法(精确的,非模糊的数据)被扩展到模糊的情况下,在一个特设的方式,并没有仔细考虑模糊集的解释时,用于建模数据。区分模糊集值数据的本体和认知解释,并专注于后者,我们认为,“模糊化”的学习算法的基础上的通用扩展原则的应用是不合适的。事实上,扩展原理未能正确利用统计和机器学习方法的归纳偏差,尽管这种偏差至少在原则上提供了一种“消除”模糊数据的方法。或者,我们因此提出了一种方法,它是基于经验风险最小化的损失函数的泛化,并同时进行模型识别和数据消歧。详细阐述了特定类型的损失的模糊化,我们建立了连接到著名的损失函数的回归和分类。我们比较我们的方法与相关的方法,并说明其使用逻辑回归二进制分类。
2013-05-03 cs.LG
Parallel Coordinate Descent for L1-Regularized Loss Minimization
Carnegie Mellon University(卡内基梅隆大学)
我们提出了Shotgun,一个并行坐标下降算法,用于最小化L1正则化损失。虽然坐标下降似乎固有的顺序,我们证明收敛边界的猎枪预测线性加速,到一个问题相关的限制。我们对Shotgun for Lasso和稀疏逻辑回归进行了全面的实证研究。我们对并行性潜力的理论预测与真实数据上的行为密切匹配。Shotgun在一系列大型问题上优于其他已发布的求解器,被证明是L1最具可扩展性的算法之一。
2011-05-26 cs.IT cs.LG math.IT
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University(希伯来大学);Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法,并通过内-外迭代流程提升其效率,改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Stochastic DCA for minimizing a large sum of DC functions with application to Multi-class Logistic Regression
University of Lorraine(洛林大学)
本文研究了在不同领域,特别是在随机最优化和机器学习中出现的DC(Difference of Convex)函数最小化问题。提出了两种基于DCA(DC算法)的算法:随机DCA和不精确随机DCA.我们证明了这两个算法的收敛到一个临界点是有保证的概率为1。此外,我们发展我们的随机DCA解决多任务学习中的一个重要问题,即多类逻辑斯谛回归中的组变量选择。相应的随机DCA是非常便宜的,所有的计算是显式的。在多个基准数据集和合成数据集上的数值实验表明,该算法在分类精度、解的稀疏性和运行时间等方面均优于现有方法.
2019-11-10 cs.LG cs.NA math.NA
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh(匹兹堡大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Xidian University(西安电子科技大学);University of Sydney(悉尼大学)
图像聚类是计算机视觉最重要的应用之一,在文献中得到了广泛的研究。然而,现有的聚类方法在处理大规模、高维数据时,大多缺乏效率和可扩展性。在本文中,我们提出了一个新的聚类模型,称为DEeP嵌入正则化的聚类(DEPICT),它有效地将数据映射到一个有区别的嵌入子空间,并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数,使用相对熵(KL发散)最小化,正则化的集群分配的频率之前。一个交替的策略,然后推导出优化的目标,通过更新参数和估计集群分配。此外,我们在自动编码器中使用重建损失函数作为数据相关的正则化项,以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性,我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数,并同时训练所有网络层。实验结果表明,DEPICT的优越性和更快的运行时间在现实世界的聚类任务,其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
Agnostic Learnability of Halfspaces via Logistic Loss
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们调查的近似保证提供的逻辑回归的基本问题的不可知学习齐次半空间。以前,对于例子中的某类“行为良好”的分布,Diakonikolas等人(2020)证明了$\tildeΩ(\textrm{OPT})$的下界,而Frei等人(2021)证明了$\tilde{O}(\sqrt{\textrm{OPT}})$的上界,其中$\textrm{OPT}$表示齐次半空间的最佳0 - 1/误分类风险。在本文中,我们通过构建一个表现良好的分布来缩小这一差距,使得该分布上的逻辑风险的全局最小化仅达到$Ω(\sqrt{\textrm{OPT}})$错误分类风险,与(Frei et al.,2021年)。另一方面,我们还表明,如果我们施加一个径向Lipschitzness条件,除了良好的行为的分布,逻辑回归球的有界半径达到$\tilde{O}(\textrm{OPT})$错误分类的风险。我们的技术还表明,对于任何行为良好的分布,无论径向Lipschitz,我们可以克服$Ω(\sqrt{\textrm{OPT}})$下限的逻辑损失的成本,一个额外的凸优化步骤,涉及铰链损失,并获得$\tilde{O}(\textrm{OPT})$错误分类的风险。这种两步凸优化算法比以前的方法更简单,所有这些方法都需要解决$O(\log(1/\textrm{OPT}))$最小化问题。
2022-01-31 cs.LG math.OC stat.ML
On Coresets for Regularized Loss Minimization
RelationalAI(RelationalAI公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
我们设计和数学分析基于采样的正则化损失最小化问题的算法,这些算法可以在流行的大数据计算模型中实现,其中对数据的访问以某种方式受到限制。我们的主要结果是,如果正则化的效果不成为可以忽略不计的规范的假设规模,并作为数据规模,那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下,并且正则化器是常见的推荐选择之一,该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说,较小的均匀样本可能不是核心集。第二个下限表明,在某种意义上,均匀采样接近最佳,因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization
MIT(麻省理工学院);Google Research(谷歌研究院)
我们提出了一个新的随机最优化框架的经验风险最小化问题,如那些出现在机器学习。传统的方法,如(小批量)随机梯度下降(SGD),利用经验平均损失的无偏梯度估计。相比之下,我们开发了一种计算效率高的方法来构建一个梯度估计器,该估计器故意偏向于那些具有较高电流损耗的观测值。在理论方面,我们表明,所提出的方法最大限度地减少了一个新的有序修改的经验平均损失,并保证以次线性率收敛到全局最优凸损失和弱凸(非凸)损失的临界点。此外,我们证明了一个新的泛化界所提出的算法。在经验方面,数值实验表明,与标准小批量SGD相比,我们提出的方法在包括SVM,逻辑斯谛回归和深度学习问题在内的各种模型中始终改善了测试误差。
2020-02-01 cs.LG math.OC stat.ML
Secure Approximation Guarantee for Cryptographically Private Empirical Risk Minimization
Nagoya Institute of Technology(名古屋工业大学);Mie University(三重大学);University of Tsukuba(筑波大学)
隐私问题在许多机器学习(ML)问题中越来越重要。研究了安全多方计算框架下的经验风险最小化问题。MPC的主要技术工具是基于密码学开发的。当前加密私有ML的局限性之一是计算非线性函数(如对数函数或指数函数)在计算上难以处理。因此,对于一类ERM问题,如逻辑斯谛回归,其中需要非线性函数的评估,人们只能得到近似解。在本文中,我们介绍了一种新的加密私有工具称为安全近似保证(SAG)方法。SAG方法的关键特性是,在密码安全计算框架下,对于任意的近似解,它都能提供一个非概率的近似质量上界.我们证明了SAG方法的好处,通过将其应用到几个问题,包括一个实际的隐私保护数据分析任务的基因组和临床信息。
2016-02-15 cs.CR cs.LG stat.ML
Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization
INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔分部)
优化最小化算法包括迭代地最小化目标函数的优化代理。由于它的简单性和广泛的适用性,这个原则在统计学和信号处理中非常流行。在本文中,我们打算使这一原则可扩展。我们引入了一个随机优化最小化方案,它能够处理大规模或可能无限的数据集。当适用于凸优化问题在适当的假设下,我们表明,它达到了预期的收敛速度的$O(1/\sqrt{n})$ $n$迭代后,和$O(1/n)$强凸函数。同样重要的是,我们的计划几乎肯定收敛到一个大类的非凸问题的驻点。我们开发了几个有效的算法基于我们的框架。首先,我们提出了一个新的随机邻近梯度方法,实验匹配国家的最先进的大规模$\ell_1$-逻辑斯谛回归的求解器。其次,我们提出了一个非凸稀疏估计的在线DC规划算法。最后,我们证明了我们的方法解决大规模结构矩阵分解问题的有效性。
2013-09-10 cs.LG math.OC stat.ML
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley(加州大学伯克利分校);National University of Defense Technology(国防科技大学);Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学)
我们考虑了广泛的正则化随机极小化问题的两个正则化项,其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用,例如融合Lasso,融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面,与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面,当输入数据样本的数量相当大时,目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题,我们提出了一个随机变量的额外梯度型方法,即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)},并分析其收敛性的凸和强凸目标。对于一般的凸目标,由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标,由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的,以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明,该算法的性能非常有效,并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections
University of Warsaw(华沙大学);University of Warwick(华威大学);INRIA & LMO, Université Paris-Saclay(法国国家信息与自动化研究所与巴黎萨克雷大学LMO)
本文研究单变量两层ReLU网络的最小范数分类,刻画了有无偏置惩罚时的精确解,并证明添加跳跃连接使所有KKT点全局最优,同时揭示了稀疏性限制。
2026-09-24 cs.LG
Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning
Inria(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·库茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
优化最小化算法包括连续地最小化目标函数的一系列上界。这些上界在当前估计值处很紧,并且每次迭代单调地驱动目标函数下降。这一简单的原理在各个科学领域,特别是在信号处理和统计学领域,都有着广泛的应用。在本文中,我们提出了一个增量优化最小化计划最小化大量的连续函数,在机器学习中的一个至关重要的问题。我们提出了收敛保证非凸和凸优化时的上界近似的目标到一个光滑的错误,我们称这样的上界“一阶代理函数”。更确切地说,我们研究了非凸问题的渐近稳定点保证,对于凸问题,我们提供了预期目标函数值的收敛速度。将该算法应用于复合优化问题,得到了一个新的强凸函数的具有线性收敛速率的增量邻近梯度算法。在我们的实验中,我们表明,我们的方法是有竞争力的解决机器学习问题,如逻辑斯谛回归的最先进的训练样本的数量是足够大的,我们证明了它的有用性稀疏估计与非凸处罚。
2015-02-01 cs.LG math.OC stat.ML
Fairness for Robust Log Loss Classification
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Carnegie Mellon University(卡内基梅隆大学)
开发具有高准确性的分类方法,同时避免对不同群体的不公平对待,对于社交应用中的数据驱动决策变得越来越重要。许多现有方法对所选分类器(例如,逻辑回归)通过直接形成约束优化。相反,我们重新推导出一个新的分类器的分布鲁棒性的第一原则,将公平性标准纳入最坏情况下的对数损失最小化。这种构造采用极大极小博弈的形式,并产生类似于截断逻辑回归的参数指数族条件分布。我们提出了我们的方法在其凸性和渐近收敛的理论优势。然后,我们证明了我们的方法在三个基准公平数据集的实际优势。
2020-10-14 cs.LG stat.ML
Penalty Decomposition Methods for $L0$-Norm Minimization
提出罚分解方法求解含L0-范数的优化问题,通过转化为秩最小化问题并利用向量化操作,在压缩感知等应用中优于现有方法。
2012-05-11 cs.CV cs.IT cs.LG
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center(麻省理工学院运筹学中心);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题,提出结合泰勒近似梯度的改进方法,含确定性与随机变体,在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率,并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
经验风险最小化(ERM)算法广泛用于信号处理和机器学习应用中的各种估计和预测任务。尽管它们很受欢迎,但在测量数量和未知参数数量都很大的现代制度中解释它们的统计特性的理论只是最近才出现的。本文首次刻画了高维广义线性模型中凸ERM推理的统计精度的基本极限。对于具有高斯特征和问题维度的程式化设置,这些特征和问题维度以成比例的速度增长,我们从尖锐的性能特征开始,然后推导出估计和预测误差的严格下限,这些估计和预测误差适用于广泛的一类损失函数和正则化参数的任何值。我们的精确分析有几个特点。首先,它导致了最佳调整损失函数和正则化参数的配方。其次,它允许精确地量化流行的启发式选择的次优性:例如,我们表明,最优调整的最小二乘是(也许令人惊讶的)近似最优的标准逻辑数据,但次优差距急剧增长的信号强度增加。第三,我们使用的界限,以精确地评估脊正则化的优点作为一个函数的过参数化比率。值得注意的是,我们的界限表示的随机变量的费舍尔信息,是简单的函数的数据分布,从而在经典统计学中相应的界限。
2020-07-05 cs.IT cs.LG eess.SP
Lightweight Stochastic Optimization for Minimizing Finite Sums with Infinite Data
Hong Kong University of Science and Technology(香港科技大学)
方差缩减是随机优化中常用的一种方法。它主要依赖于数据集是有限的假设。然而,当数据如在数据增强中那样用随机噪声估算时,扰动的数据集基本上是无限的。最近,随机MISO(S-MISO)算法被引入来解决这个期望风险最小化问题。虽然它比SGD收敛得更快,但需要大量的内存。本文提出了两种随机扰动下期望风险最小化的SGD类算法,即随机样本平均梯度(SSAG)和随机SAGA(S-SAGA)。SSAG的内存开销不依赖于样本大小,而S-SAGA的内存开销与未扰动数据的方差缩减方法相同。理论分析和Logistic回归和AUC最大化的实验结果表明,SSAG在空间需求相当的情况下,收敛速度比SGD快,而S-SAGA在迭代复杂度和存储量方面优于S-MISO。
2018-06-08 cs.LG math.OC stat.ML
Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对带拟自相容光滑分量的复合凸优化问题,提出带梯度正则化的基础牛顿法及加速方案,实现与信赖域法相当的快速全局线性收敛速率,且无需强凸或一致凸假设。
2023-08-28 cs.LG math.OC
Excess Risk Bounds for Exponentially Concave Losses
Michigan State University(密歇根州立大学)
本文的总体目标是从被动和顺序学习环境中的指数凹损失函数中获得学习的超额风险界限。指数凹损失函数包含机器学习中的几个基本问题,例如线性回归中的平方损失,分类中的逻辑损失和投资组合管理中的负对数损失。在批量设置,我们得到了尖锐的界限上的性能进行的经验风险最小化的线性假设空间和相对于指数凹损失函数。我们还将结果扩展到在线设置,学习者以顺序的方式接收训练样本。我们提出了一个在线学习算法,这是一个适当的修改版本的在线牛顿方法,以获得尖锐的风险界。在一个额外的温和的假设下的损失函数,我们表明,在这两种设置中,我们能够实现超额风险界的$O(d\log n/n)$,具有很高的概率。
2014-02-08 cs.LG stat.ML
Highly-Smooth Zero-th Order Online Optimization Vianney Perchet
INRIA(法国国家信息与自动化研究所);Département d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机系);CREST - ENSAE(法国国立统计与经济管理学院经济与统计研究中心)
凸函数的极小化问题是许多学科中的一个重要方法论问题,而凸函数的极小化问题只能通过部分信息和噪声信息来获得。在本文中,我们考虑凸优化与噪声零阶信息,即噪声函数的评价在任何期望的点。我们专注于高平滑度的问题,例如逻辑回归。我们表明,相对于基于梯度的算法,高阶平滑可以用来提高估计率,精确的依赖于我们的上界的平滑程度。特别是,我们表明,无限可微的功能,我们恢复相同的依赖于样本大小的梯度算法,与一个额外的维度依赖因子。这是做凸和强凸函数,有限的地平线和任何时候的算法。最后,我们也恢复了类似的结果,在在线优化设置。
2016-05-26 cs.LG math.OC
A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization
IMT Atlantique, UMR CNRS 6285 Lab-STICC(IMT Atlantique,CNRS 6285 Lab-STICC)
本文提出非负矩阵分解的二阶主导(SOM)框架及其快速变体mSOM,通过主导Hessian矩阵构造局部二次主导函数,实现线性收敛并全局收敛到稳定点,实验证明其性能优于现有算法。
2025-06-18 cs.LG math.OC
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research(微软研究院)
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数,该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法,以尽量减少整体经验损失,这是平均的本地经验损失。该算法基于不精确阻尼牛顿法,其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数,并讨论了分布岭回归,逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中,算法所需的通信轮数不会随着样本量的增加而增加,只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Regularized ERM on random subspaces
研究了经典经验风险最小化的一个自然推广,其中假设空间是给定空间的随机子空间。特别是,我们认为可能的数据依赖的子空间跨越的数据的随机子集,恢复作为一个特殊情况下Nystrom方法的核方法。考虑随机子空间自然会节省计算量,但问题是相应的学习精度是否会降低。最近已经探索了最小二乘损失和自协调损失函数(如逻辑损失)的计算-计算权衡。在这里,我们将这些结果扩展到凸Lipschitz损失函数,这可能是不光滑的,例如支持向量机中使用的铰链损失。这种统一的分析需要开发新的证明,使用不同的技术工具,如亚高斯输入,以实现快速。我们的主要结果表明,根据学习问题的难度,存在不同的设置,可以在不损失性能的情况下提高计算效率。
2022-12-08 cs.LG math.ST stat.ML
Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization
Technology Innovation Institute(技术创新研究院)
论文研究sum-log-concave函数负对数的非凸最小化问题,提出基于交叉梯度的XGD算法并证明其收敛性,同时用checkered regression实现非线性可分分类。
2023-09-26 cs.LG math.OC
A Symmetric Loss Perspective of Reliable Machine Learning
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
本文综述对称损失在损坏标签二分类中的鲁棒作用,涵盖BER最小化、AUC最大化及关键词与未标注文档学习,并展望可靠机器学习中的损失设计。
2023-06-05 cs.LG stat.ML
Novel and Efficient Approximations for Zero-One Loss of Linear Classifiers
Lehigh University(利哈伊大学)
机器学习模型的预测质量通常根据其(近似)预期预测准确性或所谓的曲线下面积(AUC)来衡量。最小化这些度量的倒数是监督学习的目标。然而,当通过经验风险最小化(ERM)方法构建模型时,替代函数(如逻辑损失或铰链损失)反而被优化。在这项工作中,我们表明,在线性预测的情况下,预期误差和预期的排名损失可以有效地近似光滑函数的封闭形式的表达式和他们的一阶(和二阶)导数依赖于数据分布的第一和第二时刻,这可以预先计算。因此,应用于这些函数的优化算法的复杂性不取决于训练数据的大小。这些近似函数是在给定数据集的线性分类器的输出具有近似正态分布的假设下导出的。我们认为,这个假设是显着弱于高斯假设的数据本身,我们支持这一说法,证明我们的新近似是相当准确的数据集,不一定是高斯。我们目前的计算结果表明,我们提出的近似和相关的优化算法可以产生类似或更好的测试精度或AUC的线性分类器,比那些使用国家的最先进的方法,在一小部分的时间。
2019-02-28 cs.LG stat.ML
Constrained Optimization of Rank-One Functions with Indicator Variables
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究带指示变量的秩一凸函数优化问题,提出利用透视函数诱导的锥结构构造紧致扩展表示,并给出系统化的凸包透视表示,在稀疏非负逻辑回归上验证了有效性。
2023-11-27 cs.AI cs.LG math.OC