Early-stopped neural networks are consistent
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
这项工作研究了通过梯度下降对二进制分类数据进行逻辑损失训练的浅层ReLU网络的行为,其中底层数据分布是一般的,并且(最佳)贝叶斯风险不一定为零。在这种情况下,它表明,梯度下降提前停止实现人口风险任意接近最优的不仅在逻辑和误分类损失,而且在校准方面,这意味着其输出的S形映射近似于真实的潜在的条件分布任意精细。此外,这种分析所必需的迭代、样本和架构复杂性都可以自然地随着真实条件模型的某种复杂性度量而扩展。最后,虽然它没有表明,早期停止是必要的,它表明,任何一个单变量分类满足本地插值属性是不一致的。
2021-11-04 cs.LG stat.ML
Progressive Identification of True Labels for Partial-Label Learning
Southeast University(东南大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心);The University of Queensland(昆士兰大学);Nanyang Technological University(南洋理工大学);University of Tokyo(东京大学)
部分标签学习(PLL)是一个典型的弱监督学习问题,每个训练样本都有一组候选标签,其中只有一个是真正的标签。大多数现有的方法都精心设计了学习目标,作为必须以特定方式解决的约束优化,这使得它们的计算复杂性成为扩展到大数据的瓶颈。本文的目标是提出一种新的锁相环框架,具有灵活的模型和优化算法。更具体地说,我们提出了一种新的估计的分类风险,从理论上分析了分类器的一致性,并建立了估计误差界。然后,我们提出了一个渐进的识别算法,近似最小化建议的风险估计,其中模型的更新和识别真正的标签进行无缝的方式。所得到的算法是模型无关和损失无关,并兼容随机优化。实验表明,该方法具有一定的创新性.
2020-09-05 cs.LG stat.ML
On the Outsized Importance of Learning Rates in Local Update Methods
Google Research(谷歌研究院)
我们研究了一系列算法,我们称之为局部更新方法,它概括了许多联邦学习和元学习算法。我们证明,二次目标,局部更新方法执行随机梯度下降的代理损失函数,我们确切地描述。我们发现,客户端学习率的选择控制的条件数,代理损失,以及代理和真正的损失函数的最小值之间的距离。我们使用这个理论,以获得新的联邦平均的收敛速度,展示这种替代损失的条件数和它的对齐与真正的损失函数之间的权衡。我们验证我们的研究结果经验,表明在通信有限的设置,适当的学习率调整往往足以达到接近最佳的行为。我们还提出了一种实用的方法,用于本地更新方法中的自动学习率衰减,这有助于减少对学习率调整的需求,并突出了其在各种任务和数据集上的经验性能。
2020-07-02 cs.LG math.OC stat.ML
Online Robust Regression via SGD on the l1 loss
EPFL(洛桑联邦理工学院)
我们考虑在线设置中的鲁棒线性回归问题,其中我们可以以流式方式访问数据,一个数据点接一个数据点。更具体地,对于真实参数$θ^*$,我们考虑损坏的高斯线性模型$y = \langle x , \ θ^* \rangle + \varepsilon + b$,其中对抗性噪声$b$可以以概率$η$取任何值,否则等于零。我们认为这个对手是健忘的(即,独立于数据的$b$),因为这是唯一可能保持一致性的污染模型。目前的算法依赖于手头的全部数据,以便识别和删除离群值。相比之下,我们在这项工作中,随机梯度下降的$\ell_1$损失收敛到真正的参数向量在$\tilde{O}( 1 / (1 - η)^2 n )$率是独立的污染测量值。我们的证明依赖于优雅的平滑的非光滑$\ell_1$损失的高斯数据和一个经典的非渐近分析的Polyak-Ruppert平均SGD。此外,我们提供了实验证据的效率,这个简单的和高度可扩展的算法。
2020-07-01 cs.LG math.OC stat.ML
Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the Optimization Landscape Around the True Solution
University of Michigan(密歇根大学)
这项工作描述了深度对线性回归优化景观的影响,表明尽管它们是非凸的,但更深的模型具有更理想的优化景观。我们考虑一个强大的和过度参数化的设置,其中测量的一个子集被严重损坏的噪声和真正的线性模型是通过一个$N$层线性神经网络捕获。在消极的一面,我们表明,这个问题\textit{does not}有一个良性的景观:给定任何$N\geq 1$,具有恒定的概率,存在一个解决方案对应的地面真理,既不是本地也不是全球最小值。然而,在积极的一面,我们证明,对于任何$N$层模型与$N\geq 2$,一个简单的次梯度方法变得无视这样的"问题“的解决方案;相反,它收敛到一个平衡的解决方案,不仅接近地面真相,但也享有平坦的局部景观,从而避免了需要“提前停止”。最后,我们通过经验验证了更深层次模型的理想优化前景扩展到其他强大的学习任务,包括深度矩阵恢复和具有$\ell_1$损失的深度ReLU网络。
2022-07-15 cs.LG stat.ML
Minimax Classification with 0-1 Loss and Performance Guarantees
BCAM-Basque Center of Applied Mathematics(巴斯克应用数学中心);IKERBASQUE-Basque Foundation for Science(巴斯克科学基金会);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
监督分类技术使用训练样本来寻找具有较小预期0-1损失的分类规则。传统的方法实现有效的学习和样本外的推广,通过最小化代理损失超过特定的家庭的规则。本文提出了极小极大风险分类器(MRC),不依赖于选择的替代损失和家庭的规则。MRC通过最小化最坏情况下的预期0-1损失w.r.t.由线性约束定义的不确定性集,包括真实的底层分布。此外,MRC的学习阶段提供了性能保证,作为预期0-1损失的上下限。我们还提出了MRC的有限样本泛化界的训练规模和最小的极小极大风险,并显示其竞争力的分类性能w.r.t.使用基准数据集的最新技术。
2020-10-15 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院);University of Illinois(伊利诺伊大学)
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们通过利用Log-Sobolev不等式的收缩性,提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。从经验上讲,我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Risk Bounds and Calibration for a Smart Predict-then-Optimize Method
University of California, Berkeley(加州大学伯克利分校)
预测-优化框架是实际随机决策问题的基础:首先预测优化模型的未知参数,然后使用预测值求解问题。该设置中的自然损失函数通过测量预测参数引起的决策误差来定义,Elmachtoub和Grigas将其命名为智能预测然后优化(SPO)损失[arXiv:1710.08005]。由于SPO损失通常是非凸的,并且可能是不连续的,因此Elmachtoub和Grigas [arXiv:1710.08005]引入了一个凸的替代项,称为SPO+损失,它重要地解释了优化模型的基础结构。在本文中,我们大大扩展了Elmachtoub和Grigas [arXiv:1710.08005]提供的SPO+损失的一致性结果。我们开发的SPO+损失相对于SPO损失的风险界限和统一的校准结果,这提供了一个定量的方法来转移超额替代风险超额真实风险。通过结合我们的风险界与推广界,我们表明,SPO+损失的经验最小化实现低超额真风险的概率很高。我们首先证明了这些结果的情况下,当潜在的优化问题的可行域是一个多面体,然后我们表明,结果可以大大加强时,可行域是一个强凸函数的水平集。我们进行实验,以经验证明SPO+替代品在投资组合分配和成本敏感型多类分类问题上与标准$\ell_1$和平方$\ell_2$预测误差损失相比的强度。
2021-10-26 cs.LG math.OC stat.ML
Loss factorization, weakly supervised learning and label noise robustness
Australian National University(澳大利亚国立大学);NICTA(国家信息与通信技术研究院);École Polytechnique(巴黎综合理工学院);Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所)
我们证明了经验风险的最知名的损失函数因素到一个线性项聚合的所有标签与一个长期的标签是免费的,并可以进一步表示的损失的总和。这甚至适用于非光滑、非凸损失和任何RKHS。第一项是一个(核)平均算子-这项工作的焦点量-我们的特点是标签的充分统计。结果收紧已知的泛化范围,并揭示了新的光对他们的解释。因子分解在弱监督学习中有直接的应用。特别是,我们证明了算法,如SGD和近端方法可以适应以最小的努力来处理弱监督,一旦平均算子估计。我们将这一想法应用于非对称噪声标签的学习,连接和扩展先前的工作。此外,我们发现,大多数损失享有的数据依赖(平均算子)形式的噪声鲁棒性,与已知的负面结果。
2016-02-09 cs.LG stat.ML
Learning Compact Features via In-Training Representation Alignment
Wayne State University(韦恩州立大学)
用于监督学习的深度神经网络(DNN)可以被视为特征提取器的流水线(即,最后隐藏层)和线性分类器(即,输出层),其与损失函数上的随机梯度下降(SGD)联合训练(例如,交叉熵)。在每个时期中,使用从训练集采样的小批量来估计损失函数的真实梯度,然后用小批量梯度来更新模型参数。虽然后者提供了前者的无偏估计,但它们受到来自采样小批次的大小和数量的大量方差的影响,导致噪声和跳跃更新。为了在估计真实梯度时稳定这种不期望的方差,我们提出了训练中表示对齐(ITRA),它明确地将两个不同小批次的特征分布与SGD训练过程中的匹配损失对齐。我们还提供了一个严格的分析的理想效果的匹配损失的特征表示学习:(1)提取紧凑的特征表示;(2)通过自适应加权机制减少过度适应小批量;(3)适应多模态。最后,我们对图像和文本分类进行了大规模的实验,以证明其优于强基线的性能。
2022-11-23 cs.LG
Generalization Bounds with Minimal Dependency on Hypothesis Class via Distributionally Robust Optimization
Columbia University(哥伦比亚大学)
在数据驱动优化和机器学习中获得泛化边界的既定方法主要建立在经验风险最小化(ERM)的解决方案上,这在很大程度上取决于假设类的函数复杂性。在本文中,我们提出了一种替代路线,以获得这些边界的解决方案,从分布鲁棒优化(DRO),最近的数据驱动的优化框架的基础上,最坏情况下的分析和模糊集的概念,以捕捉统计不确定性。与ERM中的假设类复杂性相反,我们的DRO界限取决于模糊集几何及其与真实损失函数的兼容性。值得注意的是,当使用统计距离,如最大平均差异,Wasserstein距离,或$ϕ$ -DRO中的分歧,我们的分析意味着泛化边界的依赖性的假设类似乎是最小的可能性:边界仅取决于真正的损失函数,独立于任何其他候选人的假设类。据我们所知,这是文献中第一个这种类型的推广界,我们希望我们的发现可以为更好地理解DRO打开大门,特别是它在损失最小化和其他机器学习应用方面的好处。
2022-10-12 cs.LG math.OC stat.ME
A Denoising Loss Bound for Neural Network based Universal Discrete Denoisers
Department of Electronic and Electrical Engineering, Sungkyunkwan University (SKKU)(成均馆大学电子与电气工程系(SKKU))
我们得到了最近提出的基于神经网络的通用离散去噪器,神经DUDE,它可以自适应地学习其参数,仅从噪声损坏的数据,通过最小化的\emph{empirical estimated loss}的去噪损失界。由此产生的界类似于监督学习中标准经验风险最小化器(ERM)的泛化误差界,并且我们证明了在我们的损失界中也存在众所周知的偏差-方差权衡。我们开发的关键工具是真实去噪损失上的无偏估计损失的浓度,这被证明对于\emph{all}有界网络参数和\emph{all}底层清洁序列保持\emph{uniformly}。为了证明我们的主要结果,我们对统计学习理论的工具进行了新的应用。最后,我们证明了神经DUDE的超参数可以从一个小的验证集中选择,以显着提高去噪性能,正如本文的理论结果所预测的那样。
2018-02-24 cs.IT cs.LG math.IT
A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss
Northern Arizona University(北亚利桑那大学)
受试者工作特征(ROC)曲线是真阳性率与假阳性率的曲线图,用于评估二元分类算法。因为曲线下面积(AUC)是预测值的恒定函数,所以学习算法反而优化凸松弛,其涉及对所有对标记的正和负示例的求和。朴素的学习算法以二次时间计算梯度,这对于使用大批量的学习来说太慢了。我们提出了一种新的平方损失和平方铰链损失的函数表示,这导致在线性或对数线性时间内计算梯度的算法,并使得可以使用大批量的梯度下降学习。在我们的监督二进制分类问题的实证研究中,我们表明,我们的新算法可以实现更高的测试AUC值的不平衡数据集比以前的算法,并利用更大的批量比以前可行的。
2023-02-21 cs.AI cs.LG
Non-convergence to the optimal risk for Adam and stochastic gradient descent optimization in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Vietnam Academy of Science and Technology(越南科学技术研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文证明了在训练任意全连接前馈深度神经网络时,包括Adam和标准SGD在内的一大类优化方法的真实风险在概率上不会收敛至最优真实风险值,而是可能收敛到严格次优的风险值。
2025-03-03 cs.LG cs.NA math.NA
On Focal Loss for Class-Posterior Probability Estimation: A Theoretical Perspective
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);IBM Research(IBM研究院);Tokyo Institute of Technology(东京工业大学);RWBC-OIL, AIST(产业技术综合研究所RWBC-OIL)
聚焦损失在目标检测和图像分类等实际应用中已经证明了它的有效性,但迄今为止对其理论的理解还很有限。在本文中,我们首先证明了焦点损失是分类校准的,即,它的最小值肯定会产生贝叶斯最优分类器,因此在分类中使用焦点损失在理论上是合理的。然而,我们也证明了一个否定的事实,即焦点损失不是严格适当的,即,通过焦点损失最小化获得的分类器的置信度得分与真实的类后验概率不匹配,因此它作为类后验概率估计器是不可靠的。为了缓解这个问题,我们接下来证明,一个特定的封闭形式的转换的置信度得分允许我们恢复真正的类后验概率。通过在基准数据集上的实验,我们证明了我们提出的变换显着提高了类后验概率估计的准确性。
2020-12-14 cs.LG stat.ML
Diverse Neural Network Learns True Target Functions
Georgia Institute of Technology(佐治亚理工学院);Princeton University(普林斯顿大学)
神经网络是一类功能强大的函数,可以使用简单的梯度下降进行训练,以在各种应用中实现最先进的性能。尽管它们在实践中取得了成功,但很少有结果能为它们如此有效提供理论保证。问题的核心是分析具有潜在的许多局部极小值和鞍点的非凸损失函数的困难。与损失函数的稳定点相对应的神经网络能学习真正的目标函数吗?如果是的话,是什么关键因素促成了这样好的优化属性?在本文中,我们通过分析具有ReLU激活的一个隐藏层神经网络来回答这些问题,并表明尽管具有非凸性,但具有不同单元的神经网络没有虚假的局部极小值。我们绕过非凸性问题,直接分析一阶最优性条件,并表明,损失可以任意小,如果“扩展特征矩阵”的最小奇异值是足够大的。我们从核方法和几何差异的新技术的使用,并确定一个新的关系,连接最小的奇异值的频谱与激活函数和多样性的单位的核函数。我们的研究结果还提出了一种新的正则化函数,以促进潜在的更好的推广单位的多样性。
2017-03-03 cs.LG stat.ML
Robust Loss Functions under Label Noise for Deep Neural Networks
Microsoft(微软);Indian Institute of Science(印度科学理工学院)
在分类器学习的许多应用中,训练数据都会受到标签噪声的影响。深度网络是使用大量训练数据学习的,其中噪声标签的问题特别相关。目前提出的用于在标签噪声下学习深度网络的技术集中在修改网络架构和从噪声标签中估计真实标签的算法上。另一种方法是寻找固有噪声容限的损失函数。对于二进制分类,存在对标签噪声鲁棒的损失函数的理论结果。在本文中,我们提供了一些充分条件的损失函数,使风险最小化下的损失函数将固有的宽容标签噪声的多类分类问题。这些结果推广了现有的结果对二进制分类的噪声容忍损失函数。我们研究了深度网络中一些广泛使用的损失函数,并表明基于误差平均绝对值的损失函数对标签噪声具有内在的鲁棒性。因此,即使在标签噪声下,标准的反向传播也足以学习真正的分类器。通过实验,我们说明了鲁棒性的风险最小化与这样的损失函数的学习神经网络。
2017-12-27 cs.LG stat.ML
Generative Modeling by Minimizing the Wasserstein-2 Loss
Department of Applied Mathematics, University of Colorado(应用数学系,科罗拉多大学)
本文提出通过分布依赖的常微分方程最小化Wasserstein-2损失来构建生成模型,证明其时间边际律构成Wasserstein损失的梯度流,并通过欧拉方案实现收敛,实验表明算法在低维和高维情况下优于Wasserstein生成对抗网络。
2026-08-27 cs.LG stat.ML
Yes, IoU loss is submodular - as a function of the mispredictions
KU Leuven(鲁汶大学);Yonsei University(延世大学);Samsung R&D Institute China-Beijing(三星中国研发研究院-北京)
这个注释是对[7]的回应,其中声称[13,命题11]是假的。我们在这里证明[7]中的这个断言是错误的,并且是基于对[13,命题11]中集合成员概念的误读。我们认为[13,命题11]是真的。([7]= arXiv:1809.00593,[13] = arXiv:1512.07797)
2018-09-06 cs.LG stat.ML
Learning Surrogate Losses
University of Hildesheim(希尔德斯海姆大学)
损失函数的最小化是机器学习的核心和灵魂。在本文中,我们提出了一种现成的优化方法,可以最小化几乎任何不可微和不可分解的损失函数(例如,错误分类率,AUC,F1,Jaccard指数,Mathew相关系数等)。天衣无缝我们的策略通过代理神经网络来近似真实损失,从而学习真实损失的平滑松弛版本。所提出的损失网络是一种集式模型,它对小批量实例的阶数是不变的。最终,通过双层优化与预测模型联合学习替代损失。与最先进的基线相比,具有不同现实生活中的损失函数的多个数据集的实证结果证明了学习代理损失的效率。
2019-05-24 cs.LG stat.ML
Beyond calibration: estimating the grouping loss of modern neural networks
Inria(法国国家信息与自动化研究所)
本文针对校准无法刻画的分组损失问题,提出一种分组损失估计器,并揭示现代视觉与NLP神经网络在分布漂移下存在显著分组损失。
2023-04-27 cs.AI cs.LG stat.ML
SENSE: Self-Supervised Neural Embeddings for Spatial Ensembles
University of Groningen(格罗宁根大学)
SENSE通过结合聚类和对比损失的增强自动编码器框架,提升高维科学集合数据的可视化和可解释性。
2026-01-16 cs.AI cs.CV cs.LG
Signal to Noise Ratio Loss Function
Huawei Technologies(华为技术)
本文提出了一种新的损失函数,利用交叉熵损失所忽略的信息源,针对分类问题。首先,我们推导出一系列的最紧的上限和下限的概率的一个随机变量在一个给定的时间间隔。其次,给出了参数分类问题的真阳性概率的下界,其中给出了数据的概率密度函数(pdf)的形式。一个封闭的形式来寻找未知数的最佳功能,以最大限度地提高真阳性的概率。最后,在数据的概率密度未知的情况下,应用所提出的边界,求出真阳性概率的下界和假阳性概率的上界,并利用结合边界给出的损失函数对它们进行优化.我们证明,由此产生的损失函数是一个函数的信号噪声比内和跨logits。我们经验评估我们的建议,以显示其分类问题的好处。
2021-10-23 cs.AI cs.CV cs.LG
Probabilistic Matching of Real and Generated Data Statistics in Generative Adversarial Networks
Uppsala University(乌普萨拉大学)
针对GAN生成分布未必匹配真实分布的问题,提出在生成器损失中加入基于f-散度和核密度估计的统计分布匹配项,并在合成与真实数据集上验证性能提升。
2024-09-06 cs.LG stat.ML
Energy-Entropy Regularization: The True Power of Minimal Looped Transformers
Wai-Lun Lam
本文提出利用Tsallis熵和哈密顿动力学改进循环转换器训练,成功解决长序列归纳任务,揭示其推理能力的内在机制。
2026-01-22 cs.LG
Beyond variance reduction: Understanding the true impact of baselines on policy optimization
Mila, McGill University(米拉研究所,麦吉尔大学);Mila, University of Montreal(米拉研究所,蒙特利尔大学);Google Research, Brain Team(谷歌研究院,大脑团队);Google DeepMind(谷歌DeepMind)
Bandit和强化学习(RL)问题通常可以被定义为优化问题,其目标是最大化平均性能,同时只能访问真实梯度的随机估计。传统上,随机优化理论预测,学习动态由损失函数的曲率和梯度估计的噪声决定。在本文中,我们证明,这是不是强盗和RL问题的情况。为了使我们的分析能够根据多步MDP进行解释,我们专注于从随机优化原理(例如,自然的策略梯度和EXP3),我们表明,一些标准的假设,从优化理论违反了这些问题。我们目前的理论结果表明,至少对于强盗问题,曲率和噪声是不足以解释的学习动态和看似无害的选择,如基线可以确定算法是否收敛。这些理论研究结果与我们的实证评估相匹配,我们将其扩展到多州MDP。
2021-02-19 cs.LG stat.ML
A new asymmetric $ε$-insensitive pinball loss function based support vector quantile regression model
Indian Institute of Technology Delhi(德里印度理工学院);South Asian University(南亚大学)
在本文中,我们提出了一种新的非对称$ε$不敏感弹球损失函数的分位数估计。存在一些弹球损失函数,试图将$ε$不敏感区域方法纳入其中,但它们未能在真正意义上扩展分位数估计的$ε$不敏感方法。所提出的非对称$ε$不敏感弹球损失函数可以在数据周围形成一个固定宽度的非对称$ε$不敏感区域,并使用$τ$值对其进行划分,以估计第$τ$分位数。在支持向量分位数回归(SVQR)模型中引入非对称$ε$不敏感弹球损失函数,显著提高了模型的预测能力。它也带来了稀疏性在SVQR模型。此外,通过在人工和真实世界数据集上进行的几个实验获得的数值结果经验性地显示了所提出的“$ε$ -支持向量分位数回归”($ε$ -SVQR)模型优于其他现有SVQR模型的功效。
2019-08-19 cs.LG stat.ML
Mind the Gap: Structure-Aware Consistency in Preference Learning
Google Research(谷歌研究);Courant Institute of Mathematical Sciences(数学科学学院)
本文提出结构感知H一致性框架,通过引入SA-DPO目标函数,改进偏好学习中的一致性问题,证明重尾 surrogate 在容量受限模型中具有更好的一致性保证。
2026-10-16 cs.LG stat.ML
Non-stochastic Bandits With Evolving Observations
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
提出统一延迟与损坏反馈的在线学习框架,处理对抗性演化观测,给出全信息与赌博机设定的遗憾最小化算法,匹配并扩展已知界。
2024-05-27 cs.LG
Simplicity bias and optimization threshold in two-layer ReLU networks
INRIA, LMO, Université Paris-Saclay, Orsay, France(INRIA、LMO、巴黎-萨克雷大学、欧萨斯分校、法国);TML Lab, EPFL, Switzerland(TML实验室、瑞士联邦理工学院)
该研究针对两层ReLU网络,从理论上探究过参数化模型的简单性偏差与优化阈值现象,发现早期方向对齐引发的偏差可让模型逼近真实解、提升泛化能力。
2025-06-12 cs.LG stat.ML
Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation
Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
灾难性遗忘是训练深度神经网络的关键挑战。虽然持续学习已被调查作为一个对策的问题,它往往受到额外的网络组件的要求和有限的可扩展性,大量的任务。我们提出了一种新的方法来持续学习,通过近似一个真正的损失函数使用一个不对称的二次函数,其一侧高估。我们的算法是由经验观察,网络参数更新影响目标损失函数不对称的动机。在所提出的持续学习框架中,我们通过在训练新任务时适当高估其未观察侧来估计过去考虑的任务的非对称损失函数,同时导出可观察侧的精确模型参数。与现有的方法相比,我们的方法没有副作用,并且在几个具有挑战性的基准数据集上实现了最先进的精度,甚至接近上限性能。
2019-10-22 cs.LG stat.ML
Adaptive particle-based approximations of the Gibbs posterior for inverse problems
Duke University(杜克大学);George Mason University(乔治梅森大学)
在这项工作中,我们采用了一个通用的框架的基础上吉布斯后更新信念分布的偏微分方程(PDE)的反问题。吉布斯后验公式是标准贝叶斯推断的推广,其仅依赖于将未知参数连接到数据的损失函数。当真实数据生成机制(或噪声分布)未知或难以指定时,它特别有用。吉布斯后验符合贝叶斯更新时,一个真正的似然函数是已知的,损失函数对应于负对数似然,但在更一般的设置提供主观推断。我们采用序贯蒙特卡罗(SMC)的方法来近似吉布斯后验粒子。为了管理通过损失函数传播越来越多的粒子的计算成本,我们采用了最近开发的局部缩减基方法来构建一个有效的替代损失函数,该函数用于吉布斯更新公式中代替真实损失。我们推导出我们的近似误差界,并提出了一种自适应的方法来构建代理模型,在一个有效的方式。我们证明了我们的方法的效率,通过几个数值例子。
2019-07-02 cs.LG stat.CO
Loss Estimators Improve Model Generalization
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research Almaden(IBM阿尔马登研究中心)
随着人们对采用人工智能方法进行临床诊断的兴趣越来越大,安全部署此类工具的关键一步是确保模型不仅能产生准确的预测,而且不会推广到训练数据无法提供有意义证据的数据体系。现有的方法,以确保模型预测的分布是类似的真实分布依赖于显式的不确定性估计,本质上是难以校准。在本文中,我们提出了训练损失估计器旁边的预测模型,使用对比训练目标,直接估计预测的不确定性。有趣的是,我们发现,除了产生校准良好的不确定性,这种方法提高了预测的泛化行为。使用皮肤病学用例,我们展示了损失估计量对模型泛化的影响,包括其对分布数据的保真度以及检测分布样本或训练过程中看不到的新类的能力。
2021-03-05 cs.LG stat.ML
General Loss Bounds for Universal Sequence Prediction
贝叶斯框架非常适合归纳问题。如果序列$x_1x_2x_3...$的真实分布$μ$已知,则可以用贝叶斯规则计算在给定过去观测值$x_1...x_{t-1}$的情况下在时间$t$观测到$x_t$的概率。然而,问题是,在许多情况下,人们甚至没有对真实分布的合理估计。为了克服这个问题,将普适分布$ξ$定义为分布$μ_i\inM$的加权和,其中$M$是包括$μ$的任何可数分布集。这是Solomonoff归纳法的一个推广,其中$M$是所有可分解半测度的集合。考虑在给定$x_1...x_{t-1}$的情况下预测$y_t$的系统,以及如果$x_t$是序列的真下一个符号则接收丢失$l_{x_t y_t}$的系统。它被证明,使用通用的$ξ$作为先验是几乎一样好,使用未知的真实分布$μ$。此外,游戏的机会,定义为一个序列的赌注,观察和奖励进行了研究。到达获胜区域所需的时间以$μ$和$ξ$的相对熵为界。扩展到任意字母表,部分和延迟预测,更积极的系统进行了讨论。
2001-09-19 cs.AI cs.LG math.ST
Adaptive Margin Ordinal Loss: Penalizing Center-Class Hedging in Ordinal Classification
Data Science Institute & Department of Civil, Construction & Environmental Engineering(数据科学研究所与土木、建筑与环境工程系);University of Delaware(特拉华大学)
针对序数分类中神经网络预测向中心类别对冲的问题,提出自适应边际序数损失(AMOL),通过乘性权重惩罚中心类别预测,在四个基准上取得最佳或并列最佳QWK,并引入中心对冲率(CHR)作为诊断指标。
2026-09-11 cs.AI cs.LG
ParaDime: A Framework for Parametric Dimensionality Reduction
Johannes Kepler University Linz(林茨约翰·开普勒大学);Friedrich-Alexander-University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Imperial College London(伦敦帝国学院)
ParaDime 提出一个参数化降维框架,通过统一多种降维技术的关系与变换接口,支持完全自定义,并展示了其在混合分类/嵌入模型和监督降维等新可视化任务中的应用潜力。
2023-05-30 cs.LG
Equations of States in Statistical Learning for a Nonparametrizable and Regular Case
Tokyo Institute of Technology(东京工业大学)
许多具有层次结构或隐变量的学习机现在被用于信息科学、人工智能和生物信息学。然而,在这些领域中使用的几个学习机是不规则的,但奇异的统计模型,因此他们的泛化性能仍然是未知的。为了克服这些问题,在以前的论文中,我们证明了统计学习中的新方程,通过该方程,我们可以在真实分布是包含在学习机中的奇异性的条件下,从贝叶斯训练损失和函数方差估计贝叶斯泛化损失。在本文中,我们证明了相同的方程成立,即使一个真正的分布是不包含在参数模型。同时证明了所提出的方程在正则情形下渐近等价于Takeuchi信息准则。因此,所提出的方程总是适用的,而不需要对未知的真实分布做任何条件。
2009-06-03 cs.LG
HotSpot: Signed Distance Function Optimization with an Asymptotically Sufficient Condition
UC San Diego(加州大学圣迭戈分校)
针对现有神经有符号距离函数优化损失约束不足、优化不稳定及正则化扭曲结果的问题,提出基于屏蔽泊松方程解的HotSpot方法,提供渐近充分条件,实现稳定优化与表面积惩罚,在2D、3D数据集上取得更优重建与距离近似效果。
2025-03-19 cs.CV cs.LG
Collective Loss Function for Positive and Unlabeled Learning
Fudan University(复旦大学);Shuyan Technology(舒言科技)
人们学会了在没有明确接触负面例子的情况下区分不同的类别。相反,传统的机器学习算法往往依赖于反面例子,否则模型容易崩溃,预测结果总是正确的。因此,设计学习目标是至关重要的,该学习目标使模型收敛并在没有显式负信号的情况下无偏地执行预测。在本文中,我们提出了一个集体损失函数学习只有积极的和未标记的数据(cPU)。从理论上推导出PU学习的损失函数。我们在基准和真实世界的数据集上进行了密集的实验。结果表明,cPU始终优于当前最先进的PU学习方法。
2020-05-06 cs.CV cs.LG stat.ML
Ranking Regularization for Critical Rare Classes: Minimizing False Positives at a High True Positive Rate
Borealis AI(Borealis人工智能公司);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
针对高真阳性率下假阳性过高的问题,提出一种易于实现的基于排序的正则化(RankReg)方法,该方法能有效减少假阳性并补充传统不平衡学习损失,在CIFAR-10&100和Melanoma数据集上显著提升了最先进的性能。
2023-03-31 cs.CV cs.LG
Uncovering Temporal Patterns in Visualizations of High-Dimensional Data
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Baylor College of Medicine(贝勒医学院)
针对高维时间序列数据降维可视化丢失时间模式的问题,提出引入两个时间损失项的降维扩展方法,在合成与真实数据上有效揭示时间模式并提升可解释性。
2024-12-14 cs.HC cs.LG
Implicit Bias of Large Depth Networks: a Notion of Rank for Nonlinear Functions
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学)
我们证明了具有齐次非线性的全连接神经网络的表示成本-它描述了具有$L_2$正则化或具有交叉熵等损失的网络的函数空间中的隐式偏差-随着网络的深度趋于无穷大,收敛到非线性函数上的秩的概念。然后,我们询问在哪些条件下的全球最小的损失恢复的“真正的”排名的数据:我们表明,对于太大的深度的全球最小值将大约排名1(低估的排名),然后我们认为,有一个范围的深度增长的数据点的数量恢复的真实排名。最后,我们讨论了分类器的秩对所得类边界的拓扑结构的影响,并表明具有最佳非线性秩的自编码器自然是去噪的。
2023-03-23 cs.AI cs.LG stat.ML
Tightening the Approximation Error of Adversarial Risk with Auto Loss Function Search
University of Science and Technology of China(中国科学技术大学)
尽管取得了巨大的成功,但深度神经网络(DNN)很容易受到对抗性样本的影响。如何准确评估DNN的对抗鲁棒性对于其在现实世界中的应用部署至关重要。稳健性的一个理想指标是对抗风险。不幸的是,由于它涉及最大化0-1损失,计算真正的风险在技术上是棘手的。最常见的解决方案是通过用一个替代损失来代替0-1损失来计算近似风险。已经使用了一些函数,例如交叉熵(CE)损失和对数比差(DLR)损失。然而,这些函数都是手动设计的,可能不太适合对抗鲁棒性评估。在本文中,我们利用AutoML来缩小真实风险和近似风险之间的误差(差距)。我们的主要贡献如下。首先,AutoLoss-AR,第一个方法来搜索代理损失的对抗性风险,一个精心设计的搜索空间,提出。在10个对抗训练模型上的实验结果证明了该方法的有效性:使用最佳发现损失评估的风险比使用手工基线评估的风险高0.2%至1.6%。其次,提取出5个具有清晰可读公式的替代损失,并在7个看不见的对抗训练模型上进行测试。这些损失超过基线0.8%至2.4%,表明它们可以单独用作某种新知识。此外,这些损失的更好的性能的可能原因进行了探讨。
2022-04-09 cs.AI cs.LG
Error Estimation and Correction from within Neural Network Differential Equation Solvers
Imperial College London(帝国理工学院)
神经网络微分方程(NN DE)求解器已经激增的流行,由于一系列因素:计算的进步,使他们的优化更容易处理,他们的能力,以处理高维问题,易于解释的能力,他们的模型,等等,然而,几乎所有的NN DE求解器遭受一个根本的限制:他们使用损失函数,只隐含地依赖于与估计相关联的错误进行训练。因此,解决方案估计的验证和误差分析需要了解真正的解决方案。事实上,如果真正的解决方案是未知的,我们往往会简单地希望“足够低”的损失意味着“足够小”的错误,因为两者之间的明确关系是不可用/定义良好。在这项工作中,我们描述了一个通用的策略,有效地构建神经网络微分方程求解器的误差估计和校正。我们的方法不需要预先知道的真正的解决方案,并获得明确的损失函数和与解决方案的估计误差之间的关系。反过来,这些明确的关系直接允许我们估计和纠正错误。
2021-11-18 cs.LG cs.NA math.NA
Scaling Laws for Autoregressive Generative Modeling
Johns Hopkins University(约翰斯·霍普金斯大学);OpenAI
我们确定经验缩放定律的交叉熵损失在四个领域:生成图像建模,视频建模,多模态图像$\leftrightarrow$文本模型,和数学问题的解决。在所有情况下,自回归Transformers的性能随着模型大小和计算预算的增加而平滑地提高,遵循幂律加上常数缩放律。最佳模型大小还取决于幂律的计算预算,其指数在所有数据域中几乎是通用的。交叉熵损失有一个信息论解释为$S($ True $) + D_{\mathrm{KL}}($ True $||$ Model $)$,经验缩放定律建议预测真实数据分布的熵和真实分布与模型分布之间的KL散度。通过这种解释,十亿参数Transformers是下采样到$8\times 8$分辨率的YFCC 100 M图像分布的近乎完美的模型,并且我们可以预测在nats/图像中实现任何给定的可减少损失(即$D_{\mathrm{KL}}$)所需的模型大小。我们发现了一些额外的缩放定律在特定的领域:(a)我们确定了多模态模型中的标题和图像之间的互信息的缩放关系,并展示了如何回答这个问题“是一张图片值得一千字?";(b)在数学问题解决的情况下,当外推超出训练分布时,我们确定了模型性能的缩放定律;(c)我们微调了ImageNet分类的生成图像模型,并发现分类损失和错误率的平滑缩放,即使生成损失趋于平稳。总之,这些结果加强了缩放定律对神经网络性能(包括下游任务)具有重要影响的情…
2020-11-06 cs.CL cs.CV cs.LG
On Next-Token Prediction in LLMs: How End Goals Determine the Consistency of Decoding Algorithms
Department of Statistics University of Michigan(统计学系 密歇根大学)
该研究首次在大语言模型语境下探究greedy、随机采样等四种解码算法与不同损失函数目标的一致性,发现仅随机采样符合真实分布采样目标,其余算法无普适最优性,凸显了按任务目标选解码算法的重要性。
2025-05-16 cs.CL cs.LG stat.ML
Deep Recursive Embedding for High-Dimensional Data
Fudan University(复旦大学);University of Twente(特温特大学);Leiden University Medical Center(莱顿大学医学中心);Delft University of Technology(代尔夫特理工大学)
将高维数据嵌入到低维流形上具有重要的理论意义和实用价值。在本文中,我们提出将深度神经网络(DNN)与数学指导的嵌入规则相结合,用于高维数据嵌入。我们引入了一个通用的深度嵌入网络(DEN)框架,它能够学习从高维空间到低维空间的参数映射,并以Kullback-Leibler(KL)发散最小化等既定目标为指导。我们进一步提出了一种递归策略,称为深度递归嵌入(DRE),利用潜在的数据表示来提高嵌入性能。我们通过不同的架构和损失函数来验证DRE的灵活性,并将我们的方法与两种最流行的嵌入方法,即t分布随机邻居嵌入(t-SNE)和均匀流形近似和投影(UMAP)进行了基准测试。所提出的DRE方法可以映射样本外数据并扩展到非常大的数据集。在一系列公共数据集上的实验表明,与其他最先进的嵌入方法相比,该方法在局部和全局结构保留方面具有更好的嵌入性能。
2022-08-17 cs.HC cs.LG
Sequential Difference Maximization: Generating Adversarial Examples via Multi-Stage Optimization
Information Engineering University(信息工程大学);Key Laboratory of Cyberspace Security, Ministry of Education of China(网络安全重点实验室)
本研究重构对抗样本生成的优化目标,提出三层优化框架的SDM梯度攻击方法,经实验验证其攻击性能与成本效益优于现有SOTA,还可结合对抗训练提升防御效果。
2025-08-31 cs.AI cs.CV cs.LG
Convergence and Loss Bounds for Bayesian Sequence Prediction
如果序列$x_1x_2x_3...$的真实生成分布$μ$已知,则可以用贝叶斯规则计算在给定过去观测值$x_1...x_{t-1}$的情况下在时间$t$观测到$x_t$的概率。如果$μ$是未知的,但已知属于类$M$,则可以将预测基于贝叶斯混合$ξ$,该贝叶斯混合$ξ$定义为分布的加权和$ν\in M$。各种收敛结果的混合后$ξ_t$真正的后$μ_t$。特别是一个新的(初等)推导的收敛$ξ_t/μ_t\to 1$提供,它另外给出了收敛速度。允许通用序列预测器基于$x_1...x_{t-1}$选择动作$y_t$,并且如果$x_t$是序列的下一个符号,则接收丢失$\ell_{x_t y_t}$。对$\ell$(除了有界)和$M$的结构没有任何假设。定义了基于混合$ξ$的贝叶斯最优预测方案$Λ_ξ$和贝叶斯最优有信预测方案$Λ_μ$,并证明了$Λ_ξ$的总损失$L_ξ$关于$Λ_μ$的总损失$L_μ$有界.证明了$L_ξ$对于有界$L_μ$是有界的,$L_ξ/L_μ\to 1$对于$L_μ\to \infty$是有界的.瞬时损失的收敛性也被证明。
2003-01-16 cs.AI cs.LG math.PR
How Far Are We from True Unlearnability?
The University of Hong Kong(香港大学)
本文发现现有不可学习样本在多任务数据集上缺乏跨任务不可学习性,从模型优化和损失景观角度解释原因,提出SAL量化参数不可学习性及UD度量数据不可学习性,并对主流方法进行基准测试。
2025-09-09 cs.AI cs.LG
When One Point Is Not Enough: Addressing Ambiguous Instances in Dimensionality Reduction by Splitting
Eindhoven University of Technology(埃因霍温理工大学)
提出一种基于图的方法识别模糊实例并将其复制为多个点投影到各自邻域,以减少部分邻域嵌入失真。
2026-07-30 cs.LG
Causal Direction from Convergence Time: Faster Training in the True Causal Direction
该研究提出CCA方法,通过优化动态中的收敛时间差异推断因果方向,实现了在真实因果方向上更快的训练,并将其扩展到因果压缩学习框架中。
2026-02-24 cs.AI cs.LG
Ski Rental with Distributional Predictions of Unknown Quality
Johns Hopkins University(约翰霍普金斯大学)
该研究提出了一种在未知质量分布预测下滑雪租赁问题的算法,通过分布预测改进了传统方法,实现了在预测误差为零时O(sqrt(b))的加性损失和预测误差任意大时O(b log b)的鲁棒性。
2026-02-24 cs.DS cs.LG
Introducing the CZAR Loss: A Tailored Objective Function for Financial Log-Return Predictions
Allora Foundation(Allora基金会);Liverpool John Moores University(利物浦约翰摩尔大学)
针对金融对数收益预测中对称损失导致零预测偏差的问题,提出CZAR分段二次损失函数,在凸性、非对称惩罚等五要求下设计,实验证明其降低方向准确率阈值并提升大波动预测效果。
2026-09-30 cs.CE cs.LG q-fin.CP