Gradient Descent as Loss Landscape Navigation: a Normative Framework for Deriving Learning Rules
Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
提出将学习规则视为损失景观导航策略的理论框架,通过最优控制问题推导出梯度下降、动量和Adam等规则,为设计自适应算法提供了有原则的基础。
2025-10-30 cs.LG
Exploring Local Norms in Exp-concave Statistical Learning
HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);UC Berkeley(加州大学伯克利分校)
本文针对凸类中指数凹损失的随机凸优化问题,基于梯度几何假设和局部范数概念,给出了适用于广泛有界指数凹损失的 $O(d/n+\log(1/δ)/n)$ excess risk 界。
2023-07-05 cs.LG math.ST stat.ML
Online Learning for Structured Loss Spaces
Indian Institute of Science(印度科学理工学院)
我们考虑预测专家的意见时,损失向量被假定为位于一个原子规范球的总和所描述的集合。我们得到一个遗憾的约束的一般版本的在线镜像下降(OMD)算法,使用正则化的组合,每个适应的组成原子规范。一般的结果恢复标准OMD遗憾界,并产生遗憾界的新结构化设置的损失向量是(i)噪声版本的点从一个低秩子空间,(ii)稀疏向量损坏的噪声,和(iii)稀疏扰动的低秩向量。对于具有结构化损失的在线学习问题,我们还显示了损失向量的源集的秩和稀疏性方面的遗憾下界,这也意味着上述附加损失设置的下界。
2017-11-12 cs.LG
The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold
ETH Zurich(苏黎世联邦理工学院)
本文通过约束优化视角,证明在极小学习率和权重衰减系数下,梯度下降在零损失流形上最小化权重范数,并引入近似解耦参数子集的学习动力学,推导出两层网络第一层后记忆动力学的闭式表达式,实验验证了该框架能复现 grokking 的延迟泛化和表征学习特征。
2026-05-29 cs.AI cs.LG
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
Peking University(北京大学);Ant Group(蚂蚁集团)
该研究发现语言模型预训练中存在ELR崩溃现象,确定ELR是连接LR调度、范数控制与损失动态的共同坐标,提出的基于ELR的FSL可实现跨范数控制方法的迁移并解释延迟加速效应。
2026-09-02 cs.LG stat.ML
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne(墨尔本大学);Shanghai Jiao Tong University(上海交通大学)
鲁棒的损失函数对于在存在噪声(不正确)标签的情况下训练准确的深度神经网络(DNN)至关重要。它已被证明,常用的交叉熵(CE)损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数,但是它们仅是部分鲁棒的。在本文中,我们从理论上表明,通过应用一个简单的归一化:任何损失都可以鲁棒噪声标签。然而,在实践中,仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数,我们发现它们存在欠拟合问题。为了解决这个问题,我们提出了一个框架,建立强大的损失函数称为主动被动损失(APL)。APL结合了两个强大的损失函数,相互促进对方。在基准数据集上的实验表明,由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法,特别是在大噪声率下,例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion(以色列理工学院);Meta AI Research(元人工智能研究院);The Hebrew University of Jerusalem(希伯来大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们遵循另一种方法:我们放松一致的边界假设,使用平均有界损失和平均有界梯度范数假设。在这种放松之后,我们提出了一个新的推广界,利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络,并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Explicit regularization and implicit bias in deep network classifiers trained with the square loss
已经观察到使用平方损失训练的深度ReLU网络在分类任务中表现良好。在这里,我们提供了一个理论上的理由的基础上分析相关的梯度流。我们表明,收敛到一个绝对最小范数的解决方案时,预计归一化技术,如批量归一化(BN)或重量归一化(WN)与权重衰减(WD)一起使用。的最小化,其预期误差的界限的主要属性是规范:我们证明,在所有接近插值的解决方案,与较小的Frobenius规范的未规范化的权重矩阵有更好的利润率和更好的界限上的预期分类错误。有BN但没有WD,动力系统是奇异的。隐式动态正则化--即零初始条件使动态偏向高裕度解--在无BN和无WD的情况下也是可能的。该理论产生了几个预测,包括BN和权重衰减的作用,Papyan,Han和Donoho的神经崩溃方面以及BN对网络权重的约束。
2020-12-31 cs.LG stat.ML
Weight-norm Criticality: A Mechanism for Loss Spikes Induced by the Normalization and Weight Decay
研究探讨深度神经网络训练中被忽视的权重范数临界性,它由归一化与权重衰减相互作用引发,随权重衰减系数增加,尺度不变权重范数趋零致损失景观尖锐度剧增、损失尖峰出现,解释权重惩罚不能过强的原因并提供新理解及实证支持。
2026-11-13 cs.LG cs.NE
Accelerating Training of Deep Neural Networks with a Standardization Loss
University of California, Berkeley(加州大学伯克利分校);Google AI(谷歌人工智能)
加速神经网络训练的一个重大进展是规范化方法的发展,允许更快和更准确地训练深度模型。这些进步带来了实际的挑战:例如,批量归一化将单个示例的预测与批量中的其他示例联系起来,导致网络严重依赖于批量大小。层归一化和组归一化依赖于数据,因此必须连续使用,即使在测试时也是如此。为了解决使用显式归一化技术所产生的问题,我们建议用一个简单的次要目标损失来取代现有的归一化方法,我们称之为标准化损失。该公式在不同的批量大小中是灵活和鲁棒的,并且令人惊讶的是,该次要目标加速了对主要训练目标的学习。因为它是一种训练损失,所以它在测试时被简单地删除,并且不需要进一步的努力来保持正常化的激活。我们发现,标准化损失加速了小型和大型图像分类实验的训练,适用于各种架构,并且在不同批量大小的训练中具有很大的鲁棒性。
2019-03-03 cs.AI cs.CV cs.LG
An Analysis of Loss Functions for Binary Classification and Regression
University of Vermont(佛蒙特大学)
本文探讨了基于边缘的损失函数和二进制分类和回归应用程序的一致性之间的联系。它示出了一个大类的基于利润的损失函数的二进制分类/回归结果估计分数相当于对数似然分数加权的一个偶函数。给出了一致性损失函数的一个简单特征,它允许直接比较不同的损失,包括指数损失,逻辑损失等。该特征用于构造Logistic模型的一个新的Huber型损失函数。一个简单的关系之间的利润率和标准化的逻辑斯谛回归残差的推导,证明所有的利润率为基础的损失可以被视为平方标准化的逻辑斯谛回归残差的损失函数。这种关系为指数损失和逻辑损失提供了新的、直接的解释,并有助于理解为什么指数损失对离群值敏感。特别是,它表明,经验指数损失最小化是相当于最小化平方标准化逻辑斯谛回归残差的总和。该关系也为AdaBoost算法提供了新的见解。
2023-01-27 cs.LG stat.ML
Soft (Gaussian CDE) regression models and loss functions
回归,不像分类,缺乏一个全面和有效的方法来处理成本敏感的问题,通过重用(而不是重新训练)一般的回归模型。本文研究了回归分析中的各种代价敏感问题,(如投标、不对称损失和拒绝规则)可以通过一种轻量级但强大的方法有效地解决,该方法包括:(1)通过使用新引入的富集方法,将任何传统的单参数CRISPR回归模型转换为被视为正态条件密度估计的双参数软回归模型;以及(2)通过从条件正态分布导出的期望损失的实例相关优化,将丰富的软回归模型重构到新的上下文。
2012-11-05 cs.LG stat.ML
Average Case Column Subset Selection for Entrywise $\ell_1$-Norm Loss
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
我们研究了列子集选择问题的条目方面的$\ell_1$-范数损失。已知在最坏的情况下,为了获得对矩阵的良好秩$k$近似,需要任意大的$n^{Ω(1)}$列数来获得对$n \times n$矩阵的最佳逐项$\ell_1$范数低秩近似的$(1+ε)$近似.然而,我们表明,在某些最小和现实的分布设置,它是可能的,以获得一个接近线性的运行时间和聚$(k/ε)+O(k\log n)$列的$(1+ε)$近似。也就是说,我们证明了,如果输入矩阵$A$具有$A = B + E$的形式,其中$B$是任意秩的$k$矩阵,$E$是具有i.i.d.对于任意小的常数$γ> 0$,从存在$(1+γ)$阶矩的任何分布$μ$中提取的项,则可以在近似线性时间内获得对逐项$\ell_1$范数的$(1+ε)$近似列子集选择。相反,我们表明,如果第一时刻不存在,那么它是不可能获得一个$(1+ε)$-近似子集选择算法,即使选择任何$n^{o(1)}$列。这是第一个算法的任何一种实现的$(1+ε)$近似的入口方向$\ell_1$-范数损失低秩近似。
2020-04-16 cs.DS cs.LG stat.ML
VL Norm: Rethink Loss Aggregation in RLVR
Microsoft Research(微软研究院);Tsinghua University(清华大学)
本文提出 VL Norm 损失聚合方法,通过构建最小方差无偏估计量解决 RLVR 中动态响应长度导致的高梯度方差问题,仅需极少代码修改即可显著提升优化稳定性,并在 DAPO 算法上实现最高 2.67 倍的加速收敛。
2025-10-11 cs.AI cs.LG
Exploiting T-norms for Deep Learning in Autonomous Driving
TU Wien(维也纳工业大学)
本文提出内存高效的T-范数损失函数,使自动驾驶事件检测能在有限GPU内存下利用背景知识,并在标注数据稀缺及半监督场景中提升模型性能。
2024-02-17 cs.CV cs.LG
Kernel Support Vector Machine Classifiers with the $\ell_0$-Norm Hinge Loss
Guangdong University of Technology(广东工业大学)
本文提出带有 $\ell_0$-范数合页损失的核 SVM($\ell_0$-KSVM)以克服标签噪声和重采样不稳定性,推导了其最优性条件,开发了 ADMM 算法并证明其收敛性,实验表明该方法在保持相当准确度的同时减少了支持向量数量。
2023-06-24 cs.LG math.OC
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology(华南理工大学)
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况,将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性,然后引入平衡项。对于最小二乘损失,在对采样算子的条件数作一定限制的假设下,建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果,通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Semantic Loss Application to Entity Relation Recognition
通常,实体关系识别系统要么使用将实体标记和关系识别作为单独任务的管道模型,要么使用同时识别关系和实体的联合模型。本文对这两种通用的实体关系识别方法进行了比较。最先进的实体关系识别系统是使用深度递归神经网络构建的,它通常不能捕获问题中的符号知识或逻辑约束。本文的主要贡献是联合实体关系抽取,其中包括一个新的损失函数的端到端的神经模型。该新的损失函数将问题中的约束信息进行编码,有效地指导模型训练。我们发现,除了这个损失函数,现有的典型损失函数的模型的性能有积极的影响。该模型是真正的端到端,不需要功能工程,易于扩展。大量的实验已经进行了评估的意义,捕获符号知识的自然语言理解。使用这种损失函数的模型被观察到优于它们的同行,收敛速度更快。在这项工作中的实验结果表明,使用这种方法的其他语言理解的应用。
2020-09-17 cs.CL cs.LG
Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss
University of Maryland(马里兰大学)
我们通过张量分解提出了一个多关系学习的模块化框架。在我们的学习设置中,训练数据包含一组对象之间的多种类型的关系,我们用稀疏的三模式张量表示。目标是预测缺失条目的值。为此,我们将每个关系建模为潜在因素的线性组合的函数。我们通过计算低秩张量分解,使用加权目标函数的拟牛顿优化来学习这种潜在表示。通过加权目标捕获观测数据中的稀疏性,从而在训练数据有限时提高精度。利用稀疏性也提高了效率,可能比未加权的方法高出一个数量级。此外,我们的框架可以容纳平滑的、特定于任务的损失函数的任意组合,使其更适合于学习不同类型的关系。对于实值函数和二元关系的典型情况,我们提出了几个损失函数,并导出了相关的参数梯度。我们评估我们的方法在合成和真实数据,显示出显着的改进,在准确性和可扩展性相关的因式分解技术。
2013-05-31 cs.LG
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Spatial Pyramid Encoding with Convex Length Normalization for Text-Independent Speaker Verification
KAIST(韩国科学技术院);LG Electronics(LG电子)
在本文中,我们提出了一种新的池化方法称为空间金字塔编码(SPE)生成说话人嵌入文本无关的说话人确认。我们首先将深度残差网络(ResNet)的输出特征映射划分为越来越细的子区域,并通过可学习的字典编码层从每个子区域提取说话人嵌入。这些嵌入被连接以获得最终的说话者表示。SPE层不仅为可变长度的语音段生成固定维的说话人嵌入,而且还从多层次的时间块中聚合特征分布信息。此外,我们通过用环损失来增加损失函数来应用深度长度归一化。通过应用环损失,网络逐渐学会使用模型权重本身来规范化说话人嵌入,同时保持凸性,从而产生更鲁棒的说话人嵌入。在VoxCeleb1数据集上的实验表明,使用SPE层和基于环丢失的深度长度归一化的系统优于i向量和d向量基线。
2019-06-19 cs.CL cs.LG cs.SD
Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations
Carnegie Mellon University(卡内基梅隆大学)
数据增强是提高神经网络鲁棒性的最常用技术之一。除了直接用原始样本和增强样本训练模型外,还引入了大量方法来正则化原始样本及其增强对应样本的嵌入/表示之间的距离。在本文中,我们将探讨这些不同的正则化选择,寻求对如何正则化嵌入的一般理解。我们的分析表明,正则化的理想选择对应于各种假设。通过不变性测试,我们认为,如果模型要在比精度驱动设置更广泛的背景下使用,则正则化是重要的,因为非正则化方法在学习不变性概念方面受到限制,尽管同样具有高精度。最后,我们还表明,我们确定的通用方法(平方$\ell_2$范数正则化增强)优于最近的几种方法,这些方法都是专门为一个任务设计的,比我们的复杂得多,在三个不同的任务。
2020-11-25 cs.LG
Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices
University of Iowa(爱荷华大学)
ROC曲线下面积(AUROC)已被广泛应用于不平衡分类,并与深度学习技术相结合。然而,没有现有的工作,提供健全的信息,为同行选择适当的深度AUROC最大化技术。在这项工作中,我们从三个方面填补了这一空白。(i)我们基准测试了各种损失函数与不同的算法选择深度AUROC优化问题。我们研究了两类损失函数:成对损失和复合损失,共包括10个损失函数。有趣的是,我们发现复合损失,作为一个创新的损失函数类,显示出更有竞争力的性能比成对损失从训练收敛和测试泛化的角度。然而,具有更多损坏标签的数据有利于成对对称损失。(ii)此外,我们的基准和突出的基本算法的选择,如积极的采样率,正则化,规范化/激活,和优化。主要调查结果包括:更高的正采样率可能有利于深度AUROC最大化;不同的数据集有利于不同的正则化权重;适当的归一化技术,如sigmoid和$\ell_2$评分归一化,可以提高模型性能。(iii)对于优化方面,我们基准SGD型,动量型,亚当型优化器的成对和复合损失。我们的研究结果表明,虽然亚当式方法从培训的角度更具竞争力,但它并没有优于其他测试的角度。
2022-07-04 cs.AI cs.LG
Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning
Nanjing University(南京大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Amazon.com L.L.C.(亚马逊有限责任公司);Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology(香港科技大学);Southern Methodist University(南卫理公会大学)
本文研究自监督学习中相似性损失与特征级交叉熵损失的关系,提出结合两幅不同图像的相似性信息,理论分析与实验证明两者的合适组合能取得最先进的结果。
2023-06-05 cs.CV cs.LG
Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge Graph Completion
Iowa State University(爱荷华州立大学)
针对少样本知识图谱补全中随机负采样导致的零损失问题,提出RANA框架,通过注意力损失和动态关系感知实体编码器提升模型性能。
2025-07-04 cs.AI cs.CL cs.LG
None Class Ranking Loss for Document-Level Relation Extraction
National University of Singapore(新加坡国立大学)
文档级关系抽取(RE)的目的是抽取跨多个句子表达的实体之间的关系,这可以被看作是一个多标签分类问题。在典型的文档中,大多数实体对不表达任何预定义的关系,并且被标记为“无”或“无关系”。为了获得良好的文档级RE性能,将这些非类实例(实体对)与预定义类(关系)的实例区分开来是至关重要的。然而,大多数现有的方法只估计预定义的关系独立的概率,而不考虑“无关系”的概率。这忽略了实体对的上下文以及none类和预定义类之间的标签相关性,导致次优预测。为了解决这个问题,我们提出了一个新的多标签损失,鼓励每个预定义的类和无类之间的标签置信度得分的大幅度,这使得捕获的标签相关性和上下文相关的阈值标签预测。为了进一步增强对可能出现在真实世界RE数据集中的正负不平衡和错误标记数据的鲁棒性,我们提出了一种边缘正则化和边缘移动技术。实验结果表明,我们的方法显着优于现有的多标签损失的文档级RE和工作在其他多标签任务,如情感分类时,没有类实例可用于训练。
2022-05-03 cs.CL cs.LG
When Relation Networks meet GANs: Relation GANs with Triplet Loss
Dalian University of Technology(大连理工大学);The University of Hong Kong(香港大学)
尽管最近的研究在使用生成对抗网络(GANs)生成逼真图像方面取得了显着进展,但缺乏训练稳定性仍然是大多数GANs挥之不去的问题,特别是在高分辨率输入和复杂数据集上。由于随机生成的分布很难与真实分布重叠,因此训练GANs通常会遇到梯度消失问题。已经提出了一些方法来解决这个问题,通过限制的ESTA的能力,使用经验的技术,如权重裁剪,梯度惩罚,频谱归一化等。在本文中,我们提供了一个更有原则的方法作为一种替代解决方案,这个问题。我们没有训练器来区分真实和虚假的输入样本,而是通过训练器来区分来自相同分布的配对样本和来自不同分布的配对样本来研究配对样本之间的关系。为此,我们探索了一个关系网络架构的数据库,并设计了一个三元组损失,执行更好的泛化和稳定性。在基准数据集上的大量实验表明,所提出的关系式和新的损失可以提供显着的改善,包括无条件和有条件的图像生成和图像翻译的可变视觉任务。
2020-03-17 cs.CV cs.LG eess.IV
Relational Surrogate Loss Learning
The University of Sydney(悉尼大学);SenseTime Research(商汤科技研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学);University of Science and Technology of China(中国科学技术大学)
机器学习中的评估度量通常很难被视为损失函数,因为它们可能是不可微和不可分解的,例如,平均精度和F1得分。本文旨在通过重新审视替代损失学习来解决这个问题,其中采用深度神经网络来近似评估指标。与其通过深度神经网络来追求评估度量的精确恢复,我们被提醒这些评估度量存在的目的,即区分一个模型比另一个模型更好还是更差。在本文中,我们表明,直接维护代理损失和指标之间的模型的关系就足够了,并提出了一种基于秩相关的优化方法,以最大限度地提高这种关系,并学习代理损失。与以前的作品相比,我们的方法更容易优化,并享有显着的效率和性能增益。大量的实验表明,我们的方法实现了各种任务,包括图像分类和神经机器翻译的改进,甚至优于人类姿势估计和机器阅读理解任务的最先进的方法。代码可在:https://github.com/hunto/ReLoss.
2022-02-26 cs.CV cs.LG
Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers
Department of Electrical Engineering(电气工程系);Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
本文研究了预归一化变换器中归一化层的必要性,提出了一种门控归一化移除方法,通过TaperNorm逐步将归一化操作转为样本无关的线性或仿射映射,并揭示了最终归一化层对预logit表示尺度的锚定作用。
2026-05-19 cs.CL cs.LG
Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction
Princeton University(普林斯顿大学)
归一化层(例如,批量归一化、层归一化)被引入来帮助解决非常深的网络中的优化困难,但它们显然也有助于泛化,即使在不那么深的网络中。出于长期以来的信念,平坦的最小值导致更好的泛化,本文给出了数学分析和支持实验表明,归一化(连同伴随的重量衰减)鼓励GD,以减少损失表面的尖锐性。这里的“锐度”是仔细定义的,因为损失是尺度不变的,这是归一化的一个已知结果。具体来说,对于一个相当广泛的类神经网络与规范化,我们的理论解释了如何GD与有限的学习率进入所谓的边缘稳定(EoS)制度,并通过一个连续的尖锐度降低流的GD在这个制度的轨迹特征。
2023-01-17 cs.AI cs.LG
Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
Department of Electrical and Computer Engineering, University of Waterloo, Waterloo, Canada(滑铁卢大学电气与计算机工程系);The Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada(多伦多大学Edward S. Rogers Sr.电气与计算机工程系)
本文提出归一化条件互信息作为替代交叉熵损失,通过实验表明其在图像识别和全滑片成像任务中显著提升模型性能。
2026-01-18 cs.AI cs.CV cs.IT
Efficient Symmetric Norm Regression via Linear Sketching
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Columbia University(哥伦比亚大学)
我们提供了有效的算法过约束线性回归问题的大小$n \times d$时的损失函数是一个对称的范数(符号翻转和坐标置换下的范数不变)。一类重要的对称范数是Orlicz范数,其中对于函数$G$和向量$y \in \mathbb{R}^n$,相应的Orlicz范数$\|y\|_G$被定义为唯一值$α$,使得$\sum_{i=1}^n G(|y_i|/α) = 1$。当损失函数是一个Orlicz规范,我们的算法产生一个$(1 + \varepsilon)$ -近似解任意小常数$\varepsilon > 0$在输入稀疏时间,提高了以前最有名的算法,产生一个$d \cdot \mathrm{polylog} n$ -近似解。当损失函数是一个一般的对称范数,我们的算法产生一个$\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$近似的解决方案,在输入稀疏时间,其中$\mathrm{mmc}(\ell)$是一个数量相关的对称范数考虑。据我们所知,这是第一个输入稀疏时间算法与可证明的保证一般类对称范数回归问题。我们的研究结果揭示了解决线性回归的普遍素描问题,该技术可能是独立的兴趣,更广泛的数值线性代数问题。
2019-10-07 cs.DS cs.LG