Resonance in Weight Space: Covariate Shift Can Drive Divergence of SGD with Momentum
University of Alberta(阿尔伯塔大学)
带动量的随机梯度下降(SGDm)的大多数收敛保证依赖于iid采样。然而,SGDm通常在此机制之外使用,在具有时间相关输入样本的设置中,例如持续学习和强化学习。已有的工作表明,具有衰减步长的SGDm可以在马尔可夫时间相关性下收敛。在这项工作中,我们表明,SGDm下协变量偏移与固定的步长可以是不稳定的和发散。特别是,我们显示SGDm下协变量偏移是一个参数振荡器,因此可以遭受称为共振的现象。我们近似的学习系统作为一个时变系统的常微分方程,并利用现有的理论来表征系统的发散/收敛的共振/非共振模式。理论结果仅限于具有周期性协变量偏移的线性设置,因此我们根据经验补充了该结果,以表明即使在非周期性协变量偏移、具有神经网络的非线性动力学和SGDm以外的优化器下,共振现象也会持续存在。
2022-03-22 cs.LG stat.ML
When Optimizing $f$-divergence is Robust with Label Noise
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们表明,当最大化一个正确定义的$f$ -发散措施相对于分类器的预测和监督标签是强大的标签噪声。利用它的变分形式,我们得到一个很好的解耦属性的家庭$f$的分歧措施时,标签噪声的存在,其中的分歧是一个线性组合的变分差定义的清洁分布和偏见项由于噪声。上述推导有助于我们分析不同$f$ -发散函数的鲁棒性。随着建立的鲁棒性,这个家庭的$f$发散函数出现作为有用的度量的问题,学习与噪声标签,这不需要规范的标签的噪声率。当它们可能不健壮时,我们会提出修复措施来使它们变得健壮。除了分析结果,我们提出了彻底的实验证据。我们的代码可在https://github.com/UCSC-REAL/Robust-f-divergence-measures上获得。
2021-08-18 cs.LG stat.ML
Active Learning by Query by Committee with Robust Divergences
The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
主动学习是一种广泛使用的方法,用于解决各种具有高测量成本的问题。在主动学习中,通过获取功能选择下一个要测量的对象,并且依次执行测量。委员会查询是一个众所周知的获取功能。在传统的方法中,委员会的分歧被量化为库尔贝克-莱布勒散度。本文用Bregman散度定义了分歧的度量,其中包括库尔贝克-莱布勒散度和对偶$γ$ -幂散度.作为Bregman发散的一个特殊类,我们考虑了$β$ -发散.通过推导影响函数,我们证明了使用$β$ -散度和双$γ$ -幂散度的方法比传统的用库尔贝克-莱布勒散度定义不一致度量的方法具有更好的鲁棒性.实验结果表明,该方法的性能与传统方法相当,甚至优于传统方法。
2022-11-18 cs.LG stat.ML
Extreme Dimension Reduction for Handling Covariate Shift
MIT(麻省理工学院);Duke University(杜克大学)
在协变量偏移学习场景中,训练协变量分布和测试协变量分布不同,因此预测变量在训练分布和测试分布上的平均损失也不同。在这项工作中,我们探讨了潜在的极端降维,即非常低的尺寸,在提高性能的重要性加权方法处理协变量偏移的转变,这失败的高维由于潜在的高训练/测试协变量的分歧和无法准确地估计所需的密度比。我们首先制定和解决一个问题,优化线性子空间的预测效用和训练/测试发散的组合。将其应用于模拟和真实数据,我们表明极端的降维有时会有帮助,但并不总是,由于降维引入的偏见。
2018-03-12 cs.AI cs.LG stat.ML
Robust Diffusion Models via Divergence-Induced Weighted Denoising
LunarAI LLC(LunarAI公司);Fox School of Business Temple University(Temple大学商学院)
提出用f-散度非线性变换替代扩散模型中的MSE去噪损失,构建鲁棒训练代理,通过局部散度构造统一训练目标,在数据污染下提升性能。
2026-06-23 cs.LG stat.ML
Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
The Alan Turing Institute(阿兰·图灵研究所);Sharif University of Technology(谢里夫理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文基于 $f$-散度和 $α$-Rényi 散度提出适用于半监督自训练的经验风险函数与正则化方法,提升了对含噪伪标签的鲁棒性,并在特定条件下优于传统自训练方法。
2024-05-01 cs.IT cs.LG math.IT
Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
我们提出了第一个强大的贝叶斯在线变点检测算法,通过一般贝叶斯推断(GBI)与$β$ -分歧。由此产生的推理过程是双重强大的参数和变点(CP)后,线性时间和恒定的空间复杂度。我们提供了一个指数模型的构造,并在贝叶斯线性回归模型上进行了演示。在这样做时,我们做了两个额外的贡献:首先,我们使GBI可扩展的结构变分近似是精确的$β\to 0$。其次,我们给出了一个原则性的方法来选择的分歧参数$β$的期望预测损失最小的在线。将CP的错误发现率从超过90%降低到真实世界数据的0%,这提供了最先进的技术。
2018-11-27 cs.LG stat.ML
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Robust Bi-Tempered Logistic Loss Based on Bregman Divergences
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们在指数函数中引入温度,并将神经网络的softmax输出层替换为高温泛化。类似地,我们用于训练的对数损失中的对数被低温对数取代。通过调节两个温度,我们创建了在单层情况下已经是非凸的损失函数。当用我们对逻辑损失的双温度概括替换神经网络的最后一层时,训练对噪声变得更加鲁棒。我们在一个简单的设置中可视化调整两个温度的效果,并显示我们的方法在大数据集上的有效性。我们的方法是基于Bregman分歧和优于相关的两个温度的方法使用Tsallis分歧。
2019-09-23 cs.LG stat.ML
Rethinking the Divergence Regularization in LLM RL
Tencent Hunyuan(腾讯混元);UIUC(伊利诺伊大学厄巴纳-香槟分校);NUS(新加坡国立大学)
针对PPO等方法的硬裁剪或硬掩码在长尾词汇中分布偏移代理不佳的问题,提出DRPO,用平滑的优势加权二次正则化替代硬掩码,保持信任区域几何的同时提供连续梯度权重,提升训练稳定性和效率。
2026-06-08 cs.LG
Feedback in Imitation Learning: The Three Regimes of Covariate Shift
Princeton(普林斯顿大学);Aurora Innovation(奥罗拉创新公司);Carnegie Mellon(卡内基梅隆大学)
模仿学习的实践者经常注意到,对先前行为的条件化策略导致学习者在原地的“坚持”错误和表现之间的巨大差异。互动的方法可以证明解决这个分歧,但需要反复查询的演示。最近的工作确定了这种分歧是源于一个“因果混淆”在预测当前的行动,并寻求消融因果方面的当前状态使用工具的因果推理。在这项工作中,我们认为,这种分歧只是协变量偏移的另一种表现形式,加剧了决策和输入功能之间的反馈设置。学习者通常依赖于对决策具有强预测性的特征,但这些特征受到强协变量偏移的影响。我们的工作证明了广泛的一类问题,这种转变可以减轻,理论上和实践中,利用模拟器,但没有任何进一步的查询专家演示。我们分析了现有的基准用于测试模仿学习的方法,并发现这些基准是可实现的和简单的,因此不足以捕捉更难的制度错误复合在现实世界中的决策问题。我们发现,在一个令人惊讶的对比与以前的文献,但与我们的理论相一致,天真的行为克隆提供了极好的结果。我们详细介绍了需要新的标准化基准,捕捉机器人问题中看到的现象。
2021-02-11 cs.LG cs.RO stat.ML
Statistical Guarantees for Distributionally Robust Optimization with Optimal Transport and OT-Regularized Divergences
Texas State University(德克萨斯州立大学)
本文研究了基于最优传输和OT正则化分歧的分布鲁棒优化在有限样本下的统计性能保障,推导了基于DRO的对抗训练的集中不等式,并首次覆盖了软约束范数球OT成本函数,提升了对抗训练的鲁棒性。
2026-03-29 cs.LG stat.ML
On the KL-Divergence-based Robust Satisficing Model
Fudan University(复旦大学);Shanghai University of Finance and Economics(上海财经大学)
针对经验风险最小化受优化器诅咒影响的问题,研究通用损失下基于KL散度的鲁棒满意模型,提出高效求解等方案,实验验证其性能优于现有基准。
2024-08-17 cs.LG
Robust Phi-Divergence MDPs
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学);Imperial College London(帝国理工学院)
针对动态决策中的不确定性问题,提出一种求解s-矩形phi-散度模糊集鲁棒MDPs的框架,通过分解为鲁棒Bellman更新与单纯形投影求解,速度显著优于现有方法,为实际应用提供了经典MDPs的替代方案。
2023-01-12 cs.LG math.OC
Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions
Department of Mathematics and Statistics, University of Massachusetts Amherst(数学与统计学系,马萨诸塞大学阿默斯特分校);School of Mathematics, Georgia Institute of Technology(数学学院,佐治亚理工学院)
本文证明Lipschitz正则化α-散度在生成建模中具有鲁棒性,仅需源分布有限一阶矩即可稳定学习任意目标分布,并给出重尾条件下的充分必要条件及样本复杂度界,实验验证其在重尾、低维等挑战场景的有效性。
2025-09-08 cs.LG stat.ML
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Duke University(杜克大学)
针对离线强化学习中的动力学偏移问题,提出线性结构 $d$-RRMDP 框架与 R2PVI 算法,利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略,并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
Smoothed $f$-Divergence Distributionally Robust Optimization
本文提出一种基于平滑$f$-散度的分布鲁棒优化方法,能有效纠正样本平均近似的“优化者诅咒”,在统计上达到近乎最优的样本外性能界限,且计算复杂度不高于现有DRO方法。
2023-10-12 cs.LG math.OC stat.ML
Distributionally Robust Bayesian Optimization with $φ$-divergences
Amazon(亚马逊)
本文研究基于φ-散度的分布鲁棒贝叶斯优化问题,将其转化为有限维优化问题,提出计算易处理且具有次线性遗憾界的算法,并通过实验验证其优于现有方法。
2023-10-28 cs.LG math.OC stat.ML
Robust Variational Autoencoder for Tabular Data with Beta Divergence
University of Southern California(南加利福尼亚大学);Amazon Web Service(亚马逊云科技)
我们提出了一个强大的变分自编码器与$β$分歧的表格数据(RTVAE)的混合分类和连续功能。变分自编码器(VAE)及其变体是异常检测问题的流行框架。主要假设是我们可以通过VAE学习正常模式的表示,任何偏离都可以指示异常。然而,训练数据本身可能包含离群值。训练数据中离群值的来源包括数据汇集过程本身(随机噪声)或可能以降低机器学习模型性能为目标的恶意攻击者(数据投毒)。在任何一种情况下,这些离群值都会不成比例地影响VAE的训练过程,并可能导致关于正常行为的错误结论。在这项工作中,我们推导出一种新形式的变分自编码器的表格数据集的分类和连续的功能,是强大的离群值在训练数据。在网络流量数据集的异常检测应用上的实验结果表明了该方法的有效性。
2020-06-16 cs.LG eess.IV eess.SP
Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning
HKUST(香港理工大学);University of Southern California(南加州大学)
本文研究了基于分歧的S-矩形分布鲁棒强化学习的经验价值迭代算法,推导出近优样本复杂性界,并通过实验验证了算法在鲁棒库存控制中的高效性。
2026-04-28 cs.LG stat.ML
Model-Free Robust $ϕ$-Divergence Reinforcement Learning Using Both Offline and Online Data
California Institute of Technology(加州理工学院)
针对名义模型与真实环境不匹配导致的参数不确定性,论文提出无模型 RPQ 与混合离线/在线数据的 HyTQ 算法,并在一般函数逼近和大状态空间下给出鲁棒策略的理论保证。
2024-05-08 cs.LG stat.ML
Ambiguity set and learning via Bregman and Wasserstein
鲁棒优化中模糊集的构造依赖于概率分布之间的分歧的选择。在分布学习中,根据观测数据选择合适的概率分布对于逼近真实分布至关重要。为了提高机器学习模型的性能,最近人们对基于Lp-瓦瑟斯坦距离而不是经典的Kullback-Leibler(KL)散度来设计目标函数感兴趣。在本文中,我们得到的浓度和渐近结果使用Bregman分歧。我们提出了一种新的非对称的统计分歧称为Wasserstein-Bregman分歧作为L2-瓦瑟斯坦距离的推广。我们讨论了如何将这些结果应用于鲁棒优化中的模糊集的构造。
2017-05-23 cs.LG stat.ML
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH(瑞典皇家理工学院)
先前的工作已经发现,将可证明的噪声鲁棒损失函数,具有标准分类损失函数的平均绝对误差(MAE),例如交叉熵(CE),以提高其可学习性。在这里,我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数,并表明它有趣地在CE和MAE之间插值,并具有可控的混合参数。此外,我们做了一个重要的观察,CE表现出较低的一致性周围的噪声数据点。基于这一观察结果,我们采用了广义版本的詹森-香农分歧的多个分布,以鼓励数据点周围的一致性。使用这个损失函数,我们展示了合成(CIFAR)和真实世界(例如,WebVision)噪声,具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
Sinkhorn Divergences for Unbalanced Optimal Transport
CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Université Paris-Est Marne-la-Vallée(巴黎东-马恩拉瓦莱大学)
最优输运在概率分布之间引入了地球移动器(Wasserstein)距离,这是一种与广泛问题相关的几何发散。在过去的十年中,最优输运的两个松弛已被深入研究:不平衡输运,这是鲁棒的离群值的存在,并可以使用时,分布不具有相同的总质量;熵正则化的运输,这是鲁棒的采样噪声,并适合于使用Sinkhorn算法的快速计算。本文结合了这两条线的工作,把坚实的地面上强大的最优输运。我们的主要贡献是一个概括的Sinkhorn算法不平衡的运输:我们的方法交替之间的标准Sinkhorn更新和逐点应用的收缩函数。这意味着网格图像、点云和采样分布上的熵输运求解器都可以很容易地进行修改以支持不平衡输运,并证明在所有设置中都具有线性收敛。然后,我们展示了如何使用这种方法来定义伪距离的积极措施,满足关键的几何公理:(不平衡)Sinkhorn分歧是可微的,积极的,明确的,凸的,统计上的强大,并避免任何“熵偏差”对收缩的措施的支持。
2023-01-16 cs.LG math.OC stat.ML
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University(哥伦比亚大学);Northwestern University(西北大学)
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明,这种扭曲,如果调整适当,减少Kullback-Leibler(KL)偏离真实的,但也许是不可行的,后验分布时,有潜在的参数模型误设定。为了使这一点,我们推导出一个Bernstein-von Mises定理,显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明,这种分歧是最小化的选择严格小于一个$α$,假设有一个消失的小概率模型误设定。当错误设定变得更严重时,优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加,而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
Robust Variational Autoencoder
University of Southern California(南加州大学);Stevens Institute of Technology(史蒂文斯理工学院)
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况,离群值会严重降低学习的表示和训练模型的性能。在这里,我们应用鲁棒统计的概念,推导出一种新的变分自动编码器,它对训练数据中的离群值具有鲁棒性。变分自动编码器(VAE)提取低维编码特征表示,我们可以从中生成新的数据样本。当使用损坏的训练数据时,自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散,而不是标准的Kullback-Leibler(KL)发散。我们提出的下限导致RVAE模型,具有相同的计算复杂度的VAE,并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能,提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML