Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions
Department of Mathematics and Statistics, University of Massachusetts Amherst(数学与统计学系,马萨诸塞大学阿默斯特分校);School of Mathematics, Georgia Institute of Technology(数学学院,佐治亚理工学院)
本文证明Lipschitz正则化α-散度在生成建模中具有鲁棒性,仅需源分布有限一阶矩即可稳定学习任意目标分布,并给出重尾条件下的充分必要条件及样本复杂度界,实验验证其在重尾、低维等挑战场景的有效性。
2025-09-08 cs.LG stat.ML
Distributionally Robust Bayesian Optimization with $φ$-divergences
Amazon(亚马逊)
本文研究基于φ-散度的分布鲁棒贝叶斯优化问题,将其转化为有限维优化问题,提出计算易处理且具有次线性遗憾界的算法,并通过实验验证其优于现有方法。
2023-10-28 cs.LG math.OC stat.ML
Optimal Transport Regularized Divergences: Application to Adversarial Robustness
Department of Mathematics(数学系);Texas State University(德克萨斯州立大学);School of Information Systems and Management(信息系统与管理学院);University of South Florida(佛罗里达州立大学)
本文提出由信息散度与 OT 代价下确界卷积构造的 $D^c$,并据此设计 $ARMOR_D$,通过对抗样本传输与动态重加权增强 DRO 训练,显著提升多种方法在 CIFAR 数据集上的 AutoAttack 鲁棒性。
2025-07-24 cs.LG stat.ML
Sinkhorn Divergences for Unbalanced Optimal Transport
CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Université Paris-Est Marne-la-Vallée(巴黎东-马恩拉瓦莱大学)
最优输运在概率分布之间引入了地球移动器(Wasserstein)距离,这是一种与广泛问题相关的几何发散。在过去的十年中,最优输运的两个松弛已被深入研究:不平衡输运,这是鲁棒的离群值的存在,并可以使用时,分布不具有相同的总质量;熵正则化的运输,这是鲁棒的采样噪声,并适合于使用Sinkhorn算法的快速计算。本文结合了这两条线的工作,把坚实的地面上强大的最优输运。我们的主要贡献是一个概括的Sinkhorn算法不平衡的运输:我们的方法交替之间的标准Sinkhorn更新和逐点应用的收缩函数。这意味着网格图像、点云和采样分布上的熵输运求解器都可以很容易地进行修改以支持不平衡输运,并证明在所有设置中都具有线性收敛。然后,我们展示了如何使用这种方法来定义伪距离的积极措施,满足关键的几何公理:(不平衡)Sinkhorn分歧是可微的,积极的,明确的,凸的,统计上的强大,并避免任何“熵偏差”对收缩的措施的支持。
2023-01-16 cs.LG math.OC stat.ML
ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
针对神经组合优化模型在分布偏移下的脆弱性,提出ASAP框架,通过将决策分解为提案和选择两阶段,并利用MAML增强在线适应能力,在3D-BPP、TSP和CVRP上提升了泛化性能。
2026-06-02 cs.AI cs.LG
When Optimizing $f$-divergence is Robust with Label Noise
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们表明,当最大化一个正确定义的$f$ -发散措施相对于分类器的预测和监督标签是强大的标签噪声。利用它的变分形式,我们得到一个很好的解耦属性的家庭$f$的分歧措施时,标签噪声的存在,其中的分歧是一个线性组合的变分差定义的清洁分布和偏见项由于噪声。上述推导有助于我们分析不同$f$ -发散函数的鲁棒性。随着建立的鲁棒性,这个家庭的$f$发散函数出现作为有用的度量的问题,学习与噪声标签,这不需要规范的标签的噪声率。当它们可能不健壮时,我们会提出修复措施来使它们变得健壮。除了分析结果,我们提出了彻底的实验证据。我们的代码可在https://github.com/UCSC-REAL/Robust-f-divergence-measures上获得。
2021-08-18 cs.LG stat.ML
Active Learning by Query by Committee with Robust Divergences
The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
主动学习是一种广泛使用的方法,用于解决各种具有高测量成本的问题。在主动学习中,通过获取功能选择下一个要测量的对象,并且依次执行测量。委员会查询是一个众所周知的获取功能。在传统的方法中,委员会的分歧被量化为库尔贝克-莱布勒散度。本文用Bregman散度定义了分歧的度量,其中包括库尔贝克-莱布勒散度和对偶$γ$ -幂散度.作为Bregman发散的一个特殊类,我们考虑了$β$ -发散.通过推导影响函数,我们证明了使用$β$ -散度和双$γ$ -幂散度的方法比传统的用库尔贝克-莱布勒散度定义不一致度量的方法具有更好的鲁棒性.实验结果表明,该方法的性能与传统方法相当,甚至优于传统方法。
2022-11-18 cs.LG stat.ML
Robust Diffusion Models via Divergence-Induced Weighted Denoising
LunarAI LLC(LunarAI公司);Fox School of Business Temple University(Temple大学商学院)
提出用f-散度非线性变换替代扩散模型中的MSE去噪损失,构建鲁棒训练代理,通过局部散度构造统一训练目标,在数据污染下提升性能。
2026-06-23 cs.LG stat.ML
Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
我们提出了第一个强大的贝叶斯在线变点检测算法,通过一般贝叶斯推断(GBI)与$β$ -分歧。由此产生的推理过程是双重强大的参数和变点(CP)后,线性时间和恒定的空间复杂度。我们提供了一个指数模型的构造,并在贝叶斯线性回归模型上进行了演示。在这样做时,我们做了两个额外的贡献:首先,我们使GBI可扩展的结构变分近似是精确的$β\to 0$。其次,我们给出了一个原则性的方法来选择的分歧参数$β$的期望预测损失最小的在线。将CP的错误发现率从超过90%降低到真实世界数据的0%,这提供了最先进的技术。
2018-11-27 cs.LG stat.ML
Robust Bi-Tempered Logistic Loss Based on Bregman Divergences
University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们在指数函数中引入温度,并将神经网络的softmax输出层替换为高温泛化。类似地,我们用于训练的对数损失中的对数被低温对数取代。通过调节两个温度,我们创建了在单层情况下已经是非凸的损失函数。当用我们对逻辑损失的双温度概括替换神经网络的最后一层时,训练对噪声变得更加鲁棒。我们在一个简单的设置中可视化调整两个温度的效果,并显示我们的方法在大数据集上的有效性。我们的方法是基于Bregman分歧和优于相关的两个温度的方法使用Tsallis分歧。
2019-09-23 cs.LG stat.ML
Robust Phi-Divergence MDPs
City University of Hong Kong(香港城市大学);University of New Hampshire(新罕布什尔大学);Imperial College London(帝国理工学院)
针对动态决策中的不确定性问题,提出一种求解s-矩形phi-散度模糊集鲁棒MDPs的框架,通过分解为鲁棒Bellman更新与单纯形投影求解,速度显著优于现有方法,为实际应用提供了经典MDPs的替代方案。
2023-01-12 cs.LG math.OC
Robust Semi-supervised Learning via $f$-Divergence and $α$-Rényi Divergence
The Alan Turing Institute(阿兰·图灵研究所);Sharif University of Technology(谢里夫理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文基于 $f$-散度和 $α$-Rényi 散度提出适用于半监督自训练的经验风险函数与正则化方法,提升了对含噪伪标签的鲁棒性,并在特定条件下优于传统自训练方法。
2024-05-01 cs.IT cs.LG math.IT
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning
HKUST(香港理工大学);University of Southern California(南加州大学)
本文研究了基于分歧的S-矩形分布鲁棒强化学习的经验价值迭代算法,推导出近优样本复杂性界,并通过实验验证了算法在鲁棒库存控制中的高效性。
2026-04-28 cs.LG stat.ML
Model-Free Robust $ϕ$-Divergence Reinforcement Learning Using Both Offline and Online Data
California Institute of Technology(加州理工学院)
针对名义模型与真实环境不匹配导致的参数不确定性,论文提出无模型 RPQ 与混合离线/在线数据的 HyTQ 算法,并在一般函数逼近和大状态空间下给出鲁棒策略的理论保证。
2024-05-08 cs.LG stat.ML
Ambiguity set and learning via Bregman and Wasserstein
鲁棒优化中模糊集的构造依赖于概率分布之间的分歧的选择。在分布学习中,根据观测数据选择合适的概率分布对于逼近真实分布至关重要。为了提高机器学习模型的性能,最近人们对基于Lp-瓦瑟斯坦距离而不是经典的Kullback-Leibler(KL)散度来设计目标函数感兴趣。在本文中,我们得到的浓度和渐近结果使用Bregman分歧。我们提出了一种新的非对称的统计分歧称为Wasserstein-Bregman分歧作为L2-瓦瑟斯坦距离的推广。我们讨论了如何将这些结果应用于鲁棒优化中的模糊集的构造。
2017-05-23 cs.LG stat.ML
Smoothed $f$-Divergence Distributionally Robust Optimization
本文提出一种基于平滑$f$-散度的分布鲁棒优化方法,能有效纠正样本平均近似的“优化者诅咒”,在统计上达到近乎最优的样本外性能界限,且计算复杂度不高于现有DRO方法。
2023-10-12 cs.LG math.OC stat.ML
Learning Divergence Fields for Shift-Robust Graph Representations
MoE Lab of AI, Shanghai Jiao Tong University(上海交通大学教育部人工智能重点实验室)
本文提出一种带可学习散度场的几何扩散模型,通过随机扩散率和因果推断学习跨领域稳定的相互依赖模式,并给出GCN、GAT和Transformer的广义版本,以提升图模型在分布偏移下的泛化能力。
2024-06-07 cs.AI cs.LG
Variational Self-Supervised Contrastive Learning Using Beta Divergence
Sabanci University(萨班哲大学);Türkiye(土耳其)
针对多标签场景下未标注含噪数据的判别表示学习问题,提出结合 beta 散度的变分对比自监督方法 VCL,并在人脸理解多标签实验中取得优于现有自监督方法的准确率。
2024-05-08 cs.CV cs.LG
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO(联邦科学与工业研究组织数据61研究院);Monash University(莫纳什大学)
本文研究分布式预测器的对抗鲁棒性,提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验,并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Causal Graph Profiling via Structural Divergence for Robust Anomaly Detection in Cyber-Physical Systems
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学)
针对信息物理系统中传统异常检测方法易受分布偏移和类别不平衡影响的问题,提出基于因果图的异常检测框架 CGAD,通过动态贝叶斯网络学习因果不变图结构并利用结构差异检测异常,在四个工业数据集上显著提升了 F1 和 ROC-AUC 得分。
2025-08-13 cs.CR cs.LG
Robust Variational Autoencoder for Tabular Data with Beta Divergence
University of Southern California(南加利福尼亚大学);Amazon Web Service(亚马逊云科技)
我们提出了一个强大的变分自编码器与$β$分歧的表格数据(RTVAE)的混合分类和连续功能。变分自编码器(VAE)及其变体是异常检测问题的流行框架。主要假设是我们可以通过VAE学习正常模式的表示,任何偏离都可以指示异常。然而,训练数据本身可能包含离群值。训练数据中离群值的来源包括数据汇集过程本身(随机噪声)或可能以降低机器学习模型性能为目标的恶意攻击者(数据投毒)。在任何一种情况下,这些离群值都会不成比例地影响VAE的训练过程,并可能导致关于正常行为的错误结论。在这项工作中,我们推导出一种新形式的变分自编码器的表格数据集的分类和连续的功能,是强大的离群值在训练数据。在网络流量数据集的异常检测应用上的实验结果表明了该方法的有效性。
2020-06-16 cs.LG eess.IV eess.SP
REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
Department of Cybernetics FEE, Czech Technical University(控制系(FEE)捷克技术大学)
REDistill通过引入幂分歧损失,改进了知识蒸馏中教师噪声的处理,提高了学生模型的准确性和泛化能力。
2026-02-04 cs.CV cs.LG
Reverse KL-Divergence Training of Prior Networks: Improved Uncertainty and Adversarial Robustness
Yandex(扬达克斯);University of Cambridge(剑桥大学)
最近,用于不确定性估计的包围方法已被应用于误分类检测、分布外输入检测和对抗性攻击检测等任务。先验网络已经被提出作为一种方法,通过参数化输出分布上的狄利克雷先验分布来有效地\emph{emulate}用于分类的模型的集合。这些模型已被证明优于其他集成方法,如蒙特卡洛辍学,在任务的分布外输入检测。然而,使用最初提出的训练标准,将先验网络扩展到具有许多类的复杂数据集是困难的。本文有两个贡献。首先,我们证明了先验网络的适当训练准则是Dirichlet分布之间的\emph{reverse}库尔贝克-莱布勒散度。这解决了训练数据目标分布性质的问题,使先前的网络能够成功地训练任意多个类别的分类任务,并提高分布外检测性能。其次,利用这种新的训练准则,本文研究了使用先验网络检测对抗性攻击,并提出了一种广义形式的对抗性训练。结果表明,构建成功的\emph{adaptive}白盒攻击,影响预测和逃避检测,对先验网络训练CIFAR-10和CIFAR-100使用所提出的方法需要更大的计算量比对网络防御使用标准的对抗性训练或MC-辍学。
2019-12-02 cs.LG stat.ML
Generalized Jensen-Shannon Divergence Loss for Learning with Noisy Labels
KTH(瑞典皇家理工学院)
先前的工作已经发现,将可证明的噪声鲁棒损失函数,具有标准分类损失函数的平均绝对误差(MAE),例如交叉熵(CE),以提高其可学习性。在这里,我们建议使用Jensen-Shannon分歧作为噪声鲁棒性损失函数,并表明它有趣地在CE和MAE之间插值,并具有可控的混合参数。此外,我们做了一个重要的观察,CE表现出较低的一致性周围的噪声数据点。基于这一观察结果,我们采用了广义版本的詹森-香农分歧的多个分布,以鼓励数据点周围的一致性。使用这个损失函数,我们展示了合成(CIFAR)和真实世界(例如,WebVision)噪声,具有不同的噪声率。
2021-10-29 cs.CV cs.LG stat.ML
Provably robust learning of regression neural networks using $β$-divergences
Indian Statistical Institute(印度统计研究所)
本文提出基于β-分歧的rRNet框架,通过理论保证和实验证明其在回归神经网络中的稳健性和鲁棒性。
2026-02-09 cs.LG cs.NE stat.ME
Robust Variational Autoencoder
University of Southern California(南加州大学);Stevens Institute of Technology(史蒂文斯理工学院)
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况,离群值会严重降低学习的表示和训练模型的性能。在这里,我们应用鲁棒统计的概念,推导出一种新的变分自动编码器,它对训练数据中的离群值具有鲁棒性。变分自动编码器(VAE)提取低维编码特征表示,我们可以从中生成新的数据样本。当使用损坏的训练数据时,自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散,而不是标准的Kullback-Leibler(KL)发散。我们提出的下限导致RVAE模型,具有相同的计算复杂度的VAE,并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能,提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML
Robust Offline Reinforcement Learning with Linearly Structured f-Divergence Regularization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Duke University(杜克大学)
针对离线强化学习中的动力学偏移问题,提出线性结构 $d$-RRMDP 框架与 R2PVI 算法,利用线性函数逼近和 $f$-divergence 正则化学习鲁棒策略,并从理论上证明其近似最优且计算高效。
2025-10-30 cs.AI cs.LG cs.RO
A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set
本文提出了一种基于几何方法的分布鲁棒协方差估计器,通过优化分歧度量来实现收缩估计,具有高效计算和渐近一致性。
2025-11-23 cs.LG math.OC stat.ML
On the Robustness to Misspecification of $α$-Posteriors and Their Variational Approximations
Columbia University(哥伦比亚大学);Northwestern University(西北大学)
$α$ -后验和它们的变分近似通过降低似然的权重和引入变分近似误差来扭曲标准后验推断。我们表明,这种扭曲,如果调整适当,减少Kullback-Leibler(KL)偏离真实的,但也许是不可行的,后验分布时,有潜在的参数模型误设定。为了使这一点,我们推导出一个Bernstein-von Mises定理,显示收敛的全变差距离的$α$后验和他们的变分近似极限高斯分布。我们使用这些分布来评估真实和报告后验之间的库尔贝克-莱布勒散度。我们表明,这种分歧是最小化的选择严格小于一个$α$,假设有一个消失的小概率模型误设定。当错误设定变得更严重时,优化值变得更小。优化后的库尔贝克-莱布勒散度在错误指定的程度上线性增加,而不是像通常的后验那样线性增加。
2021-04-16 cs.LG math.ST stat.ML
No Unique Minimizer, No Problem: On the Consistency of Robust Neural Classifiers
Indian Institute of Management Bangalore(印度管理学院班加罗尔分校);Indian Statistical Institute, Kolkata(印度统计研究所加尔各答分所)
针对神经分类器参数不可识别导致鲁棒训练统计基础不足的问题,提出无需可识别性假设的S散度训练,经验极小值收敛至总体最优等价类,在基准数据集上性能与现有鲁棒方法相当。
2026-08-11 cs.LG stat.ME stat.ML