Deep Network Regularization via Bayesian Inference of Synaptic Connectivity
Cyprus University of Technology（塞浦路斯理工大学）
深度神经网络（DNN）通常需要好的正则化器来很好地泛化。目前，最先进的DNN正则化技术包括在训练算法的每次迭代中随机丢弃单元和/或连接。Dropout和DropConnect是这种正则化器的典型例子，在实践者中广泛流行。然而，这种方法的缺点在于，它们假定的随机单元/连接省略的概率是一个常数，必须基于在某个验证集中获得的性能来选择该常数。为了减轻这一负担，在本文中，我们从贝叶斯推理的角度考虑DNN正则化问题：我们在网络突触权重上施加一个稀疏诱导先验，其中稀疏性是由一组Bernoulli分布的二进制变量与其先验参数的Beta（超）先验引起的。通过这种方式，我们最终允许在DNN突触连接上进行边缘化以生成输出，从而产生一种有效的、无复杂性的网络正则化方案。我们通过一个有效的黑盒变分推理方案进行贝叶斯推理的层次模型。通过使用基准数据集进行广泛的实验评估，我们展示了我们的方法比现有方法的优势。
2018-03-04 cs.LG stat.ML
Learning by Fixing: Solving Math Word Problems with Weak Supervision
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
以前的数学应用题（MWP）神经解决器是在完全监督下学习的，无法生成多样化的解决方案。在本文中，我们解决这个问题，通过引入一个\textit{weakly-supervised}范式学习MWPs。我们的方法只需要最终答案的注释，可以为单个问题生成各种解决方案。为了增强弱监督学习，我们提出了一种新的\textit{learning-by-fixing}（LBF）框架，它通过符号推理纠正了神经网络的误解。具体地，对于由神经网络生成的不正确的解决方案树，\textit{fixing}机制将错误从根结点传播到叶节点，并推断可以被执行以获得期望的答案的最可能的修复。为了生成更多样化的解决方案，应用\textit{tree regularization}来指导解决方案空间的有效收缩和探索，并且设计\textit{memory buffer}来跟踪和保存针对每个问题发现的各种修复。在Math23 K数据集上的实验结果表明，该LBF框架在弱监督学习中的性能明显优于强化学习基线。此外，它实现了与完全监督方法相比相当的前1和更好的前3/5答案准确度，证明了其在产生不同解决方案方面的实力。
2021-08-03 cs.AI cs.CL cs.LG
Diagnosing and fixing common problems in Bayesian optimization for molecule design
University of Cambridge（剑桥大学）
本文指出了分子设计中贝叶斯优化的三个常见陷阱（先验宽度不当、过度平滑、采集函数最大化不足），并证明修复后基本BO设置在PMO基准上取得最高性能，呼吁分子机器学习社区给予BO更多关注。
2024-07-25 cs.LG physics.chem-ph stat.ML
Knowledge-Based Regularization in Generative Modeling
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）
先验领域知识可以极大地帮助学习生成模型。然而，将先验知识硬编码为特定的模型架构通常成本太高，因此我们通常不得不使用通用模型。在本文中，我们提出了一种方法，将先验知识的特征关系到通用生成模型的学习。为此，我们制定了一个正则化，使边缘的生成模型，以遵循规定的相对依赖的功能。它可以被纳入许多生成模型的现成学习方法中，包括变分自编码器和生成对抗网络，因为它的梯度可以使用标准的反向传播技术计算。通过在多种数据集和生成模型上的实验，我们证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
Function-Space Regularization for Deep Bayesian Classification
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
针对权重空间先验难以解释和设定的问题，本文提出在预测空间使用 Dirichlet 先验并进行近似函数空间变分推断，使先验可跨模型复用，并提升不确定性量化与对抗鲁棒性。
2023-07-12 cs.LG stat.ML
Compressed Sensing with Deep Image Prior and Learned Regularization
University of Texas（得克萨斯大学）；University of Southern California（南加利福尼亚大学）
我们提出了一种使用未经训练的深度生成模型进行压缩感知恢复的新方法。我们的方法基于最近提出的深度图像先验（DIP），其中网络的卷积权重被优化以匹配观察到的测量。我们表明，这种方法可以应用于解决任何可微线性逆问题，优于以前的未学习的方法。与基于生成模型的各种学习方法不同，我们的方法不需要在大型数据集上进行预训练。我们进一步介绍了一种新的学习正则化技术，它结合了网络权重的先验信息。这减少了重建误差，特别是对于有噪声的测量。最后，我们证明，使用DIP优化方法，适度过参数化的单层网络可以完美地拟合任何信号，尽管非凸性的拟合问题。这一理论结果为早期停止提供了依据。
2020-10-29 cs.IT cs.LG math.IT
Dynamic Regularizer with an Informative Prior
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
正则化方法，特别是那些直接改变权重的方法，如$L_1$和$L_2$，是许多学习算法的组成部分。上面提到的两个正则化子都是通过假设参数空间中的某些先验来制定的，这些假设在某些情况下会导致参数空间中的稀疏性。正则化器通过在损失函数中引入足够的项来帮助转移人们对数据集或参数空间的信念。任何一种公式都代表一组特定的信念：$L_1$正则化表示参数空间应该是稀疏的，而$L_2$正则化表示参数空间应该是有界和连续的。这些规则化者反过来利用某些先验知识来表达这些固有的信念。更好地理解先验如何影响参数的行为以及如何基于数据集更新先验可以极大地提高函数估计器的泛化能力。在这项工作中，我们引入了一个弱信息先验，然后进一步将其扩展到一个信息先验，以制定一个正则化惩罚，这表明更好的结果在诱导稀疏性实验方面，相比仅基于高斯和拉普拉斯先验的正则化。实验上，我们验证了基于自适应先验的正则化器可以提高任何网络的泛化能力。我们说明了MNIST和CIFAR-10数据集上所提出的方法的性能。
2019-10-31 cs.CV cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2012-06-23 cs.LG stat.ML
Bayesian Structure Learning for Markov Random Fields with a Spike and Slab Prior
University of California, Irvine（加州大学欧文分校）
近年来，已经开发了许多方法来自动学习马尔可夫随机场的（稀疏）连接结构。这些方法大多基于L1正则化优化，其具有许多缺点，例如无法评估模型的不确定性和昂贵的交叉验证以找到最佳正则化参数。此外，模型的预测性能可能会随着正则化参数的次优值（有时需要引入稀疏性）而急剧下降。我们提出了一个完全贝叶斯方法的基础上的“尖峰和板坯”前（类似于L0正则化），不受这些缺点。我们开发了一个近似MCMC方法结合朗之万动力学和可逆跳MCMC进行推断在这个模型。实验表明，该模型学习的结构和参数值的良好组合，而不需要单独的超参数调整。此外，该模型的预测性能比基于L1的方法更鲁棒，超参数设置会导致高度稀疏的模型结构。
2014-08-09 cs.LG stat.ML
Density-Informed VAE (DiVAE): Reliable Log-Prior Probability via Density Alignment Regularization
Department of Mathematics, Informatics and Geosciences, University of Trieste（特里埃斯特大学数学、信息学与地球科学系）；Laboratory of Data Engineering, Area Science Park, Trieste, Italy（数据工程实验室，特里埃斯特科学园）
DiVAE通过密度对齐正则化提升VAE的对数先验概率可靠性，改进潜在分布对齐、先验覆盖和OOD不确定性校准。
2025-12-03 cs.LG
Improved Robustness and Safety for Pre-Adaptation of Meta Reinforcement Learning with Prior Regularization
University of Michigan（密歇根大学）；Ford Research and Advanced Engineering（福特研究与高级工程中心）
Meta强化学习（Meta-RL）最近取得了重大进展。特别是，开发了off-policy方法来提高Meta-RL技术的数据效率。\textit{Probabilistic embeddings for actor-critic RL}（PEARL）是解决多MDP适应问题的领先方法。许多现有的Meta-RL方法（包括PEARL）的一个主要缺点是，当第一次暴露给新任务时，它们没有明确考虑先前策略的安全性。安全对于许多现实世界的应用至关重要，包括现场机器人和自动驾驶汽车（AV）。在本文中，我们开发了PEARL PLUS（PEARL $^+$）算法，该算法优化了先前（预适应）的安全性和之后（适应后）的性能。在PEARL算法的基础上，我们提出的PEARL $^+$算法在奖励函数中引入了一个先验正则化项，并引入了一个新的Q-网络，用于在先验上下文假设下恢复状态-动作值，以提高对任务分布偏移的鲁棒性和训练网络首次暴露于新任务时的安全性。PEARL $^+$的性能进行了验证，通过解决三个安全关键问题的机器人和自动驾驶汽车，包括两个MuJoCo基准问题。仿真实验表明，与PEARL相比，该策略的安全性得到了显著提高，并且对任务分布偏移具有更强的鲁棒性。
2023-02-09 cs.LG
Regularization for Shuffled Data Problems via Exponential Family Priors on the Permutation Group
George Mason University（乔治梅森大学）；U.S. Census Bureau（美国人口普查局）
在分析由（X，Y）对组成的数据集时，一个默认的假设是每个对对应于相同的观察单元。然而，如果这样的对是通过两个文件的记录链接获得的，则由于不匹配错误根源（例如，在两个文件中缺乏可靠的标识符），可能违反该假设。最近，在术语“混洗数据”下，对这种设置的兴趣激增，其中（X，Y）对的潜在正确配对通过未知索引排列表示。置换的显式建模往往与大量的过拟合相关联，这促使需要合适的正则化方法。在本文中，我们提出了一个灵活的指数家庭事先置换群，可用于整合各种结构，如稀疏和局部约束洗牌。这个先验证明是共轭的典型洗牌数据的问题，其中的可能性条件的固定排列可以表示为产品在相应的（X，Y）对。推理是基于期望最大化算法，其中棘手的E-步骤是近似的Fisher-Yates算法。如果（X，Y）-对的似然函数具有指数族形式，则M-步可以将$n^2$显著地减少到$n$项，这与广义线性模型的情形相同.合成和真实数据的比较表明，所提出的方法优于竞争的方法。
2021-11-02 cs.LG stat.ME stat.ML
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS（Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS）
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证，提出兼具粘性与几何Hessian驱动阻尼的惯性算法，并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Expressive Score-Based Priors for Distribution Matching with Geometry-Preserving Regularization
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN, USA（电子工程系，普渡大学，西拉法基，印第安纳州，美国）
针对现有分布匹配方法的可扩展性差、训练不稳定等问题，提出基于具表达力的分数先验的似然式分布匹配训练方法，通过去噪分数匹配训练先验，兼具稳定性与效率，多任务性能优越。
2025-06-17 cs.CY cs.LG
RSR-NF: Neural Field Regularization by Static Restoration Priors for Dynamic Imaging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对dCT中欠采样严重且缺乏动态真值数据的问题，提出RSR-NF，用神经场表示动态对象并通过RED引入学习型静态恢复先验，结合ADMM优化，显著提升重建质量。
2025-03-13 cs.CV cs.LG eess.IV
Deep image prior for 3D magnetic particle imaging: A quantitative comparison of regularization techniques on Open MPI dataset
University of Bremen（不来梅大学）
磁性粒子成像（MPI）是一种利用（超）顺磁性纳米粒子的非线性磁化行为来获得由这些纳米粒子组成的示踪剂的空间依赖性浓度并且通常也是时间依赖性浓度的成像模式。MPI具有不断增加的潜在医疗应用数量。在这些应用中成功执行的一个先决条件是图像重建问题的适当解决方案。来自逆问题理论的更经典的方法，以及来自机器学习领域的新方法，有可能在MPI中提供高质量的重建。我们研究了一种基于深度图像先验的新型重建方法，该方法建立在通过深度神经网络表示解决方案的基础上。新的方法，以及变分和迭代正则化技术，定量比较的峰值信噪比和结构相似性指数公开可用的开放MPI数据集。
2020-07-03 cs.CV cs.LG eess.IV
Uncovering and Fixing Collider Bias in Bayesian PINNs
TU Graz（格拉茨工业大学）
该研究揭示贝叶斯物理信息神经网络（B-PINNs）的碰撞器偏差问题，提出层次链模型结合粒子MCMC方法修正偏差，经实验验证其有效性。
2026-10-20 cs.AI cs.LG
Deep Convolutional Neural Networks with Spatial Regularization, Volume and Star-shape Priori for Image Segmentation
Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
我们使用深度卷积神经网络（DCNN）来解决图像分割问题。DCNN可以很好地从自然图像中提取特征。然而，现有CNN网络架构中的分类功能很简单，缺乏处理重要空间信息的能力，而许多著名的传统变分模型都是这样做的。现有的DCNN不能很好地处理空间规律性、体积先验和对象形状等先验信息。我们提出了一种新的软阈值动态（STD）框架，可以很容易地集成到DCNN图像分割的经典变分模型的许多空间先验。我们的方法的新颖之处在于将softmax激活函数解释为变分问题中的对偶变量，因此可以在对偶空间中施加许多空间先验。从这个角度出发，我们可以建立一个基于STD的框架，该框架可以使DCNN的输出具有许多特殊的先验，如空间规则性，体积约束和星形先验。该方法是一个通用的数学框架，它可以应用于任何语义分割DCNN。为了证明我们的方法的效率和准确性，我们将其应用于流行的DeepLabV3+图像分割网络，实验结果表明，我们的方法可以有效地工作在数据驱动的图像分割DCNN。
2020-02-10 cs.CV cs.LG
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出贝叶斯自适应矩正则化（BAdam）方法，通过更好地约束参数增长来减少灾难性遗忘，在Split MNIST等基准上实现基于先验方法的最先进性能，且无需任务标签或离散边界。
2024-07-24 cs.LG
Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization
Rochester Data Science Consortium（罗切斯特数据科学联盟）；University of Rochester（罗切斯特大学）
包括GANs和标准化流模型在内的深度生成框架已被证明可以通过显式或隐式地有效学习复杂的高维统计分布，成功地填补部分观察到的数据样本中的缺失值。然而，在可用于学习的数据仅被部分观察的任务中，它们的性能作为数据缺失率的函数单调衰减。在高丢失数据率状态（例如，60%及以上），已经观察到，最先进的模型往往会崩溃并产生不切实际和/或语义不准确的数据。我们提出了一个新的框架，以促进学习的数据分布在高匮乏的情况下，传统的配方的不适定问题的解决方案的启发。所提出的框架自然源于将从不完整数据中学习的过程作为正在学习的模型参数和缺失数据值的联合优化任务。该方法涉及强制执行先验正则化项，该先验正则化项与用于训练显式和易处理的深度生成框架（例如深度规范化流模型）的目标无缝集成。我们通过广泛的实验验证表明，所提出的框架优于竞争技术，特别是当数据匮乏的速度接近统一。
2021-04-03 cs.CV cs.LG
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis（圣路易斯华盛顿大学）
即插即用先验（Plug-and-Play Priors，PPENS）和去噪正则化（Regularization by Denoising，RED）是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上，但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型（DEQ）框架通过隐式差分定点方程，实现了PPENDIX/RED先验的存储高效的端到端学习，而无需存储中间激活值。然而，依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略，通过随机近似的测量模型，提高效率的DEQ。我们从理论上分析了ODER，深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明，由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology（京东科技京东智能城市研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
离线强化学习（RL）的大多数现有方法利用\textit{behavior regularization}，通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而，这些方法缺乏保证的性能改进的行为策略。在这项工作中，我们从学习策略和行为策略之间的性能差异出发，我们推导出一个新的策略学习目标，可以用于离线设置，它对应于优势函数值的行为策略，乘以状态边际密度比。我们提出了一个实用的方法来计算密度比，并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同，这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离，从而导致更好的性能和稳定性。因此，我们将我们得到的算法软行为正则化演员评论（SBAC）。我们的实验结果表明，SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Plug-and-Play Regularization on Magnitude with Deep Priors for 3D Near-Field MIMO Imaging
METU（中东技术大学）
本文提出一种基于深度先验的幅度即插即用正则化方法，通过ADMM框架和三维深度去噪器，实现快速高效的三维近场MIMO成像重建，性能优于传统方法。
2024-03-13 cs.LG eess.IV eess.SP
Diffusion prior as a direct regularization term for FWI
Mines Paris, PSL Research University（巴黎 Mines 大学，PSL 研究大学）
针对传统扩散先验应用于全波形反演（FWI）时存在的不稳定问题，本研究提出将预训练DDPM作为生成扩散先验，通过分数重匹配策略直接作为正则项集成到FWI中，提升了反演的保真度、鲁棒性与计算效率。
2025-06-11 cs.LG math.OC physics.geo-ph
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Pseudo Labels Regularization for Imbalanced Partial-Label Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
部分标签学习（PLL）是弱监督学习的一个重要分支，其特征在于单一的基本事实存在于一组候选标签中，而研究中很少考虑标签不平衡的问题。最近的一项关于不平衡部分标签学习的研究提出，部分标签学习和长尾学习的组合挑战在于体面的边缘先验分布与绘制伪标签之间的匹配。然而，我们认为，即使伪标签与先验分布匹配，尾类仍然很难学习，因为总权重太小。因此，我们提出了一种专门为PLL设计的伪标签正则化技术。通过惩罚头类的伪标签，与以前的PLL方法相比，我们的方法在标准化基准下实现了最先进的技术。
2023-03-06 cs.LG
Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity
拜占庭机器学习（ML）旨在确保分布式学习算法对行为不端（或拜占庭）机器的弹性。虽然这个问题得到了极大的关注，以前的作品往往假设由机器所持有的数据是同质的，这在实际设置中很少是真的。数据异构性使拜占庭ML更具挑战性，因为拜占庭机器几乎无法与非拜占庭离群值区分开来。已经提出了一些解决方案来解决这个问题，但这些方案提供了次优的概率保证，并且在实践中效果不佳。本文缩小了理论差距，实现了最优性，并得出了良好的实证结果。事实上，我们展示了如何通过一个强大的机制，我们称之为最近邻混合（NNM），自动调整（同质）拜占庭ML的现有解决方案，以适应异构环境，该机制增强了任何标准的鲁棒分布式梯度下降变体，以在异构环境下产生最佳的拜占庭弹性。我们获得了类似的保证（在预期中）通过插入NNM的分布式随机重球方法，一个实用的替代分布式梯度下降。我们获得的经验结果显着优于最先进的拜占庭ML解决方案。
2023-02-03 cs.DC cs.LG
A KL-regularization Framework for Learning to Plan with Adaptive Priors
LIACS, Leiden University, Leiden, The Netherlands（莱顿大学莱顿分校，荷兰）；Google Deepmind, London, United Kingdom（谷歌DeepMind，英国伦敦）；University of Oxford, Oxford, United Kingdom（牛津大学，英国牛津）
本文提出了一种基于KL正则化的学习规划框架，通过将规划器的动作分布作为先验整合到策略优化中，提升了在高维连续控制任务中模型驱动强化学习的样本效率和长期性能。
2026-05-20 cs.AI cs.LG cs.RO
Fixing Data Augmentation to Improve Adversarial Robustness
DeepMind
对抗性训练遭受鲁棒过拟合，这是一种鲁棒测试准确性在训练期间开始下降的现象。在本文中，我们专注于数学驱动和数据驱动的增强作为一种手段，以减少强大的过拟合。首先，我们证明，与以前的研究结果相反，当与模型权重平均相结合时，数据增强可以显着提高鲁棒的准确性。其次，我们探索了如何利用最先进的生成模型来人为地增加训练集的大小，并进一步提高对抗鲁棒性。最后，我们评估我们的方法对CIFAR-10对$\ell_\infty$和$\ell_2$范数有界扰动的大小$ε= 8/255$和$ε= 128/255$，分别。与以前最先进的方法相比，我们在鲁棒准确性方面显示出+7.06%和+5.88%的绝对改进。特别是，对大小为$ε= 8/255$的$\ell_\infty$范数有界扰动，我们的模型在不使用任何外部数据的情况下达到了64.20%的鲁棒精度，击败了大多数使用外部数据的先前作品。
2021-10-18 cs.CV cs.LG
Bayesian Low-rank Matrix Completion with Dual-graph Embedding: Prior Analysis and Tuning-free Inference
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
最近，通过双图正则化的镜头，基于低秩矩阵完成的无监督学习重新引起了人们的兴趣，它显著提高了多学科机器学习任务的性能，例如推荐系统，基因型填充和图像修补。虽然双图正则化贡献了成功的主要部分，但通常涉及计算成本高的超参数调整。为了克服这一缺陷，提高矩阵完备化的性能，提出了一种新的贝叶斯学习算法，该算法能够自动学习与对偶图正则化相关的超参数，同时保证矩阵完备化的低秩性.值得注意的是，一个新的先验设计，以促进低秩矩阵和编码的双图信息的同时，这是更具有挑战性的单图。一个非平凡的条件共轭之间的建议先验和似然函数，然后探索，从而得到一个有效的算法下变分推理框架。使用合成和真实世界的数据集进行的大量实验证明了所提出的学习算法在各种数据分析任务中的最新性能。
2022-09-05 cs.LG math.PR
