Statistical Guarantees for Distributionally Robust Optimization with Optimal Transport and OT-Regularized Divergences
Texas State University（德克萨斯州立大学）
本文研究了基于最优传输和OT正则化分歧的分布鲁棒优化在有限样本下的统计性能保障，推导了基于DRO的对抗训练的集中不等式，并首次覆盖了软约束范数球OT成本函数，提升了对抗训练的鲁棒性。
2026-03-29 cs.LG stat.ML
Robust Data-Driven Output Feedback Control via Bootstrapped Multiplicative Noise
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；The Australian National University（澳大利亚国立大学）
我们提出了一个强大的数据驱动的输出反馈控制算法，显式地将固有的有限样本模型估计不确定性的控制设计。该算法有三个组成部分：（1）一个子空间识别标称模型估计;（2）一个自举响应方法，量化的非渐近方差的标称模型估计;和（3）一个非传统的鲁棒控制设计方法，包括耦合的最佳动态输出反馈滤波器和控制器与乘性噪声。所提出的方法的一个主要优点是，系统辨识和鲁棒控制设计过程都使用随机不确定性表示，使实际固有的统计估计不确定性直接对准的不确定性的鲁棒控制器正在设计。此外，控制设计方法容纳了一个高度结构化的不确定性表示，可以捕捉不确定性形状比现有的方法更有效。我们通过数值实验表明，所提出的鲁棒数据驱动的输出反馈控制器可以显着优于确定性等效控制器的样本复杂性和稳定性鲁棒性的各种措施。
2022-05-10 cs.LG cs.SY eess.SY
SHANG++: Robust Stochastic Acceleration under Multiplicative Noise
School of Mathematics, Sichuan University（四川大学数学学院）；Department of Mathematics, University of California, Irvine（加州大学尔湾分校数学系）
本文提出SHANG++方法，通过离散化Hessian驱动的Nesterov加速梯度流，在乘性噪声条件下提升稳定性与收敛速度，实验显示其在鲁棒性和效率上优于现有方法。
2026-08-20 cs.LG math.OC
Multiplicative update rules for accelerating deep learning training and increasing robustness
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本文提出一种结合乘法与加法更新的混合优化框架，加速深度学习训练并提升模型鲁棒性，实验验证于多种任务和优化方法。
2023-07-14 cs.AI cs.LG
Learning to Reweight Examples for Robust Deep Learning
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
深度神经网络已被证明是许多涉及复杂输入模式的监督学习任务的非常强大的建模工具。然而，它们也很容易过拟合训练集偏差和标签噪声。除了各种正则化器之外，示例重加权算法是这些问题的流行解决方案，但它们需要仔细调整额外的超参数，例如示例挖掘计划和正则化超参数。在过去的重新加权方法，通常由每个例子的成本值的函数，在这项工作中，我们提出了一种新的元学习算法，学习分配权重的训练样本的基础上，他们的梯度方向。为了确定示例权重，我们的方法对当前小批量示例权重（从零初始化）执行Meta梯度下降步骤，以最小化干净无偏验证集的损失。我们提出的方法可以在任何类型的深度网络上轻松实现，不需要任何额外的超参数调整，并且在只有少量干净验证数据的情况下，在类不平衡和损坏标签问题上实现了令人印象深刻的性能。
2019-05-05 cs.LG stat.ML
Learning Sample Reweighting for Accuracy and Adversarial Robustness
University of California San Diego（加州大学圣地亚哥分校）；Halicioǧlu Data Science Institute（哈利西奥卢数据科学研究所）
人们对增强神经网络分类器的鲁棒性有很大的兴趣，以通过对抗性训练来抵御对抗性扰动，同时平衡鲁棒准确性和标准准确性之间的权衡。我们提出了一种新的对抗性训练框架，该框架基于类条件保证金的概念学习重新加权与单个训练样本相关的损失，目标是提高鲁棒泛化能力。我们将加权对抗训练制定为双层优化问题，上层问题对应于学习鲁棒分类器，下层问题对应于学习从样本的\textit{multi-class margin}映射到重要性权重的参数函数。大量的实验表明，与相关方法和最先进的基线相比，我们的方法始终提高了干净和鲁棒的准确性。
2022-10-20 cs.LG
Noise-Robust Bidirectional Learning with Dynamic Sample Reweighting
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
使用标准交叉熵损失训练的深度神经网络更容易记住噪声标签，这会降低其性能。使用互补标签的负学习在噪声标签干预时更鲁棒，但模型收敛速度非常慢。在本文中，我们首先介绍了一种双向学习方案，其中积极学习确保收敛速度，而消极学习鲁棒地处理标签噪声。此外，提出了一种动态的样本重新加权策略，通过利用负学习对样本概率分布的良好区分能力，全局削弱噪声标记样本的影响。此外，我们结合自蒸馏，以进一步提高模型的性能。代码可在\url{https://github.com/chenchenzong/BLDR}上获得。
2022-09-03 cs.AI cs.LG
REDUCR: Robust Data Downsampling Using Class Priority Reweighting
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文提出 REDUCR 数据降采样方法，通过类别优先级重加权和在线学习算法，在减少训练数据的同时显著提升不平衡数据上的类别最差泛化性能，超越现有方法约 15%。
2024-11-25 cs.LG
Geometry-Aware Instrumental Variable Regression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对工具变量回归中经验重加权在损坏或对抗数据下失效的问题，提出利用数据导数和最优传输几何信息的 Sinkhorn Method of Moments，并以即插即用实现增强鲁棒性。
2024-05-19 cs.LG stat.ML
Convolutional networks and learning invariant to homogeneous multiplicative scalings
Facebook Artificial Intelligence Research（Facebook人工智能研究院）
与卷积网络（convnets）结合使用的传统分类方案-特别是多项式逻辑回归-在统计学中是经典的，其设计没有考虑通常与convnets，随机梯度下降和反向传播的耦合。在convnets的监督学习的具体应用中，一个简单的尺度不变的分类阶段比多项式逻辑回归更鲁棒，在几个标准测试集上的错误似乎略低，具有相似的计算成本，并且具有对实际学习速率的精确控制。“Scale-invariant”意味着将输入值乘以任何非零标量都会使输出保持不变。
2016-02-16 cs.LG cs.NE
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology（罗彻斯特理工学院）；University of Science - VNUHCM（越南国立大学胡志明市理科大学）；Rowan University（罗文大学）
本文通过分析SAM在元素级别表现，揭示其对噪声标签鲁棒性的机制，并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Enhancing Robust Fairness via Confusional Spectral Regularization
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Exeter（埃克塞特大学）；University of Liverpool（利物浦大学）
针对深度神经网络中鲁棒公平性问题，提出一种基于PAC-Bayesian框架的混淆谱正则化方法，通过约束鲁棒混淆矩阵谱范数提升最差类别鲁棒准确率，实验验证其有效性。
2025-01-22 cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology（武汉理工大学）；University of Macau（澳门大学）
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题，提出首个专用遗忘框架Q-MUL，通过相似标签分配和自适应梯度重加权解决上述问题，经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
Robust Probabilistic Modeling with Bayesian Data Reweighting
Columbia University（哥伦比亚大学）
概率模型通过依赖一组假设来分析数据。与这些假设存在偏差的数据可能会破坏推断和预测质量。稳健的模型可以防止模型假设与现实之间的不匹配。我们提出了一种方法来系统地检测和减轻一大类概率模型的不匹配。其思想是将每个观察的可能性提高到一个权重，然后从数据中推断潜变量和权重。推断权重允许模型识别与其假设相匹配的观测值，并降低其他观测值的权重。这实现了鲁棒的推断并提高了预测准确性。我们研究了四种不同形式的不匹配与现实，从失踪的潜在群体结构误指定。Movielens 1M数据集的泊松因子分解分析显示了这种方法在实际场景中的好处。
2018-06-19 cs.AI cs.LG stat.ML
Understanding Why Generalized Reweighting Does Not Improve Over ERM
Carnegie Mellon University（卡内基梅隆大学）
经验风险最小化（ERM）在实践中是已知的，是不鲁棒的分布转移的训练和测试分布是不同的。一套方法，如重要性加权，和变体的分布鲁棒优化（DRO），已被提出来解决这个问题。但最近的一系列工作经验表明，这些方法并没有显着改善ERM在实际应用中的分布偏移。这项工作的目标是获得一个全面的理论理解这一有趣的现象。我们首先将广义重加权（GRW）算法的类，作为一个广泛的类别的方法，迭代更新模型参数的训练样本的迭代重加权的基础上。我们表明，当过参数化模型在GRW下训练时，得到的模型接近ERM获得的模型。我们还表明，添加小的正则化不会对经验训练精度产生很大影响，但这并没有帮助。总之，我们的研究结果表明，一个广泛的类别，我们称之为GRW的方法是无法实现分布鲁棒的泛化。因此，我们的工作有以下发人深省的外卖：取得进展，分布鲁棒的推广，我们要么开发非GRW的方法，或者也许设计新的分类/回归损失函数，是适应类的GRW方法。
2023-02-07 cs.LG stat.ML
Constrained Instance and Class Reweighting for Robust Learning under Label Noise
Google Research（谷歌研究院）
深度神经网络在监督学习中表现出令人印象深刻的性能，这是由于它们能够很好地适应所提供的训练数据。然而，它们的性能在很大程度上取决于训练数据的质量，并且在存在噪声的情况下经常会降低。我们提出了一个原则性的方法来处理标签噪声，目的是为单个实例和类标签分配重要性权重。我们的方法通过制定一类约束优化问题，这些重要性权重产生简单的封闭形式更新。所提出的优化问题是解决每个小批量，这消除了存储和更新整个数据集的权重的需要。我们的优化框架还提供了一个理论的角度对现有的标签平滑算法，以解决标签噪声（如标签自举）。我们在几个基准数据集上评估了我们的方法，并在存在标签噪声的情况下观察到相当大的性能增益。
2021-11-09 cs.LG stat.ML
Exponentiated Gradient Reweighting for Robust Training Under Label Noise and Beyond
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Google Research（谷歌研究院）
机器学习中的许多学习任务可以被视为在每次训练迭代中采取梯度步骤，以最小化一批样本的平均损失。当噪声在数据中普遍存在时，这种对示例的统一处理可能导致对具有较大损失值的噪声示例的过拟合，并导致泛化能力差。受在线学习中专家设置的启发，我们提出了一种灵活的方法来从嘈杂的例子中学习。具体来说，我们将每个训练样本视为专家，并在所有样本上保持分布。我们交替使用梯度下降更新模型的参数和使用指数梯度更新示例权重。与其他相关方法不同，我们的方法处理一般类的损失函数，并可以应用于广泛的噪声类型和应用。我们展示了我们的方法对多个学习设置的有效性，即噪声主成分分析和各种噪声分类问题。
2021-04-03 cs.LG stat.ML
Simple and Fast Group Robustness by Automatic Feature Reweighting
New York University（纽约大学）
针对分布外泛化中虚假特征依赖问题，提出自动特征重加权（AFR）方法，通过加权损失重训练ERM模型最后一层，无需组标签即可提升多个视觉和语言基准的鲁棒性，且计算开销极小。
2023-06-19 cs.LG stat.ML
Multiplicative Dynamic Mode Decomposition
Department of Mathematics, Imperial College London（帝国理工学院数学系）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系）
本文提出乘性动态模式分解（MultDMD），通过强制保持 Koopman 算子的乘性结构来指导可观测量选择并求解约束优化问题，从而更准确地反映谱性质，并在多个非线性系统中展现出强噪声鲁棒性。
2025-06-05 cs.LG cs.NA math.DS
Group-robust Sample Reweighting for Subpopulation Shifts via Influence Functions
National University of Singapore（新加坡国立大学）；Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）；Agency for Science, Technology and Research (A*STAR)（新加坡科学、技术与研究局）；University of Washington（华盛顿大学）
针对亚群偏移问题，本文提出群体鲁棒样本重加权（GSR）方法，利用少量群体标签数据作为目标集，通过影响函数优化无标签数据权重并迭代微调模型最后一层，以高效提升模型鲁棒性。
2025-03-10 cs.AI cs.CV cs.LG
Enhancing Adversarial Training via Reweighting Optimization Trajectory
Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Liverpool（利物浦大学）；JD Explore Academy（京东探索学院）
本文提出加权优化轨迹（WOT）方法，通过利用对抗训练的历史优化轨迹来缓解鲁棒过拟合，与现有方法无缝集成，在多个数据集上显著提升鲁棒准确率和干净准确率。
2024-02-04 cs.AI cs.LG
STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
提出STaR-DRO框架，结合Tsallis镜像上升和稀疏entmax映射，仅对持续困难群体上权重，在结构化预测中提升标签准确性和鲁棒性，在EPPC Miner任务上相比SFT和标准DRO分别提升F1分数1.08和2.20。
2026-06-15 cs.AI cs.LG
DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal Prediction
University of California, Berkeley（加州大学伯克利分校）；University of Tokyo（东京大学）
提出DistMatch方法，利用Kolmogorov-Smirnov统计量递归划分残差以实现近似可交换性，结合在线分位数回归进行局部自适应推理，提升序列共形预测对分布偏移的鲁棒性。
2026-05-30 cs.LG
Mitigating Think-Answer Mismatch in LLM Reasoning Through Noise-Aware Advantage Reweighting
针对GRPO在噪声奖励下因思考-答案不匹配而训练失效的问题，提出S-GRPO，通过噪声感知优势加权稳定训练，在多个数学推理模型上提升性能并抵抗噪声。
2025-08-08 cs.LG
Alpha and Prejudice: Improving $α$-sized Worst-case Fairness via Intrinsic Reweighting
Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心）；School of Computer Science, Beihang University（北京航空航天大学计算机学院）
本文针对人口统计信息缺失场景，提出基于内在重要性的样本重加权方法，实现$\alpha$规模最坏情况公平性，并引入稳健变体处理异常值，实验证明其优越性。
2024-11-05 cs.LG
Robust Importance Weighting for Covariate Shift
Columbia University（哥伦比亚大学）
在许多学习问题中，训练数据和测试数据遵循不同的分布，特别常见的情况是\textit{covariate shift}。为了纠正抽样偏差，大多数方法，包括流行的核均值匹配（KMM），专注于估计两个分布之间的重要性权重。然而，当分布差异较大且权重估计较差时，基于重新加权的方法暴露于高方差。另一方面，当训练规模有限时，使用非参数回归（NR）的替代方法会产生高偏差。在本文中，我们提出并分析了一个新的估计，系统地集成了NR的残差与KMM重新加权，基于控制变量的角度。所提出的估计可以被证明是严格优于或匹配KMM和NR的最知名的现有速率，因此是两个估计的鲁棒组合。实验结果表明，该估计器在实际应用中效果良好。
2020-03-11 cs.LG math.ST stat.ML
Customizing Graph Neural Networks using Path Reweighting
Virginia Tech（弗吉尼亚理工大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Norwegian University of Science and Technology（挪威科技大学）
针对传统GNN不区分下游任务导致嵌入无效的问题，提出路径重加权的CustomGNN，自动学习任务相关语义，在节点分类中达到最先进准确率。
2024-09-18 cs.LG
Making Multi-Axis Models Robust to Multiplicative Noise: How, and Why?
本文提出MED-MAGMA算法，用于拟合受乘性噪声干扰的多轴模型，通过在单细胞RNA测序等领域的公开数据集验证，证明其能学习具有更好局部和全局结构的网络。
2026-03-27 cs.LG stat.ME
Robust Learning-Based Control via Bootstrapped Multiplicative Noise
University of Texas at Dallas（德克萨斯大学达拉斯分校）
尽管在自适应控制和强化学习方面进行了数十年的研究和最近的进展，但仍然缺乏对设计控制器的基本理解，这些控制器对由有限噪声数据估计的模型产生的固有非渐近不确定性提供鲁棒性。我们提出了一种鲁棒自适应控制算法，明确地将这种非渐近不确定性的控制设计。该算法有三个组成部分：（1）一个最小二乘标称模型估计;（2）一个自举响应方法，量化的非渐近方差的标称模型估计;和（3）一个非传统的鲁棒控制设计方法，使用最优线性二次型调节器（LQR）与乘性噪声。所提出的方法的一个主要优点是，系统辨识和鲁棒控制设计过程都使用随机不确定性表示，使实际固有的统计估计不确定性直接对准的不确定性的鲁棒控制器的设计。我们通过数值实验表明，所提出的鲁棒自适应控制器可以显着优于确定性等价控制器的预期后悔和后悔风险的措施。
2021-08-11 cs.LG cs.SY eess.SY
Learning robust control for LQR systems with multiplicative noise via policy gradient
Control, Optimization, and Networks lab, UT Dallas（控制、优化与网络实验室，UT Dallas）；Delft Center for Systems and Control, TU Delft（代尔夫特系统与控制中心，TU Delft）
本文研究了具有乘性噪声的LQR系统，通过策略梯度方法实现鲁棒控制，证明了在非凸成本函数下策略梯度算法的全局收敛性。
2020-05-01 cs.LG cs.SY eess.SY
Smart Surrogate Losses for Contextual Stochastic Linear Optimization with Robust Constraints
Department of Industrial Engineering and Operations Research University of California, Berkeley（工业工程与运营管理系加州大学伯克利分校）
研究带不确定约束的上下文随机线性优化，提出可行性敏感的 SPO-RC 损失及其凸代理 SPO-RC+，并通过截断数据集与重要性重加权纠正偏差，实验证明该方法能有效处理约束不确定性并提升性能。
2025-05-28 cs.LG math.OC stat.ML
M3ER: Multiplicative Multimodal Emotion Recognition Using Facial, Textual, and Speech Cues
University of Maryland（马里兰大学）
我们提出了M3 ER，一种基于学习的方法，用于从多个输入模态中进行情感识别。我们的方法结合了来自多个共同出现的模态（如面部，文本和语音）的线索，并且比其他方法更鲁棒，可以在任何单个模态中传感器噪声。M3 ER建模了一种新的数据驱动的乘法融合方法来组合模态，该模态学习强调更可靠的线索并在每个样本的基础上抑制其他线索。通过引入一个检查步骤，使用典型相关分析来区分无效和有效的模态，M3 ER是强大的传感器噪声。M3 ER还生成代理功能来代替无效的模态。我们通过在两个基准数据集IEMOCAP和CMU-MOSEI上的实验来证明我们的网络的效率。我们报告了IEMOCAP和CMU-MOSEI的平均准确率分别为82.7%和89.0%，总的来说，比以前的工作提高了约5%。
2019-11-22 cs.CL cs.LG eess.AS
Robust conditional GANs under missing or uncertain labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington, Seattle（西雅图华盛顿大学）；Amazon（亚马逊）
在几乎没有监督的情况下匹配条件生成对抗网络的性能是一项重要的任务，特别是在冒险进入新领域时。我们设计了一种新的训练算法，该算法对丢失或模糊标签具有鲁棒性。其主要思想是故意破坏生成的示例的标签，以匹配真实数据的统计数据，并使用已损坏的标签处理真实和生成的示例。我们展示了这种方法的鲁棒性在理论上和经验。我们表明，最大限度地减少拟议的损失相当于最大限度地减少真实和生成的数据之间的真实分歧的乘法因子，并将此乘法因子的特征作为不确定标签的统计量的函数。在MNIST数据集上的实验表明，即使每个类只有几个示例，所提出的体系结构也能够在生成忠实于类的示例方面实现高准确度。
2019-06-09 cs.LG stat.ML
Learning Multiplicative Interactions with Bayesian Neural Networks for Visual-Inertial Odometry
German Aerospace Center (DLR)（德国宇航中心）；Ruhr-Universität Bochum (RUB)（波鸿鲁尔大学）
本文提出了一种用于单目视觉惯性里程计（VIO）的端到端多模态学习方法，该方法专门设计用于在传感器退化情况下利用传感器互补性。所提出的网络利用多头自我注意力机制，学习多个信息流之间的乘法交互。我们的方法的另一个设计特点是采用可扩展的拉普拉斯近似模型的不确定性。我们通过将所提出的方法与KITTI数据集上的端到端最先进的方法进行比较来评估所提出的方法的性能，并表明它具有优异的性能。重要的是，我们的工作从而提供了一个经验证据，学习乘法相互作用可以导致一个强大的感应偏置增加鲁棒性传感器故障。
2020-07-15 cs.CV cs.LG cs.RO
Stochastic Bandits Robust to Adversarial Attacks
CICS, UMass Amherst（马萨诸塞大学阿默斯特分校CICS）；CS, CityU（香港城市大学计算机科学系）；CSE, CUHK（香港中文大学计算机科学与工程系）
本文针对攻击者可篡改奖励观测的随机多臂老虎机场景，设计了攻击预算已知/未知两类场景下的鲁棒算法，给出对应遗憾上界与下界，证明算法最优性并明确其与腐败模型的差异。
2024-08-16 cs.LG
Robust Adversarial Policy Optimization Under Dynamics Uncertainty
Hybrid Robotics , UC Berkeley（混合机器人实验室，伯克利大学）
本文提出RAPO框架，通过轨迹层面温度参数与模型层面Boltzmann重加权，提升策略在动态不确定性下的鲁棒性与泛化能力。
2026-04-15 cs.LG cs.RO
Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment
PYLER；KAIST（韩国科学技术院）
GAPO通过动态几何锚定机制改进偏好对齐，通过局部敏感度自适应调整偏好对重要性，减少噪声影响，提升模型鲁棒性。
2026-10-30 cs.LG
Minimax Regret Optimization for Robust Machine Learning under Distribution Shift
Google Research（谷歌研究院）；HKUST（香港科技大学）
在本文中，我们考虑的学习场景下，学习的模型进行评估的一个未知的测试分布可能不同于训练分布（即分布偏移）。学习器可以访问一系列权重函数，使得测试分布是这些函数之一下的训练分布的重新加权，通常以分布鲁棒优化（DRO）的名义进行研究。我们考虑在经典学习理论的背景下推导遗憾界的问题，并要求所得的遗憾界对所有潜在的测试分布一致。我们表明，DRO制定不保证一致的小遗憾下分布偏移。相反，我们提出了一种替代方法，称为极小极大遗憾优化（MRO），并表明在适当的条件下，这种方法实现了所有测试分布均匀低遗憾。我们还调整我们的技术，有更强的保证时，测试分布是异构的相似性的训练数据。考虑到目前强大的机器学习方法中最坏情况风险的最佳化，我们认为MRO可以成为解决分布偏移场景的强大替代方案。
2022-02-11 cs.LG stat.ML
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snap Inc.（Snap公司）
概念转移是医学图像分割等自然任务中普遍存在的问题，其中样本通常来自不同的子群体，特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少（如果有的话）分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”（即，在我们的上下文中是标签稀疏的）样本。为了更有效地利用标签稀疏样本的数据特征，我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处，权重将标签密集样本分配给监督损失，将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证，通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明，AdaWAC不仅提高了分割性能和样本效率，但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Robustly representing uncertainty in deep neural networks through sampling
MRC Cognition and Brain Sciences Unit（MRC认知与脑科学组）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
随着深度神经网络（DNN）被应用于越来越具有挑战性的问题，它们将需要能够表示自己的不确定性。建模不确定性是贝叶斯方法的关键特征之一。最近提出了使用Bernoulli dropout在预测时间采样作为DNN的高效且性能良好的变分推理方法。然而，从其他基于乘性噪声的变分分布的采样尚未被深入研究。我们评估了使用伯努利或高斯乘法掩蔽单元（dropout）或权重（dropconnect）训练的贝叶斯DNN。我们在MNIST和CIFAR-10上测试了贝叶斯卷积神经网络（CNN）概率预测的校准。在预测时间采样增加了DNN的概率预测的校准。采样权重，无论是高斯或伯努利，导致更强大的代表性的不确定性相比，采样的单位。然而，使用高斯或伯努利dropout导致测试集分类精度增加。基于这些发现，我们同时使用了Bernoulli dropconnect和Gaussian dropconnect，我们表明这近似于使用尖峰和平板变分分布，而不增加学习参数的数量。我们发现，尖峰和平板采样具有更高的测试集性能比高斯dropconnect和更鲁棒地表示其不确定性相比，伯努利dropout。
2018-01-20 cs.CV cs.LG cs.NE
Robust Neural Network Classification via Double Regularization
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
数据中存在错误标记的观察结果是统计学和机器学习中一个众所周知的挑战性问题，与传统分类器的泛化性能差有关，甚至可能与神经网络等灵活分类器有关。在这里，我们提出了一种新的双重正则化的神经网络的训练损失，结合了惩罚的分类模型的复杂性和最佳的重新加权的训练观察。组合惩罚导致改进的泛化特性和对错误标记的训练数据的不同设置中的过拟合以及训练时初始参数值的变化的强大鲁棒性。我们提供了一个理论上的理由，我们提出的方法推导出一个简单的情况下，逻辑斯谛回归。我们展示了双正则化模型，这里用DRFit表示，用于（i）MNIST和（ii）CIFAR-10的神经网络分类，在这两种情况下都有模拟的错误标记。我们还说明了DRFit识别错误标记的数据点具有非常好的精度。这为DRFit作为实用的现成分类器提供了强有力的支持，因为在不牺牲性能的情况下，我们得到了一个分类器，它同时减少了对错误标签的过度拟合，并给出了标签可信度的准确度量。
2022-02-08 cs.LG math.ST stat.AP
