本文针对差分隐私 Adam 因梯度噪声导致二阶矩估计偏差的问题,提出 DP-Adam 校正方法,使低方差更新缩放恢复一致并显著提升优化性能。
摘要:
我们观察到,DP 与 Adam 优化器的传统用法会在二阶矩估计中引入偏差,原因是梯度计算时加入了独立噪声。该偏差导致低方差参数更新具有不同的缩放尺度,这与非私有 Adam 的行为以及 Adam 的符号下降解释不一致。实验表明,校正 DP 噪声引入的偏差可显著提升 DP-Adam 的优化性能。
英文摘要:
We observe that the traditional use of DP with the Adam optimizer introduces a bias in the second moment estimation, due to the addition of independent noise in the gradient computation. This bias leads to a different scaling for low variance parameter updates, that is inconsistent with the behavior of non-private Adam, and Adam's sign descent interpretation. Empirically, correcting the bias introduced by DP noise significantly improves the optimization performance of DP-Adam.
How do simple rotations affect the implicit bias of Adam?
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Department of Electrical & Computer Engineering, University of Washington(电气与计算机工程系,华盛顿大学);NSF-Simons National Institute for Theory and Mathematics in Biology(NSF-西蒙斯国家理论与生物数学研究所);Department of Statistics, Department of Computer Science, and Data Science Institute, University of Chicago(统计系、计算机科学系和数据科学研究所,芝加哥大学)
Fast and Accurate Importance Weighting for Correcting Sample Bias
Manufacture Française des Pneumatiques Michelin(法国米其林轮胎制造公司);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院)
数据集中的偏差可能对适当的统计估计非常有害。为了解决这个问题,重要性加权方法已经被开发出来,以匹配任何有偏分布,其相应的目标无偏分布。核均值匹配(KMM)方法至今仍被认为是这一研究领域的最新技术。然而,这种方法的主要缺点之一是大型数据集的计算负担。在Huang et al.(2007)和de Mathelin et al.(2021)之前的工作的基础上,我们推导出一种新的重要性加权算法,该算法通过使用神经网络来预测实例权重,从而扩展到大型数据集。我们表明,在多个公共数据集上,在各种样本偏差下,我们提出的方法大大减少了大型数据集的计算时间,同时保持类似的样本偏差校正性能相比,其他重要性加权方法。所提出的方法似乎是唯一一个能够在合理的时间内为多达200万个数据的大型数据集提供相关的重新加权。
Correcting Model Bias with Sparse Implicit Processes
Institute of Mathematical Sciences (ICMAT-CSIC)(数学科学研究所(ICMAT-CSIC));Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院);Institute of Corpuscular Physics, University of Valencia and CSIC(瓦伦西亚大学与西班牙国家研究委员会粒子物理研究所)
Correcting Boundary Bias and Observation Independence in Bayesian Experimental Design
Department of Information Technology, Uppsala University, Uppsala, Sweden(信息科技系,乌普萨拉大学);Department of Solar Cell Technology, Uppsala University, Uppsala, Sweden(太阳能电池技术系,乌普萨拉大学);Department of Computer Science, RISE Research Institute of Sweden, Stockholm, Sweden(计算机科学系,瑞典RISE研究所)
UCB Momentum Q-learning: Correcting the bias without forgetting
Otto von Guericke University(奥托·冯·格里克大学);Inria(法国国家信息与自动化研究所);Université de Lille(里尔大学);DeepMind(深度思维)
我们提出了UCBMQ,上置信界动量Q-学习,一种新的算法,用于表格和可能的阶段依赖性,情节马尔可夫决策过程的强化学习。UCBMQ是基于Q学习的,我们在Q学习中加入了动量项,并依靠乐观原则来应对不确定性。UCBMQ的新技术成分是使用动量来纠正Q学习所遭受的偏见,同时限制它对后悔的二阶项的影响。对于UCBMQ,我们能够保证最多$O(\sqrt{H^3SAT}+ H^4 S A )$的遗憾,其中$H$是事件的长度,$S$是状态的数量,$A$是动作的数量,$T$是事件的数量,并且忽略poly- $\log(SAHT)$中的项。值得注意的是,UCBMQ是第一个同时匹配$Ω(\sqrt{H^3SAT})$的下限的算法,对于足够大的$T$,并且具有仅与状态数$S$线性缩放的二阶项(相对于水平$T$)。
Rethinking Refinement: Correcting Generative Bias without Noise Injection
State Key Laboratory of Information Photonics(信息光子与光通信国家重点实验室);Optical Communications, Beijing University of Posts(光通信,北京邮电大学);School of Physical Science(物理科学学院);Technology, Beijing University of Posts(技术学院,北京邮电大学)
Mohamed bin Zayed University of Artificial Intelligence(莫萨德·本·泽德人工智能大学);University at Buffalo(布法罗大学);King Abdullah University of Science and Technology(卡布斯国王科学与技术大学)
Correcting heterogeneous diagnostic bias when developing clinical prediction models using causal hidden Markov models
Division of Informatics, Imaging & Data Sciences, University of Manchester(曼彻斯特大学信息学、影像与数据科学系);Department of Statistical Science, UCL(伦敦大学学院统计科学系);Division of Population Health, Health Services Research & Primary Care, University of Manchester(曼彻斯特大学人口健康、卫生服务研究与初级保健系)
Promoting Exploration in Memory-Augmented Adam using Critical Momenta
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montreal(蒙特利尔理工学院);Samsung SAIT AI Lab Montreal(三星SAIT人工智能实验室蒙特利尔分部);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind)
GRAM: Correcting Frozen Time-Series Foundation Models via Graph-Retrieved Amplitude Memory
East China Normal University(华东师范大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of the Chinese Academy of Sciences(中国科学院大学)
Correcting Neural Operator Spectral Bias via Diffusion Posterior Sampling with Sparse Observations
Université Paris-Saclay, CentraleSupélec, CNRS, ENS Paris-Saclay(巴黎-萨克雷大学,中央理工学院,国家科学研究中心,巴黎-萨克雷理工学院);Laboratoire de Mécanique Paris-Saclay UMR 9026(巴黎-萨克雷力学实验室 UMR 9026);Politecnico di Milano(米兰理工大学);ETH AI Center(苏黎世联邦理工学院人工智能中心);Department of Mechanical Engineering University of Washington(华盛顿大学机械工程系)