arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2304.11208cs.LGcs.CR
收藏

DP-Adam:校正 Adam 二阶矩估计中的 DP 偏差

DP-Adam: Correcting DP Bias in Adam's Second Moment Estimation

University of British Columbia(不列颠哥伦比亚大学)

Qiaoyue Tang, Mathias Lécuyer

AI总结:

本文针对差分隐私 Adam 因梯度噪声导致二阶矩估计偏差的问题,提出 DP-Adam 校正方法,使低方差更新缩放恢复一致并显著提升优化性能。

摘要:

我们观察到,DP 与 Adam 优化器的传统用法会在二阶矩估计中引入偏差,原因是梯度计算时加入了独立噪声。该偏差导致低方差参数更新具有不同的缩放尺度,这与非私有 Adam 的行为以及 Adam 的符号下降解释不一致。实验表明,校正 DP 噪声引入的偏差可显著提升 DP-Adam 的优化性能。

英文摘要:

We observe that the traditional use of DP with the Adam optimizer introduces a bias in the second moment estimation, due to the addition of independent noise in the gradient computation. This bias leads to a different scaling for low variance parameter updates, that is inconsistent with the behavior of non-private Adam, and Adam's sign descent interpretation. Empirically, correcting the bias introduced by DP noise significantly improves the optimization performance of DP-Adam.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑