带噪声抑制与偏差校正的私有去中心化优化
Private Decentralized Optimization with Noise Reduction and Bias Correction
查看机构详情
- Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
- Great Bay University（大湾区大学）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
针对私有去中心化学习中的噪声与偏差问题，提出PRDO方法，结合递归估计与精确扩散，实现非凸收敛保证并提升准确性。
中文摘要 AI 辅助
私有去中心化学习受到采样噪声、隐私噪声以及异构数据下的去中心化偏差的影响。我们提出了私有递归去中心化优化（PRDO）。PRDO利用同批次梯度差进行递归估计，以减少由采样和隐私噪声引起的估计误差，而其精确扩散组件则校正由数据异构性引起的去中心化偏差。我们的分析建立了一个非凸收敛界，无需假设节点间数据异构性具有均匀有界性。它进一步给出了一个充分条件，在该条件下，递归梯度差产生的查询灵敏度严格低于私有精确扩散，并提供了一个严格满足该条件的示例。实验表明，与评估的基线相比，准确性有所提高。
英文摘要
Private decentralized learning is affected by sampling noise, privacy noise, and decentralized bias under heterogeneous data. We propose Private Recursive Decentralized Optimization (PRDO). PRDO uses recursive estimation with same-batch gradient differences to reduce estimation errors caused by sampling and privacy noise, while its Exact Diffusion component corrects decentralized bias arising from data heterogeneity. Our analysis establishes a nonconvex convergence bound without assuming uniformly bounded data heterogeneity across nodes. It further gives a sufficient condition under which recursive gradient differences yield strictly lower query sensitivity than private Exact Diffusion, together with an example that rigorously satisfies this condition. Experiments show improved accuracy over the evaluated baselines.
