ZO-COSMO：去中心化零阶优化的无索引一跳混合
ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
- Hubei University（湖北大学）
- Wuhan University（武汉大学）
- Shanghai Jiao Tong University（上海交通大学）
- Baidu（百度）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出 ZO-COSMO，一种去中心化零阶优化方法，通过无索引一跳混合实现稀疏通信，在匹配负载下显著提升准确率，并给出收敛保证。
AI中文摘要：
去中心化零阶学习中的稀疏通信要求兼容的同伴状态坐标。我们刻画了这一跳条件，并开发了 ZO-COSMO，将双查询估计与平均保持的掩蔽共识相结合，每个活动链路使用 q 个值。全局支持用于全邻居混合；匹配更新仅需在每对内部达成一致。我们在匹配类内推导出每个标量的锐利收缩界，以及核心和稀疏动量更新的收敛保证。在固定匹配下，精确的矩恒等式刻画了共享方向如何保持梯度异质性抵消，并重新分配估计误差和不一致性。机制实验涵盖不等的曲率、噪声和稀疏动量。进一步的测试覆盖 64 个合成智能体和八个逻辑 Qwen LoRA 工作节点。在匹配的负载预算下，Qwen2-7B QNLI 比显式索引 Rand-k 获得 3.65 个准确率点；在八工作节点完全图和环形图上，边缘局部更新比全邻居混合分别获得 3.42 和 2.53 个点。匹配的第一步消融给出 3.92 点的动量收益。种子感知和相同匹配的对照区分了编码、调度和查询相关性。
英文摘要：
Sparse communication in decentralized zeroth-order learning requires compatible peer-state coordinates. We characterize this one-hop condition and develop \textsf{ZO-COSMO}, coupling two-query estimation with average-preserving masked consensus using $q$ values per active link. Global supports serve all-neighbor mixing; matching updates require agreement only within each pair. We derive a sharp contraction-per-scalar bound within the matching class and convergence guarantees for the core and sparse-momentum updates. At fixed matching, exact moment identities characterize how shared directions preserve gradient-heterogeneity cancellation and redistribute estimation error and disagreement. Mechanism experiments cover unequal curvatures, noise, and sparse momentum. Further tests span $64$ synthetic agents and eight logical Qwen LoRA workers. At matched payload budgets, Qwen2-7B QNLI gains $3.65$ accuracy points over explicit-index Rand-$k$; edge-local updates gain $3.42$ and $2.53$ points over all-neighbor mixing on eight-worker complete and ring graphs. A matched-first-step ablation gives a $3.92$-point momentum benefit. Seed-aware and same-matching controls distinguish encoding, scheduling, and query correlation.
