The Forgiving Graph: A distributed data structure for low stretch under adversarial attack
我们认为在对等网络中的自我修复的问题,是反复攻击的一个无所不知的对手。我们假设,在一系列回合中,对手要么插入一个具有任意连接的节点,要么从网络中删除一个任意节点。网络通过快速“修复”来响应每一个这样的变化,其中包括添加或删除少量的边。这些修复在对抗性删除后基本上保留了节点的接近性,而不会在以下意义上过多地增加节点度。在算法中的任何点处,在通过仅考虑对抗性插入(不考虑对抗性删除)而形成的图中距离为$\ell$的节点$v$和$w$在实际图中的距离将至多为$\ell \log n$,其中$n$是迄今为止看到的顶点的总数。类似地,在任何点处,节点$v$的度在仅具有对抗性插入的图中将是$d$,在实际图中将具有至多3d的度。我们的算法是完全分布式的,具有低延迟和带宽要求。
2009-02-14 cs.DC cs.DS
Linear-Complexity Relaxed Word Mover's Distance with GPU Acceleration
基于非结构化文本的数据量每天都在增长。查询、聚类和分类这些大数据需要在大量文档中进行相似性计算。虽然低复杂度的相似性度量是可用的,但注意力已经转向实现更高准确度的更复杂的方法。特别是,Kusner等人提出的词移动器距离(WMD)方法是一种很有前途的新方法,但其时间复杂度随着文档中唯一词的数量呈三次方增长。由Kusner等人再次提出的放松词移动者距离(RWMD)方法,将时间复杂度从二次型降低到二次型,并且与WMD相比导致有限的精度损失。我们的工作有助于一个低复杂度的RWMD的实现,降低了平均时间复杂度线性操作时,对大型文件集。我们的线性复杂度RWMD实现,以下简称为LC-RWMD,可以很好地映射到GPU上,并且可以有效地分布在GPU集群中。我们在真实数据集上的实验表明:1)相对于我们基于GPU的二次RWMD分布式实现,性能提高了两个数量级; 2)相对于我们使用基于GPU的RWMD进行修剪的分布式WMD实现,性能提高了三到四个数量级。
2017-11-20 cs.DC cs.DS cs.IR
Distributed Optimization Under Adversarial Nodes
Purdue University(普渡大学);Queen’s University(女王大学)
研究基于共识的分布式优化协议在对抗节点影响下的脆弱性,提出一种鲁棒算法,确保非对抗节点收敛到局部函数极小值的凸包,同时提供图拓扑的容忍条件。
2016-06-29 cs.DC cs.SY eess.SY
A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients
Shenzhen University(深圳大学);Tencent AI Lab(腾讯人工智能实验室)
以分布式方式训练生成对抗网络(GAN)是一种很有前途的技术,因为它有助于在现实世界的应用中有效地在大量数据上训练GAN。然而,已知GAN难以通过SGD型方法进行训练(可能无法收敛),并且分布式SGD型方法也可能遭受大量的通信成本。在本文中,我们提出了一个{具有量化梯度的分布式GANs训练算法,称为DQGAN},这是第一个具有量化梯度的GANs分布式训练方法。新方法基于一种称为乐观镜像下降(OMD)算法的特定单机算法来训练GANs,并且适用于满足一般$δ$近似压缩器的任何梯度压缩方法。我们设计的误差反馈操作用来补偿压缩带来的偏差,并保证新方法的收敛性。从理论上证明了{DQGAN}算法非渐近收敛于一阶平稳点,表明在参数服务器模型下,该算法能获得线性加速比.实验结果表明,我们的{DQGAN}算法可以降低通信成本,节省训练时间,并且在合成和真实数据集上的性能略有下降。
2020-10-26 cs.DC cs.LG
Supervised Distributed Computing: Efficiency and Robustness under a Majority of Adversarial Workers
本文研究监督式分布式计算范式,针对任意常数比例的恶意工作节点,提出一种鲁棒且高效的解决方案,使诚实工作节点的期望工作量接近每个任务仅执行一次。
2026-06-01 cs.DC
ParaGAN: A Scalable Distributed Training Framework for Generative Adversarial Networks
National University of Singapore(新加坡国立大学)
ParaGAN通过异步训练、非对称优化、拥塞感知数据管道和硬件感知布局转换,将BigGAN训练时间从15天降至14小时,吞吐量提升超30%,并实现高分辨率图像生成。
2024-11-06 cs.AI cs.DC
Gathering Autonomous Mobile Robots Under the Adversarial Defected View Model
Indian Institute of Technology Jodhpur(印度理工学院乔德普尔分校);Sardar VallabhBhai National Institute of Technology Surat(萨达尔·瓦拉巴伊国家技术学院苏拉特)
本文提出两种分布式算法,在对抗性缺陷视图模型下实现自主移动机器人在有限时间内确定性聚集。
2026-03-06 cs.DC
A New Self-Stabilizing Maximal Matching Algorithm
最大匹配问题在自稳定领域受到了广泛的关注。以前的工作已经给出了不同的自稳定算法,解决了对抗和公平的分布式守护进程,顺序对抗守护进程,以及同步守护进程的问题。在下文中,我们为这个问题提出了一个单一的自稳定算法,该算法将所有这些算法结合在一起,因为它在与顺序对抗,分布式公平和同步守护进程的先前最佳算法相同的移动次数中稳定下来。此外,该算法将分布式对抗守护进程的最佳移动复杂度从O(n^2)和O(delta m)提高到O(m),其中n是进程数,m是边数,delta是图中的最大度。
2007-01-30 cs.DC cs.DS
A New Distributed Method for Training Generative Adversarial Networks
Zhejiang University(浙江大学);Northwestern University(西北大学)
生成对抗网络(GANs)是新兴的机器学习模型,用于通过联合训练生成器和训练器来生成与真实数据相似的合成数据。在许多应用中,数据和计算资源分布在许多设备上,因此由于隐私和/或通信约束,在一个位置中使用所有数据的集中式计算是不可行的。本文提出了一种以分布式方式训练GANs的新框架:每个设备使用本地数据计算本地数据;单个服务器聚合它们的结果并计算全局GAN。具体而言,在每次迭代中,服务器将全局GAN发送到设备,然后设备更新其本地鉴别器;设备将其结果发送到服务器,然后服务器将其平均值计算为全局鉴别器并相应地更新全局生成器。两种不同的更新计划被设计成在设备和服务器之间具有不同级别的并行性。使用三个流行的数据集获得的数值结果表明,该框架可以优于一个国家的最先进的框架在收敛速度方面。
2021-07-19 cs.DC cs.IT cs.LG
Byzantine-Robust Online and Offline Distributed Reinforcement Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
我们考虑一个分布式的强化学习设置,多个代理分别探索环境,并通过中央服务器交流他们的经验。然而,$α$ -分数的代理是敌对的,可以报告任意的假信息。至关重要的是,这些敌对代理可以勾结,他们的假数据可以是任何大小。我们希望在这些对抗性代理存在的情况下,为底层马尔可夫决策过程鲁棒地确定一个接近最优的策略。我们的主要技术贡献是加权团,一种新的算法的强大的平均估计批量问题,可以处理任意批量大小。在此基础上,在离线环境下,设计了一个拜占庭鲁棒分布式悲观值迭代算法;在在线环境下,设计了一个拜占庭鲁棒分布式乐观值迭代算法.这两种算法都获得了接近最优的样本复杂度,并实现了比以前的作品更好的鲁棒性保证。
2022-06-01 cs.DC cs.LG stat.ML
Adversarial Models and Resilient Schemes for Network Coding
在最近的一篇论文中,Jaggi等人(INFOCOM 2007)提出了一种分布式多项式时间速率最优网络编码方案,该方案适用于拜占庭故障。我们重新审视了他们的对抗模型,并用三个可以说是现实的模型来增强它们。在每个模型中,我们提出了一个分布式的计划,证明了模型的有用性。特别地,所有的方案获得最优速率$C-z$,其中$C$是网络容量,并且$z$是对手控制的链路数量的界限。
2008-02-06 cs.DC cs.IT cs.NI
Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets
Virginia Tech(弗吉尼亚理工大学)
本文提出头脑风暴生成对抗网络(BGAN),使多个智能体在完全分布式且不共享真实数据的情况下,通过交换生成样本协作学习数据分布,理论证明其纳什均衡,实验显示生成质量优于现有分布式GAN。
2023-09-25 cs.DC cs.LG stat.ML
Adversary-resilient Distributed and Decentralized Statistical Inference and Machine Learning: An Overview of Recent Advances Under the Byzantine Threat Model
虽然在过去的几十年里,我们已经见证了大量致力于分布式和去中心化设置中的推理和学习的工作,但这些工作中的大部分都假设了一个非对抗性的设置,在这个设置中,除了偶尔的统计故障之外,各个节点都按照算法框架的预期运行。然而,近年来,来自恶意非国家行为者和流氓实体的网络安全威胁迫使从业者和研究人员重新思考分布式和分散式算法对对抗性攻击的鲁棒性。因此,我们现在有大量的算法方法来保证分布式和/或分散式推理的鲁棒性,以及在不同的对抗性威胁模型下的学习。然而,部分由于世界对数据驱动决策的需求日益增长,保护分布式/分散式框架以进行推理和学习对抗性威胁仍然是一个快速发展的研究领域。在这篇文章中,我们提供了拜占庭攻击威胁模型下这一领域的一些最新发展的概述。
2020-06-02 cs.CR cs.DC cs.LG
Distributed Statistical Min-Max Learning in the Presence of Byzantine Agents
University of Pennsylvania(宾夕法尼亚大学)
近年来,人们对最小-最大优化的兴趣越来越大,这是因为它与生成对抗网络(GANs)、鲁棒控制和优化以及强化学习的相关性。受这方面工作的启发,我们考虑了多代理的最小-最大学习问题,并专注于在这样的设置中与最坏情况的拜占庭对抗代理竞争的新挑战。通过借鉴最近的结果,从强大的统计,我们设计了一个强大的分布式变种的额外梯度算法-一个流行的算法方法,最小-最大优化。我们的主要贡献是提供一个清晰的分析所提出的强大的额外梯度算法光滑凹凸和光滑强凸强凹函数。具体来说,我们建立近似鞍点的统计收敛率。我们的利率接近最优,并揭示了对抗性腐败的影响和非错误代理人之间合作的好处。值得注意的是,这是第一篇为存在对抗代理的大规模分布式最小-最大学习提供正式理论保证的论文。
2022-04-07 cs.DC cs.LG cs.SY
The Adversarial Noise Threshold for Distributed Protocols
我们考虑的问题,实现分布式协议,尽管敌对的信道错误,在任意拓扑结构的同步消息网络。在我们的第一个结果中,我们表明,任何$n$ -党$T$ -轮协议上的无向通信网络$G$可以编译成一个强大的模拟协议上的稀疏($\mathcal{O}(n)$边缘)子网络,使模拟容忍对抗错误率$Ω\left(\frac{1}{n}\right)$ ;模拟有一轮复杂性$\mathcal{O}\left(\frac{m \log n}{n} T\right)$,其中$m$是边缘的数量在$G$。(So该模拟在高达$\log$因子时是功保持的。)对手的错误率是在一个恒定的最佳因素。给定错误率,轮复杂度爆破在最优的$\mathcal{O}(k \log n)$的因子内,其中$k$是$G$的边连通性。我们还确定了有向通信网络的最大容许错误率是$Θ(1/s)$,其中$s$是最小等价有向图中的边数。接下来,我们研究对抗性的每边错误率,其中对手在网络的每个边缘上都有一个错误预算。我们确定的精确限制,可容忍的每边错误率在任意有向图。然而,接近这个极限的构造具有指数轮复杂度,因此我们给出另一个编译器,它将$T$ -轮协议转换为$\mathcal{O}(mT)$ -轮模拟,并证明对于多项式查询黑盒编译器,最后一个编译器所容忍的每边错误率在最优的恒定因子内。
2015-04-28 cs.DC cs.DS cs.IT
On the Privacy-Robustness-Utility Trilemma in Distributed Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文首次对分布式学习中同时满足差分隐私和对抗鲁棒性的算法误差进行紧致分析,揭示隐私-鲁棒性-效用的根本权衡,并提出一种高维鲁棒聚合算法实现匹配上界。
2023-05-29 cs.CR cs.DC cs.LG
Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent
Cornell(康奈尔大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Purdue(普渡大学)
我们考虑了分布式统计机器学习在对抗环境中的问题,其中一些未知的和时变的工作机器子集可能会受到损害,并任意行为,以防止准确的模型被学习。此设置捕捉了联邦学习面临的潜在对抗性攻击-这是一种由Google研究人员提出的现代机器学习范式,并已被深入研究以确保用户隐私。形式上,我们专注于一个分布式系统组成的参数服务器和$m$工作机。每台工作机器都保存$N/m$数据样本,其中$N$是样本的总数。我们的目标是共同学习维度$d$的底层真实模型参数。在经典的批量梯度下降方法中,工作机器向服务器报告的梯度通过简单的平均来聚合,这容易受到单个拜占庭失败的影响。在本文中,我们提出了一个拜占庭梯度下降方法的基础上的几何中值的平均梯度。我们表明,我们的方法可以容忍$q \le (m-1)/2$拜占庭故障,参数估计收敛在$O(\log N)$轮估计误差为$\sqrt{d(2q+1)/N}$,因此接近最佳的错误率$\sqrt{d/N}$在集中式和无故障设置。该算法在每台工作机上的总计算复杂度为$O((Nd/m) \log N)$,在中心服务器上的总计算复杂度为$O(md + kd \log^3 N)$,总通信开销为$O(m d \log N)$。我们进一步提供了我们的一般结果的线性回归问题的应用。上述问题中出现的关键挑战是拜占庭故障在迭代和聚合梯度之间创建任意和未指定的依赖性。我们证明了聚集梯度一致收敛于真梯度函…
2017-10-23 cs.CR cs.DC cs.LG
SnapMode: An Intelligent and Distributed Large-Scale Fashion Image Retrieval Platform Based On Big Data and Deep Generative Adversarial Network Technologies
University of Alzahra(阿尔扎拉大学)
时尚现在是世界上最大的产业之一,因为它代表了人类历史,并有助于讲述世界的故事。随着第四次工业革命的兴起,互联网已经成为越来越重要的时尚信息来源。然而,随着越来越多的网页和社交数据,人类几乎不可能手动跟上该领域的持续发展和不断变化的内容。妥善管理和利用大数据可以为全球经济的大幅增长和公民满意度铺平道路。因此,计算机科学家发现,通过使用大数据和机器学习技术来处理电子商务时尚网站是一项挑战。本文首先提出了一种基于分布式计算平台的可扩展的聚焦式Web爬虫引擎,用于电子商务网站上的时尚数据的提取和处理。然后描述了所提出的平台的作用,通过采用深度卷积生成对抗网络(DCGAN)进行基于内容的图像索引和检索来开发一种解纠缠的特征提取方法。最后,国家的最先进的解决方案进行了比较,所提出的方法的结果进行了分析的标准数据集。为了实现所提出的解决方案,在Apache Storm、Kafka、Solr和Milvus平台上开发了一个基于Web的应用程序,以创建一个名为SnapMode的时尚搜索引擎。
2022-04-08 cs.AI cs.CV cs.DC
FedAT: Federated Adversarial Training for Distributed Insider Threat Detection
School of Information Technology Deakin University(迪肯大学信息技术学院)
本文针对分布式内部威胁检测中数据隐私与极端类别不平衡问题,提出联邦对抗训练FedAT方法结合生成模型与SNN-MLP模型,在non-IID数据分布下显著提升了多类内部威胁检测性能。
2024-09-19 cs.AI cs.CR cs.DC
Privacy-Preserving Federated Learning: Integrating Zero-Knowledge Proofs in Scalable Distributed Architectures
Independent Researcher(独立研究者)
本文提出一种新型分布式架构,通过高级加密验证和优化大数据处理框架增强联邦学习的安全性,利用零知识证明验证节点计算,有效抵御模型中毒攻击,实验表明在对抗条件下准确率保持94.2%且可扩展至1000个并行节点。
2026-05-04 cs.AI cs.DC
Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
本文针对联邦学习中客户端漂移导致的本地不一致性问题,提出带阶段式松弛初始化的FedInit算法,通过理论与实验证明不一致性主要影响泛化误差,该算法可在无额外成本下取得SOTA性能,且可集成到现有算法中提升效果。
2023-06-09 cs.DC cs.LG math.OC
Adversary-Augmented Simulation to evaluate fairness on HyperLedger Fabric
提出面向分布式系统的攻击者模型并集成到 MAX 框架,通过结合协议攻击的细粒度仿真评估 Hyperledger Fabric 在 Tendermint 排序服务下的客户端与排序公平性。
2024-04-03 cs.CR cs.DC cs.MA
Fostering Diversity in Spatial Evolutionary Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成式对抗网络(GANs)遭受训练病态,如不稳定性和模式坍塌,这主要是由于缺乏多样性,在他们的对抗互动。协同进化GAN(CoE-GAN)训练算法已被证明对这些病理具有弹性。本文介绍了Mustangs,一种空间分布的CoE-GAN,它通过在训练期间使用不同的损失函数来促进多样性。对MNIST和CelebA的实验分析表明,Mustangs在统计上训练更准确的生成器。
2021-06-25 cs.AI cs.DC cs.LG
DRACO: Byzantine-resilient Distributed Training via Redundant Gradients
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布式模型训练易受拜占庭系统故障和敌对计算节点的影响,即,使用恶意更新来破坏存储在参数服务器(PS)处的全局模型的节点。为了保证某种形式的鲁棒性,最近的工作建议使用几何中值的变体作为聚合规则,代替梯度平均。不幸的是,基于中值的规则在大规模设置中可能会产生令人望而却步的计算开销,并且它们的收敛保证通常需要强有力的假设。在这项工作中,我们提出了DRACO,一个可扩展的框架,强大的分布式训练,使用编码理论的想法。在DRACO中,每个计算节点评估参数服务器使用的冗余梯度,以消除对抗性更新的影响。DRACO具有与问题无关的鲁棒性保证,它训练的模型与在无对抗设置中训练的模型相同。我们提供了大量的实验,在真实的数据集和分布式设置在各种大规模的模型,我们表明,DRACO是几倍,数量级快于基于中位数的方法。
2018-06-22 cs.DC cs.IT cs.LG