D2M: A Decentralized, Privacy-Preserving, Incentive-Compatible Data Marketplace for Collaborative Learning
Department of Computer Science and Engineering, Indian Institute of Technology, Jodhpur(计算机科学与工程系,印度理工学院,乔浦尔);School of Mathematics and Computational Sciences, Eastern University Pennsylvania(数学与计算科学学院,东部大学宾夕法尼亚)
D2M通过结合联邦学习、区块链仲裁和经济激励,构建了一个去中心化、隐私保护的数据市场,实现了高效且安全的数据共享。
2025-12-11 cs.AI cs.CR cs.DC
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST(韩国科学技术院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是,我们专注于获得分散的政策,代理,以最大限度地提高性能的合作任务的所有代理,这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络:(1)分散式贪婪策略网络,用于在训练和执行期间生成贪婪动作;(2)生成式合作策略网络(GCPN),用于在训练期间生成动作样本,以使其他代理改进其目标。我们表明,GCPN生成的样本,使其他代理更有效地探索政策空间,并有利地达成更好的政策,在实现合作任务。
2018-10-22 cs.AI cs.MA
Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus
Princeton University(普林斯顿大学)
针对去中心化协作学习中的参数泄露问题,提出嵌入差分隐私的多智能体共识深度学习框架,证明收敛性并在次梯度与 ADMM 方法上实现接近中心化基线的准确率。
2024-10-24 cs.AI cs.LG
ClusterComm: Discrete Communication in Decentralized MARL using Internal Representation Clustering
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)
针对多智能体强化学习在可扩展性和鲁棒性上的不足,提出完全去中心化框架ClusterComm,通过对策略网络隐藏层激活值聚类生成离散消息,在无需中央控制下实现高效协作。
2024-01-07 cs.AI
Multi-Agent Distributed Lifelong Learning for Collective Knowledge Acquisition
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司)
终身机器学习方法通过一系列连续的任务获取知识,不断地建立在他们的经验之上。当前的终身学习算法依赖于对所有数据具有集中访问的单个学习代理。在本文中,我们将终身学习的思想从单个代理扩展到多个代理的网络,这些代理共同学习一系列任务。每个代理都面临一些(可能是唯一的)任务集;关键思想是从这些任务中学习到的知识可能会使其他试图学习不同(但相关)任务的代理受益。我们的集体终身学习算法(CoLLA)提供了一种有效的方式,代理网络,以分布式和分散的方式分享他们学到的知识,同时保护本地观察到的数据的隐私。注意,分散式方案是分布式算法的子类,其中不存在中央服务器,除了数据之外,计算也分布在代理之间。我们为算法的鲁棒性能提供了理论保证,并以经验证明CoLLA在各种数据集上的分布式多任务学习优于现有方法。
2018-02-20 cs.LG
Asynchronous Decentralized Federated Lifelong Learning for Landmark Localization in Medical Imaging
Rice University(莱斯大学);McGovern Medical School, UTHealth(德克萨斯大学健康科学中心麦戈文医学院);The University of Maryland Medical Intelligent Imaging (UM2ii) Center(马里兰大学医学智能成像中心)
提出异步去中心化联邦终身学习(ADFLL)方法,无需中心节点和同步训练即可多任务并行,在医学影像地标定位任务中表现优于传统方法并显著降低误差。
2024-01-10 cs.CV cs.LG eess.IV
Exploration with Unreliable Intrinsic Reward in Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
本文研究了在多智能体强化学习中使用内在奖励来引导探索。我们讨论了将内在奖励应用于多个协作代理的挑战,并演示了不可靠的奖励如何阻止分散代理学习最优策略。我们解决这个问题,一个新的框架,独立的中央辅助Q学习(ICQL),在分散的代理共享控制和经验重放缓冲区与集中的代理。只有中心化的代理人本质上是奖励,但分散的代理人仍然受益于改进的探索,没有不可靠的激励分散注意力。
2019-06-05 cs.AI
DeALOG: Decentralized Multi-Agents Log-Mediated Reasoning Framework
Arizona State University(亚利桑那州立大学)
提出去中心化多智能体框架DeALOG,通过共享自然语言日志实现多模态问答,各专业智能体协作检测和验证错误,无需中央控制,提升鲁棒性。
2026-10-27 cs.AI cs.CL
MaskMA: Towards Zero-Shot Multi-Agent Decision Making with Mask-Based Collaborative Learning
MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);The University of Sydney(悉尼大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学);SenseTime Research(商汤科技研究院)
针对多智能体零样本迁移中集中训练与分散执行不匹配及动作空间异构问题,提出基于掩码协作学习的MaskMA框架,在SMAC上以单一模型实现77.8%平均零样本胜率。
2024-02-23 cs.AI
Sharing Lifelong Reinforcement Learning Knowledge via Modulating Masks
Loughborough University(拉夫堡大学);University of California, Riverside(加州大学河滨分校);Vanderbilt University(范德堡大学)
本文提出利用调制掩码的参数隔离机制,在完全分布式异步多智能体系统中通过按需通信协议共享特定任务知识,实现稳健的分布式终身强化学习,并在连接中断时保持快速学习。
2023-05-18 cs.AI cs.DC cs.LG
CoCoL: A Communication Efficient Decentralized Collaborative Method for Multi-Robot Systems
College of Control Science and Engineering, Zhejiang University(控制科学与工程学院,浙江大学);Division of Decision and Control Systems, KTH Royal Institute of Technology(决策与控制系统系,皇家理工学院)
本文提出 CoCoL,一种基于镜像下降和梯度跟踪的通信高效去中心化多机器人协作学习方法,在非独立同分布、流数据和时变拓扑场景下显著降低通信开销并保持领先精度。
2025-08-28 cs.LG cs.MA cs.RO
Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
客户端到参数服务器(PS)的间歇性连接是联合边缘学习框架中的主要瓶颈。缺乏恒定的连接性会导致很大的泛化差距,特别是当客户端之间的本地数据分布表现出异质性时。为了克服客户端和中央PS之间的间歇性通信中断,我们引入了协作中继的概念,其中参与的客户端将其邻居的本地更新中继到PS,以提高与PS的连接性差的客户端的参与。我们提出了一个半分散的联邦学习框架,在每个通信回合中,每个客户端最初计算其相邻客户端更新的子集的本地共识,并最终将其自己的更新和其邻居的更新的加权平均值传输到PS。我们适当地优化这些局部共识权重,以确保PS的全局更新是无偏的,方差最小-从而提高收敛速度。对CIFAR-10数据集的数值评估表明,我们的协作中继方法优于基于联邦平均的基准,用于在不连续连接的网络上进行学习,例如当客户端通过毫米波信道进行通信时,间歇性阻塞。
2022-10-21 cs.DC cs.LG cs.MA
Decentralized Collaborative Learning with Probabilistic Data Protection
IBM Research(IBM研究院)
我们讨论了区块链作为一个协作价值共同创造平台的未来方向,在这个平台中,网络参与者可以获得额外的见解,这些见解在与其他人断开连接时无法访问。因此,我们提出了一个分散的机器学习框架,该框架经过精心设计,以尊重民主,多样性和隐私的价值观。具体来说,我们提出了一个联邦多任务学习框架,集成了隐私保护的动态共识算法。我们表明,一个特定的网络拓扑称为扩展图显着提高了全球共识建设的可扩展性。最后,我们对开放的问题提出一些意见。
2022-08-24 cs.CR cs.LG
Semi-Decentralized Federated Learning with Collaborative Relaying
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
我们提出了一个半分散的联邦学习算法,其中客户端协作中继他们的邻居的本地更新到一个中央参数服务器(PS)。在到PS的每一轮通信中,每个客户端计算来自其相邻客户端的更新的本地共识,并最终将其自己的更新和其相邻客户端的更新的加权平均值发送到PS。我们适当地优化这些平均权重,以确保在PS的全局更新是无偏的,并减少在PS的全局更新的方差,从而提高收敛速度。数值模拟证实了我们的理论主张,并展示了客户端和PS之间的间歇性连接设置,我们提出的算法与联邦平均算法相比,显示出更高的收敛速度和准确性。
2022-05-23 cs.DC cs.LG cs.MA
Lightweight Learner for Shared Knowledge Lifelong Learning
University of Southern California(南加州大学);Intel Labs(英特尔实验室);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出共享知识终身学习(SKILL)挑战,通过去中心化多智能体并行学习并共享轻量级任务模块与任务锚点,在SKILL-102数据集上以近乎完美并行化取得SOTA准确率。
2023-05-24 cs.LG
Asynchronous Decentralized Federated Learning for Collaborative Fault Diagnosis of PV Stations
Shanghai Jiao Tong University(上海交通大学);Yanshan University(燕山大学)
由于光伏阵列的各种故障所造成的损失各不相同,准确诊断故障类型变得越来越重要。与单个光伏电站相比,多个光伏电站收集了足够的故障样本,但由于潜在的利益冲突,它们的数据不允许直接共享。因此,可以利用联邦学习训练协同故障诊断模型。然而,由于每个光伏电站具有不同的计算能力和数据量,模型更新机制严重影响建模效率。此外,为了光伏系统的安全稳定运行,必须保证协同建模的鲁棒性,而不是简单地在中央服务器上进行处理。为了解决这些问题,提出了一种新的异步分散式联邦学习(ADFL)框架。每个光伏电站不仅训练其本地模型,而且通过交换模型参数来参与协同故障诊断,以提高泛化能力而不损失准确性。全局模型采用分布式聚集,避免中心节点失效。通过设计异步更新机制,大大减少了通信开销和训练时间。通过实验和数值仿真验证了该方法的有效性。
2022-02-28 cs.AI cs.CE cs.DC
Decentralized Collaborative Learning of Personalized Models over Networks
INRIA
本文研究了在协作对等网络中,如何通过与其他具有相似目标的代理通信来改进本地训练模型,提出两种异步 gossip 算法并基于 ADMM 实现去中心化算法。
2017-02-15 cs.AI cs.DC cs.LG
Decentralized Monte Carlo Tree Search for Partially Observable Multi-agent Pathfinding
AIRI(人工智能研究院);Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
针对部分可观测的分散式终身多智能体路径规划问题,提出基于AlphaZero启发的多智能体蒙特卡洛树搜索方法,利用局部观察重建MDP进行规划,实验性能优于现有可学习求解器。
2023-12-26 cs.AI cs.LG cs.MA
InfiCoEvalChain: A Blockchain-Based Decentralized Framework for Collaborative LLM Evaluation
The Hong Kong Polytechnic University(香港理工大学);Zhejiang University(浙江大学)
InfiCoEvalChain提出一种基于区块链的去中心化框架,通过大规模基准测试和集体验证,提升大语言模型评估的稳定性和代表性。
2026-02-09 cs.AI cs.CR cs.LG
Online Planning for Decentralized Stochastic Control with Partial History Sharing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在分散随机控制中,由于需要保持复杂的信息状态,用于顺序决策的标准方法,例如动态规划,很快变得难以处理。如果代理不具备完整的模型知识,计算挑战将进一步加剧。在本文中,我们利用这一事实,在许多问题中,代理共享一些共同的信息,或历史,称为部分历史共享。在这种信息结构下,策略搜索空间大大减小。我们提出了一个可证明收敛,在线树搜索算法,不需要一个封闭的形式模型或明确的代理之间的通信。有趣的是,我们的算法可以被看作是一个推广的几个现有的启发式求解分散部分可观察马尔可夫决策过程。为了证明该模型的适用性,我们提出了一种新的协同入侵响应模型,其中多个代理(防御者)拥有不对称的信息,旨在协同防御计算机网络。数值结果表明,我们的算法的性能。
2019-08-06 cs.AI cs.LG cs.MA
FCOM: A Federated Collaborative Online Monitoring Framework via Representation Learning
University of Houston(休斯顿大学);Oregon State University(俄勒冈州立大学);University of Michigan(密歇根大学)
针对去中心化异构过程在线学习问题,提出基于表示学习的联邦协作在线监测方法,设计联邦协作UCB算法估计潜在表示模型,并在阿尔茨海默病监测中验证有效性。
2024-05-30 cs.LG
Towards Collaborative Intelligence: Routability Estimation based on Decentralized Private Data
Duke University(杜克大学);Hong Kong University of Science and Technology(香港科技大学);Texas A&M University(得克萨斯农工大学)
在设计流程中应用机器学习(ML)是EDA中的一个流行趋势,具有从设计质量预测到优化的各种应用。尽管它的承诺,这已经在学术研究和工业工具中得到证明,但其有效性在很大程度上取决于大量高质量训练数据的可用性。实际上,EDA开发人员对最新设计数据的访问非常有限,这些数据由设计公司所有,并且大多是机密的。尽管可以将ML模型训练委托给设计公司,但单个公司的数据可能仍然不充分或存在偏见,特别是对于小公司。这样的数据可用性问题正在成为限制芯片设计ML未来增长的限制因素。在这项工作中,我们提出了一种基于联邦学习的方法,用于EDA中的ML应用程序。我们的方法允许ML模型使用来自多个客户端的数据进行协作训练,但无需显式访问数据以尊重其数据隐私。为了进一步加强结果,我们共同设计了一个定制的ML模型FLNet及其在分散训练场景下的个性化。在综合数据集上的实验表明,与单个局部模型相比,协作训练的准确率提高了11%,并且我们的定制模型FLNet在这种协作训练流程中的性能明显优于以前最好的可路由性估计器。
2022-10-02 cs.LG
Auditable Homomorphic-based Decentralized Collaborative AI with Attribute-based Differential Privacy
National Central University(中央大学);National Tsing Hua University(清华大学)
本文提出AerisAI去中心化协作AI框架,结合同态加密、区块链智能合约、CPABE细粒度访问控制及可缓解性能损失的差分隐私机制,实验证明其优于现有基线。
2024-02-28 cs.AI cs.CR cs.LG
Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)
École Polytechnique(巴黎综合理工学院);EPFL(洛桑联邦理工学院)
我们研究拜占庭协作学习,其中$n$节点寻求从彼此的本地数据中集体学习。数据分布可以从一个节点到另一个节点而变化。没有任何节点是可信的,并且$f < n$节点可以任意行为。我们证明了合作学习等价于一种新的协议形式,我们称之为平均协议。在这个问题中,每个节点都从一个初始向量开始,并试图近似地同意一个共同的向量,这个向量接近诚实节点的初始向量的平均值。我们提出了两个异步的解决方案,平均协议,我们证明每个最佳根据一些维度。第一,基于最小直径平均,需要$ n \geq 6f+1$,但实现渐近最佳可能的平均常数的乘法常数。第二种方法基于可靠广播和坐标修剪均值,实现了最佳拜占庭弹性,即,$n \geq 3f+1$。这些算法中的每一个都导出了一个最优的拜占庭协作学习协议。特别是,我们的等价性产生了新的不可能性定理,任何协作学习算法可以在对抗和异构环境中实现。
2021-12-01 cs.DC cs.LG stat.ML
ColNet: Collaborative Optimization in Decentralized Federated Multi-task Learning Systems
Department of Information and Communications Engineering, University of Murcia(信息与通信工程系,穆尔西亚大学)
针对现有联邦多任务学习多关注数据异质性、依赖中心化设置的不足,提出面向去中心化异质任务的ColNet框架,通过自适应聚类和跨组聚合实现协同优化,性能优于对比方案且抗投毒攻击。
2025-10-03 cs.LG
Autonomous Collaborative Learning Among an Ensemble of Tsetlin Machines with Consensus-Based Inference
Faculty of Engineering, Bar Ilan University(巴伊兰大学工程学院)
本文针对分布式和去中心化TM学习关注不足的问题,提出基于共识推理的Tsetlin机集成去中心化协作学习范式,各智能体维护私有模型,不交换原始数据,实验表明该范式下分类准确率与集中式模型相当,促进了信息集成融合。
2026-07-23 cs.LG cs.MA
Decentralized Collaborative Learning Framework with External Privacy Leakage Analysis
IBM(IBM公司)
本文提出去中心化多任务学习的两项进展:将深度变分自编码器纳入协作字典学习框架以增强异常检测,并分析模型外部共享时的隐私泄露,证明其满足Renyi差分隐私并给出内部隐私监控指标。
2024-04-01 cs.CR cs.DC cs.LG
Model-Consistent Byzantine-Resilient Decentralized Federated Learning for Collaborative Missions
University of Kentucky(肯塔基大学);University of South Florida(南佛罗里达大学)
本文提出DFL-C架构,将ACS共识协议与双域信任评分机制结合,实现拜占庭容错的全局模型一致去中心化联邦学习,在非IID场景下优于BALANCE方案。
2026-08-25 cs.CR cs.DC cs.LG
Decentralized Collaborative Learning Framework for Next POI Recommendation
The University of Queensland(昆士兰大学);Griffith University(格里菲斯大学)
下一个兴趣点(POI)推荐由于其在帮助人们决定下一个兴趣点访问方面的有效性而成为基于位置的社交网络(LBSNs)中不可或缺的功能。然而,准确的推荐需要大量的历史签到数据,从而威胁到用户隐私,因为位置敏感数据需要由云服务器处理。尽管已经存在用于隐私保护POI推荐的几种设备上框架,但是当涉及到存储和计算时,它们仍然是资源密集型的,并且对用户-POI交互的高稀疏性显示出有限的鲁棒性。在此基础上,我们提出了一种新的分散式协同学习框架的POI推荐(DPOI),它允许用户训练他们的个性化模型本地在一个合作的方式。DSPs显著降低了本地模型对云的依赖,并可用于扩展任意的集中式推荐模型。为了抵消学习每个本地模型时设备上用户数据的稀疏性,我们设计了两个自监督信号来预训练服务器上的POI表示,其中POI具有地理和分类相关性。为了促进协作学习,我们创新性地提出将知识从地理或语义相似的用户到每个本地模型与细心的聚合和互信息最大化。协作学习过程利用设备之间的通信,同时仅需要来自中央服务器的较小参与来识别用户组,并且与诸如差分隐私的常见隐私保护机制兼容。我们用两个真实世界的数据集来评估DALBO,结果表明DALBO的性能优于最先进的设备上框架,并且与集中式框架相比,DALBO产生了具有竞争力的结果。
2022-08-01 cs.IR cs.LG
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
无监督表示学习利用互联网上的集中数据取得了出色的性能。然而,对隐私保护的日益增长的意识限制了在多方中爆炸性增长的分散的未标记图像数据的共享(例如,手机和相机)。因此,一个自然的问题是如何利用这些数据来学习下游任务的视觉表示,同时保护数据隐私。为了解决这个问题,我们提出了一个新的联邦无监督学习框架,FedU。在这个框架中,每一方都使用在线网络和目标网络的对比学习,独立地从未标记的数据中训练模型。然后,中央服务器聚合训练的模型,并用聚合的模型更新客户端的模型。它保护数据隐私,因为每一方只能访问其原始数据。多方之间的分散数据通常是非独立且同分布(非IID)的,从而导致性能下降。为了应对这一挑战,我们提出了两个简单但有效的方法:1)我们设计的通信协议,只上传在线网络的编码器的服务器聚合和更新他们的聚合编码器; 2)我们引入了一个新的模块,动态决定如何更新预测器的基础上,由非IID所造成的分歧。预测器是在线网络的另一个组成部分。大量的实验和消融证明了FedU的有效性和意义。在非IID数据的线性和半监督评估中,它比只有一方的训练方法高出5%以上,比其他方法高出14%以上。
2021-08-14 cs.AI cs.CV cs.DC
CYCle: Choosing Your Collaborators Wisely to Enhance Collaborative Fairness in Decentralized Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫德尔·本·扎耶德人工智能大学);Michigan State University (MSU)(密歇根州立大学)
针对现有协作学习忽略公平性、公平度量存在缺陷的问题,提出基于梯度对齐声誉评分的CYCle协议,可在去中心化学习中实现增益公平分配,高异质性下表现优于FedAvg。
2025-10-01 cs.DC cs.LG
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Robust and Communication-Efficient Collaborative Learning
University of California, Santa Barbara(加州大学圣巴巴拉分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Pennsylvania(宾夕法尼亚大学)
我们考虑一个分散学习问题,其中一组计算节点旨在协作解决一个非凸优化问题。分散优化方案面临两个主要的系统瓶颈:离散者的延迟和通信开销。在本文中,我们解决这些瓶颈,提出了一种新的分散和基于梯度的优化算法命名为QuanTimed-DSGD。我们的算法基于两个主要思想:(i)在算法的每次迭代中,我们对每个节点的局部梯度计算施加截止日期,以及(ii)节点交换其局部模型的量化版本。第一个想法robustifies离散的节点和第二提高通信效率。我们的工作的关键技术贡献是证明,与非零噪声的量化和随机梯度,所提出的方法完全收敛到全局最优的凸损失函数,并找到一个一阶平稳点在非凸的情况下。我们在训练基准数据集MNIST和CIFAR-10上对QuanTimed-DSGD进行的数值评估表明,与最先进的分散式优化方法相比,运行时的速度提高了3倍。
2019-10-31 cs.DC cs.LG math.OC
Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Facebook(脸书)
深度神经网络(DNN)的成功在很大程度上依赖于计算资源。虽然DNN通常在云服务器上使用,但在边缘设备上运行DNN的需求越来越大。边缘设备的计算资源通常有限,但通常多个边缘设备部署在同一环境中,并且可以可靠地相互通信。在这项工作中,我们建议通过允许多个用户在推理过程中进行协作来促进DNN在边缘上的应用,以提高其准确性。我们的机制,创造了{ \em边缘集成},是基于在每个设备上有不同的预测,在推理过程中形成一个模型的合奏。为了减轻通信开销,用户共享量化的功能,我们提出了一种方法,用于聚合多个决策到一个单一的推理规则。我们分析了边缘集成引起的延迟,表明其性能的改善是以在通信网络上的常见假设下的微小额外延迟为代价的。我们的实验表明,通过配备紧凑DNN的边缘集成进行协作推理,大大提高了每个用户在本地进行推理的准确性,并且可以使用比集成中所有网络都大的单个集中式DNN进行推理。
2022-06-07 cs.DC cs.LG eess.SP
A Comprehensive Review on Understanding the Decentralized and Collaborative Approach in Machine Learning
University of Tsukuba(筑波大学);Pioneer Alpha(先锋阿尔法);Westcliff university(韦斯特克利夫大学);Clark Atlanta University(克拉克亚特兰大大学)
本文综述机器学习基础、挑战及去中心化协作方法,重点介绍联邦学习在医疗和金融中的隐私保护应用,并讨论通信、异构数据、安全问题与 Zero Trust 框架。
2025-03-12 cs.LG
Leveraging The Edge-to-Cloud Continuum for Scalable Machine Learning on Decentralized Data
Queen Mary University of London(伦敦玛丽女王大学)
本文针对边缘AI/ML在大规模场景中的采用障碍,提出以模型为中心的分散式协作学习框架,利用边缘到云连续体实现可扩展的机器学习。
2023-06-19 cs.DC cs.LG
Decentralized Unsupervised Learning of Visual Representations
University of Pittsburgh(匹兹堡大学);George Mason University(乔治梅森大学);University of Notre Dame(圣母大学);Facebook(脸书)
协作学习使分布式客户端能够学习用于预测的共享模型,同时将训练数据保持在每个客户端上的本地。然而,现有的协作学习方法需要完全标记的数据进行训练,这是不方便或有时不可行的,由于高标记成本和专业知识的要求。缺乏标签使得协作学习在许多现实环境中不切实际。自监督学习可以通过从未标记的数据中学习来解决这一挑战。对比学习(CL)是一种自监督学习方法,可以有效地从未标记的图像数据中学习视觉表示。然而,在客户端上收集的分布式数据通常在客户端之间不是独立和相同分布的(非IID),并且每个客户端可能只有少数几类数据,这降低了CL和学习表示的性能。为了解决这个问题,我们提出了一个合作的对比学习框架,包括两种方法:特征融合和邻域匹配,通过它一个统一的特征空间之间的客户端学习更好的数据表示。特征融合为每个客户端提供远程特征作为准确的对比信息,以更好地进行本地学习。邻域匹配进一步将每个客户端的本地特征与远程特征对齐,使得可以学习客户端之间的良好聚类的特征。大量的实验表明了该框架的有效性。它在IID数据上的性能比其他方法高出11%,并与集中式学习的性能相匹配。
2022-04-22 cs.CV cs.LG
An Algorithm For Adversary Aware Decentralized Networked MARL
Arizona State University(亚利桑那州立大学);Amazon(亚马逊)
针对现有协作式去中心化网络化MARL算法共识更新易受对抗智能体干扰的问题,提出一种可在受限场景下保障非对抗智能体达成共识的算法,弥补了现有框架的安全漏洞。
2023-06-15 cs.LG cs.MA
Graph Neural Networks for Decentralized Multi-Robot Submodular Action Selection
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland(马里兰大学)
分散式多机器人目标跟踪问题要求联合选择动作,例如,运动基元,用于机器人通过本地通信最大限度地提高目标跟踪性能。实际实现的一个主要挑战是使目标跟踪方法可扩展到大规模的问题实例。在这项工作中,我们提出了一个通用的学习架构,以大规模的协作目标跟踪,分散的通信。特别是,我们的学习架构利用图神经网络(GNN)来捕获机器人的本地交互,并学习机器人的分散决策。我们训练的学习模型,通过模仿专家的解决方案,并实现所产生的模型,分散的行动选择只涉及当地的观察和通信。我们展示了我们的GNN为基础的学习方法的性能在一个场景中的主动目标跟踪与大型网络的机器人。仿真结果表明,我们的方法几乎匹配的专家算法的跟踪性能,但运行几个订单更快,多达100个机器人。此外,它的性能略优于分散式贪心算法,但运行速度更快(特别是超过20个机器人)。结果还展示了我们的方法在以前看不见的情况下的泛化能力,例如,更大的环境和更大的机器人网络
2022-09-14 cs.AI cs.LG cs.MA
Communication-Efficient Distributionally Robust Decentralized Learning
EURECOM(欧洲通信学院)
分散式学习算法使互连设备能够共享数据和计算资源,以在没有中央协调器的帮助下协作地训练机器学习模型。在网络节点处的异构数据分布的情况下,协作可以产生对于设备的子集具有不满意的性能的预测器。出于这个原因,在这项工作中,我们考虑制定一个分布式鲁棒分散学习任务,我们提出了一个分散的单循环梯度下降/上升算法(AD-GDA)直接解决底层的极大极小优化问题。我们使我们的算法通信效率采用压缩共识计划,我们提供了收敛保证光滑凸和非凸损失函数。最后,我们证实了理论研究结果与实证结果,突出AD-GDA的能力,提供无偏的预测,并大大提高通信效率相比,现有的分布式鲁棒算法。
2023-01-13 cs.AI cs.LG eess.SP
When Swarm Learning meets energy series data: A decentralized collaborative learning design based on blockchain
Southern University of Science and Technology(南方科技大学);Eastern Institute of Technology(东方理工大学);Ningbo Institute of Digital Twin(宁波数字孪生研究院);China University of Petroleum (Beijing)(中国石油大学(北京))
本文提出一种基于区块链的群体学习框架,通过去中心化协作学习解决能源数据共享中的安全与隐私问题,并在三个真实能源序列场景中验证了其优于本地学习、集中式学习和联邦学习的性能与稳定性。
2024-06-07 cs.CR cs.DC cs.LG
Privacy Preserving Semi-Decentralized Mean Estimation over Intermittently-Connected Networks
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Bar-Ilan University(巴伊兰大学)
本文针对间歇连接无线网络中的均值估计问题,提出差分隐私协作算法PriCER,通过利用网络固有随机性和高斯扰动,在协作中继与隐私泄露之间实现优化权衡。
2024-06-06 cs.DC cs.IT cs.LG
Collaborative Deep Learning in Fixed Topology Networks
Iowa State University(爱荷华州立大学)
最近,人们对并行化深度学习算法有很大的兴趣,以处理数据和模型大小的巨大增长。虽然大多数进展都集中在模型并行化和通过使用中央参数服务器参与多个计算代理,但数据并行化和分散计算的方面尚未得到充分探索。在这种情况下,本文提出了一种新的基于共识的分布式SGD(CDSGD)(及其动量变体CDMSGD)算法,用于在固定拓扑网络上进行协作深度学习,该算法支持数据并行化和分散计算。这样的框架可以是非常有用的学习代理在通信受限的环境中,只能访问本地/私有数据。我们分析了所提出的算法的收敛性与强凸和非凸的目标函数与固定和递减步长使用的概念的李雅普诺夫函数的建设。我们证明了我们的算法相比,基线集中式SGD和最近提出的联邦平均算法(也使数据并行)的基准数据集,如MNIST,CIFAR-10和CIFAR-100的有效性。
2017-06-23 cs.LG stat.ML
Decentralized Parameter-Free Online Learning
Center for Pervasive Communications & Computing and EECS Department, University of California, Irvine(普及通信与计算中心及电子工程与计算机科学系,加州大学伊文斯顿分校)
提出首批无参数去中心化在线学习算法,通过八卦步骤结合多智能体硬币投注,实现无需调参的次线性网络遗憾,并适用于分布式感知与协作学习。
2025-10-17 cs.LG eess.SP math.OC
AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices
Hithink RoyalFlush Information Network Co., Ltd.(同花顺信息网络股份有限公司);Auburn University(奥本大学);Kent State University(肯特州立大学);North Carolina State University(北卡罗来纳州立大学);Boston Consulting Group(波士顿咨询集团);Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);LNCC(巴西国家科学计算实验室)
针对现有去中心化联邦学习存在的收敛性差、精度低等问题,提出异构环境下的AEDFL框架,通过高效聚合、陈旧性感知更新和自适应稀疏训练实现精度与效率的显著提升。
2023-12-18 cs.AI cs.DC cs.LG
OCD-FL: A Novel Communication-Efficient Peer Selection-based Decentralized Federated Learning
Université Paris Dauphine-PSL, Tunis Campus(巴黎第九大学-PSL大学 突尼斯校区);École de technoogie supérieure (ÉTS) Montreal(高等技术学院(蒙特利尔ÉTS))
本文提出OCD-FL方案,通过系统性对等选择实现通信高效的去中心化联邦学习,在保持或提升性能的同时将能耗降低30%至80%。
2024-11-22 cs.DC cs.LG
S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
School of Mathematics, Hohai University(河海大学数学学院);School of Mathematics, Nanjing University(南京大学数学学院);Department of Computational Applied Mathematics and Operations Research, Rice University(理海大学计算应用数学与运筹学系)
提出S$^3$LDBO算法,通过快照机制间歇跳过昂贵导数计算,实现去中心化双层优化的高效单循环求解,并理论证明其复杂度,实验验证计算效率与学习性能的平衡。
2026-05-29 cs.DC cs.LG math.OC
Decentralized Multi-Target Cross-Domain Recommendation for Multi-Organization Collaborations
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
在许多现实场景中,推荐系统(RS)由不同的组织在本地运行。如果各个组织能够完全共享他们的数据并以集中的方式执行计算,他们可能会显着提高建议的准确性。然而,多个组织之间在提高建议绩效方面的合作主要受到限制,原因是难以共享数据和模型。为了应对这一挑战,我们提出了具有多目标辅助学习(MTAL)和辅助自动编码器(AAE)的分散式多目标跨域推荐(DMTCDR)。我们的方法可以帮助多个组织以分散的方式协作提高推荐性能,而无需共享敏感资产。因此,它允许分散的组织进行协作,形成一个共同利益的社区。我们进行了大量的实验,以证明新方法可以显着优于本地训练的RS和减轻冷启动问题。
2022-11-07 cs.IR cs.LG
DFCA: Decentralized Federated Clustering Algorithm
Fraunhofer Institute for Software and Systems Engineering(弗劳恩霍夫软件与系统工程研究所);Lamarr Institute for Machine Learning and AI(拉马尔人工智能与机器学习研究所)
DFCA是一种去中心化的联邦学习聚类算法,通过邻居的顺序运行平均聚合模型,实现高效通信和保持聚类性能,实验表明其在动态网络中表现优异。
2026-03-02 cs.LG
Budget-constrained Collaborative Renewable Energy Forecasting Market
INESC TEC;University of Porto(波尔图大学);Joint Research Centre (European Commission)(欧盟联合研究中心);European Centre for Algorithmic Transparency(欧洲算法透明度中心)
针对可再生能源预测中的数据共享障碍,提出结合样条LASSO回归与投标机制的协作预测市场,实现公平补偿与价格约束,显著提升精度并带来收益。
2025-01-22 cs.LG
Collaborative Multi-Agent Heterogeneous Multi-Armed Bandits
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究 N 个智能体协作学习 M 个随机多臂老虎机的新问题,提出两种场景下的去中心化算法,推导了每智能体与群体遗憾上界,并证明群体遗憾下界,验证算法近最优性。
2024-07-02 cs.DC cs.LG cs.MA
QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM
本文主要研究分散网络上的在线核学习。网络中的每个代理在本地接收连续的流数据,并协同工作,以学习一个非线性预测函数,该函数在再生核希尔伯特空间中相对于所有代理的总瞬时成本是全局最优的。为了克服传统在线核学习中的维数灾难问题,我们利用随机特征(RF)映射将非参数核学习问题转化为RF空间中的固定长度参数核学习问题.然后,我们提出了一种新的学习框架命名为在线分散核学习通过线性ADMM(ODKLA),有效地解决在线分散核学习问题。为了进一步提高通信效率,我们在通信阶段加入了量化和删失策略,提出了量化和通信删失ODKLA(QC-ODKLA)算法。我们从理论上证明了ODKLA和QC-ODKLA都能在$T$时隙上获得最优的次线性遗憾$\mathcal{O}(\sqrt{T})$。通过数值实验,我们评估了所提出的方法的学习效果,通信和计算效率。
2022-08-04 cs.LG
GAL: Gradient Assisted Learning for Decentralized Multi-Organization Collaborations
Duke University(杜克大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
多个组织之间的协作,如金融机构、医疗中心和分散环境中的零售市场,对于提供更好的服务和性能至关重要。然而,底层组织可能对共享其本地数据、模型和目标函数不感兴趣。这些要求为多组织协作带来了新的挑战。在这项工作中,我们提出了梯度辅助学习(GAL),多个组织在监督学习任务中相互帮助的新方法,而无需共享本地数据,模型和目标函数。在这个框架中,所有参与者协作优化局部损失函数的集合,每个参与者通过迭代拟合总体目标函数的梯度来自主构建自己的模型。我们还提供了GAL的渐近收敛性分析和实际案例研究。实验研究表明,当所有数据、模型和目标函数都完全公开时,GAL可以实现接近集中式学习的性能。
2022-10-11 cs.LG
Decentralized Neural Networks for Robust and Scalable Eigenvalue Computation
提出一种基于分布式协作神经网络的去中心化算法,使多个智能体协作估计大型矩阵的最小特征值,在通信延迟或中断下仍保持稳健与可扩展,性能优于集中式方法。
2024-09-19 cs.LG cs.NA math.NA