Privacy-preserving Anomaly Detection in Cloud Manufacturing via Federated Transformer
随着云制造的快速发展,以边缘计算为核心架构的工业生产得到了极大的发展。然而,边缘设备在工业生产中经常出现异常和故障。因此,及时准确地检测这些异常情况对于云制造至关重要。因此,一个简单的解决方案是边缘设备将数据上传到云端进行异常检测。然而,工业4.0对数据隐私和安全性提出了更高的要求,将数据从边缘设备直接上传到云端是不现实的。针对上述严峻挑战,本文定制了一个弱监督边缘计算异常检测框架,基于联邦学习的Transformer框架(\textit{FedAnomaly}),处理云制造中的异常检测问题。具体来说,我们引入了联邦学习(FL)框架,允许边缘设备与云协作训练异常检测模型,而不会影响隐私。为了提高框架的隐私性能,我们在上传的特征中添加了差分隐私噪声。为了进一步提高边缘设备提取异常特征的能力,我们使用Transformer来提取异常数据的特征表示。在此背景下,我们设计了一种新的协作学习协议,以促进FL和Transformer之间的高效协作。此外,广泛的案例研究四个基准数据集验证了所提出的框架的有效性。据我们所知,这是第一次将FL和Transformer集成在一起来处理云制造中的异常检测问题。
2022-04-02 cs.DC
Multi-FedLS: a Framework for Cross-Silo Federated Learning Applications on Multi-Cloud Environments
本文提出多云资源管理框架 Multi-FedLS,利用抢占式虚拟机降低跨筒仓联邦学习应用的时间与成本,并通过 AWS、GCP 和 CloudLab 实验验证其有效性。
2023-08-17 cs.DC
Federated Learning on the American Science Cloud using APPFL
Argonne National Laboratory(阿贡国家实验室);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文针对美国科学云(AmSC)无法跨组织边界训练模型的问题,提出将APPFL框架编排逻辑作为云服务部署在AmSC上,实现隐私约束下的联邦学习,解锁科学合作与公私伙伴关系。
2026-09-03 cs.DC
Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Argonne National Laboratory(阿贡国家实验室)
本文提出APPFL框架,利用Globus Compute和AWS实现跨云与超算的安全联邦学习,并以微调LLaMA 2 7B模型为例验证其可行性。
2024-02-19 cs.DC cs.LG
FedCostAware: Enabling Cost-Aware Federated Learning on the Cloud
针对云上联邦学习成本高的问题,提出成本感知调度算法FedCostAware,通过智能管理竞价实例生命周期,减少资源浪费,显著降低云计算成本。
2025-09-12 cs.DC
Nautilus: A Verifiable Hierarchical Federated Learning Framework for Vehicular-Edge-Cloud Systems
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beihang University(北京航空航天大学)
针对车联网中资源极端异构导致联邦学习效率低下的问题,提出Nautilus框架,通过多维资源感知调度算法和零知识证明机制,在保护隐私的同时实现高效且可验证的联邦学习。
2026-07-29 cs.DC
FedMon: Federated eBPF Monitoring for Distributed Anomaly Detection in Multi-Cluster Cloud Environments
本文提出 FedMon 框架,结合联邦 eBPF 内核级遥测与联邦学习,利用 VAE 和孤立森林的混合检测引擎实现跨集群异常检测,在保障隐私与降低带宽开销的同时提升了检测准确性与可扩展性。
2025-10-11 cs.DC
FOGNITE: Federated Learning-Enhanced Fog-Cloud Architecture
FOGNITE提出一种雾-云框架,结合联邦学习、强化学习和数字孪生验证,在Raspberry Pi测试平台上实现负载均衡准确率提升93.7%、能源浪费减少63.2%,推动智能电网从被动纠错转向主动优化。
2025-07-22 cs.DC
CNSMO: A Network Services Manager/Orchestrator Tool for Cloud Federated Environments
应用程序服务提供商(ASP)现在在多个云基础设施内开发、部署和维护复杂的计算平台,以提高其应用程序的弹性、响应能力和弹性。另一方面,复杂的应用程序对网络资源的控制和可见性很小,需要使用低级别的黑客来提取网络属性并对流量进行优先级排序。这种有偏见的观点限制了租户部署应用程序的灵活性,并阻止他们在网络中实现部分应用程序逻辑。在本文中,我们提出了CNSMO(CYCLONE网络服务管理器/配置器)工具,通过将这些网络服务功能桥接到基于云的服务作为整体CYCLONE解决方案的一部分,在联合云环境中实现创新。网络方面与纯粹的联合云的集成将允许用户请求特定的基础设施,并以简单透明的方式管理其专用的协调网络和IT资源,同时操作分布式应用程序的动态部署。
2016-09-05 cs.DC cs.NI
Edge-Cloud Collaborative Pothole Detection via Onboard Event Screening and Federated Temporal Segmentation
School of Artificial Intelligence, Guangzhou University(广州大学人工智能学院)
本文提出边缘-云协作坑洼检测框架,通过车载振动事件筛选和联邦时序分割,降低通信开销并提升细粒度坑洼检测精度。
2026-05-11 cs.DC
A Federated CloudNet Architecture: The PIP and the VNP Role
我们提出了一个通用的和灵活的架构来实现CloudNets:虚拟网络连接云资源的资源保证。我们的体系结构是联合的,通过提供显式的协商和供应接口,支持不同的(甚至可能是竞争的)经济角色。基于契约的交互和允许聚合和抽象的资源描述语言在不牺牲灵活性的情况下保留了不同角色的自治性。此外,由于我们的CloudNet架构是基于插件的,基本上所有的云操作系统(例如,OpenStack)或链路技术(例如,OpenFlow,VPLS)可以在框架内使用。本文更详细地描述了两个角色:拥有底层网络和资源的物理基础设施提供商(PIP),以及可以充当资源和CloudNet代理商和经销商的虚拟网络提供商(VNP)。这两个角色都在我们的广域原型中完全实现,该原型跨越远程站点和资源。
2013-03-27 cs.DC cs.NI
Quality of Service (QoS) Modelling in Federated Cloud Computing
围绕具有潜在的大量定制资源的大规模服务器基础设施的思想构建,这些定制资源能够交互以促进服务的部署、适配和支持,云计算需要频繁地重新调度和管理各种应用任务,以便适应广泛范围和数量的用户的请求。云计算的挑战之一是通过设计用于在用户和云虚拟资源之间分配任务以及将虚拟资源分配给云物理资源的有效技术来支持和管理服务质量(QoS)。虚拟资源跨物理资源的迁移是另一个需要相当关注的挑战;特别是在联合云计算环境中,其中,提供商可能愿意将其未使用的资源作为服务提供给联合(合作分配),并在需要时收回这些资源供其自己使用(竞争分配)。本文重新审视了云计算中的QoS问题,通过制定和提出i)一个多QoS任务分配模型的任务分配到虚拟机和ii)一个虚拟机迁移模型的联合云计算环境中考虑的情况下,资源提供商是在合作或竞争模式下操作。针对联邦云环境中的QoS支持问题,提出了一种新的基于差分进化的任务分配绑定策略和一种新的虚拟机模型.实验结果表明,所提出的解决方案提高了云计算环境中的服务质量,并揭示了在联合云环境中操作混合合作和竞争模型的相对优势。
2019-11-08 cs.DC cs.NI
Autonomous Choreography of WebAssembly Workloads in the Federated Cloud-Edge-IoT Continuum
本文提出一种面向联邦云-边缘-IoT连续体的新型架构,结合多种AI技术与开放标准,实现WebAssembly工作负载的自主智能编排,并指出未来研究方向。
2023-08-06 cs.DC
CYCLONE Unified Deployment and Management of Federated, Multi-Cloud Applications
各种云层必须协同工作,以管理和部署复杂的多云应用程序,执行复杂的云资源部署,激活,调整,交互和监控工作流。虽然有足够的解决方案来管理各个云方面(例如网络控制器,部署工具和应用程序安全软件),但没有集成良好的套件来管理具有多个提供商和部署模型的整个多云环境。本文介绍了CYCLONE架构,该架构集成了许多现有的解决方案,为多云应用程序创建了一个开放,统一,整体的云管理平台,专为研究机构和中小企业的需求量身定制。它讨论了为Intercloud提供网络和安全基础设施的主要挑战,并以演示如何在现实生活中的生物信息学用例中实施该架构作为结束。
2016-07-22 cs.DC cs.SE
FedApp: a Research Sandbox for Application Orchestration in Federated Clouds using OpenStack
多集群联合被认为是下一代云基础设施,它将在实现边缘和雾计算等概念方面发挥重要作用。在联邦环境中部署应用对负载平衡、自动伸缩、资源分配和服务迁移等领域的研究提出了新的挑战。然而,由于对真实多集群基础设施的访问是有限的,因此需要提供与真实系统相似特性的测试床。为了使相关领域的研究人员能够在联合云环境中快速设置实验,我们创建了开源沙箱FedApp,它简化了在OpenStack环境中部署多个虚拟集群的过程,并有可能在站点之间添加真实的网络特征。每个集群都部署了开源和生产级容器编排器Kubernetes,使用Prometheus/Grafana进行联邦范围的监控,并使用Istio简化了集群间的微服务通信。
2021-09-03 cs.DC cs.NI
MicroFog: A Framework for Scalable Placement of Microservices-based IoT Applications in Federated Fog Environments
微服务架构(MSA)在开发大规模物联网应用程序以部署在分布式和资源受限的雾计算环境中方面正在迅速普及。作为一种云原生应用架构,微服务的真正力量来自于其松散耦合、可独立部署和可扩展的性质,从而实现跨联合雾和云集群的分布式放置和动态组合。因此,有必要开发新的微服务放置算法,利用这些微服务特性来提高应用程序的性能。然而,现有的雾计算框架由于在多个领域存在不足而缺乏对集成此类放置策略的支持,包括跨多雾多云环境的MSA应用放置和部署,跨多个分布式集群的动态微服务组合,框架的可扩展性,对部署异构微服务应用的支持等。为此,我们设计并实现了MicroFog,一个雾计算框架,提供一个可扩展的、易于配置的控制引擎,该引擎在联合的雾环境中执行布局算法和部署应用程序。此外,MicroFog提供了对容器编排和动态微服务组合的充分抽象。该框架使用多个用例进行评估。结果表明,MicroFog是一个可扩展、可扩展且易于配置的框架,可以集成和评估新的放置策略,以便在多雾多云环境中部署基于微服务的应用程序。我们集成了多个微服务放置策略,以展示MicroFog支持水平缩放放置的能力,从而将应用程序服务的响应时间减少了54%。
2023-02-14 cs.DC
Accelerating Communications in Federated Applications with Transparent Object Proxies
本文提出一种将按引用传递扩展到分布式应用的编程范式,通过ProxyStore系统实现透明对象代理,解耦控制流与数据流,降低跨云、HPC和边缘系统数据传递成本,并经基准测试和实际应用验证其高效性。
2023-08-29 cs.DC
Federated Learning Framework for Scalable AI in Heterogeneous HPC and Cloud Environments
本文提出一种适用于异构HPC和云环境的联邦学习框架,解决系统异构性、通信开销和资源调度问题,实现高可扩展性和容错性,适用于非独立和相同分布数据。
2025-11-22 cs.DC cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University(中山大学)
物联网(IoT)已经广泛渗透到现代生活的各个方面,许多智能物联网服务和应用正在涌现。最近,联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型,同时防止数据泄漏。然而,复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战,使其不适合直接部署。在本文中,我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题,我们研究了新兴的个性化联邦学习方法,这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能,还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后,我们提供了一个基于物联网的人类活动识别的案例研究,以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
Opportunities in a Federated Cloud Marketplace
最近的测量研究表明,有大规模分布式托管和计算基础设施部署在互联网上。这样的基础设施包括大型数据中心和组织的计算集群。当空闲时,这些资源可以随时为本地用户服务。这些用户可以是希望访问诸如远程桌面或CPU/带宽密集型活动之类的服务的智能手机或平板电脑用户。特别是,当他们可能有很高的延迟来访问,或者可能根本无法访问集中式云提供商时。然而,今天,没有一个全球市场可以让可用资源的卖家和买家进行交易。亚马逊和其他云基础设施最近推出的市场受到其自身基础设施的网络足迹以及目标国家和地区此类服务的可用性的限制。在本文中,我们讨论了联合云市场的潜力,在这个市场中,许多资源(包括存储、计算和网络带宽)的卖家和买家可以自由交易。这个生态系统可以通过充当服务水平监视器和拍卖者的经纪人进行监管。最后,我们讨论了这个领域的挑战和机遇。
2014-05-08 cs.DC cs.NI
MYSTIKO : : Cloud-Mediated, Private, Federated Gradient Descent
IBM Research AI(IBM研究AI);RPI(伦斯勒理工学院)
联邦学习使多个分布式参与者(可能在不同的云上)能够通过共享参数/梯度来协作和训练机器/深度学习模型。然而,共享梯度,而不是集中数据,可能不像人们期望的那样私密。对明文梯度的逆向工程攻击已被证明是实际可行的。现有的差分私有联邦学习解决方案虽然有希望,但会导致模型不太准确,并且需要进行非平凡的超参数调整。在本文中,我们研究了加性同态加密的使用(特别是Paillier密码)来设计安全的联邦梯度下降技术,该技术(i)不需要添加统计噪声或超参数调整,(ii)不改变最终模型的最终精度或效用,(iii)确保参与者的明文模型参数/梯度永远不会被泄露给参与联邦学习作业的任何其他参与者或第三方协调器,(iv)最小化对任何第三方协调器的信任,以及(v)是高效的,具有最小的开销,并且成本有效。
2020-12-01 cs.CR cs.DC cs.LG
Declarative Modeling for Building a Cloud Federation and Cloud Applications
该文件说明了我们如何建立一个联邦云计算平台,致力于意大利研究界。构建云平台是一项艰巨的任务,需要协调许多服务的部署,这些服务相互关联且相互依赖。平台的配置、服务和维护必须自动化。对于我们的部署,我们选择了一个声明式建模工具,它允许描述组成系统的部分及其特定接口的供应商/消费者关系。该工具通过转换系统的状态,直到达到满足所有约束的配置,来安排使部署收敛的步骤。我们选择了一种声明式服务建模方法来协调管理员对平台的部署和用户对应用程序的部署。云平台的设计使其可以通过这种自动化进行管理,从而促进任何希望加入并向联邦贡献资源的人部署联邦区域。联合资源集成到单个云平台中,可供联合的任何用户使用。联合还可以无缝地包括公共云。我们描述了架构选择,我们如何调整OpenStack的基本设施,以满足多个独立组织的联合会的需求,我们如何根据承诺的计划控制资源分配,以及相应地我们如何处理资源使用的会计和计费。除了提供传统的IaaS服务外,云还支持云应用的自助部署。因此,云解决了科学的长尾问题,允许任何学科的研究人员,在没有系统或云管理专业知识的情况下,部署随时可用的应用程序供他们阅读。
2017-06-16 cs.DC
Privacy-Preserving Data Processing in Cloud : From Homomorphic Encryption to Federated Analytics
本文综述了云计算中隐私保护的数据处理方法,包括同态加密、差分隐私以及联邦学习等技术,探讨了其在医疗、金融等领域的应用及隐私与效率的权衡。
2026-01-10 cs.CR cs.DC
Cloud Uptime Archive: Open-Access Availability Data of Web, Cloud, and Gaming Services
针对云服务可靠性认知不足问题,提出含多视角故障报告的云正常运行时间数据标准存储库,对比现有数据并分析故障特征,通过模拟实验验证故障跟踪对容错机制的影响,最终开源相关数据与工具。
2025-04-13 cs.DC
Federated Block Coordinate Descent Scheme for Learning Global and Personalized Models
在联邦学习中,模型是从用户的数据中学习的,这些数据在他们的边缘设备中是私有的,通过在服务提供商的“云”中聚合它们来获得全局模型。这样的全球模型具有巨大的商业价值,改善客户的体验。在本文中,我们重点关注现有技术的两个可能改进领域。首先,我们考虑到用户习惯之间的差异,并提出一种基于二次惩罚的公式,用于高效学习全局模型,从而允许个性化局部模型。其次,我们解决了与边缘设备上的异构训练时间相关的延迟问题,不仅利用云和边缘设备之间的分层结构建模通信,而且还在云中。具体来说,我们设计了一个量身定制的块坐标下降为基础的计算方案,伴随着同步和异步云设置的通信协议。我们表征的算法的理论收敛速度,并提供了一个变种,经验表现更好。我们还证明了异步协议,灵感来自多代理共识技术,具有潜在的大的增益延迟相比,同步设置时,边缘设备更新是间歇性的。最后,提供的实验结果不仅证实了理论,而且还表明,与现有技术相比,该系统导致边缘设备上个性化模型的更快收敛。
2021-01-31 cs.DC
CooperLLM: Cloud-Edge-End Cooperative Federated Fine-tuning for LLMs via ZOO-based Gradient Correction
University of Science and Technology of China(中国科学技术大学);University of Macau(澳门大学)
CooperLLM通过结合移动端ZOO和云引导梯度校正,实现云-边-端协同联邦微调,显著提升收敛速度和精度,同时保护隐私。
2026-01-19 cs.DC cs.LG
Agglomerative Federated Learning: Empowering Larger Model Training via End-Edge-Cloud Collaboration
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Beijing Jiaotong University(北京交通大学)
提出凝聚式联邦学习框架FedAgg,通过端边云协作和桥接样本在线蒸馏协议实现模型规模与泛化能力的递进式增长,在满足隐私约束下平均准确率提升4.53%。
2024-04-29 cs.DC cs.LG
A Logical Approach to Cloud Federation
联合云在管理身份、资源访问、命名、连接和对象访问控制方面提出了各种挑战。本文展示了如何使用以数据为中心的方法以全面统一的方式应对这些挑战。我们的方法的基础是一个信任的逻辑,参与者发出认证的声明,主体,对象,属性和关系的逻辑语言,推理声明性的政策规则的基础上。我们将展示如何使用该逻辑来实现云联合的信任基础设施,该基础设施扩展了NSF GENI(联合IaaS测试平台)的模型。它捕获共享身份管理,GENI授权服务,使用L2电路的跨站点互连,以及类似于AWS身份和访问管理(IAM)的命名和访问控制系统,但扩展到没有中央控制的联邦系统。
2017-08-10 cs.CR cs.DC
Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised Person Re-identification
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
人员重新识别(ReID)旨在从非重叠的摄像机视图中重新识别人员。由于个人ReID数据包含敏感的个人信息,研究人员采用了联邦学习,一种新兴的分布式训练方法,以减轻隐私泄露风险。然而,现有的研究依赖于费力和耗时的数据标签。我们提出了FedUReID,这是一个联合的无监督人员ReID系统,可以在不使用任何标签的情况下学习人员ReID模型,同时保护隐私。FedUReID支持在具有未标记数据的边缘上进行原位模型训练。云服务器从边缘聚集模型,而不是集中原始数据,以保护数据隐私。此外,为了解决边缘数据量和分布不同的问题,我们通过云和边缘的联合优化对边缘进行个性化训练。具体来说,我们提出了个性化的epoch来重新分配整个训练过程中的计算,个性化的聚类来迭代地预测未标记数据的合适标签,以及个性化的更新来使服务器聚合模型适应每个边缘。在8个人ReID数据集上的大量实验表明,FedUReID不仅实现了更高的准确率,而且将计算成本降低了29%。我们的FedUReID系统与联合优化将揭示实施联邦学习更多的多媒体任务没有数据标签。
2021-08-14 cs.AI cs.CV cs.DC
ORBITALIF: An Efficient Spiking Federated Learning Framework for Onboard Cloud Removal
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
针对低轨卫星传统云去除流程的缺陷,研究人员提出OrbitALIF脉冲联邦学习框架,采用SNN骨干网络及相关模块,实现星上云去除,能耗较ANN降低72.3倍且性能相当。
2026-08-26 cs.AI cs.CV cs.DC
Arena: A Learning-based Synchronization Scheme for Hierarchical Federated Learning--Technical Report
针对层次化联邦学习中设备异构、non-IID数据与移动性导致的同步难题,提出基于深度强化学习的Arena方案,自适应决定云与边缘聚合频率,并通过真实测试床验证其有效性。
2023-08-20 cs.DC
FedHome: Cloud-Edge based Personalized Federated Learning for In-Home Health Monitoring
Sun Yat-sen University(中山大学);Arizona State University(亚利桑那州立大学)
家庭健康监测已经引起了全世界老龄化人口的极大关注。随着物联网(IoT)设备访问的丰富用户健康数据和机器学习的最新发展,智能医疗已经看到了许多成功的故事。然而,现有的家庭健康监测方法没有充分关注用户数据隐私,因此远未准备好进行大规模的实际部署。在本文中,我们提出了FedHome,一种新的基于云边缘的联邦学习框架,用于家庭健康监测,它从网络边缘的多个家庭学习云中的共享全局模型,并通过将用户数据保存在本地来实现数据隐私保护。为了应对用户监测数据中固有的不平衡和非IID分布,我们设计了一个生成式卷积自动编码器(GCAE),其目的是通过使用用户个人数据生成的类平衡数据集来改进模型,从而实现准确和个性化的健康监测。此外,GCAE是轻量级的,可以在云和边缘之间传输,这有助于降低FedHome中联邦学习的通信成本。基于真实人类活动识别数据跟踪的广泛实验证实,FedHome显著优于现有的广泛采用的方法。
2020-12-14 cs.AI cs.DC cs.LG
Towards Deep Federated Defenses Against Malware in Cloud Ecosystems
Stanford University(斯坦福大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在具有许多虚拟机、容器和其他系统的云计算环境中,恶意软件的流行可能对业务流程具有高度威胁。在这篇愿景论文中,我们介绍了一种分层方法,使用机器学习在图形、超图和自然语言方面的几项最新进展来执行恶意软件检测和分析。我们分析单个系统及其日志,使用注意力序列模型检查和理解它们的行为。给定每个系统的日志使用这个过程的特征表示,我们构建了一个属性网络的云系统和其他组件作为顶点,并提出了一个分析的恶意软件与归纳图和超图学习模型。在此基础上,我们考虑多云案例,其中具有不同隐私要求的多个云合作对抗恶意软件的传播,建议使用联邦学习来执行推理和训练,同时保护隐私。最后,我们讨论了几个开放的问题,仍然在保护云计算环境免受恶意软件相关的设计强大的生态系统,识别响应策略的云特定的优化问题,恶意软件遏制和根除的行动空间,并在这一领域的机器学习模型开发先验和迁移学习任务。
2019-12-27 cs.CR cs.DC cs.LG
HFEL: Joint Edge Association and Resource Allocation for Cost-Efficient Hierarchical Federated Edge Learning
联邦学习(FL)已经被提出作为一种有吸引力的方法来处理移动设备的数据隐私问题,与在远程云处的具有原始用户数据上传的传统机器学习相比。通过利用边缘服务器作为中介来执行邻近的部分模型聚合并减轻核心网络传输开销,它在低延迟和节能的FL中具有很大的潜力。因此,我们引入了一种新的分层联邦边缘学习(HFEL)框架,其中模型聚合部分从云中迁移到边缘服务器。在HFEL框架下,提出了一个计算与通信联合的资源分配和边关联问题,以实现全局代价最小化.为了解决这个问题,我们提出了一个高效的资源调度算法在HFEL框架。它可以分解为两个子问题:给定每个边缘服务器的一组预定设备的\emph{resource allocation}和跨所有边缘服务器的设备用户的\emph{edge association}。利用单个边缘服务器下的一组设备的凸资源分配子问题的最优策略,通过迭代的全局代价降低调整过程,可以得到一个有效的边缘关联策略,并证明该策略收敛到一个稳定的系统点.广泛的性能评估表明,我们的HFEL框架在全局成本节省方面优于所提出的基准,并且与传统的联邦学习相比,实现了更好的训练性能。
2020-06-06 cs.DC
FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心(SnT));School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast(贝尔法斯特女王大学电子、电气工程与计算机科学学院)
针对无线雾-云系统中的非i.i.d.数据与用户异构问题,提出FedFog算法及网络感知优化、迭代停止准则和灵活用户聚合策略,验证了收敛性并提升资源利用率与模型精度。
2022-02-10 cs.DC cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR,结合环形集群内的增量次梯度优化算法,有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
funcX: Federated Function as a Service for Science
funcX是一个分布式功能即服务(FaaS)平台,可实现灵活、可扩展和高性能的远程功能执行。与集中式FaaS系统不同,funcX将云托管的管理功能与边缘托管的执行功能相结合。funcX的端点软件可以由用户或管理员部署在任意笔记本电脑、云、集群和超级计算机上,实际上将它们变成功能服务系统。funcX的云托管服务为注册、共享和管理函数和端点提供了单一位置。它允许在端点的联合生态系统中透明、安全和可靠地执行功能--使用户能够根据特定需求将功能路由到端点。funcX使用容器(例如,Docker、Singularity和Shifter)提供跨端点的通用执行环境。funcX实现了各种容器管理策略,以便在各种funcX端点上以高性能和高效率执行功能。funcX还集成了内存数据存储和Globus,用于管理可能跨端点的数据。我们激发了对funcX的需求,提出了我们的原型设计和实现,并通过在两台超级计算机上的实验证明,funcX可以扩展到超过130 000个并发工人。我们发现,funcX的容器加热感知路由算法可以减少3000功能的完成时间高达61%相比,一个随机算法和内存中的数据存储可以加快数据传输高达3倍相比,一个共享的文件系统。
2022-09-23 cs.DC
Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Hong Kong University of Science and Technology(香港科技大学)
针对机器人如何融合迁移经验以快速适应新环境的问题,提出用于云机器人系统导航的终身联邦强化学习(LFRL)架构,包含知识融合算法与迁移学习方法,实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Just-in-Time Aggregation for Federated Learning
随着联邦学习(FL)作业数量和规模的不断增加,需要对聚合进行资源高效的调度和管理,以实现云托管聚合的经济性。现有的FL研究主要集中在FL算法的设计和优化上,而对聚集的有效性研究较少。现有的FL平台通常采用主动等待模型更新的聚合器。这浪费了云上的计算资源,特别是在大规模的FL设置中,其中各方间歇性地可用于训练。在本文中,我们提出了一种新的FL聚合范式-“即时”(JIT)聚合,利用FL作业的独特属性,特别是模型更新的周期性,尽可能推迟聚合,并为其他FL作业或其他数据中心工作负载释放计算资源。我们描述了一种新的方式来优先考虑FL工作的聚合,并使用多个数据集,模型和FL聚合算法,我们的技术可以减少资源使用60+\%相比,在现有的FL平台使用的渴望聚合。我们还证明了使用JIT聚合对FL作业的延迟的开销和影响可以忽略不计。
2022-08-20 cs.DC
GeoFF: Federated Serverless Workflows with Data Pre-Fetching
TU Berlin & ECDF(柏林工业大学与欧洲分布式计算中心)
本文提出GeoFF,一种跨平台无服务器编排中间件,通过函数预热和数据预取将冷启动及数据下载延迟移出关键路径,实验显示端到端延迟降低超50%。
2025-10-23 cs.DC
Beyond Model Scale Limits: End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Laboratory(中关村实验室);Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学)
本文提出FedEEC框架,通过桥接样本在线蒸馏和自知识校正,解决端-边-云联邦学习中的模型规模受限、异构知识传递偏差及节点迁移鲁棒性问题,使模型从端到云逐步增大并提升泛化能力。
2025-01-01 cs.DC cs.LG
Federated Learning over Blockchain-Enabled Cloud Infrastructure
Adobe Research(Adobe研究院);San Francisco State University(旧金山州立大学);Sir Padampat Singhania University(斯里帕曼特·辛格尼亚大学);San Francisco, USA(美国旧金山);Udaipur, India(印度乌代浦);San Jose, USA(美国圣何塞)
本文探讨了联邦学习与区块链技术在云边缘环境中的融合,提出四维架构分类,分析了协调框架、共识算法等关键要素,并对比了MORFLB和FBCI-SHS两种框架,指出其独特贡献与局限性。
2026-04-21 cs.CR cs.DC cs.LG
Floe: Federated Specialization for Real-Time LLM-SLM Inference
Floe通过结合云LLM和边缘SLM实现低延迟隐私保护推理,提升实时环境下的个性化与性能
2026-02-15 cs.DC cs.LG
Hierarchical Federated Learning through LAN-WAN Orchestration
Peking University(北京大学)
联邦学习(FL)旨在使移动电话能够协作学习全局模型,而无需将其私有数据上传到云服务器。然而,现有的FL协议在通常由广域网(WAN)供电的联合网络中具有关键的通信瓶颈,并且具有隐私问题。这样的WAN驱动的FL设计导致显著高的成本和慢得多的模型收敛。在这项工作中,我们提出了一个有效的FL协议,它涉及到一个分层聚合机制,在局域网(LAN),由于其丰富的带宽和几乎可以忽略不计的货币成本比WAN。我们提出的FL可以加速学习过程,并减少货币成本,在同一局域网中频繁的本地聚合和不频繁的跨WAN云上的全球聚合。我们进一步设计了一个具体的FL平台,即LanFL,它结合了几个关键技术来处理这些挑战所带来的局域网:云设备聚合架构,局域网内对等(P2P)拓扑生成,局域网间的带宽容量异构性。我们在2个典型的非IID数据集上对LanFL进行了评估,结果表明LanFL可以显著加快FL训练速度(1.5倍-6.0倍),节省WAN流量(18.3倍-75.6倍),并在保持模型准确性的同时降低货币成本(3.8倍-27.2倍)。
2020-10-22 cs.DC cs.LG
Supporting the development of Machine Learning for fundamental science in a federated Cloud with the AI_INFN platform
Istituto Nazionale di Fisica Nucleare (INFN), Sezione di Firenze, Italy(意大利佛罗伦萨分所国家核物理研究所);Istituto Nazionale di Fisica Nucleare (INFN), CNAF, Italy(意大利CNAF国家核物理研究所);Istituto Nazionale di Fisica Nucleare (INFN), Sezione di Perugia, Italy(意大利佩鲁吉亚分所国家核物理研究所);Department of Physics, University of Perugia, Italy(意大利佩鲁吉亚大学物理系)
本文介绍AI_INFN平台,利用云原生和Kubernetes技术,在INFN Cloud中共享GPU加速器,简化数据分析工作流开发并支持异构分布式资源上的可扩展性。
2025-06-17 cs.AI cs.DC physics.data-an
FedeRank: User Controlled Feedback with Federated Recommender Systems
Politecnico di Bari(巴里理工大学)
推荐系统已被证明是数据可用性如何缓解我们日常数字生活的成功代表。然而,数据隐私是数字时代最突出的问题之一。在几次数据泄露和隐私丑闻之后,用户现在担心共享他们的数据。在过去的十年中,联邦学习已经成为一种新的隐私保护分布式机器学习范式。它的工作原理是处理用户设备上的数据,而无需在中央存储库中收集数据。我们提出了Federank(https://split.to/federank),一个联邦推荐算法。该系统在每个设备上学习个人因子分解模型。模型的训练是中央服务器和联邦客户端之间的同步过程。FedeRank以分布式的方式计算推荐,并允许用户控制他们想要共享的数据部分。通过与最先进的算法进行比较,大量的实验表明,FedeRank在推荐准确率方面的有效性,即使只有一小部分共享的用户数据。进一步分析了推荐列表的多样性和新颖性,保证了算法在实际生产环境中的适用性。
2021-01-20 cs.DC cs.IR cs.LG
Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification
University of Macau(澳门大学)
针对隐私敏感和资源受限场景,联合评估联邦学习与知识蒸馏在3D点云分类中的性能,发现极端非独立同分布标签偏移下联邦学习性能下降,蒸馏可压缩模型且避免标签泄露问题。
2026-07-03 cs.AI cs.CV cs.DC
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University(庆南大学);Sejong University(世宗大学)
本文针对云-边-端IoT网络动态调度任务,提出基于联邦强化学习的协作策略学习框架,通过聚合边缘经验构建中心策略,显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
AI4EOSC: a Federated Cloud Platform for Artificial Intelligence in Scientific Research
Institute of Informatics, Slovak Academy of Sciences (IISAS)(斯洛伐克科学院信息学研究所);Faculty of Informatics and Information Technologies, Slovak University of Technology(斯洛伐克科技大学信息学与信息技术学院);Laboratório de Instrumentação e Física Experimental de Partículas(粒子物理实验与仪器实验室)
本文提出AI4EOSC平台,旨在解决科学研究中AI/ML生命周期的碎片化问题,通过模块化架构和联邦 orchestration 模型,整合异构资源,确保FAIR原则,提升可重复性和互操作性。
2026-06-27 cs.AI cs.DC
A Demonstration of Smart Doorbell Design Using Federated Deep Learning
Pandit Deendayal Petroleum University(潘迪特·丁代亚尔石油大学);NUI Galway(爱尔兰国立高威大学)
智能门铃在保护我们的现代家居方面发挥着重要作用。将视频流发送到集中式服务器(或云)以进行视频分析的现有方法一直面临许多挑战,诸如延迟、带宽成本以及更重要的用户隐私问题。为了应对这些挑战,本文展示了基于联合深度学习的智能智能门铃的能力,它可以跨边缘和云资源部署和管理视频分析应用程序,例如智能门铃。该平台可以扩展,与多个设备一起工作,无缝管理应用程序组件的在线编排。所提出的框架是使用最先进的技术实现的。我们使用Flask框架实现Federated Server,使用Nginx和Gunicorn进行容器化,部署在AWS EC2和AWS Serverless架构上。
2020-10-19 cs.AI cs.DC cs.LG
On Kubernetes-aided Federated Database Systems
云计算使得联邦数据库系统(FDBS)的实现比过去更加实用。作为最近基于Web的地理信息系统(WebGIS)项目的一部分,我们正在采用云原生技术(来自容器生态系统)来开发联合数据库(DB)基础设施,以帮助管理和利用分布式和各种地理空间数据。不幸的是,将容器和Kubernetes技术应用于构建和运行数据库系统似乎存在固有的挑战和复杂性。考虑到大多数地理空间和主题数据都是预先获得的,并且在我们的WebGIS项目中是固定的,我们决定专注于只读用户查询,并且仍然依靠Kubernetes来实现FDBS实例。与事实上的做法不同(例如,使用StatefulSets机制,扩展Kuberentes API或采用KubeFed),我们的Kubernetes辅助FDBS解决方案通过研究联邦数据管理的分形对象,包括容器化DB实例,并使用轻量级Deployment机制来处理无状态DB容器,简化了技术堆栈。总体而言,本研究不仅揭示了一个易于实现的方法来构建只读组件在一个完全成熟的FDBS,但也提出并证明了一种新的方法FDBS调查。
2022-11-01 cs.DC cs.SE
FedDriveScore: Federated Scoring Driving Behavior with a Mixture of Metric Distributions
China Three Gorges University(三峡大学)
针对无标签驾驶数据和隐私限制,提出无监督评分方法及车云协同联邦学习框架,实现与集中式学习一致的驾驶行为评分。
2024-01-13 cs.DC cs.LG
Autonomic Federated-Market Orchestration for the Edge-Cloud Continuum
University of Oulu(奥卢大学);EURECOM(欧洲多媒体通信研究所);University of Jyväskylä(于韦斯屈莱大学);AMD Silo AI;University of Helsinki(赫尔辛基大学)
提出Neural Pub/Sub联邦代理自主基板,通过基于市场的价格信号实现去中心化编排,在边缘-云连续体中实现与集中式预言机相当的福利效率,并验证了其抗故障性和主权执行零开销。
2026-05-26 cs.DC cs.GT cs.MA
Towards Client Driven Federated Learning
Southeast University(东南大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统联邦学习服务器驱动模式的局限,提出客户端驱动的联邦学习框架CDFL,让客户端异步发起更新,服务器维护聚类模型并优化估计,实现快速适应新任务,提升性能与计算效率。
2024-05-24 cs.DC cs.LG