Benchmarking federated strategies in Peer-to-Peer Federated learning for biomedical data
CUNEF Universidad（库内夫大学）；Universidad Autónoma de Chile（智利自治大学）；Universidad Pablo de Olavide（巴勃罗·德·奥拉维德大学）；Universidad de Extremadura（埃斯特雷马杜拉大学）
本研究针对生物医学数据，在对等联邦学习环境中测试了多种聚合策略，发现基于准确率的加权平均方法优于经典的联邦平均方法。
2024-02-15 cs.AI cs.DC cs.LG
Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习系统有助于在潜在异构数据分布在大量客户端的环境中训练全局模型。这样的系统在具有间歇性客户端可用性和/或时变通信约束的设置中操作。因此，由联邦学习系统训练的全局模型可能偏向于具有更高可用性的客户端。我们提出了F3 AST，一个无偏的算法，动态学习的可用性相关的客户端选择策略，渐近最小化的影响，客户端采样方差的全局模型收敛，提高性能的联邦学习。所提出的算法进行了测试，在各种设置下的间歇性可用的客户端通信的限制，和合成数据和现实的联邦基准测试实验使用CIFAR 100和莎士比亚的数据集证明其有效性。在CIFAR 100和Shakespeare上，我们的准确率分别比FedAvg提高了186%和8%，比FedAdam提高了8%和7%。
2022-05-13 cs.LG
Adversarial Client Detection via Non-parametric Subspace Monitoring in the Internet of Federated Things
Arizona State University（亚利桑那州立大学）；University of Florida（佛罗里达大学）；Clemson University（克莱姆森大学）
针对联邦物联网中联邦学习易遭对抗攻击的安全问题，提出非参数方法FedRR，利用传输参数更新的低秩特征检测对抗客户端，可在无攻击场景下控制误报率，经MNIST数字识别实验验证有效。
2023-10-02 cs.LG
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity
UC Santa Barbara（加州大学圣巴巴拉分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）
联邦学习是一种新的范式，它涉及从分布在大型客户端网络中的数据样本中学习，而数据仍然是本地的。然而，众所周知，联邦学习容易面临多个系统挑战，包括客户端具有不同计算和通信能力的系统异构性。客户端计算速度的这种异质性对联邦学习算法的可扩展性具有负面影响，并且由于离散者的存在而导致其运行时的显著减慢。在本文中，我们提出了一种新的离散弹性的联邦学习方法，结合客户端的数据的统计特征，以自适应地选择客户端，以加快学习过程。我们的算法的核心思想是从速度较快的节点开始训练过程，一旦达到当前参与节点对应的数据的统计精度，就逐渐将速度较慢的节点纳入模型训练。所提出的方法减少了实现所有节点的数据的统计准确性所需的整体运行时间，因为每个阶段的解决方案接近于具有更多样本的后续阶段的解决方案，并且可以用作热启动。我们的理论结果的特征加速增益相比，标准的联邦基准强凸目标，我们的数值实验也证明了显着的加速比，在挂钟时间的离散弹性方法相比，联邦学习基准。
2020-12-28 cs.DC cs.LG stat.ML
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
联邦学习是一种分布式机器学习方法，其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势，但它受到了域转移问题的影响，在域转移问题中，学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中，我们提出了联邦不变学习一致性（FedILC）的方法，它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境，并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明，我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网（IoT）的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Adaptive Federated Optimization
Google Research（谷歌研究院）
联邦学习是一种分布式机器学习范例，其中大量客户端与中央服务器协调以学习模型，而无需共享它们自己的训练数据。标准的联邦优化方法（如Federated Averaging（FedAvg））通常很难调优，并表现出不利的收敛行为。在非联邦设置中，自适应优化方法在解决这些问题方面取得了显着的成功。在这项工作中，我们提出了联邦版本的自适应优化器，包括Adagrad，Adam和Yogi，并分析其收敛性在一般非凸设置的异构数据的存在。我们的研究结果突出了客户端的异质性和通信效率之间的相互作用。我们还对这些方法进行了大量的实验，并表明使用自适应优化器可以显着提高联邦学习的性能。
2021-09-08 cs.DC cs.LG math.OC
Architectural Patterns for the Design of Federated Learning Systems
CSIRO（联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
联邦学习已经受到学术界和工业界的快速增长的兴趣，以解决机器学习中的数据饥饿和隐私挑战。联邦学习系统可以被视为具有不同组件和利益相关者的大规模分布式系统，因为许多客户端设备参与联邦学习。设计一个联邦学习系统需要软件系统设计思维，而不需要机器学习知识。尽管人们从机器学习技术的角度对联邦学习进行了大量的研究，但在构建联邦学习系统时，软件体系结构设计的问题却被忽略了。因此，在本文中，我们提出了一个架构模式的集合，以处理联邦学习系统的设计挑战。在软件架构设计期间，架构模式为给定上下文中经常出现的问题提供了可重用的解决方案。所提出的模式是基于系统的文献综述的结果，包括三个客户端管理模式，四个模型管理模式，三个模型培训模式，和四个模型聚合模式。这些模式与联邦学习模型生命周期中的特定状态转换相关联，作为在联邦学习系统设计中有效使用模式的指导。
2021-06-18 cs.DC cs.LG cs.SE
Attacks to Federated Learning: Responsive Web User Interface to Recover Training Data from User Gradients
Nanyang Technological University（南洋理工大学）
局部差分隐私（LDP）是一种保护个人用户数据的新兴隐私标准。可以应用LDP的一个场景是联邦学习，其中每个用户将他/她的用户梯度发送到聚合器，聚合器使用这些梯度来执行随机梯度下降。在聚合器不可信并且LDP不应用于每个用户梯度的情况下，聚合器可以从这些梯度恢复敏感的用户数据。在本文中，我们提出了一个新的交互式Web演示展示本地差分隐私的力量，通过可视化联邦学习与本地差分隐私。此外，现场演示还展示了LDP如何防止不受信任的聚合器恢复敏感的训练数据。还创建了一个称为exp-hamming恢复的度量，以显示聚合器可以恢复多少数据。
2020-07-17 cs.CR cs.DC cs.LG
WrapperFL: A Model Agnostic Plug-in for Industrial Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank Inc.（微众银行）
联邦学习作为一种保护隐私的协作式机器学习范式，受到了业界越来越多的关注。随着需求的巨大增长，出现了许多联邦学习平台，允许联邦参与者从头开始设置和构建联邦模型。然而，现有的平台具有高度侵入性，复杂性，并且难以与构建的机器学习模型集成。对于许多已经拥有成熟服务模型的现实世界企业来说，现有的联邦学习平台具有很高的进入门槛和开发成本。本文提出了一个简单而实用的联邦学习插件的启发集成学习，被称为WrapperFL，允许参与者建立/加入一个联邦系统与现有的模型以最小的成本。WrapperFL以即插即用的方式工作，只需连接到现有模型的输入和输出接口，无需重新开发，大大减少了人力和资源的开销。我们验证了我们提出的方法在异构数据分布和异构模型下的不同任务。实验结果表明，WrapperFL能够在实际环境下成功应用于广泛的应用，并以较低的代价通过联邦学习改进局部模型。
2022-08-03 cs.AI cs.DC cs.LG
Towards a Federated Learning Framework for Heterogeneous Devices of Internet of Things
University of California, Davis（加利福尼亚大学戴维斯分校）
联邦学习（FL）由于其将数据保存在本地设备上的能力而在工业界和研究界受到了极大的关注。为了聚合局部模型的梯度以训练全局模型，现有的工作要求全局模型和局部模型相同。然而，物联网（IoT）设备在计算速度和板载存储器方面本质上是多样化的。在本文中，我们提出了一个FL框架，针对物联网设备的异构性。具体地，从全局模型压缩局部模型，并且使用压缩的局部模型的梯度来更新全局模型。我们进行了初步的实验，以说明我们的框架可以促进物联网感知FL的设计。
2021-05-31 cs.DC cs.LG cs.NI
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba（筑波大学）
FedDCL将联邦学习与数据协作分析结合，通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习，解决了联邦学习在难以持续对外通信环境中的实施难题，且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
Towards Verifiable Federated Learning
Nanyang Technological University（南洋理工大学）
联邦学习（FL）是协作机器学习的一种新兴范式，它在构建强大模型的同时保护用户隐私。然而，由于自利实体公开参与的性质，它需要防范合法FL参与者的潜在不当行为。FL验证技术是解决这个问题的有前途的解决方案。它们已被证明可以有效地提高FL网络的可靠性，并有助于在参与者之间建立信任。可验证的联邦学习已经成为一个新兴的研究课题，吸引了学术界和工业界的极大兴趣。目前，在可验证的联邦学习领域还没有全面的调查，这是一个跨学科的性质，对研究人员来说是一个挑战。在本文中，我们弥合这一差距，审查工作集中在可验证的FL。我们提出了一种新的分类可验证的FL涵盖集中和分散的FL设置，总结了普遍采用的性能评估方法，并讨论了有前途的方向走向一个通用的可验证的FL框架。
2022-02-15 cs.AI cs.CR cs.DC
Characterizing Internal Evasion Attacks in Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
本文首次表征了联邦学习中对抗性客户端在测试时发起的内部规避攻击，发现对抗训练防御效果有限，但将其与个性化联邦学习框架结合可使相对鲁棒性提升60%。
2023-10-21 cs.CR cs.LG
Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)
Maastricht University（马斯特里赫特大学）
联邦学习（FL）是一种设置，其中具有分布式数据的多方协作训练联合机器学习（ML）模型，同时将所有数据保持在各方的本地。联邦聚类是FL中的一个研究领域，它关注的是将全局相似的数据分组在一起，同时保持所有数据的本地性。我们描述了这个研究领域本身是如何引起人们的兴趣的，或者它如何帮助解决非独立同一分布（i.i.d.）等问题。在监督FL框架中的数据。这项工作的重点，但是，是一个扩展的联邦模糊$c$ -手段算法的FL设置（FFCM），对联邦聚类的贡献。我们提出了两种方法来计算全球聚类中心，并通过具有挑战性的数值实验来评估其行为。我们观察到，即使在具有挑战性的情况下，其中一种方法也能够识别出良好的全球集群，但也承认许多挑战仍然存在。
2022-01-18 cs.LG
FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning
Alibaba Group（阿里巴巴集团）
针对联邦学习中微调LLM缺乏支持的问题，提出FS-LLM包，提供端到端基准流水线、参数高效微调算法实现和资源高效算子，实验验证其有效性。
2023-09-01 cs.LG
Revocable Federated Learning: A Benchmark of Federated Forest
Xidian University（西安电子科技大学）；Fuzhou University（福州大学）；Data 61, CSIRO（联邦科学与工业研究组织数据61所）；Zhejiang University（浙江大学）
学习联邦由多个参与者组成，这些参与者使用联邦学习技术来协作训练机器学习模型，而不直接揭示本地数据。然而，现有的联邦学习框架存在一个严重的缺陷，即使某个参与者被撤销，其数据仍然被训练好的模型记住。在公司层面的合作中，允许剩下的公司使用包含被撤销公司记忆的训练模型显然是不可接受的，因为这可能导致巨大的利益冲突。为此，本文重点讨论了联邦学习的参与者撤销问题，并设计了一个可撤销的联邦随机森林（RF）框架RevFRF，进一步阐述了可撤销的联邦学习的概念。在RevFRF中，我们首先定义了一个可扩展的联邦RF要解决的安全问题。然后，设计了一套基于同态加密的安全协议，用于联邦射频的构建、预测和撤销。通过理论分析和实验，证明了该协议能够安全有效地实现RF的协同训练，并确保训练RF中被撤销参与者的记忆被安全删除。
2019-11-08 cs.CR cs.LG
Federated Learning for Internet of Things: A Federated Learning Framework for On-device Anomaly Data Detection
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
联邦学习可以成为实现物联网网络安全的有前途的解决方案（即，IoT环境中的异常检测），同时保护数据隐私并减轻高通信/存储开销（例如，来自时间序列传感器的高频数据）的集中式云方法。本文从算法和系统设计两个方面对FedIoT进行了深入研究，构建了FedIoT平台，其中包括FedDetect算法和系统设计，前者用于设备上异常数据检测，后者用于物联网设备上联邦学习的真实评估。此外，所提出的FedDetect学习框架通过利用局部自适应优化器（例如，Adam）和跨轮学习率调度器。在一个真实的物联网设备网络（Raspberry PI）中，我们从模型和系统性能两个方面评估了FedIoT平台和FedDetect算法。我们的研究结果证明了联邦学习在检测多个设备上发生的更广泛的攻击类型方面的有效性。系统效率分析表明，对于资源受限的物联网设备来说，端到端的训练时间和内存成本都是可以承受的，并且很有前途。源代码可在https://github.com/FedML-AI/FedIoT上公开获得。
2021-10-18 cs.LG cs.SY eess.SY
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST（韩国科学技术院计算机学院）；Samsung Research（三星研究院）；Data Science Group, Institute for Basic Science（基础科学研究院数据科学组）；Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
本文提出FedMID，一种无数据防御方法，通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击，实验证明其在多种计算条件和高级攻击下具有鲁棒性，促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
Applications of Federated Learning in Smart Cities: Recent Advances, Taxonomy, and Open Challenges
Tianjin University（天津大学）；Hainan University（海南大学）；University of Macau（澳门大学）
联邦学习在智慧城市的进程中扮演着重要的角色。随着大数据和人工智能的发展，在这个过程中出现了数据隐私保护的问题。联邦学习能够解决这个问题。本文首先介绍了联邦学习的发展现状及其在各个领域的应用。我们进行全面调查。本文综述了联邦学习在智慧城市各领域应用的最新研究成果。从物联网、交通、通信、金融、医疗等领域深入了解了当前联邦学习的发展情况。在此之前，我们介绍了联邦学习的背景、定义和关键技术。此外，我们还回顾了关键技术和最新成果。最后，讨论了联邦学习在智慧城市中的应用前景和研究方向。
2021-03-14 cs.CR cs.LG
Painless Federated Learning: An Interplay of Line-Search and Extrapolation
Department of Computer Science and Engineering, IIIT Delhi（计算机科学与工程系，IIIT 德里）
本文提出联邦随机线搜索（FedSLS）及其外推变体（FedExpSLS），利用线搜索抑制客户端异质性和梯度噪声，实现强凸目标下的线性收敛，并在多种凸与非凸问题上达到或优于现有联邦学习算法的性能。
2025-10-26 cs.AI cs.LG math.OC
RAIFLE: Reconstruction Attacks on Interaction-based Federated Learning with Adversarial Data Manipulation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出RAIFLE攻击框架，通过中央服务器主动操纵用户交互物品特征，在交互式联邦学习中实现高效的私有数据重构，揭示了现有隐私风险并探讨了防御对策。
2025-03-02 cs.CR cs.LG
A Hierarchical Federated Learning Approach for the Internet of Things
本文提出适用于大规模物联网部署的层次化联邦学习解决方案QHetFed，结合梯度与模型聚合，在数据异构和通信受限下实现高精度与快速收敛。
2025-04-05 cs.IT cs.LG math.IT
Towards Accurate and Robust Classification in Continuously Transitioning Industrial Sprays with Mixup
Ford Motor Company（福特汽车公司）
使用深度神经网络进行图像分类的技术突破激增，在人脸识别、医学成像和自动驾驶等领域有着广阔的应用前景。然而，在工程问题中，例如发动机喷油器喷雾或车身喷漆喷雾的高速成像，深度神经网络面临着与充足和多样化数据的可用性相关的根本挑战。通常情况下，只有数千甚至数百个样本可用于训练。此外，不同喷雾类别之间的过渡是一个连续体，需要高水平的领域专业知识来准确标记图像。在这项工作中，我们使用Mixup作为一种方法，系统地处理工业喷雾应用中发现的数据稀缺和模糊的类边界。我们发现，数据增强可以在一定程度上缓解大型神经网络在小数据集上的过拟合问题，但不能从根本上解决这个问题。我们讨论了不同类的凸线性插值如何自然地与我们应用中不同类之间的连续过渡保持一致。我们的实验表明，Mixup是一种简单而有效的方法，可以用几百个样本训练准确而强大的深度神经网络分类器。
2022-07-20 cs.CV cs.LG
Hierarchically Fair Federated Learning
Deakin University（迪肯大学）
当联邦学习在具有孤立数据集的竞争代理之间采用时，代理是自私的，并且只有当它们得到公平的奖励时才参与。为了鼓励联邦学习的应用，本文采用了一种管理策略，即，贡献越多，回报越多。我们提出了一种新的分层公平的联邦学习（HFFL）框架。在这一框架下，代理商将按其预先商定的贡献水平获得奖励。HFFL+扩展了这一点，以纳入异构模型。理论分析和几个数据集的实证评估证实了我们的框架在维护公平性，从而促进联邦学习在竞争环境中的有效性。
2020-05-01 cs.AI cs.CY cs.LG
Federated Learning Meets Fairness and Differential Privacy
International Institute of Information Technology (IIIT), Hyderabad（国际信息技术学院（海得拉巴））
深度学习前所未有的成功引发了从有偏见的预测到数据隐私等多个伦理问题。研究人员通过引入公平性指标、联邦学习或差分隐私来解决这些问题。首先，这项工作提出了一个道德的联邦学习模型，同时结合所有三个措施。在成人、银行和荷兰数据集上的实验突出了准确性、公平性和隐私性之间的“经验相互作用”。
2021-08-23 cs.AI cs.CR cs.CY
XFL: A High Performace, Lightweighted Federated Learning Framework
本文介绍了XFL，一个工业级的联邦学习项目。XFL支持在多个设备上协同训练AI模型，同时利用同态加密、差分隐私、安全多方计算等安全技术，确保数据不泄露。XFL提供了丰富的算法库，集成了大量预先构建的、安全的、优秀的联邦学习算法，涵盖了横向和纵向的联邦学习场景。数值实验表明了这些算法的优良性能。XFL为所有联邦算法构建了简洁的预置配置接口，并支持通过Docker容器进行快速部署。因此，我们认为XFL是用户最友好和易于开发的联邦学习框架。XFL是开源的，代码和文档都可以在https://github.com/paritybit-ai/XFL上找到。
2023-02-10 cs.LG
Prior-Independent Auctions for the Demand Side of Federated Learning
MIT（麻省理工学院）
联邦学习（FL）是一种范例，它允许分布式客户端学习共享的机器学习模型，而无需共享其敏感的训练数据。虽然在很大程度上是分散的，但FL需要资源来资助中央协调器或偿还数据集的贡献者以激励参与。从先前的独立拍卖设计的见解的启发，我们提出了一种机制，FIPIA（通过先前的独立拍卖联合激励支付），从自我利益的客户端收集货币贡献。该机制在半诚实信任模型中运行，即使客户端对接收高质量模型有不同的兴趣，服务器也不知道客户端的兴趣水平。我们在MNIST、FashionMNIST和CIFAR-10数据集上进行了实验，以测试客户在FIPIA和FIPIA激励属性下的模型质量。
2021-04-13 cs.GT cs.LG
Sustainable Federated Learning
University of California, Riverside（加利福尼亚大学河滨分校）；The Ohio State University（俄亥俄州立大学）
大规模无线网络对机器学习的潜在环境影响是未来智能生态系统可持续性的主要挑战。在本文中，我们介绍了联邦学习设置中的可持续机器学习，使用可从周围环境中收集能量的可充电设备。我们提出了一个实用的联邦学习框架，该框架利用间歇性能量到达进行训练，并具有可证明的收敛保证。我们的框架可以应用于网络环境中的各种机器学习设置，包括无线和边缘网络中的分布式和联邦学习。我们的实验表明，所提出的框架可以提供显着的性能改进的基准能量不可知的联邦学习设置。
2021-02-22 cs.IT cs.LG math.IT
Asymmetrical Vertical Federated Learning
Tencent（腾讯）
联邦学习是一种分布式机器学习方法，旨在保护样本特征和标签的隐私。在联邦学习系统中，通常采用基于身份的样本对齐方法，而很少对身份隐私进行保护。然而，在实际应用中，作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧，本文正式提出了非对称垂直联邦学习的概念，并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地，Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用，联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
The OARF Benchmark Suite: Characterization and Implications for Federated Learning Systems
National University of Singapore（新加坡国立大学）
本文提出并描述了一个用于联邦学习的开放应用程序库（OARF），一个联邦机器学习系统的基准套件。以前可用的联邦学习基准主要集中在合成数据集上，并使用有限数量的应用程序。OARF将公开可用的数据集作为图像、文本和结构化数据中的不同数据孤岛来模拟更真实的应用场景。我们的表征表明，基准套件是不同的数据大小，分布，功能分布和学习任务的复杂性。广泛的评估与参考实现显示了未来的研究机会的重要方面的联邦学习系统。我们已经开发了参考实现，并评估了联邦学习的重要方面，包括模型准确性，通信成本，吞吐量和收敛时间。通过这些评估，我们发现了一些有趣的发现，例如联邦学习可以有效地提高端到端的吞吐量。
2022-03-02 cs.LG stat.ML
A Review of Privacy-preserving Federated Learning for the Internet-of-Things
Keele University（基尔大学）
物联网（IoT）产生大量数据，其中大部分可归因于个人的活动和行为。收集个人数据并在中央位置对这些数据执行机器学习任务，会给个人带来重大的隐私风险，也会给将这些数据传输到云端带来挑战。然而，基于机器学习，特别是深度学习的分析可以从大量数据中受益匪浅，以开发高性能预测模型。这项工作回顾了联邦学习作为一种方法，用于对分布式数据执行机器学习，其目标是保护用户生成的数据的隐私，以及减少与数据传输相关的通信成本。我们调查了各种各样的论文，涵盖了通信效率，客户端异构性和隐私保护方法，这些方法对于物联网环境中的联邦学习至关重要。在这篇综述中，我们确定了应用于联邦学习的不同方法的优点和缺点，最后，我们概述了隐私保护联邦学习研究的未来方向，特别是专注于物联网应用。
2020-09-08 cs.CR cs.LG stat.ML
Federated Survival Forests
Politecnico di Milano（米兰理工大学）
本文提出联邦生存森林 FedSurF，基于随机生存森林实现单轮通信的高效联邦生存分析，在非独立同分布数据环境下以低计算成本超越深度学习联邦算法。
2023-08-07 cs.LG
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning
KAIST（韩国科学技术院）；AITRICS
虽然现有的联邦学习方法大多要求客户端具有完全标记的数据来进行训练，但在现实环境中，在客户端获得的数据通常没有任何附带的标签。这种标签的不足可能是由于高的标签成本，或由于需要专家知识而难以注释。因此，在每个客户端的私有数据可能是部分标记，或完全未标记的标记数据是只在服务器上可用，这导致我们一个新的实际联邦学习问题，即联邦半监督学习（FSSL）。在这项工作中，我们研究了两个基本的情况下，FSSL的标记数据的位置的基础上。第一个场景考虑的是传统的情况，其中客户端具有标记和未标记的数据（客户端标记），第二个场景考虑的是更具挑战性的情况，其中标记的数据仅在服务器上可用（服务器标记）。然后，我们提出了一种新的方法来解决这些问题，我们称之为联邦匹配（FedMatch）。FedMatch改进了联邦学习和半监督学习方法的简单组合，具有新的客户端间一致性损失和对标记和未标记数据进行不相交学习的参数分解。通过在两种不同场景下对我们的方法进行广泛的实验验证，我们表明我们的方法优于局部半监督学习和基线，后者天真地将联邦学习与半监督学习结合起来。该代码可在https://github.com/wyjeong/FedMatch上获得。
2021-03-29 cs.LG stat.ML
Making a Case for Federated Learning in the Internet of Vehicles and Intelligent Transportation Systems
University of Western Ontario（西安大略大学）
随着5G网络的引入和技术的进步，例如网络功能虚拟化和软件定义网络，新的和新兴的网络技术和用例正在形成。其中一项技术是车辆互联网（IoV），它描述了车辆和基础设施的互联系统。再加上人工智能和机器学习的最新发展，车联网将转变为智能交通系统（ITS）。然而，有几个操作上的考虑因素阻碍了ITS系统的采用，包括可扩展性、高可用性和数据隐私。为了应对这些挑战，联邦学习，一个协作和分布式智能技术，建议。通过ITS案例研究，强调了部署在整个网络路边基础设施上的联合模型通过利用组智能从故障中恢复的能力，同时减少了恢复时间并恢复了可接受的系统性能。联邦学习具有众多用例和优势，是ITS的关键推动因素，并有望在5G及其他网络和应用中实现广泛应用。
2021-02-19 cs.LG cs.NI
Distribution-Free Federated Learning with Conformal Predictions
Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital（马萨诸塞州总医院阿蒂努拉·A·马蒂诺斯生物医学成像中心）；Department of Radiology, Harvard Medical School（哈佛医学院放射学系）
联邦学习吸引了人们对医疗保健中协作机器学习的极大兴趣，以利用独立的机构数据集，同时维护患者隐私。然而，校准不良和缺乏可解释性等其他挑战也可能阻碍将联邦模型广泛部署到临床实践中，导致用户在高风险临床决策中不信任或滥用ML工具。在本文中，我们建议通过将自适应共形框架纳入联邦学习来解决这些挑战，以确保提供覆盖保证的无分布预测集。重要的是，这些不确定性估计可以在不需要对模型进行任何额外修改的情况下获得。MedMNIST医学成像基准的实证结果表明，我们的联邦方法在6个不同的医学成像数据集上为2D和3D多类分类任务提供了更紧密的局部共形预测覆盖。此外，我们将类熵与预测集大小相关联，以评估任务的不确定性。
2022-01-15 cs.LG eess.IV
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题，提出 FCCL+，通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化，并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
Learn Electronic Health Records by Fully Decentralized Federated Learning
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）
联邦学习在星型网络中的分布式训练问题中具有很高的通信效率，这为联邦学习提供了许多研究机会。在本文中，我们专注于提高通信效率的完全分散的联邦学习在一个图，该算法执行本地更新几次迭代，然后使节点之间的通信。这样，在不损失解的最优性的情况下，可以显著地节省交换参数的共同兴趣的通信回合。基于大型真实世界电子健康记录数据库的多个数值模拟显示了分散式联邦学习与经典方法相比的优越性。
2019-12-10 cs.LG cs.NE stat.ML
Data-driven Learning of Probabilistic Model of Binary Droplet Collision for Spray Simulation
Department of Mechanical Engineering, City University of Hong Kong（香港城市大学机械工程系）；Shenzhen Research Institute, City University of Hong Kong（香港城市大学深圳研究院）
本文提出基于机器学习的二元液滴碰撞概率模型，通过实验数据训练实现高精度非线性边界识别与过渡区敏感性保留，为喷雾模拟提供物理一致的解决方案。
2026-04-15 cs.LG physics.flu-dyn
Flame Stability Analysis of Flame Spray Pyrolysis by Artificial Intelligence
Princeton University（普林斯顿大学）；Argonne National Laboratory（阿贡国家实验室）
火焰喷雾热解（FSP）是一种通过燃烧雾化的前体溶液来合成纳米颗粒的工艺;该工艺在催化剂，电池材料和颜料中有应用。目前的局限性围绕着理解如何始终如一地实现稳定的火焰和可靠的纳米颗粒生产。机器学习和人工智能算法可以实时的检测不稳定的火焰条件，这可能是简化合成过程和提高FSP效率的一种手段。在这项研究中，FSP火焰稳定性首先通过分析火焰的锚点的亮度来量化。然后，该分析用于标记无监督和监督机器学习方法的数据。无监督学习方法通过在降维空间中表示数据并识别最有效地聚类它的特征组合来允许对新数据进行自主标记和分类。另一方面，监督学习方法需要对训练和测试数据进行人工标记，但能够对视频馈送中的多个感兴趣对象（例如燃烧器和引燃火焰）进行分类。这些技术中的每一种的准确性都与人类专家的评估进行了比较。无监督和有监督的方法都可以实时的跟踪和分类FSP火焰状况，以警告用户不稳定的火焰状况。这项研究有可能通过监测和分类火焰稳定性来自主跟踪和管理火焰喷雾热解以及其他火焰技术。
2020-10-22 cs.CV cs.LG
Federated and Transfer Learning: A Survey on Adversaries and Defense Mechanisms
University of Windsor（温莎大学）
联邦学习的出现促进了机器学习模型之间的大规模数据交换，同时保持了隐私。尽管它的历史很短，但联邦学习正在迅速发展，使其更广泛地使用。该领域最重要的进步之一是将迁移学习纳入联邦学习，这克服了主要联邦学习的基本限制，特别是在安全性方面。本章从安全的角度对联邦学习和迁移学习的交叉点进行了全面的调查。本研究的主要目标是发现可能损害使用联邦和迁移学习的系统的隐私和性能的潜在漏洞和防御机制。
2022-07-05 cs.AI cs.CR cs.CV
Federated Continual Learning with Weighted Inter-client Transfer
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
人们对持续学习和联邦学习的兴趣激增，这两种学习在现实世界的深度神经网络中都很重要。然而，对于每个客户端从私人本地数据流中学习一系列任务的场景，人们几乎没有进行过研究。这种联合持续学习的问题对持续学习提出了新的挑战，例如利用来自其他客户端的知识，同时防止不相关知识的干扰。为了解决这些问题，我们提出了一种新的联邦持续学习框架，联邦加权客户端间传输（FedWeIT），它将网络权重分解为全局联邦参数和稀疏的任务特定参数，每个客户端从其他客户端接收选择性的知识，通过采取加权组合的任务特定参数。FedWeIT最大限度地减少了不兼容任务之间的干扰，并允许在学习过程中跨客户进行积极的知识转移。我们验证了我们的FedWeIT对现有的联邦学习和持续学习方法在不同程度的任务相似性的客户端，我们的模型显着优于他们的通信成本大幅降低。代码可在www.example.com上获得
2021-06-14 cs.LG stat.ML
Faster On-Device Training Using New Federated Momentum Algorithm
University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
近年来，移动群体感知获得了极大的关注，并已成为新兴物联网应用的重要范例。传感设备不断产生大量数据，为开发创新的智能应用提供了巨大的机会。为了利用这些数据来训练机器学习模型，同时又不损害用户隐私，联邦学习已成为一种很有前途的解决方案。然而，人们对联邦学习算法是否保证收敛知之甚少。我们重新考虑了联邦学习中的模型平均，并将其表述为具有偏梯度的基于梯度的方法。这一新颖的视角有助于分析其收敛速度，并为进一步加速提供了新的方向。我们证明了第一次，联邦平均算法是保证收敛的非凸问题，而不施加额外的假设。我们进一步提出了一种新的加速联邦学习算法，并提供了收敛保证。在基准数据集上进行了模拟联邦学习实验，以训练深度神经网络，实验结果表明，我们提出的方法比以前的方法收敛得更快。
2020-02-06 cs.DC cs.LG stat.ML
FedGRec: Federated Graph Recommender System with Lazy Update of Latent Embeddings
University of Pittsburgh（匹兹堡大学）
推荐系统在工业中被广泛用于改善用户体验。尽管取得了巨大的成功，但他们最近因收集私人用户数据而受到批评。联邦学习（Federated Learning，FL）是一种在分布式数据上进行学习而无需直接数据共享的新范式。因此，联邦推荐（FedRec）系统被提出来减轻非分布式推荐系统的隐私问题。然而，FedRec系统与非分布式系统相比存在性能差距。主要原因是本地客户端的用户-项目交互图不完整，因此FedRec系统不能很好地利用间接的用户-项目交互。在本文中，我们提出了联邦图推荐系统（FedGRec）来弥补这一差距。我们的FedGRec系统可以有效地利用间接的用户项交互。更确切地说，在我们的系统中，用户和服务器显式地存储用户和项目的潜在嵌入，其中潜在嵌入总结了间接用户-项目交互的不同顺序，并在本地训练期间用作缺失交互图的代理。我们进行了广泛的实证评估，以验证使用潜在嵌入作为缺失的交互图的代理的有效性;实验结果显示，与各种基线相比，我们的系统具有优异的性能。该论文的简短版本见\href{https://federated-learning.org/fl-neurips-2022/}{the FL-NeurIPS'22 workshop}。
2022-10-25 cs.LG
Federated Causal Discovery From Interventions
McGill University（麦吉尔大学）；ETH Zürich（苏黎世联邦理工学院）；GlaxoSmithKline（葛兰素史克）；TU Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出FedCDI联邦框架，通过交换信念更新和干预感知聚合方法，从含干预样本的分布式数据中推断因果结构，有效保护隐私并缓解数据异质性。
2024-02-11 cs.LG cs.MA stat.ME
An Empirical Evaluation of Federated Contextual Bandit Algorithms
Google Research（谷歌研究院）
随着联邦学习在从用户设备本地的敏感数据学习中的采用增加，很自然地会问，学习是否可以使用用户与感兴趣的应用交互时生成的隐式信号来完成，而不是需要访问在许多任务中难以获得的显式标签。我们接近这样的问题与框架的联邦上下文强盗，并开发出变种突出的上下文强盗算法的集中设置为联邦设置。我们仔细评估这些算法在一系列的情况下使用公开的数据集模拟。我们的模拟模拟了现实世界中遇到的典型设置，例如由于数据的非平稳性和/或客户端之间的异质性而导致的初始预训练模型与后续用户交互之间的各种不一致。我们的实验揭示了令人惊讶的有效性的简单和常用的softmax启发式在平衡众所周知的探索开发权衡我们的设置的广度。
2023-03-17 cs.AI cs.LG
Regret-Based Federated Causal Discovery with Unknown Interventions
Sorbonne Université（索邦大学）；INSERM（国家健康与医学研究院）；Institut Pierre Louis d’Epidémiologie et de Santé Publique（流行病学与公共卫生研究所）
提出I-PERI算法，通过恢复客户端图并集的CPDAG并利用跨客户端干预引起的结构差异定向额外边，得到更紧的Φ-马尔可夫等价类，解决联邦环境下未知客户端级干预的因果发现问题。
2026-05-29 cs.AI cs.LG
