Federated Learning Over Images: Vertical Decompositions and Pre-Trained Backbones Are Difficult to Beat
Rice University（莱斯大学）
本文评估了多种联邦学习算法在图像分类任务中的表现，发现垂直分解神经网络结合预训练骨干网络在多种设置下表现最佳，超越了传统协调方法。
2023-09-06 cs.IT cs.LG math.IT
Privacy Against Inference Attacks in Vertical Federated Learning
University of Essex（埃塞克斯大学）；Imperial College London（帝国理工学院）
垂直联邦学习被认为是，其中一个积极的一方，有真正的类标签的访问，希望建立一个分类模型，通过利用更多的功能，从被动的一方，没有访问的标签，以提高模型的准确性。在预测阶段，以逻辑回归作为分类模型，提出了几种推理攻击技术，主动方可以用来重构被动方的被视为敏感信息的特征。这些攻击主要基于集合中心的经典概念，即，Chebyshev中心，被证明是优于文献中提出的。此外，为上述攻击提供了几种理论性能保证。随后，我们考虑的最小量的信息，对手需要完全重建被动方的功能。特别是，它表明，当被动方持有一个功能，对手只知道所涉及的参数的迹象，它可以完美地重建该功能时，预测的数量是足够大的。接下来，作为一种防御机制，提出了一个隐私保护方案，恶化对手的重建攻击，同时保持VFL带来的积极的一方的全部利益。最后，实验结果证明了所提出的攻击和隐私保护方案的有效性。
2022-09-07 cs.CR cs.IT cs.LG
Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning
The Future Network of Intelligence Institute（未来网络智能研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
近年来，无线数据传输需求的指数级增长增加了精确频谱感知方法以提高频谱效率的紧迫性。传统的基于单个次用户测量的频谱感知方法的不可靠性促使了协作频谱感知的研究。在这项工作中，我们提出了一个垂直的联邦学习（VFL）框架，利用分布式功能，在多个SU不损害数据隐私。然而，VFL中的重复训练过程面临着高通信延迟的问题。为了加快训练过程，我们提出了一个截断垂直联邦学习（T-VFL）算法，其中的训练延迟大大减少了标准的VFL算法与信道感知的用户调度策略。T-VFL的收敛性能通过数学分析和仿真结果证明。此外，为了保证T-VFL算法的收敛性能，我们总结了VFL框架下神经网络结构的三条设计规则，并通过仿真验证了其有效性。
2022-08-07 cs.DC cs.IT cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Fairness-aware Agnostic Federated Learning
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
联邦学习是一种新兴的框架，它使用分布在多个设备上的训练数据构建集中式机器学习模型。以往关于联邦学习的研究主要集中在隐私保护和降低通信成本方面。然而，如何在联邦学习中实现公平性，特别是当测试数据分布与训练分布不同甚至未知时，还没有得到充分的探索和挑战。在集中式模型上引入简单的公平性约束，无法在未知测试数据上实现模型公平性。在本文中，我们开发了一个公平意识的不可知的联邦学习框架（AgnosticFair），以应对未知的测试分布的挑战。我们使用核重权函数在损失函数和公平性约束中为每个训练样本分配一个重权值。因此，基于AgnosticFair构建的集中式模型能够在未知测试数据上实现高精度和公平性的保证。此外，所建立的模型可以直接应用于本地站点，因为它保证了本地数据分布的公平性。据我们所知，这是实现联邦学习公平性的第一项工作。在两个真实数据集上的实验结果表明，在数据转移场景下，该方法在效用和公平性方面都是有效的。
2020-10-10 cs.CY cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Agnostic Federated Learning
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences, New York（纽约大学库朗数学科学研究所）
大规模应用程序中的一个关键学习场景是联邦学习，其中基于源自大量客户端的数据训练集中式模型。我们认为，通过现有的训练和推理，联邦模型可以偏向于不同的客户端。相反，我们提出了一个新的不可知联邦学习框架，其中集中式模型针对由客户端分布的混合物形成的任何目标分布进行了优化。我们进一步表明，这个框架自然产生公平的概念。我们提出了数据相关的Rademacher复杂性保证学习与此目标，指导定义的算法不可知的联邦学习。我们也给出了一个快速的随机优化算法来解决相应的优化问题，我们证明了收敛界，假设一个凸的损失函数和假设集。我们进一步实证证明了我们的方法在几个数据集的好处。除了联邦学习之外，我们的框架和算法还可以用于其他学习场景，如云计算、领域自适应、漂移以及其他训练和测试分布不一致的环境。
2019-02-01 cs.LG stat.ML
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology（麻省理工学院）
垂直联邦学习（Vertical Federated Learning，VFL）是指在数据集上协作训练模型，其中数据集的特征在多个数据所有者之间划分，而标签信息由单个数据所有者拥有。在本文中，我们提出了一种新的方法，多垂直联邦学习（多VFL），训练VFL模型时，有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者（分布特征）和$K$ -标签所有者（分布标签）存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型，而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估，我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明，使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
Defending against Reconstruction Attack in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）；Bytedance Ltd.（字节跳动有限公司）
最近研究人员研究了联邦学习（FL）中的输入泄漏问题，其中恶意方可以从共享梯度重建用户提供的敏感训练输入。它引起了人们对FL的关注，因为输入泄漏与使用FL的隐私保护意图相矛盾。尽管关于水平FL中输入重构的攻击和防御的文献相对丰富，但垂直FL中的输入泄漏和保护最近开始引起研究人员的注意。在本文中，我们研究了如何抵御垂直FL中的输入泄漏攻击。我们设计了一个基于对抗训练的框架，该框架包含三个模块：对抗重建，噪声正则化和距离相关最小化。这些模块既可以单独使用，也可以一起使用，因为它们彼此独立。通过对大规模工业在线广告数据集的广泛实验，我们表明我们的框架在保护输入隐私的同时保留了模型效用。
2021-07-21 cs.CR cs.LG
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Efficient Vertical Federated Learning with Secure Aggregation
University of Cambridge（剑桥大学）
针对纵向联邦学习中的梯度交换隐私泄露风险，提出一种利用最先进安全聚合模块实现安全高效训练的新方法，在不影响训练性能的同时比同态加密加速9.1e2至3.8e4倍。
2023-05-18 cs.AI cs.CR cs.LG
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙 Fraser大学）；Huawei Technologies Canada（华为技术加拿大）
本文针对纵向联邦学习中数据源贡献难以公平评估的问题，提出基于Shapley值的VerFedSV指标，在保证公平性的同时实现高效计算，并适配同步与异步算法，实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Hijack Vertical Federated Learning Models As One Party
College of Computer Science and Technology at Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology at Zhejiang University（浙江大学软件学院）；Hefei Interdisciplinary Center, National University of Defense Technology（国防科技大学合肥跨学科中心）；College of Information Science and Technology at Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）
本文聚焦纵向联邦学习（VFL）场景，指出尽管现有框架依赖密码学保障隐私并推动效率优化，但作为参与一方时模型本身的安全性仍缺乏研究。
2024-02-16 cs.AI cs.CR cs.LG
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
Vertical federated learning based on DFP and BFGS
China University of Petroleum（中国石油大学）
随着数据隐私逐渐受到人们的重视，联邦学习（FL）因其保护数据的潜力而应运而生。FL在保证数据安全的前提下，采用同态加密和差分隐私加密，通过在不同数据提供者之间交换加密信息，实现分布式机器学习。然而，FL仍然存在许多问题，如客户端和服务器之间的通信效率和数据的非iid。为了解决上述两个问题，本文提出了一种基于DFP和BFGS的垂直联邦学习框架（BDFL），并将其应用于逻辑回归。最后，我们使用真实数据集进行实验，以测试BDFL框架的效率。
2021-01-23 cs.DC cs.LG
Privacy Preserving Vertical Federated Learning for Tree-based Models
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
联邦学习（FL）是一种新兴的范例，它使多个组织能够联合训练模型，而不会相互泄露他们的私有数据。本文研究了{ \it vertical}联邦学习，它解决了以下场景：（i）协作组织拥有同一组用户的数据，但具有不相交的特征，以及（ii）只有一个组织拥有标签。我们提出了Pivot，这是一种用于隐私保护垂直决策树训练和预测的新解决方案，确保除了客户端同意发布的信息（即，最终的树模型和预测输出）。Pivot不依赖于任何受信任的第三方，并提供保护，以抵御可能危及$m$客户端的$m-1$的半诚实对手。我们进一步确定了两个隐私泄漏时，训练的决策树模型以明文形式发布，并提出了一个增强的协议，以减轻他们。所提出的解决方案还可以扩展到树集成模型，例如，随机森林（RF）和梯度提升决策树（GBDT），将单个决策树视为构建块。理论和实验分析表明，Pivot是有效的隐私实现。
2020-08-14 cs.CR cs.LG
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University（台湾大学）
针对大数据下企业数据共享与隐私保护的矛盾，本文研究纵向联邦学习框架下的安全模型训练，以加密域执行的方式保障数据隐私，为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
Differentially Private Vertical Federated Learning
Data61, CSIRO（联邦科学与工业研究组织数据61所）
成功的机器学习（ML）算法通常依赖于大量高质量的数据来训练性能良好的模型。监督学习方法，例如深度学习技术，为现实生活中的应用生成高质量的ML函数，但是需要花费大量的成本和人力来标记训练数据。联邦学习（FL）的最新进展允许多个数据所有者或组织在不共享原始数据的情况下协作训练机器学习模型。在这种情况下，垂直FL允许组织在参与组织具有垂直分区数据时构建全局模型。此外，在垂直FL设置中，与直接共享数据相比，参与组织通常需要更少的资源，从而实现轻量级和可扩展的分布式培训解决方案。然而，由于中间输出的通信和模型更新的梯度，垂直FL中的隐私保护具有挑战性。这会邀请对手实体推断其他组织的底层数据。因此，在本文中，我们的目的是探讨如何保护个人组织数据的隐私在差分隐私（DP）设置。我们使用不同的真实世界数据集和DP预算进行实验。我们的实验结果表明，需要找到一个折衷点，以实现之间的平衡垂直FL性能和隐私保护的扰动噪声量。
2022-11-13 cs.CR cs.DB cs.LG
COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication
Washington University in St. Louis（华盛顿大学圣路易斯分校）
COSMOS通过伪标签通信实现服务器端个性化，利用客户端本地模型预测公共数据并聚类，训练集群特定模型并回传知识蒸馏，理论分析显示其能有效降低个性化风险，实验验证其在异构环境中优于现有基线方法。
2026-10-21 cs.LG
A Differentially Private Blockchain-Based Approach for Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究提出DP-BBVFL算法，结合区块链智能合约与本地差分隐私实现可验证、隐私保护的去中心化纵向联邦学习，首个原型在医疗数据上取得高准确率，为可信协作机器学习提供新方案。
2024-07-09 cs.CR cs.ET cs.LG
Large-Scale Secure XGB for Vertical Federated Learning
Ant Group（蚂蚁集团）
近年来，隐私保护机器学习受到越来越多的关注，特别是随着各种隐私保护法规的出台。在这种情况下，联邦学习（FL）似乎有助于在多方之间进行隐私保护的联合建模。虽然许多联邦算法已经被广泛研究，但仍然缺乏安全和实用的梯度树提升模型（例如，XGB）在文学中。在本文中，我们的目标是建立大规模的安全XGB垂直联邦学习设置。我们从三个方面保障数据隐私。具体来说，（i）我们采用安全的多方计算技术，以避免在训练过程中泄漏中间信息，（ii）我们以分布式方式存储输出模型，以最小化信息释放，以及（iii）我们提供了一种新的算法，用于安全的XGB预测与分布式模型。此外，通过提出安全的置换协议，我们可以提高训练效率并使框架可扩展到大数据集。我们在公共数据集和真实数据集上进行了广泛的实验，结果表明，我们提出的XGB模型不仅具有竞争力的准确性，而且具有实用性能。
2021-09-02 cs.CR cs.LG stat.ML
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题，已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习（VFL），它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景，主动方和被动方从一开始就拥有所有数据，并且不会改变。然而，现实生活中的数据往往是动态变化的。为了缓解这个问题，我们提出了一种新的垂直联邦学习方法，DVFL，它适应动态数据分布的变化，通过知识蒸馏。在DVFL中，大部分计算都在本地进行，以提高数据安全性和模型效率。大量的实验结果表明，DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果，而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
Multi-Participant Multi-Class Vertical Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院，新加坡）；Joint NTU-WeBank Research Centre on FinTech, NTU, Singapore（南洋理工大学-微众银行金融科技联合研究中心，新加坡南洋理工大学）
联邦学习（FL）是一种隐私保护范例，用于使用来自多个参与者的本地存储数据来训练集体机器学习模型。垂直联邦学习（Vertical Federated Learning，VFL）处理的是参与者共享相同的样本ID空间但具有不同的特征空间，而标签信息归一个参与者所有的情况。目前的VFL研究只支持两个参与者，并且大多集中在二元Logistic回归问题。在本文中，我们提出了多参与者多类垂直联邦学习（MMVFL）框架涉及多方的多类VFL问题。MMVFL扩展了多视图学习（MVL）的思想，以隐私保护的方式将标签从其所有者共享给其他VFL参与者。为了证明MMVFL的有效性，一个特征选择计划被纳入MMVFL的监督特征选择和基于MVL的方法比较其性能。在真实数据集上的实验结果表明，MMVFL能够有效地在多个VFL参与者之间共享标签信息，并与现有方法的多类分类性能相匹配。
2020-01-30 cs.LG stat.ML
Efficient Batch Homomorphic Encryption for Vertically Federated XGBoost
Beihang University（北京航空航天大学）；JD Technology Group（京东科技集团）；Zhejiang University（浙江大学）
越来越多的组织和机构致力于使用外部数据来提高AI服务的性能。为了解决数据隐私和安全问题，联邦学习越来越受到学术界和工业界的关注，以便在多个孤立的数据提供者之间安全地构建AI模型。本文研究了在实际应用中广泛使用的XGBoost模型在垂直联邦学习环境下的适应效率问题。最先进的垂直联邦XGBoost框架需要大量的加密操作和密文传输，这使得模型训练的效率远远低于本地训练XGBoost模型。为了弥补这一差距，我们提出了一种新的批处理同态加密方法，将加密相关的计算和传输成本降低了近一半。这是通过将一阶导数和二阶导数编码为单个数字来实现的，用于加密、密文传输和同态加法运算。多个一阶导数和二阶导数的和可以从编码值的和同时解码。我们受到BatchCrypt在水平联邦学习工作中的批处理思想的启发，设计了一种新的批处理方法来解决允许很少数量的负数的限制。所提出的批处理方法的编码过程包括移位、截断、量化和重采样四个步骤，而解码过程包括反量化和移位。通过理论分析和大量的数值实验证明了我们的方法的优点。
2021-12-08 cs.AI cs.CR cs.LG
A Coupled Design of Exploiting Record Similarity for Practical Vertical Federated Learning
National University of Singapore（新加坡国立大学）
联邦学习是一种学习范式，可以在不泄露原始数据的情况下跨不同方进行协作学习。值得注意的是，垂直联邦学习（VFL），其中各方共享相同的样本集，但只持有部分特征，具有广泛的现实应用。然而，大多数现有的研究VFL忽视了“记录链接”的过程。他们设计的算法要么假设来自不同方的数据可以完全链接，要么简单地将每个记录与其最相似的相邻记录链接起来。这些方法可能无法从其他不太相似的记录中捕获关键特征。此外，这种不适当的联系不能通过培训来纠正，因为现有的方法在培训期间没有提供关于联系的反馈。在本文中，我们设计了一种新的耦合训练范式，FedSim，它集成了一对多的链接到培训过程中。除了在许多具有模糊标识符的实际应用中启用VFL外，FedSim还在传统的VFL任务中实现了更好的性能。此外，我们从理论上分析了共享相似性所带来的额外隐私风险。我们在八个具有各种相似性度量的数据集上的实验表明，FedSim优于其他最先进的基线。FedSim的代码可在https://github.com/Xtra-Computing/FedSim上获得。
2023-03-23 cs.CR cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull（赫尔大学）
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合，提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
最近的研究表明，私有训练数据可以通过部署在分布式机器学习系统（如联邦学习（FL））中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中，我们重新审视这一防御前提，并提出了一种先进的数据泄漏攻击与理论的理由，有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏（CAFE）。与现有的数据泄漏攻击相比，我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性，并提高了数据恢复质量。我们还提出了一个切实可行的对策，以减轻CAFE。我们的研究结果表明，私人数据参与标准FL，特别是垂直的情况下，有很高的风险被泄漏的训练梯度。我们的分析表明，在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
Robust and IP-Protecting Vertical Federated Learning against Unexpected Quitting of Parties
Duke University（杜克大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对纵向联邦学习中被动方意外退出导致的性能下降与标签知识产权泄露问题，提出Party-wise Dropout提升模型鲁棒性，并设计DIMIP防御方法有效保护主动方知识产权。
2023-03-28 cs.CR cs.LG
EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party
InsightOne Tech Co, Ltd（InsightOne科技有限公司）
针对现有VFL框架依赖第三方且通信开销大或不适用于多方的问题，结合秘密共享与同态加密提出无需第三方的EFMVFL框架，支持低通信开销的多方灵活扩展，适用于广义线性模型，实验证明其安全高效。
2022-01-17 cs.CR cs.LG
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
A Survey on Vertical Federated Learning: From a Layered Perspective
Hong Kong University of Science and Technology（香港科技大学）；Clustar Co., Ltd（Clustar有限公司）；Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从分层视角系统综述了垂直联邦学习（VFL）的研究现状，涵盖从硬件层到系统层的分类与挑战，并提出MOSP树状分类法，从模型、保护对象、安全模型和隐私协议四个维度全面分析VFL核心算法。
2023-04-04 cs.AI cs.LG
DABS: Data-Agnostic Backdoor attack at the Server in Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）
本研究针对联邦学习易受后门攻击的问题，提出服务器端数据无关后门攻击模型DABS，直接修改全局模型实现攻击，实验显示其攻击成功率高于基线方法且不影响干净数据准确率。
2023-05-02 cs.CR cs.CV cs.LG
WrapperFL: A Model Agnostic Plug-in for Industrial Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；WeBank Inc.（微众银行）
联邦学习作为一种保护隐私的协作式机器学习范式，受到了业界越来越多的关注。随着需求的巨大增长，出现了许多联邦学习平台，允许联邦参与者从头开始设置和构建联邦模型。然而，现有的平台具有高度侵入性，复杂性，并且难以与构建的机器学习模型集成。对于许多已经拥有成熟服务模型的现实世界企业来说，现有的联邦学习平台具有很高的进入门槛和开发成本。本文提出了一个简单而实用的联邦学习插件的启发集成学习，被称为WrapperFL，允许参与者建立/加入一个联邦系统与现有的模型以最小的成本。WrapperFL以即插即用的方式工作，只需连接到现有模型的输入和输出接口，无需重新开发，大大减少了人力和资源的开销。我们验证了我们提出的方法在异构数据分布和异构模型下的不同任务。实验结果表明，WrapperFL能够在实际环境下成功应用于广泛的应用，并以较低的代价通过联邦学习改进局部模型。
2022-08-03 cs.AI cs.DC cs.LG
OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；University of Connecticut（康涅狄格大学）
垂直联邦学习（FL）是一种新的范例，它使具有相同数据样本的非重叠属性的用户能够联合训练模型，而无需直接共享原始数据。然而，最近的工作表明，它仍然不足以防止训练过程或训练模型的隐私泄露。本文主要研究垂直FL下的隐私保护树提升算法。现有的基于密码学的解决方案计算量大，通信开销大，易受推理攻击。基于局部差分隐私（LDP）的解决方案虽然解决了上述问题，但导致训练模型的准确性较低。针对垂直FL下满足差分隐私的树提升算法，提出了一种改进的算法框架OpBoost。设计了三种保序脱敏算法对训练数据进行脱敏，该算法满足LDP的一种变体--基于距离的LDP（dLDP）。特别是，我们优化dLDP定义和研究有效的采样分布，以进一步提高所提出的算法的准确性和效率。所提出的算法提供了一个折衷之间的隐私对大距离和效用的脱敏值。综合评价结果表明，在合理设置下，OpBoost算法在训练模型的预测精度上优于现有的LDP算法。我们的代码是开源的。
2022-10-04 cs.CR cs.LG
Convergence of Agnostic Federated Averaging
Department of ECE---Yale University（耶鲁大学电子工程系）
针对客户端间歇性且概率未知参与的实际挑战，本文严格证明了一般非均匀随机参与下agnostic FedAvg算法在凸非光滑损失上的O(1/√T)收敛性，并实验证实其优于加权聚合变体。
2025-07-14 cs.DC cs.LG eess.SP
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
Duke University（杜克大学）；NVIDIA（英伟达）
联邦学习是一种流行的协作学习方法，它使客户能够训练全局模型，而无需共享本地数据。垂直联邦学习（VFL）处理客户端上的数据具有不同特征空间但共享一些重叠样本的场景。现有的VFL方法具有通信成本高的缺点，并且不能有效地处理现实世界中常见的有限重叠样本。提出了一种实用的垂直联邦学习（VFL）框架\textbf{one-shot VFL}，该框架基于半监督学习，可以同时解决通信瓶颈和有限重叠样本的问题。我们还提出了\textbf{few-shot VFL}，以提高准确性，进一步与服务器和客户端之间的多一轮通信。在我们提出的框架中，客户端只需要与服务器进行一次或几次通信。我们在图像和表格数据集上评估了所提出的VFL框架。在CIFAR-10上进行评估时，与最先进的VFL方法相比，我们的方法可以提高46.5%以上的准确性，并减少330多个$\times$的通信成本。我们的代码将在\url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}上公开。
2023-03-30 cs.LG
Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Oklahoma（俄克拉荷马大学）
本文首次研究脉冲神经网络（SNNs）在纵向联邦学习（VFL）中的适用性，实现带/不带模型拆分的两类联邦架构，在CIFAR数据集上验证发现SNN准确率与传统ANN相当且能效更高。
2024-08-13 cs.AI cs.LG
Feature Inference Attack on Model Predictions in Vertical Federated Learning
National University of Singapore（新加坡国立大学）
联邦学习（FL）是一种新兴的范式，用于促进多个组织的数据协作，而不向彼此泄露其私有数据。最近，垂直FL，其中参与组织持有相同的样本集，但具有不相交的功能，只有一个组织拥有的标签，受到越来越多的关注。本文提出了几种特征推理攻击方法来研究垂直FL模型预测阶段潜在的隐私泄漏。攻击方法考虑了最严格的设置，即对手只控制训练的垂直FL模型和模型预测，不依赖背景信息。我们首先提出了两个具体的攻击逻辑回归（LR）和决策树（DT）模型，根据个人的预测输出。我们进一步设计了一种通用的攻击方法，基于对手积累的多个预测输出来处理复杂的模型，如神经网络（NN）和随机森林（RF）模型。实验评估表明，所提出的攻击的有效性，并强调需要设计私人机制，以保护在垂直FL的预测输出。
2021-04-22 cs.DB cs.LG
How global observation works in Federated Learning: Integrating vertical training into Horizontal Federated Learning
联邦学习（FL）最近已经成为一种变革性的范例，它可以在物联网中使用分布式数据集联合训练模型，同时避免对中央数据汇集的需求。由于观测范围有限，这类数据集只能反映局部信息，限制了训练模型的质量。在实践中，全球信息和当地的观察将需要共同考虑，以学习制定合理的政策。然而，在水平FL中，中央机构仅充当模型聚合器，而没有利用其全局观察来进一步改进模型。这可能会显着降低某些任务的性能，如网络系统中的交通流预测，其中全局信息可以提高准确性。同时，为了数据安全，全局特征可以不直接传输到代理。如何利用居住在中央机构的全球观察，同时保护其安全性，从而上升为FL中的一个重要问题。在本文中，我们开发了一个垂直-水平联邦学习（VHFL）的过程中，全球功能与代理共享的程序类似的垂直FL没有任何额外的通信轮。在考虑时延和丢包的情况下，分析了VHFL的收敛性，并通过实验验证了其性能。结果表明，与水平FL相比，所提出的VHFL可以在保护全局数据安全的同时提高精度。
2021-12-10 cs.AI cs.DC cs.LG
Factorized-FL: Agnostic Personalized Federated Learning with Kernel Factorization & Similarity Matching
KAIST（韩国科学技术院）；AITRICS（艾特里克斯）
在现实世界的联邦学习场景中，由于使用不同的标签排列或处理完全不同的任务或域，参与者可能拥有自己的个性化标签，这些标签与其他客户端的标签不兼容。然而，大多数现有的FL方法不能有效地解决这种极端异构的情况下，因为他们经常假设（1）所有参与者使用一组同步的标签，（2）他们训练相同的任务，从同一个域。在这项工作中，为了应对这些挑战，我们引入了Factorized-FL，它可以通过将模型参数分解为一对向量来有效地解决标签和任务异构的联邦学习设置，其中一个向量捕获不同标签和任务之间的公共知识，另一个向量捕获每个本地模型处理的特定于任务的知识。此外，基于客户端特定向量空间中的距离，Factorized-FL执行选择性聚合方案，以仅利用每个客户端的相关参与者的知识。我们在标签和域异构设置上广泛验证了我们的方法，在这些设置上，它优于最先进的个性化联邦学习方法。
2022-02-01 cs.LG
A Survey of Privacy Threats and Defense in Vertical Federated Learning: From Model Life Cycle Perspective
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Zhejiang University（浙江大学）；AntGroup（蚂蚁集团）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；The University of Hong Kong（香港大学）
本文首次全面综述纵向联邦学习中的隐私攻击与防御，从模型生命周期视角分类并讨论挑战与未来方向，为研究和实践提供指导。
2024-02-06 cs.AI cs.CR cs.LG
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）
垂直联邦学习（Vertical Federated Learning，VFL）被广泛应用于现实世界的应用中，以实现协作学习，同时保护数据隐私和安全。然而，以往的工作表明，没有标签的各方（被动方）在VFL可以推断的敏感标签信息所拥有的标签方（主动方）或执行后门攻击VFL。同时，主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法，限制私有原始数据之间的互信息，包括特征和标签，以及中间输出，以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御（MID）。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL，包括标签推理攻击，后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data
National University of Singapore（新加坡国立大学）
针对多方模糊标识符下的纵向联邦学习难题，提出 Federated Transformer 框架及融合差分隐私与安全多方计算的隐私机制，在50方场景中准确率最高提升46%。
2024-10-23 cs.AI cs.CR cs.LG
