A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Asymmetrical Vertical Federated Learning
Tencent（腾讯）
联邦学习是一种分布式机器学习方法，旨在保护样本特征和标签的隐私。在联邦学习系统中，通常采用基于身份的样本对齐方法，而很少对身份隐私进行保护。然而，在实际应用中，作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧，本文正式提出了非对称垂直联邦学习的概念，并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地，Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用，联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation（京东金融美国公司）
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大，已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而，现有垂直联邦学习算法的效率仍然是一个大问题，特别是当应用于大规模真实世界数据集时。在本文中，我们提出了一个快速，准确，可扩展的，但强大的系统垂直联邦随机森林。通过广泛的优化，我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速，用于训练和服务任务。此外，所提出的系统可以达到类似的精度，但具有良好的可扩展性和分区容忍。我们的守则已经公开，以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
Multi-Participant Multi-Class Vertical Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院，新加坡）；Joint NTU-WeBank Research Centre on FinTech, NTU, Singapore（南洋理工大学-微众银行金融科技联合研究中心，新加坡南洋理工大学）
联邦学习（FL）是一种隐私保护范例，用于使用来自多个参与者的本地存储数据来训练集体机器学习模型。垂直联邦学习（Vertical Federated Learning，VFL）处理的是参与者共享相同的样本ID空间但具有不同的特征空间，而标签信息归一个参与者所有的情况。目前的VFL研究只支持两个参与者，并且大多集中在二元Logistic回归问题。在本文中，我们提出了多参与者多类垂直联邦学习（MMVFL）框架涉及多方的多类VFL问题。MMVFL扩展了多视图学习（MVL）的思想，以隐私保护的方式将标签从其所有者共享给其他VFL参与者。为了证明MMVFL的有效性，一个特征选择计划被纳入MMVFL的监督特征选择和基于MVL的方法比较其性能。在真实数据集上的实验结果表明，MMVFL能够有效地在多个VFL参与者之间共享标签信息，并与现有方法的多类分类性能相匹配。
2020-01-30 cs.LG stat.ML
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
FedCVD++: Communication-Efficient Federated Learning for Cardiovascular Risk Prediction with Parametric and Non-Parametric Model Optimization
FedCVD++提出一种结合参数与非参数模型的联邦学习框架，通过树子集采样、XGBoost特征提取和SMOTE同步，在Framingham数据集上实现F1最高0.81，通信开销降低70%，带宽减少3.2倍，并提升F1达15%。
2025-10-25 cs.LG q-bio.OT
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
Federated Boosted Decision Trees with Differential Privacy
University of Warwick（华威大学）；Meta AI；University of Virginia（弗吉尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对于可在分布式数据上训练的可扩展、安全和高效的隐私保护机器学习模型有很大的需求。虽然深度学习模型通常在集中式非安全设置中实现最佳结果，但当施加隐私和通信约束时，不同的模型可以表现出色。相反，基于树的方法（如XGBoost）因其高性能和易用性而备受关注;特别是，它们通常在表格数据上实现最先进的结果。因此，最近的几项工作都集中在通过同态加密（HE）和安全多方计算（MPC）等加密机制将XGBoost等梯度提升决策树（GBDT）模型转换为联邦设置。然而，这些并不总是提供正式的隐私保证，或者考虑全方位的超参数和实现设置。在这项工作中，我们实现了差分隐私（DP）下的GBDT模型。我们提出了一个通用的框架，捕获和扩展现有的方法，不同的私人决策树。我们的框架的方法是量身定制的联邦设置，我们表明，通过精心选择的技术，它是可能实现非常高的实用性，同时保持强大的隐私水平。
2022-10-06 cs.CR cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Interpret Federated Learning with Shapley Values
Swiss Re（瑞士再保险）
引入联邦学习，通过将训练数据分发到多方来保护隐私。每一方训练自己的模型，并从子模型构建元模型。通过这种方式，数据的细节不会在各方之间披露。本文研究了联邦学习的模型解释方法，具体研究了垂直联邦学习的特征重要性度量，其中数据的特征空间分为两方，即宿主和访客。对于主机方解释垂直联邦学习模型的单个预测，解释结果，即特征重要性，很可能揭示来自客户方的受保护数据。我们提出了一种方法来平衡垂直联邦学习中的模型可解释性和数据隐私性，通过使用Shapley值来揭示主机特征的详细特征重要性和联邦访客特征的统一重要性值。我们的实验表明，解释联邦学习模型的强大和翔实的结果。
2019-05-11 cs.LG stat.ML
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
Defending against Reconstruction Attack in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）；Bytedance Ltd.（字节跳动有限公司）
最近研究人员研究了联邦学习（FL）中的输入泄漏问题，其中恶意方可以从共享梯度重建用户提供的敏感训练输入。它引起了人们对FL的关注，因为输入泄漏与使用FL的隐私保护意图相矛盾。尽管关于水平FL中输入重构的攻击和防御的文献相对丰富，但垂直FL中的输入泄漏和保护最近开始引起研究人员的注意。在本文中，我们研究了如何抵御垂直FL中的输入泄漏攻击。我们设计了一个基于对抗训练的框架，该框架包含三个模块：对抗重建，噪声正则化和距离相关最小化。这些模块既可以单独使用，也可以一起使用，因为它们彼此独立。通过对大规模工业在线广告数据集的广泛实验，我们表明我们的框架在保护输入隐私的同时保留了模型效用。
2021-07-21 cs.CR cs.LG
A Vertical Federated Learning Method for Interpretable Scorecard and Its Application in Credit Scoring
Everbright Technology CO. LTD（光大科技有限公司）
随着大数据和人工智能在多个领域的成功应用，大数据驱动的模型在金融风险管理特别是信用评分和评级中的应用前景广阔。在数据隐私保护的前提下，针对传统的基于有界约束逻辑回归的记分卡，在垂直联邦学习框架下提出了一种基于投影梯度的方法，即FL-LRBC。后者使多个机构能够在一次培训中联合训练优化的记分卡模型。该方法避免了耗时的参数整定过程，从而形成了具有正系数的模型。此外，由于使用FL-LRBC的数据富集，AUC和Kolmogorov-Smirnov（KS）统计量方面的性能显着提高。目前，FL-LRBC已在中国某国有金融控股集团的信贷业务中得到应用。
2020-09-14 cs.LG stat.ML
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
IBM Research - Almaden（IBM阿尔马登研究中心）
联邦学习（FL）是一种跨多方协作训练模型的方法，而无需在各方或聚合器之间共享数据。它既用于消费者领域，以保护个人数据，也用于企业环境，其中处理数据住所监管和数据孤岛的实用性是主要驱动力。虽然XGBoost等梯度提升树实现在许多用例中都非常成功，但由于使用加密和隐私方法，其联邦学习适应性往往非常缓慢，并且没有广泛使用。我们提出了用于联邦学习的Party-Adaptive XGBoost（PAX），这是一种新的梯度提升实现，它利用了一种Party-Adaptive直方图聚合方法，而不需要数据加密。它构造了数据分布的代理表示，用于查找决策树的分裂。我们的实验结果证明了强大的模型性能，特别是在非IID分布上，并且在不同数据集上的训练运行时间比现有的联邦实现要快得多。这种方法使得梯度提升树在企业联邦学习中的使用变得实用。
2020-12-11 cs.DC cs.LG
Privacy Preserving Vertical Federated Learning for Tree-based Models
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
联邦学习（FL）是一种新兴的范例，它使多个组织能够联合训练模型，而不会相互泄露他们的私有数据。本文研究了{ \it vertical}联邦学习，它解决了以下场景：（i）协作组织拥有同一组用户的数据，但具有不相交的特征，以及（ii）只有一个组织拥有标签。我们提出了Pivot，这是一种用于隐私保护垂直决策树训练和预测的新解决方案，确保除了客户端同意发布的信息（即，最终的树模型和预测输出）。Pivot不依赖于任何受信任的第三方，并提供保护，以抵御可能危及$m$客户端的$m-1$的半诚实对手。我们进一步确定了两个隐私泄漏时，训练的决策树模型以明文形式发布，并提出了一个增强的协议，以减轻他们。所提出的解决方案还可以扩展到树集成模型，例如，随机森林（RF）和梯度提升决策树（GBDT），将单个决策树视为构建块。理论和实验分析表明，Pivot是有效的隐私实现。
2020-08-14 cs.CR cs.LG
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University（台湾大学）
针对大数据下企业数据共享与隐私保护的矛盾，本文研究纵向联邦学习框架下的安全模型训练，以加密域执行的方式保障数据隐私，为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Efficient Vertical Federated Learning with Secure Aggregation
University of Cambridge（剑桥大学）
针对纵向联邦学习中的梯度交换隐私泄露风险，提出一种利用最先进安全聚合模块实现安全高效训练的新方法，在不影响训练性能的同时比同态加密加速9.1e2至3.8e4倍。
2023-05-18 cs.AI cs.CR cs.LG
Hijack Vertical Federated Learning Models As One Party
College of Computer Science and Technology at Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology at Zhejiang University（浙江大学软件学院）；Hefei Interdisciplinary Center, National University of Defense Technology（国防科技大学合肥跨学科中心）；College of Information Science and Technology at Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）
本文聚焦纵向联邦学习（VFL）场景，指出尽管现有框架依赖密码学保障隐私并推动效率优化，但作为参与一方时模型本身的安全性仍缺乏研究。
2024-02-16 cs.AI cs.CR cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology（麻省理工学院）
垂直联邦学习（Vertical Federated Learning，VFL）是指在数据集上协作训练模型，其中数据集的特征在多个数据所有者之间划分，而标签信息由单个数据所有者拥有。在本文中，我们提出了一种新的方法，多垂直联邦学习（多VFL），训练VFL模型时，有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者（分布特征）和$K$ -标签所有者（分布标签）存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型，而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估，我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明，使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
A Coupled Design of Exploiting Record Similarity for Practical Vertical Federated Learning
National University of Singapore（新加坡国立大学）
联邦学习是一种学习范式，可以在不泄露原始数据的情况下跨不同方进行协作学习。值得注意的是，垂直联邦学习（VFL），其中各方共享相同的样本集，但只持有部分特征，具有广泛的现实应用。然而，大多数现有的研究VFL忽视了“记录链接”的过程。他们设计的算法要么假设来自不同方的数据可以完全链接，要么简单地将每个记录与其最相似的相邻记录链接起来。这些方法可能无法从其他不太相似的记录中捕获关键特征。此外，这种不适当的联系不能通过培训来纠正，因为现有的方法在培训期间没有提供关于联系的反馈。在本文中，我们设计了一种新的耦合训练范式，FedSim，它集成了一对多的链接到培训过程中。除了在许多具有模糊标识符的实际应用中启用VFL外，FedSim还在传统的VFL任务中实现了更好的性能。此外，我们从理论上分析了共享相似性所带来的额外隐私风险。我们在八个具有各种相似性度量的数据集上的实验表明，FedSim优于其他最先进的基线。FedSim的代码可在https://github.com/Xtra-Computing/FedSim上获得。
2023-03-23 cs.CR cs.LG
Differentially Private Vertical Federated Learning
Data61, CSIRO（联邦科学与工业研究组织数据61所）
成功的机器学习（ML）算法通常依赖于大量高质量的数据来训练性能良好的模型。监督学习方法，例如深度学习技术，为现实生活中的应用生成高质量的ML函数，但是需要花费大量的成本和人力来标记训练数据。联邦学习（FL）的最新进展允许多个数据所有者或组织在不共享原始数据的情况下协作训练机器学习模型。在这种情况下，垂直FL允许组织在参与组织具有垂直分区数据时构建全局模型。此外，在垂直FL设置中，与直接共享数据相比，参与组织通常需要更少的资源，从而实现轻量级和可扩展的分布式培训解决方案。然而，由于中间输出的通信和模型更新的梯度，垂直FL中的隐私保护具有挑战性。这会邀请对手实体推断其他组织的底层数据。因此，在本文中，我们的目的是探讨如何保护个人组织数据的隐私在差分隐私（DP）设置。我们使用不同的真实世界数据集和DP预算进行实验。我们的实验结果表明，需要找到一个折衷点，以实现之间的平衡垂直FL性能和隐私保护的扰动噪声量。
2022-11-13 cs.CR cs.DB cs.LG
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙 Fraser大学）；Huawei Technologies Canada（华为技术加拿大）
本文针对纵向联邦学习中数据源贡献难以公平评估的问题，提出基于Shapley值的VerFedSV指标，在保证公平性的同时实现高效计算，并适配同步与异步算法，实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
A Differentially Private Blockchain-Based Approach for Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究提出DP-BBVFL算法，结合区块链智能合约与本地差分隐私实现可验证、隐私保护的去中心化纵向联邦学习，首个原型在医疗数据上取得高准确率，为可信协作机器学习提供新方案。
2024-07-09 cs.CR cs.ET cs.LG
Robust and IP-Protecting Vertical Federated Learning against Unexpected Quitting of Parties
Duke University（杜克大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对纵向联邦学习中被动方意外退出导致的性能下降与标签知识产权泄露问题，提出Party-wise Dropout提升模型鲁棒性，并设计DIMIP防御方法有效保护主动方知识产权。
2023-03-28 cs.CR cs.LG
EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party
InsightOne Tech Co, Ltd（InsightOne科技有限公司）
针对现有VFL框架依赖第三方且通信开销大或不适用于多方的问题，结合秘密共享与同态加密提出无需第三方的EFMVFL框架，支持低通信开销的多方灵活扩展，适用于广义线性模型，实验证明其安全高效。
2022-01-17 cs.CR cs.LG
OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；University of Connecticut（康涅狄格大学）
垂直联邦学习（FL）是一种新的范例，它使具有相同数据样本的非重叠属性的用户能够联合训练模型，而无需直接共享原始数据。然而，最近的工作表明，它仍然不足以防止训练过程或训练模型的隐私泄露。本文主要研究垂直FL下的隐私保护树提升算法。现有的基于密码学的解决方案计算量大，通信开销大，易受推理攻击。基于局部差分隐私（LDP）的解决方案虽然解决了上述问题，但导致训练模型的准确性较低。针对垂直FL下满足差分隐私的树提升算法，提出了一种改进的算法框架OpBoost。设计了三种保序脱敏算法对训练数据进行脱敏，该算法满足LDP的一种变体--基于距离的LDP（dLDP）。特别是，我们优化dLDP定义和研究有效的采样分布，以进一步提高所提出的算法的准确性和效率。所提出的算法提供了一个折衷之间的隐私对大距离和效用的脱敏值。综合评价结果表明，在合理设置下，OpBoost算法在训练模型的预测精度上优于现有的LDP算法。我们的代码是开源的。
2022-10-04 cs.CR cs.LG
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
Vertical federated learning based on DFP and BFGS
China University of Petroleum（中国石油大学）
随着数据隐私逐渐受到人们的重视，联邦学习（FL）因其保护数据的潜力而应运而生。FL在保证数据安全的前提下，采用同态加密和差分隐私加密，通过在不同数据提供者之间交换加密信息，实现分布式机器学习。然而，FL仍然存在许多问题，如客户端和服务器之间的通信效率和数据的非iid。为了解决上述两个问题，本文提出了一种基于DFP和BFGS的垂直联邦学习框架（BDFL），并将其应用于逻辑回归。最后，我们使用真实数据集进行实验，以测试BDFL框架的效率。
2021-01-23 cs.DC cs.LG
GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data
University of Minnesota（明尼苏达大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
垂直联邦学习（Vertical Federated Learning，VFL）是一种分布式学习模式，计算客户端根据其拥有的同一组样本的部分特征共同训练模型。目前对VFL的研究主要集中在样本独立的情况下，但它很少解决一个新兴的情况下，样本是通过一个图相互关联。对于图结构数据，图神经网络（GNN）是有竞争力的机器学习模型，但VFL设置中的幼稚实现会导致显著的通信开销。此外，训练的分析面临着有偏随机梯度带来的挑战。在本文中，我们提出了一个模型分裂的方法，分裂的骨干GNN在客户端和服务器和通信效率的算法，GLASU，训练这样的模型。GLASU采用惰性聚合和陈旧更新，在评估模型时跳过聚合，在训练时跳过特征交换，大大减少了通信。我们提供了理论分析，并在真实世界的数据集上进行了广泛的数值实验，表明该算法有效地训练了GNN模型，其性能与集中式训练的骨干GNN相匹配。
2023-03-16 cs.LG stat.ML
BVFLMSP : Bayesian Vertical Federated Learning for Multimodal Survival with Privacy
本文提出BVFLMSP框架，通过贝叶斯神经网络处理多模态数据，实现隐私保护下的生存预测，提升预测可靠性并提供不确定性估计。
2026-04-02 cs.LG stat.ML
FedCVT: Semi-supervised Vertical Federated Learning with Cross-view Training
WeBank（微众银行）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对纵向联邦学习中已对齐样本不足的问题，本文提出半监督FedCVT，通过缺失特征表示、伪标签扩展和三分类器跨视图训练提升性能并保护隐私。
2024-06-15 cs.LG stat.ML
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题，已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习（VFL），它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景，主动方和被动方从一开始就拥有所有数据，并且不会改变。然而，现实生活中的数据往往是动态变化的。为了缓解这个问题，我们提出了一种新的垂直联邦学习方法，DVFL，它适应动态数据分布的变化，通过知识蒸馏。在DVFL中，大部分计算都在本地进行，以提高数据安全性和模型效率。大量的实验结果表明，DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果，而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull（赫尔大学）
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合，提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
Practical and General Backdoor Attacks against Vertical Federated Learning
University of Chinese Academy of Sciences（中国科学院大学）
针对纵向联邦学习中攻击者无法访问标签的挑战，提出BadVFL方法，通过SDD模块追踪数据类别和SDP模块增强决策依赖，实现仅1%投毒率下超过93%的后门攻击成功率。
2023-06-19 cs.CR cs.LG
UIFV: Data Reconstruction Attack in Vertical Federated Learning
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Blockchain Engineering Research Center（上海区块链工程研究中心）；Institute of Financial Technology, Fudan University（复旦大学金融科技研究院）；School of Software, Nanjing University of Information Science and Technology（南京信息工程大学软件学院）
针对纵向联邦学习中传统数据重构攻击依赖模型结构、场景受限的问题，提出利用中间特征数据重构原始数据的UIFV方法，攻击精度优于现有技术，凸显VFL隐私保护增强的必要性。
2025-01-14 cs.AI cs.CR cs.LG
VAFL: a Method of Vertical Asynchronous Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
水平联邦学习（FL）处理共享同一组特征的多客户端数据，垂直FL训练一个更好的预测器，它结合了来自不同客户端的所有特征。本文的目标是以异步方式求解垂直FL，并开发了一种简单的FL方法。新方法允许每个客户端运行随机梯度算法，而无需与其他客户端协调，因此适合于客户端的间歇连接。该方法还采用了扰动局部嵌入的新技术，以确保数据的隐私性，提高通信效率。在理论上，我们分别给出了强凸、非凸甚至非光滑目标的收敛速度和隐私水平。从经验上讲，我们将我们的方法应用于各种图像和医疗数据集的FL。结果比较有利的集中式和同步FL方法。
2020-07-12 cs.DC cs.LG math.OC
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
A Survey of Privacy Threats and Defense in Vertical Federated Learning: From Model Life Cycle Perspective
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Zhejiang University（浙江大学）；AntGroup（蚂蚁集团）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；The University of Hong Kong（香港大学）
本文首次全面综述纵向联邦学习中的隐私攻击与防御，从模型生命周期视角分类并讨论挑战与未来方向，为研究和实践提供指导。
2024-02-06 cs.AI cs.CR cs.LG
Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data
National University of Singapore（新加坡国立大学）
针对多方模糊标识符下的纵向联邦学习难题，提出 Federated Transformer 框架及融合差分隐私与安全多方计算的隐私机制，在50方场景中准确率最高提升46%。
2024-10-23 cs.AI cs.CR cs.LG
Label Leakage and Protection from Forward Embedding in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
近年来，垂直联邦学习（vFL）得到了广泛的关注，并被用于解决机器学习问题和数据隐私问题。然而，最近的一些工作表明，vFL很容易受到隐私泄露的影响，即使只有前向中间嵌入（而不是原始特征）和反向传播梯度（而不是原始标签）在参与者之间进行通信。由于原始标签通常包含高度敏感信息，因此最近提出了一些工作来有效地防止vFL中来自反向传播梯度的标签泄漏。然而，这些工作仅识别和防御来自反向传播梯度的标签泄漏的威胁。这些工作都没有注意到从中间包埋的标签泄漏的问题。本文提出了一种实用的标签推理方法，该方法在使用标签差分隐私和梯度扰动等现有保护方法的情况下，仍能有效地从共享中间嵌入中窃取私有标签。标签攻击的有效性与中间嵌入和相应私有标签之间的相关性密不可分。为了减轻前向嵌入的标签泄漏问题，我们在标签方添加了一个额外的优化目标，通过最小化中间嵌入和相应的私有标签之间的距离相关性来限制对手的标签窃取能力。我们进行了大量的实验来证明我们提出的保护方法的有效性。
2022-05-25 cs.CR cs.LG
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
Duke University（杜克大学）；NVIDIA（英伟达）
联邦学习是一种流行的协作学习方法，它使客户能够训练全局模型，而无需共享本地数据。垂直联邦学习（VFL）处理客户端上的数据具有不同特征空间但共享一些重叠样本的场景。现有的VFL方法具有通信成本高的缺点，并且不能有效地处理现实世界中常见的有限重叠样本。提出了一种实用的垂直联邦学习（VFL）框架\textbf{one-shot VFL}，该框架基于半监督学习，可以同时解决通信瓶颈和有限重叠样本的问题。我们还提出了\textbf{few-shot VFL}，以提高准确性，进一步与服务器和客户端之间的多一轮通信。在我们提出的框架中，客户端只需要与服务器进行一次或几次通信。我们在图像和表格数据集上评估了所提出的VFL框架。在CIFAR-10上进行评估时，与最先进的VFL方法相比，我们的方法可以提高46.5%以上的准确性，并减少330多个$\times$的通信成本。我们的代码将在\url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}上公开。
2023-03-30 cs.LG
Hybrid Differentially Private Federated Learning on Vertically Partitioned Data
Tencent Inc.（腾讯公司）
我们提出了HDP-VFL，第一个混合差分私有（DP）框架垂直联邦学习（VFL），以证明它是可能的，共同学习广义线性模型（GLM）从垂直分区的数据，只有一个可以忽略不计的成本，w.r.t.训练时间、准确性等，与理想化的非私有VFL相比。我们的工作建立在不同组织之间基于VFL的协作训练的最新进展之上，这些组织依赖于同态加密（HE）和安全多方计算（MPC）等协议来确保计算和训练的安全。特别是，分析了VFL的中间结果（IR）在通信过程中如何泄漏训练数据的隐私信息，并设计了一种基于DP的隐私保护算法来保证VFL参与者的数据机密性。我们从数学上证明了我们的算法不仅为VFL提供了效用保证，而且还提供了多层次的隐私，即DP w.r.t. IR和联合差分隐私（JDP）w.r.t.模型权重实验结果表明，我们的工作，在足够的隐私预算，是定量和定性类似的GLM，学习在理想化的非私人VFL设置，而不是增加成本的内存和处理时间在大多数以前的作品的基础上HE或MPC。如果这篇论文被接受，我们的代码将被发布。
2020-09-06 cs.AI cs.LG stat.ML
How to Defend Against Large-scale Model Poisoning Attacks in Federated Learning: A Vertical Solution
University of Electronic Science and Technology of China（电子科技大学）
针对联邦学习中大规模模型投毒攻击导致横向防御失效的问题，提出VERT方法，利用历史梯度训练预测器并比较相似度以高效选择最优聚合梯度，实现优异的大规模防御效果。
2024-11-16 cs.CR cs.LG
Measure Contribution of Participants in Federated Learning
Swiss Re（瑞士再保险）；Ping An P&C Insurance Co., Ltd.（平安财产保险股份有限公司）
联合机器学习（FML）创建了一个生态系统，供多方协作构建模型，同时保护参与者的数据隐私。对FML中每一方的贡献的度量使得能够公平地分配信用。在本文中，我们开发了简单但强大的技术来公平地计算FML中多方的贡献，无论是在水平FML还是垂直FML的背景下。对于水平FML，我们使用删除方法来计算分组实例的影响。对于垂直FML，我们使用Shapley值来计算分组特征的重要性。我们的方法为联邦机器学习背景下的模型贡献和信用分配研究打开了大门。
2019-09-17 cs.LG stat.ML
FairVFL: A Fair Vertical Federated Learning Framework with Contrastive Adversarial Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Sony AI（索尼人工智能）；USTC（中国科学技术大学）；Shenzhen University（深圳大学）；Zhongguancun Laboratory（中关村实验室）
垂直联邦学习（Vertical Federated Learning，VFL）是一种隐私保护的机器学习范式，它可以以隐私保护的方式从分布在不同平台上的特征中学习模型。由于在现实世界的应用程序中，数据可能包含对公平敏感特征的偏见（例如，性别），VFL模型可能从训练数据继承偏差，并且对于某些用户组变得不公平。然而，现有的公平机器学习方法通常依赖于公平敏感特征的集中存储来实现模型公平性，这通常不适用于联邦场景。本文提出了一种公平的垂直联邦学习框架（FairVFL），该框架可以提高VFL模型的公平性。FairVFL的核心思想是以隐私保护的方式基于分散的特征字段学习样本的统一和公平表示。具体来说，每个具有公平性不敏感特征的平台首先从本地特征学习本地数据表示。然后，这些本地表示被上传到服务器，并聚合成目标任务的统一表示。为了学习公平的统一表示，我们将其发送到存储公平敏感特征的每个平台，并应用对抗学习来消除从有偏差数据继承的统一表示中的偏差。此外，为了保护用户隐私，我们进一步提出了一种对比对抗学习方法，在将隐私信息发送到保持公平敏感特征的平台之前，将隐私信息从服务器的统一表示中删除。在三个真实数据集上的实验表明，该方法能有效地提高模型的公平性，同时很好地保护用户隐私。
2022-10-31 cs.CR cs.CY cs.LG
