Multi-Tier Federated Learning for Vertically Partitioned Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑分层通信网络中的分散模型训练。我们的网络模型由一组筒仓组成，每个筒仓保存数据的垂直分区。每个筒仓都包含一个集线器和一组客户端，筒仓的垂直数据分片在其客户端之间水平分区。我们提出了分层分散式坐标下降（TDCD），这种双层网络的通信效率分散的训练算法。为了减少通信开销，每个思洛存储器中的客户端在与其集线器共享更新之前执行多个本地梯度步骤。每个枢纽通过平均其工作者的更新来调整其坐标，然后枢纽彼此交换中间更新。我们提出了一个理论分析，我们的算法，并显示的收敛速度上的垂直分区的数量，本地更新的数量，以及在每个枢纽的客户端的数量的依赖。我们进一步验证我们的方法经验，通过基于模拟的实验，使用各种数据集和凸和非凸目标。
2021-02-06 cs.DC cs.LG
Computation and Communication Efficient Lightweighting Vertical Federated Learning for Smart Building IoT
Peng Cheng Laboratory（鹏城实验室）
针对智能建筑物联网设备资源有限、现有水平联邦学习技术无法直接应用于垂直联邦学习的问题，提出轻量化垂直联邦学习框架，通过优化特征模型复杂度和压缩特征嵌入提升效率，并推导收敛界，实验验证其性能与资源效率。
2025-04-14 cs.DC cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati（辛辛那提大学）；University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Northeastern University（东北大学）
针对电子健康数据同时存在水平与垂直划分的问题，本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法，给出收敛上界与自适应调参策略，实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
Vertical Federated Learning Hybrid Local Pre-training
Zhejiang Lab（之江实验室）
针对传统纵向联邦学习仅用对齐样本导致数据稀缺、未对齐数据浪费的问题，提出混合本地预训练方法VFLHLP，通过本地预训练网络优化下游联邦学习性能，在真实广告数据集上效果显著优于基线。
2024-05-21 cs.DC cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology（麻省理工学院）
垂直联邦学习（Vertical Federated Learning，VFL）是指在数据集上协作训练模型，其中数据集的特征在多个数据所有者之间划分，而标签信息由单个数据所有者拥有。在本文中，我们提出了一种新的方法，多垂直联邦学习（多VFL），训练VFL模型时，有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者（分布特征）和$K$ -标签所有者（分布标签）存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型，而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估，我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明，使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Vertical Federated Learning: A Structured Literature Review
Maastricht University（马斯特里赫特大学）
本文对垂直联邦学习（VFL）进行了结构化文献综述，探讨了其最新方法、现有挑战的解决方案及未来研究方向。
2023-04-09 cs.AI cs.DC cs.LG
Asymmetrical Vertical Federated Learning
Tencent（腾讯）
联邦学习是一种分布式机器学习方法，旨在保护样本特征和标签的隐私。在联邦学习系统中，通常采用基于身份的样本对齐方法，而很少对身份隐私进行保护。然而，在实际应用中，作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧，本文正式提出了非对称垂直联邦学习的概念，并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地，Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用，联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙 Fraser大学）；Huawei Technologies Canada（华为技术加拿大）
本文针对纵向联邦学习中数据源贡献难以公平评估的问题，提出基于Shapley值的VerFedSV指标，在保证公平性的同时实现高效计算，并适配同步与异步算法，实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Towards Communication-efficient Vertical Federated Learning Training via Cache-enabled Local Updates
Peking University（北京大学）；Wuhan University（武汉大学）；Tencent Inc.（腾讯公司）
垂直联邦学习（VFL）是一种新兴的范例，它允许不同的参与方（例如，组织或企业）协作构建具有隐私保护的机器学习模型。在训练阶段，VFL只交换中间统计数据，即，前向激活和后向导数，跨各方计算模型梯度。然而，由于其地理分布的性质，VFL训练通常受到低WAN带宽的影响。在本文中，我们介绍了CELU-VFL，一种新的和有效的VFL训练框架，利用本地更新技术，以减少跨党的通信轮。CELU-VFL缓存陈旧的统计数据，并重用它们来估计模型梯度，而不交换ad hoc统计数据。重要的技术，提出了改善收敛性能。首先，为了处理随机方差问题，我们提出了一个统一的抽样策略，公平地选择陈旧的统计数据进行局部更新。其次，为了利用陈旧性带来的误差，我们设计了一个实例加权机制来衡量估计梯度的可靠性。理论分析证明，CELU-VFL实现了与vanilla VFL训练相似的次线性收敛速度，但需要的通信次数要少得多。在公共和真实世界工作负载上的实证结果验证了CELU-VFL可以比现有作品快六倍。
2022-07-29 cs.DC cs.LG
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull（赫尔大学）
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合，提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；Simon Fraser University（西蒙弗雷泽大学）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（VFL）是培训新兴跨组织（例如，不同的公司、公司和组织）具有隐私保护的协作学习。随机梯度下降（SGD）方法是训练VFL模型的流行选择，因为每次迭代计算量低。然而，现有的基于SGD的VFL算法是通信昂贵的，由于大量的通信轮。同时，现有的VFL算法大多采用同步计算，严重影响了实际应用中计算资源的利用率。为了解决通信和计算资源利用率的挑战，我们提出了一个异步随机拟牛顿（AsySQN）框架VFL，在此框架下，提出了三个算法，即AsySQN-SGD，-SVRG和-SAGA。所提出的AsySQN型算法通过近似（不显式计算逆Hessian矩阵）Hessian信息来缩放下降步骤，在实践中比基于SGD的方法收敛得更快，从而可以显着减少通信轮数。此外，采用异步计算可以更好地利用计算资源。我们从理论上证明了我们所提出的算法的收敛速度强凸问题。在真实数据集上的大量数值实验表明，与现有的VFL算法相比，该算法具有更低的通信开销和更好的计算资源利用率。
2021-09-26 cs.DC cs.LG
Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning
The Future Network of Intelligence Institute（未来网络智能研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
近年来，无线数据传输需求的指数级增长增加了精确频谱感知方法以提高频谱效率的紧迫性。传统的基于单个次用户测量的频谱感知方法的不可靠性促使了协作频谱感知的研究。在这项工作中，我们提出了一个垂直的联邦学习（VFL）框架，利用分布式功能，在多个SU不损害数据隐私。然而，VFL中的重复训练过程面临着高通信延迟的问题。为了加快训练过程，我们提出了一个截断垂直联邦学习（T-VFL）算法，其中的训练延迟大大减少了标准的VFL算法与信道感知的用户调度策略。T-VFL的收敛性能通过数学分析和仿真结果证明。此外，为了保证T-VFL算法的收敛性能，我们总结了VFL框架下神经网络结构的三条设计规则，并通过仿真验证了其有效性。
2022-08-07 cs.DC cs.IT cs.LG
Incentive Allocation in Vertical Federated Learning Based on Bankruptcy Problem
Maastricht University（马斯特里赫特大学）
本文针对纵向联邦学习中被动方激励分配问题，将其建模为破产博弈并采用Talmudic分配规则得到核仁解，在合成与真实数据集上验证了该方法相比Shapley值计算更高效且能保证公平性与稳定性。
2025-02-10 cs.DC cs.GT cs.LG
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题，已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习（VFL），它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景，主动方和被动方从一开始就拥有所有数据，并且不会改变。然而，现实生活中的数据往往是动态变化的。为了缓解这个问题，我们提出了一种新的垂直联邦学习方法，DVFL，它适应动态数据分布的变化，通过知识蒸馏。在DVFL中，大部分计算都在本地进行，以提高数据安全性和模型效率。大量的实验结果表明，DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果，而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
How global observation works in Federated Learning: Integrating vertical training into Horizontal Federated Learning
联邦学习（FL）最近已经成为一种变革性的范例，它可以在物联网中使用分布式数据集联合训练模型，同时避免对中央数据汇集的需求。由于观测范围有限，这类数据集只能反映局部信息，限制了训练模型的质量。在实践中，全球信息和当地的观察将需要共同考虑，以学习制定合理的政策。然而，在水平FL中，中央机构仅充当模型聚合器，而没有利用其全局观察来进一步改进模型。这可能会显着降低某些任务的性能，如网络系统中的交通流预测，其中全局信息可以提高准确性。同时，为了数据安全，全局特征可以不直接传输到代理。如何利用居住在中央机构的全球观察，同时保护其安全性，从而上升为FL中的一个重要问题。在本文中，我们开发了一个垂直-水平联邦学习（VHFL）的过程中，全球功能与代理共享的程序类似的垂直FL没有任何额外的通信轮。在考虑时延和丢包的情况下，分析了VHFL的收敛性，并通过实验验证了其性能。结果表明，与水平FL相比，所提出的VHFL可以在保护全局数据安全的同时提高精度。
2021-12-10 cs.AI cs.DC cs.LG
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
Duke University（杜克大学）；NVIDIA（英伟达）
联邦学习是一种流行的协作学习方法，它使客户能够训练全局模型，而无需共享本地数据。垂直联邦学习（VFL）处理客户端上的数据具有不同特征空间但共享一些重叠样本的场景。现有的VFL方法具有通信成本高的缺点，并且不能有效地处理现实世界中常见的有限重叠样本。提出了一种实用的垂直联邦学习（VFL）框架\textbf{one-shot VFL}，该框架基于半监督学习，可以同时解决通信瓶颈和有限重叠样本的问题。我们还提出了\textbf{few-shot VFL}，以提高准确性，进一步与服务器和客户端之间的多一轮通信。在我们提出的框架中，客户端只需要与服务器进行一次或几次通信。我们在图像和表格数据集上评估了所提出的VFL框架。在CIFAR-10上进行评估时，与最先进的VFL方法相比，我们的方法可以提高46.5%以上的准确性，并减少330多个$\times$的通信成本。我们的代码将在\url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}上公开。
2023-03-30 cs.LG
Multi-Participant Multi-Class Vertical Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院，新加坡）；Joint NTU-WeBank Research Centre on FinTech, NTU, Singapore（南洋理工大学-微众银行金融科技联合研究中心，新加坡南洋理工大学）
联邦学习（FL）是一种隐私保护范例，用于使用来自多个参与者的本地存储数据来训练集体机器学习模型。垂直联邦学习（Vertical Federated Learning，VFL）处理的是参与者共享相同的样本ID空间但具有不同的特征空间，而标签信息归一个参与者所有的情况。目前的VFL研究只支持两个参与者，并且大多集中在二元Logistic回归问题。在本文中，我们提出了多参与者多类垂直联邦学习（MMVFL）框架涉及多方的多类VFL问题。MMVFL扩展了多视图学习（MVL）的思想，以隐私保护的方式将标签从其所有者共享给其他VFL参与者。为了证明MMVFL的有效性，一个特征选择计划被纳入MMVFL的监督特征选择和基于MVL的方法比较其性能。在真实数据集上的实验结果表明，MMVFL能够有效地在多个VFL参与者之间共享标签信息，并与现有方法的多类分类性能相匹配。
2020-01-30 cs.LG stat.ML
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）
垂直联邦学习（Vertical Federated Learning，VFL）被广泛应用于现实世界的应用中，以实现协作学习，同时保护数据隐私和安全。然而，以往的工作表明，没有标签的各方（被动方）在VFL可以推断的敏感标签信息所拥有的标签方（主动方）或执行后门攻击VFL。同时，主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法，限制私有原始数据之间的互信息，包括特征和标签，以及中间输出，以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御（MID）。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL，包括标签推理攻击，后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Event-Driven Online Vertical Federated Learning
Western University（西部大学）；Vector Institute（向量研究所）；Jilin University（吉林大学）
针对纵向联邦学习中客户端数据到达不同步的挑战，提出事件驱动的在线VFL框架，仅激活相关客户端并引入动态局部遗憾分析，在非平稳环境下更稳定且降低通信与计算成本。
2025-06-17 cs.DC cs.LG
TabVFL: Improving Latent Representation in Vertical Federated Learning
Delft University of Technology（代尔夫特理工大学）；National University of Singapore（新加坡国立大学）
本文提出TabVFL分布式框架，通过联合多方特征学习单一潜在表示向量，并添加全连接层保护隐私及增强对客户端故障的鲁棒性，有效改进了纵向联邦学习中的潜在表示学习。
2024-06-25 cs.DC cs.LG
VAFL: a Method of Vertical Asynchronous Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
水平联邦学习（FL）处理共享同一组特征的多客户端数据，垂直FL训练一个更好的预测器，它结合了来自不同客户端的所有特征。本文的目标是以异步方式求解垂直FL，并开发了一种简单的FL方法。新方法允许每个客户端运行随机梯度算法，而无需与其他客户端协调，因此适合于客户端的间歇连接。该方法还采用了扰动局部嵌入的新技术，以确保数据的隐私性，提高通信效率。在理论上，我们分别给出了强凸、非凸甚至非光滑目标的收敛速度和隐私水平。从经验上讲，我们将我们的方法应用于各种图像和医疗数据集的FL。结果比较有利的集中式和同步FL方法。
2020-07-12 cs.DC cs.LG math.OC
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
最近的研究表明，私有训练数据可以通过部署在分布式机器学习系统（如联邦学习（FL））中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中，我们重新审视这一防御前提，并提出了一种先进的数据泄漏攻击与理论的理由，有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏（CAFE）。与现有的数据泄漏攻击相比，我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性，并提高了数据恢复质量。我们还提出了一个切实可行的对策，以减轻CAFE。我们的研究结果表明，私人数据参与标准FL，特别是垂直的情况下，有很高的风险被泄漏的训练梯度。我们的分析表明，在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
VFL-RPS: Relevant Participant Selection in Vertical Federated Learning
Maastricht University（马斯特里赫特大学）
针对纵向联邦学习中参与者特征异构、现有选择方法多面向横向联邦学习的问题，本文提出预训练阶段的VFL-RPS相关参与者选择方法，仅选少数参与方即可达到使用全部数据的性能，并优于现有VFL方法。
2025-02-20 cs.LG
A Novel Framework of Horizontal-Vertical Hybrid Federated Learning for EdgeIoT
University of Cambridge（剑桥大学）；Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时与嵌入式计算系统研究中心（CISTER））；Commonwealth Scientific and Industrial Research Organization (CSIRO)（英联邦科学与工业研究组织（CSIRO））；University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）；Koç University（科克大学）
针对 EdgeIoT 中设备样本与特征异构的问题，提出 HoVeFL 混合联邦学习框架，并通过 CIFAR-10、SVHN 评估不同横纵设备配置对测试损失的影响。
2024-10-02 cs.DC cs.LG eess.SP
VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）
针对纵向联邦学习（VFL）特有的后门攻击漏洞，提出首个VFL专用防御方法VFLIP，在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化，有效提升防御鲁棒性。
2024-08-29 cs.LG
A Survey on Vertical Federated Learning: From a Layered Perspective
Hong Kong University of Science and Technology（香港科技大学）；Clustar Co., Ltd（Clustar有限公司）；Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从分层视角系统综述了垂直联邦学习（VFL）的研究现状，涵盖从硬件层到系统层的分类与挑战，并提出MOSP树状分类法，从模型、保护对象、安全模型和隐私协议四个维度全面分析VFL核心算法。
2023-04-04 cs.AI cs.LG
Towards Federated Domain Unlearning: Verification Methodologies and Challenges
University of Macau（澳门大学）；University Of Electronic Science And Technology（电子科技大学）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究院）
本文针对联邦学习中多领域场景下的“被遗忘权”挑战，首次全面实证研究了联邦领域遗忘技术，发现现有方法会损害模型深层表征，并提出了专为该场景设计的新型评估方法以准确验证特定领域数据的擦除。
2024-06-05 cs.AI cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Oklahoma（俄克拉荷马大学）
本文首次研究脉冲神经网络（SNNs）在纵向联邦学习（VFL）中的适用性，实现带/不带模型拆分的两类联邦架构，在CIFAR数据集上验证发现SNN准确率与传统ANN相当且能效更高。
2024-08-13 cs.AI cs.LG
The Sherpa.ai Blind Vertical Federated Learning Paradigm to Minimize the Number of Communications
针对纵向联邦学习训练通信开销过大的问题，本文提出 SBVFL 范式，通过解耦多数节点更新与服务器通信，在保持准确率和鲁棒性的同时减少约 99% 通信量。
2025-10-19 cs.AI cs.DC cs.LG
Stalactite: Toolbox for Fast Prototyping of Vertical Federated Learning Systems
ITMO University（ITMO大学）；Sber AI Lab（Sber AI实验室）
本文提出开源垂直联邦学习框架Stalactite，内置同态加密层和多种VFL算法，帮助研究者快速构建分布式学习原型，并在真实推荐数据集上验证其有效性。
2024-10-03 cs.DC cs.IR cs.LG
Feature Inference Attack on Model Predictions in Vertical Federated Learning
National University of Singapore（新加坡国立大学）
联邦学习（FL）是一种新兴的范式，用于促进多个组织的数据协作，而不向彼此泄露其私有数据。最近，垂直FL，其中参与组织持有相同的样本集，但具有不相交的功能，只有一个组织拥有的标签，受到越来越多的关注。本文提出了几种特征推理攻击方法来研究垂直FL模型预测阶段潜在的隐私泄漏。攻击方法考虑了最严格的设置，即对手只控制训练的垂直FL模型和模型预测，不依赖背景信息。我们首先提出了两个具体的攻击逻辑回归（LR）和决策树（DT）模型，根据个人的预测输出。我们进一步设计了一种通用的攻击方法，基于对手积累的多个预测输出来处理复杂的模型，如神经网络（NN）和随机森林（RF）模型。实验评估表明，所提出的攻击的有效性，并强调需要设计私人机制，以保护在垂直FL的预测输出。
2021-04-22 cs.DB cs.LG
Active-Passive Federated Learning for Vertically Partitioned Multi-view Data
National University of Defense Technology（国防科技大学）
提出主动-被动联邦学习框架，主动客户端独立构建完整模型，被动客户端仅辅助训练，解决推理时客户端协作不可靠问题，通过重构损失和对比损失实例化两种分类方法并验证有效性。
2026-06-09 cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
Interpret Federated Learning with Shapley Values
Swiss Re（瑞士再保险）
引入联邦学习，通过将训练数据分发到多方来保护隐私。每一方训练自己的模型，并从子模型构建元模型。通过这种方式，数据的细节不会在各方之间披露。本文研究了联邦学习的模型解释方法，具体研究了垂直联邦学习的特征重要性度量，其中数据的特征空间分为两方，即宿主和访客。对于主机方解释垂直联邦学习模型的单个预测，解释结果，即特征重要性，很可能揭示来自客户方的受保护数据。我们提出了一种方法来平衡垂直联邦学习中的模型可解释性和数据隐私性，通过使用Shapley值来揭示主机特征的详细特征重要性和联邦访客特征的统一重要性值。我们的实验表明，解释联邦学习模型的强大和翔实的结果。
2019-05-11 cs.LG stat.ML
Concurrent vertical and horizontal federated learning with fuzzy cognitive maps
CUNEF Universidad（库内夫大学）；Universidad Autonoma de Chile（智利自治大学）
针对联邦学习中非独立同分布数据带来的特征空间差异挑战，提出一种基于模糊认知图的联邦学习框架，通过四种权重策略实验验证其有效性和隐私保护能力。
2024-12-17 cs.LG
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
Aegis: A Trusted, Automatic and Accurate Verification Framework for Vertical Federated Learning
iSING Lab, Hong Kong University of Science and Technology（香港科技大学iSING实验室）；Clustar Technology Co., Ltd.（星云科技股份有限公司）；Peng Cheng Lab（鹏城实验室）
垂直联邦学习（VFL）利用各种隐私保护算法，例如，同态加密或基于SecureBoost的秘密共享，以确保数据隐私。然而，这些算法都需要一个半诚实的安全定义，这在现实世界的应用中引起了关注。在本文中，我们提出了Aegis，一个可信的，自动的，准确的验证框架来验证VFL作业的安全性。Aegis与当地各方分开，以确保框架的安全。此外，它通过将VFL作业定义为有限状态机来统一验证不同的算法并重现整个作业以提供更准确的验证，从而自动适应不断发展的VFL算法。我们在金融和医疗数据集上使用不同的威胁模型实施和评估Aegis。评价结果表明：1）Aegis可以检测到95%的威胁模型，2）它在84%的VFL作业时间内提供细粒度的验证结果。
2021-08-23 cs.AI cs.CR cs.DC
A Vertical Federated Learning Method For Multi-Institutional Credit Scoring: MICS
Bogazici University（海峡大学）
随着越来越多的公司存储他们的客户数据;一个人的各种信息分布在众多公司的数据库中。不同的行业对同一客户有不同的特点。此外，同一工业部门内的不同公司使用不同的数据表示方式携带有关客户的类似数据。来自不同行业的公司之间的合作（称为垂直合作）和同一行业内的公司之间的合作（称为水平合作）可以导致更准确的机器学习模型和更好的估计任务，如信用评分。然而，数据隐私法规和不同数据表示的兼容性问题是合作模型训练的巨大障碍。通过提出训练框架MICS和对几个数值数据集的实验，我们表明，公司将有动力与来自其行业的其他公司和其他工业部门合作，共同训练更强大和准确的全球模型，而无需明确共享客户的私人数据。
2021-11-17 cs.LG
FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation
本文提出通用算法FedEmb，用于解决基于DNN的垂直与混合联邦学习问题，相比现有方法提升了推理准确率与隐私保护并降低通信带宽，实验证明其准确率提升0.3%至4.2%且时间复杂度降低88.9%。
2024-01-10 cs.AI cs.LG
Deep Latent Variable Model based Vertical Federated Learning with Flexible Alignment and Labeling Scenarios
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种深度潜在变量模型，解决垂直联邦学习中数据对齐和标注的灵活性问题，通过统一框架在不同缺失机制下提升性能，实验显示在160种情况下优于所有基线方法。
2026-03-30 cs.LG
Vertical Federated Learning: Concepts, Advances and Challenges
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Webank（微众银行）；AsiaInfo Technologies（亚信科技）；Hong Kong University of Science and Technology（香港科技大学）
本文综述纵向联邦学习（VFL）的概念、算法、隐私保护协议及攻击防御，提出统一框架VFLow，并总结工业应用进展与未来挑战。
2023-09-28 cs.AI cs.CR cs.DC
