Federated Learning for Sparse Principal Component Analysis
National Tsing Hua University（国立清华大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）
针对传统SPCA在联邦学习中的挑战，提出结合平滑函数与最小二乘近似的联邦SPCA方法，通过ADMM求解共识优化问题，在IID和非IID数据上验证了其有效性。
2023-11-15 cs.DC cs.IT cs.LG
Vertical federated learning based on DFP and BFGS
China University of Petroleum（中国石油大学）
随着数据隐私逐渐受到人们的重视，联邦学习（FL）因其保护数据的潜力而应运而生。FL在保证数据安全的前提下，采用同态加密和差分隐私加密，通过在不同数据提供者之间交换加密信息，实现分布式机器学习。然而，FL仍然存在许多问题，如客户端和服务器之间的通信效率和数据的非iid。为了解决上述两个问题，本文提出了一种基于DFP和BFGS的垂直联邦学习框架（BDFL），并将其应用于逻辑回归。最后，我们使用真实数据集进行实验，以测试BDFL框架的效率。
2021-01-23 cs.DC cs.LG
An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation（京东金融美国公司）
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大，已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而，现有垂直联邦学习算法的效率仍然是一个大问题，特别是当应用于大规模真实世界数据集时。在本文中，我们提出了一个快速，准确，可扩展的，但强大的系统垂直联邦随机森林。通过广泛的优化，我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速，用于训练和服务任务。此外，所提出的系统可以达到类似的精度，但具有良好的可扩展性和分区容忍。我们的守则已经公开，以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Purdue University（普渡大学）
针对标准纵向联邦学习无法容忍任意崩溃的问题，提出DVFL，通过局部无监督目标及标签监督与聚合解耦实现容错训练，并在MNIST故障场景中取得更优性能。
2024-12-01 cs.DC cs.LG
Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对多层网络中数据同时存在垂直与水平划分的场景，提出通信高效的分层去中心化坐标下降（TDCD）算法，通过本地多步梯度与中心节点协调减少通信开销，并从理论与实验两方面验证了其收敛性与有效性。
2024-04-25 cs.DC cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
Multi-Tier Federated Learning for Vertically Partitioned Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑分层通信网络中的分散模型训练。我们的网络模型由一组筒仓组成，每个筒仓保存数据的垂直分区。每个筒仓都包含一个集线器和一组客户端，筒仓的垂直数据分片在其客户端之间水平分区。我们提出了分层分散式坐标下降（TDCD），这种双层网络的通信效率分散的训练算法。为了减少通信开销，每个思洛存储器中的客户端在与其集线器共享更新之前执行多个本地梯度步骤。每个枢纽通过平均其工作者的更新来调整其坐标，然后枢纽彼此交换中间更新。我们提出了一个理论分析，我们的算法，并显示的收敛速度上的垂直分区的数量，本地更新的数量，以及在每个枢纽的客户端的数量的依赖。我们进一步验证我们的方法经验，通过基于模拟的实验，使用各种数据集和凸和非凸目标。
2021-02-06 cs.DC cs.LG
Computation and Communication Efficient Lightweighting Vertical Federated Learning for Smart Building IoT
Peng Cheng Laboratory（鹏城实验室）
针对智能建筑物联网设备资源有限、现有水平联邦学习技术无法直接应用于垂直联邦学习的问题，提出轻量化垂直联邦学习框架，通过优化特征模型复杂度和压缩特征嵌入提升效率，并推导收敛界，实验验证其性能与资源效率。
2025-04-14 cs.DC cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati（辛辛那提大学）；University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Northeastern University（东北大学）
针对电子健康数据同时存在水平与垂直划分的问题，本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法，给出收敛上界与自适应调参策略，实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
Vertical Federated Learning Hybrid Local Pre-training
Zhejiang Lab（之江实验室）
针对传统纵向联邦学习仅用对齐样本导致数据稀缺、未对齐数据浪费的问题，提出混合本地预训练方法VFLHLP，通过本地预训练网络优化下游联邦学习性能，在真实广告数据集上效果显著优于基线。
2024-05-21 cs.DC cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology（麻省理工学院）
垂直联邦学习（Vertical Federated Learning，VFL）是指在数据集上协作训练模型，其中数据集的特征在多个数据所有者之间划分，而标签信息由单个数据所有者拥有。在本文中，我们提出了一种新的方法，多垂直联邦学习（多VFL），训练VFL模型时，有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者（分布特征）和$K$ -标签所有者（分布标签）存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型，而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估，我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明，使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute（拉特格尔理工学院）
本文提出PBM-VFL算法，结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习，首次从理论上刻画隐私预算、收敛误差与通信成本间的关系，并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Vertical Federated Learning: A Structured Literature Review
Maastricht University（马斯特里赫特大学）
本文对垂直联邦学习（VFL）进行了结构化文献综述，探讨了其最新方法、现有挑战的解决方案及未来研究方向。
2023-04-09 cs.AI cs.DC cs.LG
Asymmetrical Vertical Federated Learning
Tencent（腾讯）
联邦学习是一种分布式机器学习方法，旨在保护样本特征和标签的隐私。在联邦学习系统中，通常采用基于身份的样本对齐方法，而很少对身份隐私进行保护。然而，在实际应用中，作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧，本文正式提出了非对称垂直联邦学习的概念，并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地，Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用，联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
Fair and efficient contribution valuation for vertical federated learning
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙 Fraser大学）；Huawei Technologies Canada（华为技术加拿大）
本文针对纵向联邦学习中数据源贡献难以公平评估的问题，提出基于Shapley值的VerFedSV指标，在保证公平性的同时实现高效计算，并适配同步与异步算法，实验验证了其公平性、高效性、适应性和有效性。
2025-08-21 cs.LG
Towards Communication-efficient Vertical Federated Learning Training via Cache-enabled Local Updates
Peking University（北京大学）；Wuhan University（武汉大学）；Tencent Inc.（腾讯公司）
垂直联邦学习（VFL）是一种新兴的范例，它允许不同的参与方（例如，组织或企业）协作构建具有隐私保护的机器学习模型。在训练阶段，VFL只交换中间统计数据，即，前向激活和后向导数，跨各方计算模型梯度。然而，由于其地理分布的性质，VFL训练通常受到低WAN带宽的影响。在本文中，我们介绍了CELU-VFL，一种新的和有效的VFL训练框架，利用本地更新技术，以减少跨党的通信轮。CELU-VFL缓存陈旧的统计数据，并重用它们来估计模型梯度，而不交换ad hoc统计数据。重要的技术，提出了改善收敛性能。首先，为了处理随机方差问题，我们提出了一个统一的抽样策略，公平地选择陈旧的统计数据进行局部更新。其次，为了利用陈旧性带来的误差，我们设计了一个实例加权机制来衡量估计梯度的可靠性。理论分析证明，CELU-VFL实现了与vanilla VFL训练相似的次线性收敛速度，但需要的通信次数要少得多。在公共和真实世界工作负载上的实证结果验证了CELU-VFL可以比现有作品快六倍。
2022-07-29 cs.DC cs.LG
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对纵向联邦学习场景下的特征选择通信成本高问题，提出LESS-VFL方法，经预训练后由服务器确定参与方模型相关输出并共享，支持无通信本地特征选择，可在低通信成本下实现高准确率与虚假特征移除。
2023-05-03 cs.DC cs.LG
Vertical Federated Learning: Challenges, Methodologies and Experiments
School of Electrical and Optical Engineering, Nanjing University of Science and Technology（南京理工大学电气与光学工程学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61分部）；China Academy of Information and Communication Technology (CAICT)（中国信息通信研究院）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
本文提出VFL通用框架，系统梳理隐私安全、计算通信、模型分割与系统异构四类挑战，并给出解决方案和真实数据集实验验证。
2024-08-05 cs.DC cs.LG
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull（赫尔大学）
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合，提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
Vertical Federated Linear Contextual Bandits
Tencent AI Lab（腾讯人工智能实验室）；HKUST（香港科技大学）；Tencent（腾讯）
在本文中，我们研究了一个新的问题，建立上下文土匪在垂直联邦设置，即，上下文信息垂直分布在不同的部门。这个问题在研究界还没有得到很大程度的探讨。为此，我们精心设计了一个定制的加密方案命名为基于正交矩阵的掩码机制（O3M）加密本地上下文信息，同时避免昂贵的传统密码技术。我们进一步将该机制应用于两个常用的强盗算法，LinUCB和LinTS，并实例化两个实际的协议，在线推荐下的垂直联邦设置。本文从理论上证明和分析了所提出的协议能够在获得满意的运行效率的同时，很好地恢复集中式Bandit算法的服务质量。通过在合成数据集和真实数据集上进行广泛的实验，我们证明了所提出的方法在隐私保护和推荐性能方面的优越性。
2022-10-20 cs.LG stat.ML
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization
Xidian University（西安电子科技大学）；JD Tech（京东科技）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JD Finance America Corporation（京东金融美国公司）；Simon Fraser University（西蒙弗雷泽大学）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（VFL）是培训新兴跨组织（例如，不同的公司、公司和组织）具有隐私保护的协作学习。随机梯度下降（SGD）方法是训练VFL模型的流行选择，因为每次迭代计算量低。然而，现有的基于SGD的VFL算法是通信昂贵的，由于大量的通信轮。同时，现有的VFL算法大多采用同步计算，严重影响了实际应用中计算资源的利用率。为了解决通信和计算资源利用率的挑战，我们提出了一个异步随机拟牛顿（AsySQN）框架VFL，在此框架下，提出了三个算法，即AsySQN-SGD，-SVRG和-SAGA。所提出的AsySQN型算法通过近似（不显式计算逆Hessian矩阵）Hessian信息来缩放下降步骤，在实践中比基于SGD的方法收敛得更快，从而可以显着减少通信轮数。此外，采用异步计算可以更好地利用计算资源。我们从理论上证明了我们所提出的算法的收敛速度强凸问题。在真实数据集上的大量数值实验表明，与现有的VFL算法相比，该算法具有更低的通信开销和更好的计算资源利用率。
2021-09-26 cs.DC cs.LG
Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning
The Future Network of Intelligence Institute（未来网络智能研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
近年来，无线数据传输需求的指数级增长增加了精确频谱感知方法以提高频谱效率的紧迫性。传统的基于单个次用户测量的频谱感知方法的不可靠性促使了协作频谱感知的研究。在这项工作中，我们提出了一个垂直的联邦学习（VFL）框架，利用分布式功能，在多个SU不损害数据隐私。然而，VFL中的重复训练过程面临着高通信延迟的问题。为了加快训练过程，我们提出了一个截断垂直联邦学习（T-VFL）算法，其中的训练延迟大大减少了标准的VFL算法与信道感知的用户调度策略。T-VFL的收敛性能通过数学分析和仿真结果证明。此外，为了保证T-VFL算法的收敛性能，我们总结了VFL框架下神经网络结构的三条设计规则，并通过仿真验证了其有效性。
2022-08-07 cs.DC cs.IT cs.LG
Incentive Allocation in Vertical Federated Learning Based on Bankruptcy Problem
Maastricht University（马斯特里赫特大学）
本文针对纵向联邦学习中被动方激励分配问题，将其建模为破产博弈并采用Talmudic分配规则得到核仁解，在合成与真实数据集上验证了该方法相比Shapley值计算更高效且能保证公平性与稳定性。
2025-02-10 cs.DC cs.GT cs.LG
ICAFS: Inter-Client-Aware Feature Selection for Vertical Federated Learning
University of Pennsylvania（宾夕法尼亚大学）；East China Normal University（华东师范大学）
针对纵向联邦学习中现有特征选择忽略跨客户端特征交互的问题，提出多阶段集成方法ICAFS，结合条件特征合成与可学习选择器，绕过私有梯度共享限制，在真实数据集上预测精度超越现有方法。
2025-04-15 cs.LG
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题，已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习（VFL），它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景，主动方和被动方从一开始就拥有所有数据，并且不会改变。然而，现实生活中的数据往往是动态变化的。为了缓解这个问题，我们提出了一种新的垂直联邦学习方法，DVFL，它适应动态数据分布的变化，通过知识蒸馏。在DVFL中，大部分计算都在本地进行，以提高数据安全性和模型效率。大量的实验结果表明，DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果，而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
How global observation works in Federated Learning: Integrating vertical training into Horizontal Federated Learning
联邦学习（FL）最近已经成为一种变革性的范例，它可以在物联网中使用分布式数据集联合训练模型，同时避免对中央数据汇集的需求。由于观测范围有限，这类数据集只能反映局部信息，限制了训练模型的质量。在实践中，全球信息和当地的观察将需要共同考虑，以学习制定合理的政策。然而，在水平FL中，中央机构仅充当模型聚合器，而没有利用其全局观察来进一步改进模型。这可能会显着降低某些任务的性能，如网络系统中的交通流预测，其中全局信息可以提高准确性。同时，为了数据安全，全局特征可以不直接传输到代理。如何利用居住在中央机构的全球观察，同时保护其安全性，从而上升为FL中的一个重要问题。在本文中，我们开发了一个垂直-水平联邦学习（VHFL）的过程中，全球功能与代理共享的程序类似的垂直FL没有任何额外的通信轮。在考虑时延和丢包的情况下，分析了VHFL的收敛性，并通过实验验证了其性能。结果表明，与水平FL相比，所提出的VHFL可以在保护全局数据安全的同时提高精度。
2021-12-10 cs.AI cs.DC cs.LG
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples
Duke University（杜克大学）；NVIDIA（英伟达）
联邦学习是一种流行的协作学习方法，它使客户能够训练全局模型，而无需共享本地数据。垂直联邦学习（VFL）处理客户端上的数据具有不同特征空间但共享一些重叠样本的场景。现有的VFL方法具有通信成本高的缺点，并且不能有效地处理现实世界中常见的有限重叠样本。提出了一种实用的垂直联邦学习（VFL）框架\textbf{one-shot VFL}，该框架基于半监督学习，可以同时解决通信瓶颈和有限重叠样本的问题。我们还提出了\textbf{few-shot VFL}，以提高准确性，进一步与服务器和客户端之间的多一轮通信。在我们提出的框架中，客户端只需要与服务器进行一次或几次通信。我们在图像和表格数据集上评估了所提出的VFL框架。在CIFAR-10上进行评估时，与最先进的VFL方法相比，我们的方法可以提高46.5%以上的准确性，并减少330多个$\times$的通信成本。我们的代码将在\url{https://nvidia.github.io/NVFlare/research/one-shot-vfl}上公开。
2023-03-30 cs.LG
Multi-Participant Multi-Class Vertical Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院，新加坡）；Joint NTU-WeBank Research Centre on FinTech, NTU, Singapore（南洋理工大学-微众银行金融科技联合研究中心，新加坡南洋理工大学）
联邦学习（FL）是一种隐私保护范例，用于使用来自多个参与者的本地存储数据来训练集体机器学习模型。垂直联邦学习（Vertical Federated Learning，VFL）处理的是参与者共享相同的样本ID空间但具有不同的特征空间，而标签信息归一个参与者所有的情况。目前的VFL研究只支持两个参与者，并且大多集中在二元Logistic回归问题。在本文中，我们提出了多参与者多类垂直联邦学习（MMVFL）框架涉及多方的多类VFL问题。MMVFL扩展了多视图学习（MVL）的思想，以隐私保护的方式将标签从其所有者共享给其他VFL参与者。为了证明MMVFL的有效性，一个特征选择计划被纳入MMVFL的监督特征选择和基于MVL的方法比较其性能。在真实数据集上的实验结果表明，MMVFL能够有效地在多个VFL参与者之间共享标签信息，并与现有方法的多类分类性能相匹配。
2020-01-30 cs.LG stat.ML
Mutual Information Regularization for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院）
垂直联邦学习（Vertical Federated Learning，VFL）被广泛应用于现实世界的应用中，以实现协作学习，同时保护数据隐私和安全。然而，以往的工作表明，没有标签的各方（被动方）在VFL可以推断的敏感标签信息所拥有的标签方（主动方）或执行后门攻击VFL。同时，主动方也可以从被动方推断敏感特征信息。所有这些都对VFL系统提出了新的隐私和安全挑战。我们提出了一种新的通用防御方法，限制私有原始数据之间的互信息，包括特征和标签，以及中间输出，以实现模型效用和隐私之间更好的权衡。我们将这种防御称为互信息正则化防御（MID）。我们从理论和实验上证明了我们的MID方法在抵御现有的攻击VFL，包括标签推理攻击，后门攻击和特征重建攻击的有效性。
2023-02-24 cs.LG
Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data
JD Finance America Corporation（京东金融美国公司）；School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Computer Science Department, Western University（西安大略大学计算机科学系）；University of Pittsburgh（匹兹堡大学）
在许多现实世界的数据采掘和机器学习应用程序中，数据由多个提供者提供，每个提供者都维护关于公共实体的不同特征集的私有记录。传统的数据采掘和机器学习算法很难有效地训练训练这些垂直划分的数据，同时又能保证数据的隐私性。在本文中，我们专注于非线性学习与核，并提出了一个联邦双随机核学习（FDSKL）算法垂直分区数据。具体来说，我们使用随机特征来近似核映射函数，并使用双随机梯度来更新解决方案，这些都是在没有数据泄露的情况下联合计算的。更重要的是，我们证明了FDSKL具有次线性收敛速度，并且在半诚实假设下能够保证数据的安全性。在各种基准数据集上的大量实验结果表明，FDSKL在处理内核时明显快于最先进的联邦学习方法，同时保持了相似的泛化性能。
2020-08-14 cs.LG stat.ML
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Event-Driven Online Vertical Federated Learning
Western University（西部大学）；Vector Institute（向量研究所）；Jilin University（吉林大学）
针对纵向联邦学习中客户端数据到达不同步的挑战，提出事件驱动的在线VFL框架，仅激活相关客户端并引入动态局部遗憾分析，在非平稳环境下更稳定且降低通信与计算成本。
2025-06-17 cs.DC cs.LG
TabVFL: Improving Latent Representation in Vertical Federated Learning
Delft University of Technology（代尔夫特理工大学）；National University of Singapore（新加坡国立大学）
本文提出TabVFL分布式框架，通过联合多方特征学习单一潜在表示向量，并添加全连接层保护隐私及增强对客户端故障的鲁棒性，有效改进了纵向联邦学习中的潜在表示学习。
2024-06-25 cs.DC cs.LG
VAFL: a Method of Vertical Asynchronous Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
水平联邦学习（FL）处理共享同一组特征的多客户端数据，垂直FL训练一个更好的预测器，它结合了来自不同客户端的所有特征。本文的目标是以异步方式求解垂直FL，并开发了一种简单的FL方法。新方法允许每个客户端运行随机梯度算法，而无需与其他客户端协调，因此适合于客户端的间歇连接。该方法还采用了扰动局部嵌入的新技术，以确保数据的隐私性，提高通信效率。在理论上，我们分别给出了强凸、非凸甚至非光滑目标的收敛速度和隐私水平。从经验上讲，我们将我们的方法应用于各种图像和医疗数据集的FL。结果比较有利的集中式和同步FL方法。
2020-07-12 cs.DC cs.LG math.OC
Horizontal and Vertical Federated Causal Structure Learning via Higher-order Cumulants
School of Computer Science, Guangdong University of Technology（广东技术大学计算机科学学院）；Peng Cheng Laboratory, Shenzhen, China（深圳鹏城实验室）；College of Science, Shantou University（汕头大学理学院）；Department of Philosophy, Carnegie Mellon University（卡内基梅隆大学哲学系）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出基于高阶累积量的横向与纵向联邦因果结构学习方法，通过聚合客户端累积量估计进行递归源识别，重建因果图并估计因果强度，在合成与真实数据上表现优越。
2025-07-09 cs.LG
VFed-SSD: Towards Practical Vertical Federated Advertising
Tsinghua University（清华大学）；Tencent（腾讯）
针对垂直联邦广告中标签样本少和跨机构服务成本高的问题，提出半监督拆分蒸馏框架VFed-SSD，利用匹配对检测和拆分知识蒸馏，在三个工业数据集上AUC中位数提升0.86%至2.6%。
2023-06-17 cs.DC cs.IR cs.LG
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
最近的研究表明，私有训练数据可以通过部署在分布式机器学习系统（如联邦学习（FL））中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中，我们重新审视这一防御前提，并提出了一种先进的数据泄漏攻击与理论的理由，有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏（CAFE）。与现有的数据泄漏攻击相比，我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性，并提高了数据恢复质量。我们还提出了一个切实可行的对策，以减轻CAFE。我们的研究结果表明，私人数据参与标准FL，特别是垂直的情况下，有很高的风险被泄漏的训练梯度。我们的分析表明，在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
VFL-RPS: Relevant Participant Selection in Vertical Federated Learning
Maastricht University（马斯特里赫特大学）
针对纵向联邦学习中参与者特征异构、现有选择方法多面向横向联邦学习的问题，本文提出预训练阶段的VFL-RPS相关参与者选择方法，仅选少数参与方即可达到使用全部数据的性能，并优于现有VFL方法。
2025-02-20 cs.LG
A Novel Framework of Horizontal-Vertical Hybrid Federated Learning for EdgeIoT
University of Cambridge（剑桥大学）；Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时与嵌入式计算系统研究中心（CISTER））；Commonwealth Scientific and Industrial Research Organization (CSIRO)（英联邦科学与工业研究组织（CSIRO））；University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）；Koç University（科克大学）
针对 EdgeIoT 中设备样本与特征异构的问题，提出 HoVeFL 混合联邦学习框架，并通过 CIFAR-10、SVHN 评估不同横纵设备配置对测试损失的影响。
2024-10-02 cs.DC cs.LG eess.SP
VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）
针对纵向联邦学习（VFL）特有的后门攻击漏洞，提出首个VFL专用防御方法VFLIP，在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化，有效提升防御鲁棒性。
2024-08-29 cs.LG
A Survey on Vertical Federated Learning: From a Layered Perspective
Hong Kong University of Science and Technology（香港科技大学）；Clustar Co., Ltd（Clustar有限公司）；Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从分层视角系统综述了垂直联邦学习（VFL）的研究现状，涵盖从硬件层到系统层的分类与挑战，并提出MOSP树状分类法，从模型、保护对象、安全模型和隐私协议四个维度全面分析VFL核心算法。
2023-04-04 cs.AI cs.LG
Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces
UC San Diego（加州大学圣地亚哥分校）；Czech Technical University（捷克技术大学）；UCF（中佛罗里达大学）
通过将客户分组到集群中，分布式联邦学习（FL）已被证明可以产生有希望的结果。这在不同的客户端组在其本地数据分布方面存在显著差异的情况下尤其有效。现有的集群FL算法本质上是试图将具有相似分布的客户端分组在一起，以便同一集群中的客户端可以利用彼此的数据来更好地执行联邦学习。然而，现有的聚类FL算法试图在训练期间间接地学习这些分布相似性，这可能非常耗时，因为可能需要多轮联邦学习，直到聚类的形成稳定为止。在本文中，我们提出了一种新的方法来联邦学习，直接旨在通过分析客户端数据子空间之间的主要角度，有效地识别客户端之间的分布相似性。每个客户端以单次方式对其本地数据应用截断奇异值分解（SVD）步骤，以导出一小组主向量，从而提供简洁地捕获底层分布的主要特征的签名。将这一小组主向量提供给服务器，使得服务器可以直接识别客户端之间的分布相似性以形成集群。这是通过比较由这些主向量跨越的客户端数据子空间之间的主角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，解决了广泛的数据异构性问题，超越了简单形式的非IID，如标签偏斜。我们的聚类FL方法还可以保证非凸目标的收敛性。我们的代码可在https://github.com/MMorafah/PACFL上获得。
2022-09-21 cs.AI cs.DC cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
