VFL-RPS: Relevant Participant Selection in Vertical Federated Learning
Maastricht University（马斯特里赫特大学）
针对纵向联邦学习中参与者特征异构、现有选择方法多面向横向联邦学习的问题，本文提出预训练阶段的VFL-RPS相关参与者选择方法，仅选少数参与方即可达到使用全部数据的性能，并优于现有VFL方法。
2025-02-20 cs.LG
VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）
针对纵向联邦学习（VFL）特有的后门攻击漏洞，提出首个VFL专用防御方法VFLIP，在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化，有效提升防御鲁棒性。
2024-08-29 cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Asymmetrical Vertical Federated Learning
Tencent（腾讯）
联邦学习是一种分布式机器学习方法，旨在保护样本特征和标签的隐私。在联邦学习系统中，通常采用基于身份的样本对齐方法，而很少对身份隐私进行保护。然而，在实际应用中，作为最强行标识符的样本ID的机密性也引起了许多参与者的关注。为了缓解他们对身份隐私的担忧，本文正式提出了非对称垂直联邦学习的概念，并说明了保护样本身份的方法。采用标准私有集交集协议实现非对称垂直联邦学习系统中的非对称ID对齐阶段。相应地，Pohlig-Hellman实现的适应协议提供。本文还提出了一种真正的虚拟方法来实现非对称联邦模型训练。为了说明其应用，联邦逻辑回归算法作为一个例子。最后通过实验验证了该方法的可行性。
2020-06-11 cs.CR cs.LG
Federated Mutual Learning
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Huazhong University of Science and Technology（华中科技大学）
联邦学习（FL）支持在分散数据上协作训练深度学习模型。然而，有三种类型的异质性在FL设置带来了独特的挑战，规范的联邦学习算法（FedAvg）。首先，由于数据的非IID性，全局共享模型可能比仅在其私有数据上训练的局部模型性能更差;其次，中心服务器和客户端的目标可能不同，其中中心服务器寻求通用模型，而客户端追求个性化模型，并且客户端可能运行不同的任务;第三，客户端可能需要针对各种场景和任务设计其定制模型;在这项工作中，我们提出了一种新的联邦学习范式，命名为联邦相互学习（FML），处理这三个异质性。FML允许客户协同训练通用模型和独立训练个性化模型，并设计他们的私人定制模型。因此，数据的非IID性不再是一个错误，而是一个可以更好地为客户提供个性化服务的功能。实验结果表明，在典型的FL环境下，FML可以获得比替代方案更好的性能，客户端可以受益于不同的模型和任务的FML。
2020-09-17 cs.LG
Active-Passive Federated Learning for Vertically Partitioned Multi-view Data
National University of Defense Technology（国防科技大学）
提出主动-被动联邦学习框架，主动客户端独立构建完整模型，被动客户端仅辅助训练，解决推理时客户端协作不可靠问题，通过重构损失和对比损失实例化两种分类方法并验证有效性。
2026-06-09 cs.LG
Concurrent vertical and horizontal federated learning with fuzzy cognitive maps
CUNEF Universidad（库内夫大学）；Universidad Autonoma de Chile（智利自治大学）
针对联邦学习中非独立同分布数据带来的特征空间差异挑战，提出一种基于模糊认知图的联邦学习框架，通过四种权重策略实验验证其有效性和隐私保护能力。
2024-12-17 cs.LG
A Vertical Federated Learning Method For Multi-Institutional Credit Scoring: MICS
Bogazici University（海峡大学）
随着越来越多的公司存储他们的客户数据;一个人的各种信息分布在众多公司的数据库中。不同的行业对同一客户有不同的特点。此外，同一工业部门内的不同公司使用不同的数据表示方式携带有关客户的类似数据。来自不同行业的公司之间的合作（称为垂直合作）和同一行业内的公司之间的合作（称为水平合作）可以导致更准确的机器学习模型和更好的估计任务，如信用评分。然而，数据隐私法规和不同数据表示的兼容性问题是合作模型训练的巨大障碍。通过提出训练框架MICS和对几个数值数据集的实验，我们表明，公司将有动力与来自其行业的其他公司和其他工业部门合作，共同训练更强大和准确的全球模型，而无需明确共享客户的私人数据。
2021-11-17 cs.LG
Deep Latent Variable Model based Vertical Federated Learning with Flexible Alignment and Labeling Scenarios
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出一种深度潜在变量模型，解决垂直联邦学习中数据对齐和标注的灵活性问题，通过统一框架在不同缺失机制下提升性能，实验显示在160种情况下优于所有基线方法。
2026-03-30 cs.LG
Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating
Xidian University（西安电子科技大学）；JD Tech（京东科技）；JD Finance America Corporation（京东金融美国公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Pittsburgh（匹兹堡大学）
垂直联邦学习（Vertical Federated Learning，VFL）由于多方协作建模的需求和隐私泄露的问题而受到越来越多的关注。在真实的VFL应用中，通常只有一个或部分参与方持有标签，这使得所有参与方在不泄露隐私的情况下协作学习模型具有挑战性。同时，现有的VFL算法大多局限于同步计算，导致实际应用效率低下。为了解决这些问题，本文提出了一种新的{ \bf VF}L框架，该框架集成了新的{ \bf b}向回更新机制和{ \bf b}级异步并行结构（VF{ ${\textbf{B}}^2$ }），并在此框架下提出了VF{ ${\textbf{B}}^2$ }-SGD，-SVRG和-SAGA三种新算法.在强凸和非凸条件下，我们给出了这三种算法收敛速度的理论结果。我们还证明了VF{ ${\textbf{B}}^2$ }在半诚实威胁模型下的安全性。在基准数据集上的大量实验表明，我们的算法是高效的，可扩展的和无损的。
2021-03-01 cs.LG
Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning
JD Finance America Corporation（京东金融美国公司）；Department of Electrical & Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系）；University of Pittsburgh（匹兹堡大学）
针对垂直分区数据的隐私保护联邦学习作为新兴的多方联合建模应用的解决方案已经显示出有希望的结果，其中数据持有者（如政府分支机构、私人金融和电子商务公司）在整个学习过程中进行协作，而不是依赖于可信的第三方来持有数据。然而，现有的垂直分区数据的联邦学习算法仅限于同步计算。在联邦学习系统中，当计算/通信资源不均衡时，为了提高系统的效率，需要在保证数据隐私的前提下，针对垂直分区数据开发异步训练算法。在本文中，我们提出了一个异步联邦SGD（AFSGD-VP）算法及其SVRG和SAGA变种的垂直分区数据。在强凸性条件下，给出了AFSGD-VP及其SVRG和SAGA变体的收敛性分析。我们还讨论了他们的模型隐私，数据隐私，计算复杂性和通信成本。据我们所知，AFSGD-VP及其SVRG和SAGA变体是垂直分区数据的第一个异步联邦学习算法。在多种垂直分区数据集上的实验结果不仅验证了AFSGD-VP及其SVRG和SAGA变体的理论结果，而且表明我们的算法比相应的同步算法具有更高的效率。
2020-08-14 cs.LG stat.ML
Vertical Federated Learning: Taxonomies, Threats, and Prospects
Nanjing University of Science and Technology（南京理工大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；The University of Newcastle（纽卡斯尔大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Adelaide（阿德莱德大学）
联邦学习（Federated learning，FL）是目前最流行的分布式机器学习技术。FL允许机器学习模型在不获取原始数据的情况下进行训练。相反，使用本地数据训练本地模型;然后共享和组合模型。这种方法保护了数据隐私，因为共享的是本地训练的模型，而不是原始数据本身。广义地说，联邦学习可以分为水平联邦学习（HFL）和垂直联邦学习（VFL）。对于前者，不同的各方持有不同的样本在同一组的功能;对于后者，不同的各方持有不同的特征数据属于同一组的样本。在许多实际情况下，VFL比HFL更相关，因为不同的公司（例如，银行和零售商）持有不同的特征（例如，信用历史和购物历史）。虽然VFL是一个新兴的研究领域，但与HFL相比，它还没有得到很好的建立。另外，VFL相关研究比较分散，联系不直观。因此，本调查旨在将这些与VFL相关的研究集中在一个地方。首先，我们对现有的VFL结构和算法进行了分类。其次，我们从安全和隐私的角度提出了VFL的威胁。最后，为了便于今后的研究，我们详细讨论了视觉语言学的挑战和前景。
2023-02-03 cs.LG
De-VertiFL: A Solution for Decentralized Vertical Federated Learning
University of Zurich（苏黎世大学）；University of Murcia（穆尔西亚大学）；armasuisse Science & Technology（Armasuisse科学技术部）
本文提出De-VertiFL，一种去中心化纵向联邦学习方案，通过新的网络架构分布、隐藏层输出共享与分布式训练过程提升学习效率，并在多类数据集上取得优于现有方法的F1-score表现。
2025-02-04 cs.LG
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank（微众银行）；ShanghaiTech University（上海科技大学）；Hong Kong University of Science and Technology（香港科技大学）
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构，其中两方的数据集具有相同的样本ID，但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法，这需要大量的通信轮。为了解决通信的挑战，我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量，每轮有一点额外的通信成本。数值结果表明，我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Tsinghua University（清华大学）；Webank（微众银行）；Shandong University（山东大学）；Hong Kong University of Science and Technology（香港科技大学）
在垂直联邦学习（VFL）场景中，特征和模型被分成不同的部分，样本特定更新的通信对于正确的梯度计算是必需的，但可以用于推断重要的样本级标签信息。一个直接的防御策略是保护与同态加密（HE）通信的样本级消息，并且以这种方式，只有批量平均的局部梯度被暴露给每一方（称为黑盒VFL）。在本文中，我们首先探讨了在具有HE保护通信的垂直联邦学习设置中恢复标签的可能性，并通过训练梯度反转模型来高精度地重建私有标签。此外，我们表明，标签替换后门攻击可以在黑盒VFL直接更换加密的通信消息（称为梯度替换攻击）。由于批量平均信息共享是安全的，批量标签推理和替换攻击是VFL面临的严峻挑战。为了抵御批量标签推理攻击，我们进一步评估了几种防御策略，包括混淆自动编码器（CoAE），我们提出了一种基于自动编码器和熵正则化的技术。我们证明，标签推理和替换攻击可以成功地阻止这种技术，而不会损害尽可能多的主要任务的准确性相比，现有的方法。
2022-02-11 cs.LG
Vertical Semi-Federated Learning for Efficient Online Advertising
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出垂直半联邦学习方法，通过联合特权学习框架解决传统垂直联邦学习在适用范围和实时服务中的局限，提升在线广告系统的效率和效果。
2026-01-23 cs.IR cs.LG
Vertical federated learning based on DFP and BFGS
China University of Petroleum（中国石油大学）
随着数据隐私逐渐受到人们的重视，联邦学习（FL）因其保护数据的潜力而应运而生。FL在保证数据安全的前提下，采用同态加密和差分隐私加密，通过在不同数据提供者之间交换加密信息，实现分布式机器学习。然而，FL仍然存在许多问题，如客户端和服务器之间的通信效率和数据的非iid。为了解决上述两个问题，本文提出了一种基于DFP和BFGS的垂直联邦学习框架（BDFL），并将其应用于逻辑回归。最后，我们使用真实数据集进行实验，以测试BDFL框架的效率。
2021-01-23 cs.DC cs.LG
An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation（京东金融美国公司）
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大，已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而，现有垂直联邦学习算法的效率仍然是一个大问题，特别是当应用于大规模真实世界数据集时。在本文中，我们提出了一个快速，准确，可扩展的，但强大的系统垂直联邦随机森林。通过广泛的优化，我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速，用于训练和服务任务。此外，所提出的系统可以达到类似的精度，但具有良好的可扩展性和分区容忍。我们的守则已经公开，以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
Expected Gain-based Escalation in Vertical Federated Learning
Mitsubishi Electric R&D Centre（三菱电机研发中心）
提出一种基于预期增益评分的两轮VFL推理协议，仅在预期能提升决策时调用高成本融合轮次，无需单独训练路由网络，在通信-准确率权衡上优于基线方法。
2026-07-01 cs.LG
GAN-based Vertical Federated Learning for Label Protection in Binary Classification
Yale University（耶鲁大学）
本文提出GAFM模型，通过将splitNN与GAN结合并引入噪声标签交叉熵损失，有效缓解垂直联邦学习中的梯度标签泄露问题，在保护隐私的同时保持模型效用。
2023-05-17 cs.LG
DVFL: A Vertical Federated Learning Method for Dynamic Data
联邦学习通过将多个计算设备连接到一个分散的系统中来解决数据孤岛问题，已成为隐私保护机器学习的一个有前途的范例。本文研究了垂直联邦学习（VFL），它解决了协作组织共享同一组用户但不相交特征的情况。当代VFL方法主要用于静态场景，主动方和被动方从一开始就拥有所有数据，并且不会改变。然而，现实生活中的数据往往是动态变化的。为了缓解这个问题，我们提出了一种新的垂直联邦学习方法，DVFL，它适应动态数据分布的变化，通过知识蒸馏。在DVFL中，大部分计算都在本地进行，以提高数据安全性和模型效率。大量的实验结果表明，DVFL不仅可以在静态场景中获得与现有VFL方法接近的结果，而且可以适应动态场景中数据分布的变化。
2021-11-05 cs.AI cs.LG
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；University of Amsterdam（阿姆斯特丹大学）；N1Analytics；Data61
考虑两个数据提供者，每个都维护关于公共实体的不同特征集的私有记录。他们的目标是在联合设置中联合学习线性模型，即数据是本地的，共享模型是从本地计算的更新中训练的。与大多数分布式学习的工作相比，在这种情况下，（i）数据是垂直分割的，即按特征分割，（ii）只有一个数据提供者知道目标变量，（iii）实体没有跨数据提供者链接。因此，对于私人学习的挑战，我们增加了实体解析错误的潜在负面后果。我们的贡献是双重的。首先，我们描述了一个三方端到端的解决方案，分为两个阶段-隐私保护实体解决方案和联邦逻辑回归消息加密的加法同态方案-，对诚实但好奇的对手安全。该系统允许学习，而无需公开数据或共享数据提供者共有的实体。我们的实现就像一个天真的非私有解决方案一样准确，它将所有数据放在一个地方，并扩展到具有数百个功能的数百万个实体的问题。其次，我们提供了什么是我们所知的第一个正式的分析实体解析的错误对学习的影响，最佳分类器，经验损失，利润率和泛化能力的影响。我们的研究结果为联邦学习提供了明确而有力的支持：在对实体解析错误的数量和幅度进行合理假设的情况下，在每个对等体的数据为另一个提供显著提升的环境中进行联邦学习可能非常有益。
2017-11-29 cs.LG
Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator
Baidu, Inc.（百度公司）
联邦学习是一种新的分布式学习机制，它允许在不同数据提供者拥有的分散数据的大型语料库上进行模型训练，而不会共享或泄漏原始数据。根据数据分发的特点，通常可以将其分为三大类：水平联邦学习、垂直联邦学习和联邦迁移学习。在本文中，我们提出了一种解决方案，用于垂直联邦学习的并行分布逻辑回归。与现有的作品相比，第三方协调员的作用是删除在我们提出的解决方案。该系统建立在参数服务器体系结构上，目的是在大容量训练数据的情况下，通过利用服务器集群来加快模型训练。我们还评估了并行分布式模型训练的性能，实验结果表明该系统具有很好的可扩展性。
2019-11-22 cs.CR cs.DC cs.LG
Multi-Participant Multi-Class Vertical Federated Learning
School of Computer Science and Engineering, Nanyang Technological University, Singapore（南洋理工大学计算机科学与工程学院，新加坡）；Joint NTU-WeBank Research Centre on FinTech, NTU, Singapore（南洋理工大学-微众银行金融科技联合研究中心，新加坡南洋理工大学）
联邦学习（FL）是一种隐私保护范例，用于使用来自多个参与者的本地存储数据来训练集体机器学习模型。垂直联邦学习（Vertical Federated Learning，VFL）处理的是参与者共享相同的样本ID空间但具有不同的特征空间，而标签信息归一个参与者所有的情况。目前的VFL研究只支持两个参与者，并且大多集中在二元Logistic回归问题。在本文中，我们提出了多参与者多类垂直联邦学习（MMVFL）框架涉及多方的多类VFL问题。MMVFL扩展了多视图学习（MVL）的思想，以隐私保护的方式将标签从其所有者共享给其他VFL参与者。为了证明MMVFL的有效性，一个特征选择计划被纳入MMVFL的监督特征选择和基于MVL的方法比较其性能。在真实数据集上的实验结果表明，MMVFL能够有效地在多个VFL参与者之间共享标签信息，并与现有方法的多类分类性能相匹配。
2020-01-30 cs.LG stat.ML
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Towards Active Participant Centric Vertical Federated Learning: Some Representations May Be All You Need
Ikerlan Technology Research Centre（伊克尔兰技术研究中心）；Flower Labs（弗劳尔实验室）；University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
针对 VFL 在部分对齐数据下通信与操作成本高的问题，提出 APC-VFL，通过本地无监督表示学习和主动方知识蒸馏实现单轮通信，并在三个数据集上取得更优性能。
2025-02-19 cs.LG
FedPass: Privacy-Preserving Vertical Federated Deep Learning with Adaptive Obfuscation
Webank（微众银行）；HKUST（香港科技大学）
垂直联邦学习（VFL）允许具有标记特征的主动方利用被动方的辅助特征来提高模型性能。在VFL的训练和推理过程中，私有特征和标签泄漏问题引起了广泛的研究关注。在本文中，我们提出了一个通用的隐私保护垂直联邦深度学习框架FedPass，它利用自适应混淆来同时保护特征和标签。从理论上证明了私有特征和标签的强隐私保护能力（定理1和定理2）。不同数据集和网络架构的广泛实验结果也证明了FedPass相对于现有方法的优越性，因为它在隐私和模型性能之间接近最佳的权衡。
2023-01-31 cs.CR cs.DC cs.LG
VT-GAN: Cooperative Tabular Data Synthesis using Vertical Federated Learning
National University of Singapore（新加坡国立大学）；University of Birmingham（伯明翰大学）；TU Delft（代尔夫特理工大学）
本文提出VT-GAN框架，通过垂直联邦学习在多方分布式表格数据上隐私保护地训练GAN，并结合洗牌训练防止数据重建，实验表明其合成数据质量接近集中式GAN，效用差异最低仅2.7%。
2025-02-14 cs.LG
Feature Reconstruction Attacks and Countermeasures of DNN training in Vertical Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；University of Toronto（多伦多大学）
联邦学习（FL）越来越多地以垂直形式在组织中部署，以促进孤立数据上的安全协作培训。在垂直FL（VFL）中，参与者持有同一组样本实例的不相交特征。其中，只有一个有标签。该参与者（称为主动方）发起培训并与其他参与者（称为被动方）进行交互。尽管VFL的采用越来越多，但主动方是否以及如何从被动方提取特征数据仍然是一个未知数，特别是在训练深度神经网络（DNN）模型时。本文首次尝试研究虚拟语言中DNN训练的特征安全问题。我们考虑了一个DNN模型，该模型在主动方和被动方之间进行划分，其中后者仅持有输入层的一个子集，并表现出一些二进制值的分类特征。使用从精确覆盖问题的减少，我们证明了重建这些二进制功能是NP难的。通过分析，我们证明，除非特征维数是非常大的，它仍然是可行的，理论和实践上，发动重建攻击与一个有效的基于搜索的算法，优于当前的特征保护技术。为了解决这个问题，我们开发了一种新的功能保护方案，以防止重建攻击，有效地误导搜索到一些预先指定的随机值。通过一组广泛的实验，我们表明，我们的保护方案在各种VFL应用中承受特征重建攻击，而不损失准确性。
2022-10-13 cs.LG
CAFE: Catastrophic Data Leakage in Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
最近的研究表明，私有训练数据可以通过部署在分布式机器学习系统（如联邦学习（FL））中的梯度共享机制泄漏。增加批量大小以使数据恢复复杂化通常被视为一种有前途的数据泄漏防御策略。在本文中，我们重新审视这一防御前提，并提出了一种先进的数据泄漏攻击与理论的理由，有效地恢复批数据从共享的聚合梯度。我们将我们提出的方法命名为垂直联邦学习中的灾难性数据泄漏（CAFE）。与现有的数据泄漏攻击相比，我们在垂直FL设置上的大量实验结果证明了CAFE在执行大批量数据泄漏攻击时的有效性，并提高了数据恢复质量。我们还提出了一个切实可行的对策，以减轻CAFE。我们的研究结果表明，私人数据参与标准FL，特别是垂直的情况下，有很高的风险被泄漏的训练梯度。我们的分析表明，在这些学习环境中存在前所未有的实际数据泄露风险。我们的工作代码可在https://github.com/DeRafael/CAFE上获得。
2022-02-19 cs.AI cs.LG
A Survey on Vertical Federated Learning: From a Layered Perspective
Hong Kong University of Science and Technology（香港科技大学）；Clustar Co., Ltd（Clustar有限公司）；Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从分层视角系统综述了垂直联邦学习（VFL）的研究现状，涵盖从硬件层到系统层的分类与挑战，并提出MOSP树状分类法，从模型、保护对象、安全模型和隐私协议四个维度全面分析VFL核心算法。
2023-04-04 cs.AI cs.LG
Quadratic Functional Encryption for Secure Training in Vertical Federated Learning
University of Toronto（多伦多大学）；IIT Madras（印度理工学院马德拉斯分校）
本文针对纵向联邦学习中的信息泄露问题，提出采用二次函数加密替代多输入函数加密，以安全训练广义线性模型，避免Xu等人方案中的部分信息泄露。
2023-06-19 cs.CR cs.DC cs.LG
Just a Simple Transformation is Enough for Data Protection in Vertical Federated Learning
MIPT（莫斯科物理技术学院）；ISP RAS（俄罗斯科学院信息学研究所）
本文提出仅通过简单模型架构变换即可在纵向联邦学习中有效防御特征重建攻击，理论证明无数据先验分布时攻击无法成功，实验显示MLP模型具有抗性。
2024-12-16 cs.CR cs.LG
Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Oklahoma（俄克拉荷马大学）
本文首次研究脉冲神经网络（SNNs）在纵向联邦学习（VFL）中的适用性，实现带/不带模型拆分的两类联邦架构，在CIFAR数据集上验证发现SNN准确率与传统ANN相当且能效更高。
2024-08-13 cs.AI cs.LG
VFLAIR: A Research Library and Benchmark for Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Weiyang College, Tsinghua University（清华大学未央书院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；College of Arts and Sciences, The University of Tokyo（东京大学文理学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对纵向联邦学习研究缺乏易用框架与系统攻防评估的问题，本文提出轻量可扩展的VFLAIR研究库与基准，支持多模型、数据集和协议，并基准评测11种攻击与8种防御。
2024-04-16 cs.LG
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Feature Inference Attack on Model Predictions in Vertical Federated Learning
National University of Singapore（新加坡国立大学）
联邦学习（FL）是一种新兴的范式，用于促进多个组织的数据协作，而不向彼此泄露其私有数据。最近，垂直FL，其中参与组织持有相同的样本集，但具有不相交的功能，只有一个组织拥有的标签，受到越来越多的关注。本文提出了几种特征推理攻击方法来研究垂直FL模型预测阶段潜在的隐私泄漏。攻击方法考虑了最严格的设置，即对手只控制训练的垂直FL模型和模型预测，不依赖背景信息。我们首先提出了两个具体的攻击逻辑回归（LR）和决策树（DT）模型，根据个人的预测输出。我们进一步设计了一种通用的攻击方法，基于对手积累的多个预测输出来处理复杂的模型，如神经网络（NN）和随机森林（RF）模型。实验评估表明，所提出的攻击的有效性，并强调需要设计私人机制，以保护在垂直FL的预测输出。
2021-04-22 cs.DB cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
Interpret Federated Learning with Shapley Values
Swiss Re（瑞士再保险）
引入联邦学习，通过将训练数据分发到多方来保护隐私。每一方训练自己的模型，并从子模型构建元模型。通过这种方式，数据的细节不会在各方之间披露。本文研究了联邦学习的模型解释方法，具体研究了垂直联邦学习的特征重要性度量，其中数据的特征空间分为两方，即宿主和访客。对于主机方解释垂直联邦学习模型的单个预测，解释结果，即特征重要性，很可能揭示来自客户方的受保护数据。我们提出了一种方法来平衡垂直联邦学习中的模型可解释性和数据隐私性，通过使用Shapley值来揭示主机特征的详细特征重要性和联邦访客特征的统一重要性值。我们的实验表明，解释联邦学习模型的强大和翔实的结果。
2019-05-11 cs.LG stat.ML
BlindFL: Vertical Federated Machine Learning without Peeking into Your Data
Peking University（北京大学）；Tencent Inc.（腾讯公司）
由于对隐私保护的日益关注，如何在不同数据源上构建具有安全保证的机器学习（ML）模型越来越受欢迎。垂直联邦学习（VFL）描述了这样一种情况，即ML模型建立在不同参与方的私有数据之上，这些参与方拥有相同实例集的不相交特征，这适合许多现实世界的协作任务。然而，我们发现现有的VFL解决方案要么支持有限的输入功能，要么在联邦执行过程中遭受潜在的数据泄漏。为此，本文旨在研究VFL场景中ML模式的功能和安全性。具体来说，我们介绍了BlindFL，一个新的VFL训练和推理框架。首先，为了解决VFL模型的功能，我们提出了联合源层来统一来自不同方的数据。联合源层可以有效地支持各种特性，包括密集、稀疏、数值和分类特性。其次，我们仔细分析了联邦执行过程中的安全性，并形式化了隐私需求。在分析的基础上，我们设计了安全和准确的算法协议，并进一步证明了理想-真实仿真范式下的安全保证。大量的实验表明，BlindFL有效地支持不同的数据集和模型，同时实现了强大的隐私保证。
2022-06-16 cs.CR cs.LG
FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation
本文提出通用算法FedEmb，用于解决基于DNN的垂直与混合联邦学习问题，相比现有方法提升了推理准确率与隐私保护并降低通信带宽，实验证明其准确率提升0.3%至4.2%且时间复杂度降低88.9%。
2024-01-10 cs.AI cs.LG
Federated Learning Framework via Distributed Mutual Learning
Lakehead University（湖首大学）
本文提出一种基于分布式互学习的联邦学习框架，通过共享损失预测而非模型权重来降低通信开销并保护隐私，在口罩检测任务上取得了优于权重共享方法的准确率和泛化性能。
2025-03-03 cs.AI cs.LG
Defending against Reconstruction Attack in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）；Bytedance Ltd.（字节跳动有限公司）
最近研究人员研究了联邦学习（FL）中的输入泄漏问题，其中恶意方可以从共享梯度重建用户提供的敏感训练输入。它引起了人们对FL的关注，因为输入泄漏与使用FL的隐私保护意图相矛盾。尽管关于水平FL中输入重构的攻击和防御的文献相对丰富，但垂直FL中的输入泄漏和保护最近开始引起研究人员的注意。在本文中，我们研究了如何抵御垂直FL中的输入泄漏攻击。我们设计了一个基于对抗训练的框架，该框架包含三个模块：对抗重建，噪声正则化和距离相关最小化。这些模块既可以单独使用，也可以一起使用，因为它们彼此独立。通过对大规模工业在线广告数据集的广泛实验，我们表明我们的框架在保护输入隐私的同时保留了模型效用。
2021-07-21 cs.CR cs.LG
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging
Yale University（耶鲁大学）；Renmin University of China（中国人民大学）；JD Technology Group（京东科技集团）
联邦学习有助于解决数据隐私和安全问题，近年来受到越来越多的关注。然而，现有的联邦Boosting模型采用弱基学习器顺序构建决策树模型，导致Boosting步骤冗余，交互通信代价高。相比之下，联邦装袋模型通过并行构建多个决策树来节省时间，但它遭受性能损失。为了以更少的时间代价获得出色的性能，我们提出了一种新的模型，在垂直联邦设置称为联邦梯度提升森林（FedGBF）。FedGBF通过并行构建决策树作为Boosting的基础学习器，同时集成了Boosting和Bagging的优势。继FedGBF之后，超参数调优问题日益突出。然后，我们提出了动态FedGBF，它动态地改变每个森林的参数，从而降低了复杂性。最后，基于基准数据集的实验证明了该方法的优越性。
2022-04-03 cs.AI cs.CR cs.DC
A Vertical Federated Learning Method for Interpretable Scorecard and Its Application in Credit Scoring
Everbright Technology CO. LTD（光大科技有限公司）
随着大数据和人工智能在多个领域的成功应用，大数据驱动的模型在金融风险管理特别是信用评分和评级中的应用前景广阔。在数据隐私保护的前提下，针对传统的基于有界约束逻辑回归的记分卡，在垂直联邦学习框架下提出了一种基于投影梯度的方法，即FL-LRBC。后者使多个机构能够在一次培训中联合训练优化的记分卡模型。该方法避免了耗时的参数整定过程，从而形成了具有正系数的模型。此外，由于使用FL-LRBC的数据富集，AUC和Kolmogorov-Smirnov（KS）统计量方面的性能显着提高。目前，FL-LRBC已在中国某国有金融控股集团的信贷业务中得到应用。
2020-09-14 cs.LG stat.ML
Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Purdue University（普渡大学）
针对标准纵向联邦学习无法容忍任意崩溃的问题，提出DVFL，通过局部无监督目标及标签监督与聚合解耦实现容错训练，并在MNIST故障场景中取得更优性能。
2024-12-01 cs.DC cs.LG
Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对多层网络中数据同时存在垂直与水平划分的场景，提出通信高效的分层去中心化坐标下降（TDCD）算法，通过本地多步梯度与中心节点协调减少通信开销，并从理论与实验两方面验证了其收敛性与有效性。
2024-04-25 cs.DC cs.LG
Privacy Preserving Vertical Federated Learning for Tree-based Models
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
联邦学习（FL）是一种新兴的范例，它使多个组织能够联合训练模型，而不会相互泄露他们的私有数据。本文研究了{ \it vertical}联邦学习，它解决了以下场景：（i）协作组织拥有同一组用户的数据，但具有不相交的特征，以及（ii）只有一个组织拥有标签。我们提出了Pivot，这是一种用于隐私保护垂直决策树训练和预测的新解决方案，确保除了客户端同意发布的信息（即，最终的树模型和预测输出）。Pivot不依赖于任何受信任的第三方，并提供保护，以抵御可能危及$m$客户端的$m-1$的半诚实对手。我们进一步确定了两个隐私泄漏时，训练的决策树模型以明文形式发布，并提出了一个增强的协议，以减轻他们。所提出的解决方案还可以扩展到树集成模型，例如，随机森林（RF）和梯度提升决策树（GBDT），将单个决策树视为构建块。理论和实验分析表明，Pivot是有效的隐私实现。
2020-08-14 cs.CR cs.LG
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
A Study of Secure Algorithms for Vertical Federated Learning: Take Secure Logistic Regression as an Example
National Taiwan University（台湾大学）
针对大数据下企业数据共享与隐私保护的矛盾，本文研究纵向联邦学习框架下的安全模型训练，以加密域执行的方式保障数据隐私，为合规的跨企业联合建模提供思路。
2024-10-30 cs.CR cs.LG
PRIVEE: Privacy-Preserving Vertical Federated Learning Against Feature Inference Attacks
Department of Computer Science, Virginia Tech（维吉尼亚理工大学计算机科学系）；US DEVCOM Army Research Laboratory（美国陆军研发实验室）；Department of Computer Science, Old Dominion University（旧 Dominion 大学计算机科学系）；Department of Electrical and Computer Engineering, University of Arizona（亚利桑那大学电气与计算机工程系）
PRIVEE通过混淆置信度分数来保护隐私，有效对抗特征推断攻击，提升隐私保护效果三倍同时保持预测性能。
2026-08-05 cs.AI cs.LG
Multi-Tier Federated Learning for Vertically Partitioned Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑分层通信网络中的分散模型训练。我们的网络模型由一组筒仓组成，每个筒仓保存数据的垂直分区。每个筒仓都包含一个集线器和一组客户端，筒仓的垂直数据分片在其客户端之间水平分区。我们提出了分层分散式坐标下降（TDCD），这种双层网络的通信效率分散的训练算法。为了减少通信开销，每个思洛存储器中的客户端在与其集线器共享更新之前执行多个本地梯度步骤。每个枢纽通过平均其工作者的更新来调整其坐标，然后枢纽彼此交换中间更新。我们提出了一个理论分析，我们的算法，并显示的收敛速度上的垂直分区的数量，本地更新的数量，以及在每个枢纽的客户端的数量的依赖。我们进一步验证我们的方法经验，通过基于模拟的实验，使用各种数据集和凸和非凸目标。
2021-02-06 cs.DC cs.LG
SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
针对现有纵向联邦GBDT算法SecureBoost训练慢、难扩展的问题，提出具备半诚实安全性的SecureBoost+框架，通过密文运算、训练机制、多分类训练等优化，实现6-35倍提速且精度不变，可支撑千万级样本与千维特征规模。
2024-06-19 cs.AI cs.LG
