VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
FedV: Privacy-Preserving Federated Learning over Vertically Partitioned Data
IBM Research（IBM研究院）；University of Pittsburgh（匹兹堡大学）
联邦学习（FL）已经被提出来允许多方之间的机器学习（ML）模型的协作训练，其中每一方都可以保持其数据私有。在这个范例中，只有模型更新，如模型权重或梯度，是共享的。许多现有的方法都集中在水平FL，其中每一方具有整个特征集和标签的训练数据集。然而，许多真实场景遵循垂直分区的FL设置，其中只有当来自各方的所有数据集组合在一起时才形成完整的特征集，并且标签仅对单一方可用。隐私保护垂直FL是具有挑战性的，因为完整的标签和特征集不属于一个实体。现有的垂直FL方法需要各方之间的多个对等通信，导致冗长的训练时间，并且仅限于（近似）线性模型和两方。为了缩小这一差距，我们提出了FedV，这是一个在垂直设置中安全梯度计算的框架，用于几个广泛使用的ML模型，如线性模型，逻辑回归和支持向量机。FedV通过使用函数加密方案消除了各方之间对等通信的需要;这使得FedV能够实现更快的训练时间。它也适用于更大和不断变化的政党。我们经验性地证明了多种类型ML模型的适用性，并显示与最先进的方法相比，训练时间减少了10%-70%，数据传输减少了80%至90%。
2021-06-16 cs.AI cs.CR cs.DC
Differentially private partitioned variational inference
Telefónica Research（西班牙电信研究院）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）；University of Helsinki（赫尔辛基大学）
本文提出差分隐私的分区变分推断框架，首次在联邦学习中实现带差分隐私保证的贝叶斯后验变分近似，并给出三种实现方案及理论与实证比较。
2023-04-18 cs.CR cs.LG stat.ML
VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values
Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）；Statistics Netherlands（荷兰统计总局）
针对垂直划分数据下贝叶斯网络研究有限且缺失数据处理不足的问题，提出VertiBayes方法，结合隐私保护协议与两步参数学习实现多参与方下含缺失值的贝叶斯网络训练，性能接近传统算法且给出性能评估方案。
2024-05-21 cs.CR cs.LG
Entity Augmentation for Efficient Classification of Vertically Partitioned Data with Limited Overlap
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
提出Entity Augmentation技术，消除VFL中对set intersection和entity alignment的需求，在有限重叠数据下显著提升分类性能并降低计算成本。
2024-06-25 cs.CV cs.DC cs.LG
Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection
IBM Research（IBM研究院）
针对金融异常检测中数据同时纵向与横向分区且机构间缺乏信任的问题，提出PV4FAD方案，结合全同态加密、安全多方计算、差分隐私与随机化技术，在训练与推理阶段兼顾隐私保护和模型准确性，并生成随机森林集成模型以提升检测性能。
2023-10-30 cs.CR cs.LG
Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Purdue University（普渡大学）
针对标准纵向联邦学习无法容忍任意崩溃的问题，提出DVFL，通过局部无监督目标及标签监督与聚合解耦实现容错训练，并在MNIST故障场景中取得更优性能。
2024-12-01 cs.DC cs.LG
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；University of Amsterdam（阿姆斯特丹大学）；N1Analytics；Data61
考虑两个数据提供者，每个都维护关于公共实体的不同特征集的私有记录。他们的目标是在联合设置中联合学习线性模型，即数据是本地的，共享模型是从本地计算的更新中训练的。与大多数分布式学习的工作相比，在这种情况下，（i）数据是垂直分割的，即按特征分割，（ii）只有一个数据提供者知道目标变量，（iii）实体没有跨数据提供者链接。因此，对于私人学习的挑战，我们增加了实体解析错误的潜在负面后果。我们的贡献是双重的。首先，我们描述了一个三方端到端的解决方案，分为两个阶段-隐私保护实体解决方案和联邦逻辑回归消息加密的加法同态方案-，对诚实但好奇的对手安全。该系统允许学习，而无需公开数据或共享数据提供者共有的实体。我们的实现就像一个天真的非私有解决方案一样准确，它将所有数据放在一个地方，并扩展到具有数百个功能的数百万个实体的问题。其次，我们提供了什么是我们所知的第一个正式的分析实体解析的错误对学习的影响，最佳分类器，经验损失，利润率和泛化能力的影响。我们的研究结果为联邦学习提供了明确而有力的支持：在对实体解析错误的数量和幅度进行合理假设的情况下，在每个对等体的数据为另一个提供显著提升的环境中进行联邦学习可能非常有益。
2017-11-29 cs.LG
Differentially Private Label Protection in Split Learning
ByteDance（字节跳动）
分裂学习是一种分布式训练框架，它允许多方在垂直分区的数据（按属性分区）上联合训练机器学习模型。其思想是，只有中间计算结果，而不是私有特征和标签，在各方之间共享，以便原始训练数据保持私有。然而，最近的研究表明，分裂学习的明文实现存在严重的隐私风险，半诚实的对手可以很容易地重建标签。在这项工作中，我们提出了\textsf{TPSL}（转录私有分裂学习），一个通用的梯度扰动为基础的分裂学习框架，提供可证明的差分隐私保证。差分隐私不仅对模型权重，而且对分布式计算设置中的通信消息强制执行。我们在大规模真实数据集上的实验证明了\textsf{TPSL}对标签泄漏攻击的鲁棒性和有效性。我们还发现，\textsf{TPSL}有一个更好的实用性，隐私权衡比基线。
2022-03-04 cs.CR cs.DS cs.LG
Preserving Differential Privacy Between Features in Distributed Estimation
Disney Research（迪士尼研究中心）
隐私在机器学习的许多应用中至关重要。法律、道德和社会问题限制了敏感数据的共享，使得很难从多方之间划分的数据集中学习。这种分布式设置的一个重要实例是，当数据集中每个记录的信息由不同的数据所有者持有时（设计矩阵是“垂直分区的”）。在这种情况下，很少有出于统计估计目的而共享私人数据的方法，并且具有准备数据的“可信管理者”的差异隐私的经典设置不适用。我们的工作与$(ε,δ)$的概念-分布式差分隐私扩展到分布式的，垂直分区的情况下，单方差分隐私。我们提出了PriDE，一个可扩展的框架，分布式估计，每一方通信扰动随机投影的本地举行的功能，确保$(ε,δ)$ -分布式差分隐私被保存。对于$\ell_2$ -惩罚监督学习问题，PriDE有界估计误差相比，在非分布式设置中没有隐私约束的最优估计。我们在现实世界和合成数据集上证实了这一点。
2017-06-27 cs.CR cs.DC cs.LG
Differentially Private Federated Variational Inference
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University of Helsinki（赫尔辛基大学）
在机器学习的许多实际应用中，数据分布在许多客户端上，并且不能离开它们存储的设备。此外，每个客户端的数据，计算资源和通信约束可能非常不同。这种设置被称为联邦学习，其中隐私是一个关键问题。差分隐私通常用于提供数学隐私保证。据我们所知，这项工作是第一次考虑联邦，差分私有，贝叶斯学习。我们建立在分区变分推断（PVI），这是最近开发的，以支持近似贝叶斯推断在联邦设置。我们修改了PVI的客户端优化，以提供（$ε$，$δ$）-DP保证。我们表明，在联邦环境中学习适度私有的逻辑斯谛回归模型是可能的，这些模型与在集中数据上训练的非私有模型具有相似的性能。
2019-11-24 cs.LG stat.ML
Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；Macquarie University（麦考瑞大学）；Peking University（北京大学）；JZTData Technology（九州通数据科技）
近年来，图神经网络（Graph Neural Network，GNN）在处理由节点特征和节点间邻接信息组成的图数据的各种实际任务中取得了显著的进展。高性能的GNN模型往往依赖于图中丰富的特征和完整的边信息。然而，在实际运作中，这些数据可能会被不同的数据持有者隔离，这就是所谓的数据隔离问题。为了解决这个问题，在本文中，我们提出了VFGNN，联邦GNN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GNN模型。具体来说，我们将计算图分为两部分。我们保留私有数据（即，特征、边和标签）相关的计算，并将其余的计算委托给半诚实服务器。我们还建议应用差分隐私，以防止潜在的信息泄漏的服务器。我们在三个基准上进行了实验，结果证明了VFGNN的有效性。
2022-04-25 cs.CR cs.LG stat.ML
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Secure Multi-Party Computation Based Privacy Preserving Extreme Learning Machine Algorithm Over Vertically Distributed Data
TÜBİTAK BİLGEM（土耳其科学技术研究理事会 信息与信息安全研究中心）；Cyber Security Institute（网络安全研究所）
特别是在大数据时代，不同分类方法的使用日益增多。这些分类方法的成功取决于学习方法的有效性。极限学习机（ELM）分类算法是一种基于前馈神经网络的相对较新的学习方法。ELM分类算法是一种简单快速的方法，可以从高维数据集创建模型。传统的ELM学习算法隐含地假设对整个数据集的完全访问。这在大多数情况下是一个重要的隐私问题。出于安全考虑，禁止共享私人数据（即医疗记录）。在这项研究中，我们提出了一个有效的和安全的隐私保护学习算法ELM分类数据之间的垂直分区。新的学习方法保留了数值属性的隐私性，在不共享隐私数据的情况下建立分类模型，同时不向他人泄露各方的数据。
2016-02-09 cs.CR cs.LG
Learning Differentially Private Recurrent Language Models
Google（谷歌公司）
我们证明，它是可能的训练大型经常性的语言模型与用户级的差分隐私保证，只有一个可以忽略不计的成本在预测精度。我们的工作建立在深度网络在用户分区数据和随机梯度下降隐私会计上的训练的最新进展之上。特别是，我们增加了用户级的隐私保护的联邦平均算法，这使得“大步”更新用户级的数据。我们的工作表明，给定一个具有足够多用户的数据集（即使是小规模的互联网数据集也很容易满足这一要求），实现差分隐私是以增加计算为代价的，而不是像大多数以前的工作那样降低效用。我们发现，当在大型数据集上训练时，我们的私有LSTM语言模型在定量和定性上与无噪声模型相似。
2018-02-24 cs.LG
Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data
JD Finance America Corporation（京东金融美国公司）；School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Computer Science Department, Western University（西安大略大学计算机科学系）；University of Pittsburgh（匹兹堡大学）
在许多现实世界的数据采掘和机器学习应用程序中，数据由多个提供者提供，每个提供者都维护关于公共实体的不同特征集的私有记录。传统的数据采掘和机器学习算法很难有效地训练训练这些垂直划分的数据，同时又能保证数据的隐私性。在本文中，我们专注于非线性学习与核，并提出了一个联邦双随机核学习（FDSKL）算法垂直分区数据。具体来说，我们使用随机特征来近似核映射函数，并使用双随机梯度来更新解决方案，这些都是在没有数据泄露的情况下联合计算的。更重要的是，我们证明了FDSKL具有次线性收敛速度，并且在半诚实假设下能够保证数据的安全性。在各种基准数据集上的大量实验结果表明，FDSKL在处理内核时明显快于最先进的联邦学习方法，同时保持了相似的泛化性能。
2020-08-14 cs.LG stat.ML
Privacy Preserving ID3 over Horizontally, Vertically and Grid Partitioned Data
Hasselt University（哈瑟尔特大学）；Transnational University Limburg（林堡跨国大学）；Eindhoven University of Technology（埃因霍温理工大学）
在训练数据水平或垂直分布的情况下，我们考虑通过ID3的隐私保护决策树归纳。此外，我们考虑同样的问题的情况下，数据是水平和垂直分布的，我们称之为网格分区数据的情况。我们给出了一个隐私保护算法ID3水平分割数据涉及两个以上的缔约方。对于网格划分的数据，我们讨论了两种不同的评估方法来保护隐私ID3，即先水平合并，然后垂直发展或先垂直合并，然后水平发展。其次，介绍了隐私保护数据采掘网格划分的数据，本文的主要贡献是，我们表明，通过复杂性分析，前评估方法是更有效的。
2008-03-11 cs.DB cs.LG
Privacy-preserving Data Sharing on Vertically Partitioned Data
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
在这项工作中，我们介绍了一种差分私有的方法，用于从垂直分区的数据，\emph{i.e.}，其中相同的个人的数据分布在多个数据持有者或各方的合成数据。我们提出了一个差分隐私随机梯度下降（DP-SGD）算法训练的混合模型在这样的分区数据使用变分推理。我们修改了一个安全多方计算（MPC）框架，将MPC与差分隐私（DP）相结合，以便有效地使用差分隐私MPC来学习DP下的概率生成模型。假设混合成分不包含不同参与方之间的依赖关系，目标函数可以分解为参与方计算的贡献的乘积之和。最后，MPC用于计算不同贡献之间的聚合。此外，我们严格定义了系统中不同参与者的隐私保证。为了证明我们的方法的准确性，我们在UCI机器学习存储库中的Adult数据集上运行我们的算法，在那里我们获得了与非分区情况相当的结果。
2022-09-02 cs.CR cs.LG stat.ML
A Differentially Private Clustering Algorithm for Well-Clustered Graphs
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Google Research（谷歌研究院）
本文提出一种针对良聚类图的高效（$ε$,$δ$）-DP聚类算法，适用于$k$个近乎平衡簇，误分类率接近最佳非私有算法，并证明纯$ε$-DP算法误差显著。
2024-03-21 cs.CR cs.DS cs.LG
Communication-Efficient and Differentially Private Vertical Federated Learning with Zeroth-Order Optimization
Elmore Family School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）；Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学）
本文提出DPZV框架，通过零阶优化实现通信高效且具有差分隐私的垂直联邦学习，有效降低通信开销并提升隐私保护。
2025-12-26 cs.AI cs.CR cs.DC
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
Differentially Private Vertical Federated Learning
Data61, CSIRO（联邦科学与工业研究组织数据61所）
成功的机器学习（ML）算法通常依赖于大量高质量的数据来训练性能良好的模型。监督学习方法，例如深度学习技术，为现实生活中的应用生成高质量的ML函数，但是需要花费大量的成本和人力来标记训练数据。联邦学习（FL）的最新进展允许多个数据所有者或组织在不共享原始数据的情况下协作训练机器学习模型。在这种情况下，垂直FL允许组织在参与组织具有垂直分区数据时构建全局模型。此外，在垂直FL设置中，与直接共享数据相比，参与组织通常需要更少的资源，从而实现轻量级和可扩展的分布式培训解决方案。然而，由于中间输出的通信和模型更新的梯度，垂直FL中的隐私保护具有挑战性。这会邀请对手实体推断其他组织的底层数据。因此，在本文中，我们的目的是探讨如何保护个人组织数据的隐私在差分隐私（DP）设置。我们使用不同的真实世界数据集和DP预算进行实验。我们的实验结果表明，需要找到一个折衷点，以实现之间的平衡垂直FL性能和隐私保护的扰动噪声量。
2022-11-13 cs.CR cs.DB cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Vertical Federated Learning: A Structured Literature Review
Maastricht University（马斯特里赫特大学）
本文对垂直联邦学习（VFL）进行了结构化文献综述，探讨了其最新方法、现有挑战的解决方案及未来研究方向。
2023-04-09 cs.AI cs.DC cs.LG
Differentially Private Learning of Markov Chains: Near-Optimal Sample Complexity for Item and User Level Privacy
University of Southern California（南加州大学）；Pontificia Universidad Católica de Chile（智利天主教 Pontificia 大学）；Meta
该研究针对序列数据的隐私保护需求，在项目级与用户级隐私下，研究离散遍历马尔可夫链转移矩阵的差分隐私估计，给出近最优样本复杂度界，为序列数据的隐私学习提供了理论支撑。
2026-10-15 cs.CR stat.OT
The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data
UCL（伦敦大学学院）；SAS（SAS公司）；UC Riverside（加州大学河滨分校）
该研究针对差分隐私边缘生成模型中离散化可能破坏端到端隐私保障、效用不佳的问题，对比四种离散化策略，提出带差分隐私的离散器与改进的最优分箱选择方法，提升效用并降低隐私与计算开销。
2025-10-28 cs.CR cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati（辛辛那提大学）；University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Northeastern University（东北大学）
针对电子健康数据同时存在水平与垂直划分的问题，本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法，给出收敛上界与自适应调参策略，实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
Learning Privately over Distributed Features: An ADMM Sharing Approach
University of Alberta（阿尔伯塔大学）；University of Kent（肯特大学）
分布式机器学习已被广泛研究，以处理爆炸式增长的数据量。在本文中，我们研究了一个重要的但访问量较少的分布式学习问题，其中的功能是固有的分布或垂直划分在多方之间，和各方之间的原始数据或模型参数的共享是禁止的，由于隐私问题。我们提出了一个ADMM共享框架，以接近分布式特征的风险最小化，其中每一方只需要在训练过程中为每个样本共享一个值，从而最大限度地减少数据泄漏风险。我们建立了收敛性和迭代复杂性的结果，建议并行ADMM算法下的非凸损失。我们进一步介绍了一种新的差分隐私ADMM共享算法和绑定的隐私保证精心设计的噪声扰动。基于原型系统的实验表明，所提出的ADMM算法收敛效率高，在一个强大的方式，表现出优于基于梯度的方法，特别是对数据集的高维特征空间。
2019-07-17 cs.DC cs.LG stat.ML
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法，客户端交换隐私保护模型作为基础模型训练元模型，适用于多种数据划分和隐私技术，并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks
KITE, University Health Network（KITE，大学健康网络）
联邦学习（FL）和分裂学习（SL）是保护隐私的机器学习（ML）技术，能够在客户端之间分布的数据上训练ML模型，而无需直接存取原始数据。现有的FL和SL方法在水平或垂直分区的数据上工作，并且不能处理顺序分区的数据，其中多段顺序数据的段跨客户端分布。在本文中，我们提出了一种新的联邦分裂学习框架，FedSL，训练模型的分布式序列数据。在序列数据上进行训练的最常见ML模型是循环神经网络（RNN）。由于所提出的框架是隐私保护的，多段顺序数据的段不能在客户端之间或客户端和服务器之间共享。为了规避这一限制，我们提出了一种为RNN量身定制的新SL方法。RNN被分成子网络，每个子网络在一个包含多段训练序列的单个段的客户端上训练。在本地训练期间，不同客户端上的子网络彼此通信以捕获不同客户端上的多段顺序数据的连续段之间的潜在依赖性，但不共享原始数据或完整的模型参数。在使用本地顺序数据段训练本地子网络之后，所有客户端将其子网络发送到联邦服务器，在那里子网络被聚合以生成全局模型。在模拟和真实数据集上的实验结果表明，该方法成功地在分布式序列数据上训练模型，同时保护隐私，并且在以更少的通信轮次实现更高的准确性方面优于以前的FL和集中式学习方法。
2022-11-07 cs.DC cs.LG
Vertical Federated Principal Component Analysis and Its Kernel Extension on Feature-wise Distributed Data
Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）
尽管联邦学习（FL）在各个领域有着巨大的研究兴趣和快速的应用，但现有的研究大多集中在水平分区局部数据集环境下的有监督联邦学习。本文将研究垂直分区数据集下的无监督FL。因此，本文提出了垂直分区数据集联合主成分分析（VFedPCA）方法，该方法对所有客户端的联合数据集进行降维，并提取主成分特征信息用于下游数据分析。我们进一步利用非线性降维，并提出了垂直联邦高级核主成分分析（VFedAKPCA）方法，它可以有效地和协同建模的非线性性质存在于许多真实的数据集。此外，我们还研究了两种通信拓扑结构。第一种是服务器-客户端拓扑，其中半信任服务器协调联合训练，而第二种是完全分散的拓扑，通过允许客户端自己与邻居通信，进一步消除了对服务器的要求。在五种真实数据集上进行的大量实验证实了垂直分区FL设置下VFedPCA和VFedAKPCA的有效性。代码可在：https://github.com/juyongjiang/VFedPCA-VFedAKPCA
2022-03-03 cs.DC cs.LG
SecureBoost: A Lossless Federated Learning Framework
University of California, Los Angeles（加州大学洛杉矶分校）；Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
保护用户隐私是机器学习的一个重要问题，2018年5月欧盟（EU）推出的《通用数据保护条例》（GDPR）就是明证。GDPR旨在让用户更好地控制其个人数据，这促使我们探索不侵犯用户隐私的机器学习数据共享框架。为了实现这一目标，在本文中，我们提出了一种新的无损隐私保护树提升系统称为SecureBoost的设置联邦学习。SecureBoost首先在隐私保护协议下进行实体对齐，然后使用精心设计的加密策略在多方之间构建提升树。这种联邦学习系统允许学习过程在具有共同用户样本但不同特征集的多方上联合进行，这对应于垂直分区的数据集。SecureBoost的一个优点是，它提供了与非隐私保护方法相同的准确性水平，同时不会透露每个私人数据提供商的信息。我们证明了SecureBoost框架与其他需要集中数据的非联邦梯度树提升算法一样准确，因此对于信贷风险分析等工业应用来说，它具有高度的可扩展性和实用性。为此，我们讨论了协议执行过程中的信息泄漏，并提出了可证明地减少它的方法。
2021-04-07 cs.LG stat.ML
Federated singular value decomposition for high dimensional data
University of Southern Denmark（南丹麦大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习（FL）正在成为传统的基于云的机器学习的隐私感知替代方案。在FL中，敏感数据仍然处于数据孤岛中，并且仅交换聚合参数。不愿意分享数据的医院和研究机构可以加入联合研究，而不会违反保密性。除了生物医学数据的极端敏感性之外，高维性在联合全基因组关联研究（GWAS）的背景下也构成了挑战。在这篇文章中，我们提出了一个联邦奇异值分解（SVD）算法，适用于GWAS的隐私相关和计算需求。值得注意的是，该算法具有独立于样本数量的传输成本，并且仅弱依赖于特征数量，因为与样本相关联的奇异向量从不交换，并且与特征相关联的向量仅用于固定数量的迭代。虽然GWAS的动机，该算法是一般适用于水平和垂直分区的数据。
2022-05-24 cs.DS cs.LG
Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference
Centre for Data Science, Queensland University of Technology（昆士兰科技大学数据科学中心）；School of Mathematical Sciences, Queensland University of Technology（昆士兰科技大学数学科学学院）；Euler Institute, Università della Svizzera italiana (USI)（瑞士意大利语区大学欧拉研究所）；Insubria University（因苏布里亚大学）
提出首个面向VFL的贝叶斯建模综合框架，通过数据增强、似然分解与摊销变分近似实现与观测数无关的可扩展隐私保护推理。
2024-05-07 cs.LG stat.CO stat.ME
VFLIP: A Backdoor Defense for Vertical Federated Learning via Identification and Purification
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）
针对纵向联邦学习（VFL）特有的后门攻击漏洞，提出首个VFL专用防御方法VFLIP，在推理阶段通过逐参与者异常检测识别恶意嵌入并重构净化，有效提升防御鲁棒性。
2024-08-29 cs.LG
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
A Survey on Vertical Federated Learning: From a Layered Perspective
Hong Kong University of Science and Technology（香港科技大学）；Clustar Co., Ltd（Clustar有限公司）；Peking University（北京大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文从分层视角系统综述了垂直联邦学习（VFL）的研究现状，涵盖从硬件层到系统层的分类与挑战，并提出MOSP树状分类法，从模型、保护对象、安全模型和隐私协议四个维度全面分析VFL核心算法。
2023-04-04 cs.AI cs.LG
FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出FedVS框架，通过秘密共享方案同时解决拆分垂直联邦学习中掉队客户端导致的性能下降和嵌入上传引发的隐私泄露问题，并在多种数据集上验证了其优势。
2023-07-06 cs.CR cs.IT cs.LG
Aggregating Data for Optimal and Private Learning
Google DeepMind（谷歌DeepMind）；Northeastern University（东北大学）
本文针对多实例回归（MIR）和比例标签学习（LLP）框架，研究数据集最优分袋策略以最大化下游任务效用，理论证明其可简化为k-means等聚类问题，还可实现标签差分隐私并推广至广义线性模型，实验验证了理论结果。
2024-11-28 cs.LG
Incentive Allocation in Vertical Federated Learning Based on Bankruptcy Problem
Maastricht University（马斯特里赫特大学）
本文针对纵向联邦学习中被动方激励分配问题，将其建模为破产博弈并采用Talmudic分配规则得到核仁解，在合成与真实数据集上验证了该方法相比Shapley值计算更高效且能保证公平性与稳定性。
2025-02-10 cs.DC cs.GT cs.LG
Privacy-Preserving Generalized Linear Models using Distributed Block Coordinate Descent
Utrecht University（乌得勒支大学）；Maastricht University（马斯特里赫特大学）
将来自不同来源的数据结合起来对于知识发现具有相当大的潜力：协作的数据方可以在扩展的特征空间中挖掘数据，使他们能够探索更大范围的科学问题。然而，各方之间的数据共享受到法律条件、伦理问题和/或数据量的高度限制。在这些关注的推动下，密码学和分布式学习领域在隐私保护和分布式数据采掘方面取得了很大的进展。然而，这些方法的有限范围或计算复杂性阻碍了实际实现。在本文中，我们大大扩展了垂直分区数据的分析范围，即，由不同方面收集的具有不同特征的相同主题的数据。为此，我们提出了一种新的隐私保护广义线性模型，一个基本的和强大的框架，许多预测和分类程序的方法。我们的方法基于分布式块坐标下降算法来获得参数估计，并且我们开发了一个扩展来计算精确的标准误差，而无需额外的通信成本。我们批判性地评估了半诚实合作者的信息传输，并表明我们的协议可以安全地防止数据重建。通过模拟和现实世界的例子，我们说明了我们提出的算法的功能。在不泄漏信息的情况下，我们的方法在垂直分区数据上的性能与现有的组合数据方法一样好-所有这些都在几分钟的计算时间内。我们的结论是，我们的方法是一个可行的方法，垂直分区的数据分析与广泛的现实世界中的应用。
2019-11-08 cs.CR cs.DC cs.LG
Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation
本文提出统一分析框架，揭示逐层高斯噪声注入的隐式目标与隐私预算分配问题，并设计信噪比一致的噪声分配策略，在集中式和联邦学习中实现更优的隐私-效用权衡。
2025-10-17 cs.LG
Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Western University（韦仕敦大学）；Xidian University（西安电子科技大学）
针对零阶优化纵向联邦学习收敛慢的问题，提出级联混合优化方法，客户端用零阶优化保护隐私，服务器用一阶优化加速收敛，理论证明其收敛不受服务器模型大小限制，实验表明该方法收敛更快且保持同等隐私保护。
2023-06-29 cs.AI cs.DC cs.LG
Vertical Federated Learning: Challenges, Methodologies and Experiments
School of Electrical and Optical Engineering, Nanjing University of Science and Technology（南京理工大学电气与光学工程学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61分部）；China Academy of Information and Communication Technology (CAICT)（中国信息通信研究院）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
本文提出VFL通用框架，系统梳理隐私安全、计算通信、模型分割与系统异构四类挑战，并给出解决方案和真实数据集实验验证。
2024-08-05 cs.DC cs.LG
Entity Resolution and Federated Learning get a Federated Resolution
University of Amsterdam（阿姆斯特丹大学）；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；N1 Analytics（N1分析公司）；Data61（Data61数据科学研究中心）
考虑两个数据提供者，每个都维护关于公共实体的不同特征集的记录。他们的目标是在整个特征集上学习线性模型。垂直分区数据上的联邦学习问题包括一个关键的上游问题：实体解析，即找到数据集行之间的对应关系。众所周知，实体解析和学习一样，在现实世界中也是容易出错的。尽管问题的重要性，一直没有正式的评估如何在实体分辨率的错误影响学习。在本文中，我们对这个问题提供了一个彻底的答案，回答了最佳分类器，经验损失，利润率和泛化能力是如何受到影响的。虽然我们的答案涵盖了广泛的损失-超越了正确的，凸的，或分类校准-它带来了简单的实际参数，以升级实体分辨率作为学习的预处理步骤。其中之一表明，实体解析的目的应该是控制或最小化不同类的示例之间的匹配错误的数量。在我们的实验中，我们修改了一个简单的基于令牌的实体分辨率算法，使其确实旨在避免匹配属于不同类别的行，并在实体分辨率依赖于噪声数据的设置中进行实验，这与现实世界的领域非常相关。值得注意的是，我们的方法涵盖的情况下，一个对等\textit{does not}类，或类的嘈杂记录。实验表明，在实体分解过程中使用类信息可以从复杂度的角度以很小的代价获得显著的学习提升。
2018-03-20 cs.DB cs.LG
TabVFL: Improving Latent Representation in Vertical Federated Learning
Delft University of Technology（代尔夫特理工大学）；National University of Singapore（新加坡国立大学）
本文提出TabVFL分布式框架，通过联合多方特征学习单一潜在表示向量，并添加全连接层保护隐私及增强对客户端故障的鲁棒性，有效改进了纵向联邦学习中的潜在表示学习。
2024-06-25 cs.DC cs.LG
A decentralized aggregation mechanism for training deep learning models using smart contract system for bank loan prediction
Pune Institute of Computer Technology（浦那计算机技术学院）
在试图构建复杂的基于深度学习的系统来对数据进行建模时，数据隐私和共享一直是一个关键问题。促进一种分散的方法，可以从多个节点的数据中受益，同时不需要物理地合并其数据内容，这一直是一个活跃的研究领域。在本文中，我们提出了一种解决方案，通过使用智能合约系统来训练深度学习架构，从而从分布式数据设置中受益。具体来说，我们提出了一种机制，将从区块链上的本地ANN模型获得的中间表示聚合在一起。本地模型的训练在其各自的数据上进行。从它们派生的中间表示，当在主机节点上组合和训练在一起时，有助于获得更准确的系统。虽然联邦学习主要处理相同的数据特征，其中样本数量分布在多个节点上，但这里我们处理的是相同数量的样本，但它们的特征分布在多个节点上。我们考虑银行贷款预测的任务，其中个人的个人详细信息和他们的银行特定的详细信息可能无法在同一个地方。我们的聚合机制有助于在现有的分布式数据上训练模型，而不必共享和连接实际的数据值。所获得的性能优于单个节点的性能，并且与集中式数据设置的性能相当，这为将我们的技术扩展到其他架构和任务提供了强有力的理由。该解决方案适用于希望在垂直分区数据上训练深度学习模型的组织。
2020-11-22 cs.DC cs.LG
Share Secrets for Privacy: Confidential Forecasting with Vertical Federated Learning
Delft University of Technology（代尔夫特理工大学）；ASML（ASML公司）；Université de Neuchâtel（内阿捷尔大学）
本文提出STV框架，结合秘密共享、多方计算与SARIMAX等模型，实现纵向联邦学习下的保密时间序列预测，精度较集中式SOTA提升23.81%。
2025-06-11 cs.CR cs.DC cs.LG
Data-Driven Pinball-Loss Selection for Vertically Distributed Elastic-Net SVMs
Yunnan University（云南大学）；Chongqing Normal University（重庆师范大学）；Southern University of Science and Technology（南方科技大学）
本文提出数据驱动的垂直分布弹性网支持向量机，通过学习单纯形约束权重优化弹球损失，开发列分区变量分裂求解器，经实验验证其预测性能、数值等价性及多进程可扩展性。
2026-08-04 cs.LG stat.CO
ABG: A Multi-Party Mixed Protocol Framework for Privacy-Preserving Cooperative Learning
协作学习是一种由两个或多个数据拥有者共同训练模型的学习方法，被广泛用于解决机器学习中训练数据不足的问题。如今，迫切需要机构和组织合作训练模型，同时保持彼此的数据私密。为了解决协作学习中的隐私保护问题，安全外包计算和联邦学习是两种典型的方法。然而，这两种方法在协作学习中的运用都存在着许多不足。对于安全的外包计算，需要引入半诚实服务器。一旦外包服务器勾结或进行其他主动攻击，数据的隐私将被泄露。对于联邦学习，它很难应用于垂直分区数据分布在多方的场景。在这项工作中，我们提出了一个多方混合协议框架，ABG $^n$，它有效地实现任意转换之间的算术共享（A），布尔共享（B）和混淆电路共享（G）的$n$ -党的场景。基于ABG $^n$，我们设计了一个隐私保护的多方协作学习系统，该系统允许不同的数据拥有者在数据安全和隐私保护方面合作进行机器学习。此外，我们设计了一些典型的机器学习方法，如逻辑回归和神经网络特定的隐私保护计算协议。与以往的工作相比，该方法具有更广泛的适用范围，并且不需要依赖于额外的服务器。最后，我们评估了ABG $^n$在本地设置和公共云设置上的性能。实验表明，ABG $^n$具有良好的性能，尤其是在低延迟的网络环境中。
2022-02-10 cs.CR cs.LG
Privacy-Preserving Vertical K-Means Clustering
University of Twente（特文特大学）；University of Waterloo（滑铁卢大学）；RBC Borealis（加拿大皇家银行博雷利斯公司）；University of Oldenburg（奥尔登堡大学）
本文针对垂直划分数据下的隐私保护聚类问题，提出基于同态加密与差分隐私的K-Means方案，将通信复杂度从O(nkt)降至O(n+kt)，在保持聚类准确性的同时大幅降低通信开销和运行时间，使其适用于广域网部署。
2025-04-10 cs.CR cs.LG
Quantum Privacy-Preserving Data Mining
University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
数据挖掘是大数据分析中的一项关键技术，它可以发现隐藏在大数据集中的可理解的知识（模式）。关联规则是最有用的知识模式之一，在数据挖掘文献中已经开发了大量的算法来生成对应于不同问题和情况的关联规则。当数据挖掘用于敏感数据集（如医疗记录、商业数据集和国家安全）时，隐私成为一个至关重要的问题。在这封信中，我们提出了一个量子协议的垂直分区数据库上挖掘关联规则。量子协议可以提高经典协议的隐私保护水平，同时它可以指数级地降低计算复杂度和通信成本。
2016-01-14 cs.CR cs.DB cs.LG
Asymmetric Private Set Intersection with Applications to Contact Tracing and Private Vertical Federated Machine Learning
Morfix；OpenMined；École Supérieure en Informatique, Sidi Bel Abbès（西迪贝勒阿巴斯高等计算机学院）；Bitdefender（比特梵德）；Edinburgh Napier University（爱丁堡龙比亚大学）；apheris AI；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Tessella
我们提出了一个多语言，跨平台，开源的非对称私有集交集（PSI）和PSI-Cardinality（PSI-C）库。我们的协议结合了传统的基于DDH的PSI和PSI-C协议与基于Bloom过滤器的压缩，有助于减少非对称设置中的通信。目前，我们的库支持C++，C，Go，WebAssembly，JavaScript，Python和Rust，并在传统硬件（x86）和浏览器目标上运行。我们进一步将我们的库应用于两个用例：（i）与现有方法兼容的隐私保护联系人跟踪协议，但提高了它们的隐私保证，以及（ii）垂直分区数据上的隐私保护机器学习。
2020-11-18 cs.CR cs.LG
SplitGNN: Splitting GNN for Node Classification with Heterogeneous Attention
Ant Group（蚂蚁集团）
随着隐私泄露事件的频繁发生和各国隐私法的颁布，数据所有者不愿意直接与任何其他方共享其原始数据和标签。实际上，许多原始数据都存储在图形数据库中，特别是对于金融而言。对于协作构建图神经网络（GNN），联邦学习（FL）可能不是垂直分区设置的理想选择，其中隐私和效率是主要关注点。此外，几乎所有现有的联邦GNN主要是针对同构图设计的，这将各种类型的关系简化为同一类型，从而在很大程度上限制了其性能。我们通过提出一个基于分裂学习的GNN（SplitGNN）来弥合这一差距，其中该模型分为两个子模型：局部GNN模型包括所有与私有数据相关的计算以生成局部节点嵌入，而全局模型通过聚合所有参与者的局部嵌入来计算全局嵌入。我们的SplitGNN允许孤立的异构邻域被协作利用。为了更好地捕获表示，我们提出了一种新的异构注意力（HAT）算法，并使用基于节点和基于路径的注意力机制来学习各种类型的节点和边缘的多跳关系功能。我们证明了SplitGNN在两个标准公共数据集和真实数据集的节点分类任务上的有效性。大量的实验结果验证了我们提出的SplitGNN显着优于最先进的（SOTA）方法。
2023-01-27 cs.AI cs.LG
