Active-Passive Federated Learning for Vertically Partitioned Multi-view Data
National University of Defense Technology（国防科技大学）
提出主动-被动联邦学习框架，主动客户端独立构建完整模型，被动客户端仅辅助训练，解决推理时客户端协作不可靠问题，通过重构损失和对比损失实例化两种分类方法并验证有效性。
2026-06-09 cs.LG
Multi-Tier Federated Learning for Vertically Partitioned Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑分层通信网络中的分散模型训练。我们的网络模型由一组筒仓组成，每个筒仓保存数据的垂直分区。每个筒仓都包含一个集线器和一组客户端，筒仓的垂直数据分片在其客户端之间水平分区。我们提出了分层分散式坐标下降（TDCD），这种双层网络的通信效率分散的训练算法。为了减少通信开销，每个思洛存储器中的客户端在与其集线器共享更新之前执行多个本地梯度步骤。每个枢纽通过平均其工作者的更新来调整其坐标，然后枢纽彼此交换中间更新。我们提出了一个理论分析，我们的算法，并显示的收敛速度上的垂直分区的数量，本地更新的数量，以及在每个枢纽的客户端的数量的依赖。我们进一步验证我们的方法经验，通过基于模拟的实验，使用各种数据集和凸和非凸目标。
2021-02-06 cs.DC cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values
Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）；Statistics Netherlands（荷兰统计总局）
针对垂直划分数据下贝叶斯网络研究有限且缺失数据处理不足的问题，提出VertiBayes方法，结合隐私保护协议与两步参数学习实现多参与方下含缺失值的贝叶斯网络训练，性能接近传统算法且给出性能评估方案。
2024-05-21 cs.CR cs.LG
FedV: Privacy-Preserving Federated Learning over Vertically Partitioned Data
IBM Research（IBM研究院）；University of Pittsburgh（匹兹堡大学）
联邦学习（FL）已经被提出来允许多方之间的机器学习（ML）模型的协作训练，其中每一方都可以保持其数据私有。在这个范例中，只有模型更新，如模型权重或梯度，是共享的。许多现有的方法都集中在水平FL，其中每一方具有整个特征集和标签的训练数据集。然而，许多真实场景遵循垂直分区的FL设置，其中只有当来自各方的所有数据集组合在一起时才形成完整的特征集，并且标签仅对单一方可用。隐私保护垂直FL是具有挑战性的，因为完整的标签和特征集不属于一个实体。现有的垂直FL方法需要各方之间的多个对等通信，导致冗长的训练时间，并且仅限于（近似）线性模型和两方。为了缩小这一差距，我们提出了FedV，这是一个在垂直设置中安全梯度计算的框架，用于几个广泛使用的ML模型，如线性模型，逻辑回归和支持向量机。FedV通过使用函数加密方案消除了各方之间对等通信的需要;这使得FedV能够实现更快的训练时间。它也适用于更大和不断变化的政党。我们经验性地证明了多种类型ML模型的适用性，并显示与最先进的方法相比，训练时间减少了10%-70%，数据传输减少了80%至90%。
2021-06-16 cs.AI cs.CR cs.DC
VFLGAN: Vertical Federated Learning-based Generative Adversarial Network for Vertically Partitioned Data Publication
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
针对垂直分区数据中跨方属性相关性保持不足的问题，本文提出VFLGAN，并结合高效高斯机制与成员推理审计，提升合成数据质量及差分隐私可验证性。
2024-04-15 cs.AI cs.CR cs.LG
Privacy-Preserving Federated Learning over Vertically and Horizontally Partitioned Data for Financial Anomaly Detection
IBM Research（IBM研究院）
针对金融异常检测中数据同时纵向与横向分区且机构间缺乏信任的问题，提出PV4FAD方案，结合全同态加密、安全多方计算、差分隐私与随机化技术，在训练与推理阶段兼顾隐私保护和模型准确性，并生成随机森林集成模型以提升检测性能。
2023-10-30 cs.CR cs.LG
Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；University of Amsterdam（阿姆斯特丹大学）；N1Analytics；Data61
考虑两个数据提供者，每个都维护关于公共实体的不同特征集的私有记录。他们的目标是在联合设置中联合学习线性模型，即数据是本地的，共享模型是从本地计算的更新中训练的。与大多数分布式学习的工作相比，在这种情况下，（i）数据是垂直分割的，即按特征分割，（ii）只有一个数据提供者知道目标变量，（iii）实体没有跨数据提供者链接。因此，对于私人学习的挑战，我们增加了实体解析错误的潜在负面后果。我们的贡献是双重的。首先，我们描述了一个三方端到端的解决方案，分为两个阶段-隐私保护实体解决方案和联邦逻辑回归消息加密的加法同态方案-，对诚实但好奇的对手安全。该系统允许学习，而无需公开数据或共享数据提供者共有的实体。我们的实现就像一个天真的非私有解决方案一样准确，它将所有数据放在一个地方，并扩展到具有数百个功能的数百万个实体的问题。其次，我们提供了什么是我们所知的第一个正式的分析实体解析的错误对学习的影响，最佳分类器，经验损失，利润率和泛化能力的影响。我们的研究结果为联邦学习提供了明确而有力的支持：在对实体解析错误的数量和幅度进行合理假设的情况下，在每个对等体的数据为另一个提供显著提升的环境中进行联邦学习可能非常有益。
2017-11-29 cs.LG
Entity Augmentation for Efficient Classification of Vertically Partitioned Data with Limited Overlap
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
提出Entity Augmentation技术，消除VFL中对set intersection和entity alignment的需求，在有限重叠数据下显著提升分类性能并降低计算成本。
2024-06-25 cs.CV cs.DC cs.LG
Decoupled Vertical Federated Learning for Practical Training on Vertically Partitioned Data
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Purdue University（普渡大学）
针对标准纵向联邦学习无法容忍任意崩溃的问题，提出DVFL，通过局部无监督目标及标签监督与聚合解耦实现容错训练，并在MNIST故障场景中取得更优性能。
2024-12-01 cs.DC cs.LG
Vertical Federated Principal Component Analysis and Its Kernel Extension on Feature-wise Distributed Data
Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）
尽管联邦学习（FL）在各个领域有着巨大的研究兴趣和快速的应用，但现有的研究大多集中在水平分区局部数据集环境下的有监督联邦学习。本文将研究垂直分区数据集下的无监督FL。因此，本文提出了垂直分区数据集联合主成分分析（VFedPCA）方法，该方法对所有客户端的联合数据集进行降维，并提取主成分特征信息用于下游数据分析。我们进一步利用非线性降维，并提出了垂直联邦高级核主成分分析（VFedAKPCA）方法，它可以有效地和协同建模的非线性性质存在于许多真实的数据集。此外，我们还研究了两种通信拓扑结构。第一种是服务器-客户端拓扑，其中半信任服务器协调联合训练，而第二种是完全分散的拓扑，通过允许客户端自己与邻居通信，进一步消除了对服务器的要求。在五种真实数据集上进行的大量实验证实了垂直分区FL设置下VFedPCA和VFedAKPCA的有效性。代码可在：https://github.com/juyongjiang/VFedPCA-VFedAKPCA
2022-03-03 cs.DC cs.LG
ICAFS: Inter-Client-Aware Feature Selection for Vertical Federated Learning
University of Pennsylvania（宾夕法尼亚大学）；East China Normal University（华东师范大学）
针对纵向联邦学习中现有特征选择忽略跨客户端特征交互的问题，提出多阶段集成方法ICAFS，结合条件特征合成与可学习选择器，绕过私有梯度共享限制，在真实数据集上预测精度超越现有方法。
2025-04-15 cs.LG
LESS-VFL: Communication-Efficient Feature Selection for Vertical Federated Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对纵向联邦学习场景下的特征选择通信成本高问题，提出LESS-VFL方法，经预训练后由服务器确定参与方模型相关输出并共享，支持无通信本地特征选择，可在低通信成本下实现高准确率与虚假特征移除。
2023-05-03 cs.DC cs.LG
Preserving Differential Privacy Between Features in Distributed Estimation
Disney Research（迪士尼研究中心）
隐私在机器学习的许多应用中至关重要。法律、道德和社会问题限制了敏感数据的共享，使得很难从多方之间划分的数据集中学习。这种分布式设置的一个重要实例是，当数据集中每个记录的信息由不同的数据所有者持有时（设计矩阵是“垂直分区的”）。在这种情况下，很少有出于统计估计目的而共享私人数据的方法，并且具有准备数据的“可信管理者”的差异隐私的经典设置不适用。我们的工作与$(ε,δ)$的概念-分布式差分隐私扩展到分布式的，垂直分区的情况下，单方差分隐私。我们提出了PriDE，一个可扩展的框架，分布式估计，每一方通信扰动随机投影的本地举行的功能，确保$(ε,δ)$ -分布式差分隐私被保存。对于$\ell_2$ -惩罚监督学习问题，PriDE有界估计误差相比，在非分布式设置中没有隐私约束的最优估计。我们在现实世界和合成数据集上证实了这一点。
2017-06-27 cs.CR cs.DC cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University（北京大学）；Michigan Technological University（密歇根理工大学）
垂直联邦学习是一种协作机器学习框架，用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是，将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先，大多数现有的垂直联邦学习方法都有一个很强的假设，即至少有一方持有所有数据样本的完整标签集，而这个假设在许多实际场景中并不满足，其中标签是水平划分的，各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签，这可能会导致端到端反向传播模型更新不足。第二，计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者，并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中，这种掉队者问题会被夸大。为了解决这些问题，我们提出了一种新的垂直联邦学习框架级联垂直联邦学习（CVFL），充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题，我们设计了一个新的优化目标，可以增加离散的贡献训练模型。我们进行了一系列的定性实验，严格验证CVFL的有效性。结果表明，CVFL可以实现相当的性能（例如，分类任务的准确性）。与只使用异步聚合机制相比，新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
Privacy-preserving feature selection: A survey and proposing a new set of protocols
University of Toronto（多伦多大学）；University of Windsor（温莎大学）
特征选择是对特征进行筛选的过程，在这个过程中，信息特征从冗余和不相关的特征中分离出来。这个过程在机器学习、数据采掘和生物信息学中起着重要的作用。然而，传统的特征选择方法只能处理集中式数据集，不能满足当今分布式数据处理的需求。这些需求需要一种新的数据处理算法，称为隐私保护特征选择，它通过在中间处理和最终结果中不泄露数据的任何部分来保护用户的数据。这对于包含个人数据的数据集（如医疗数据集）至关重要。因此，修改现有的算法或提出新的算法是合理的，不仅引入应用于分布式数据集的能力，而且通过保护用户的隐私来负责任地处理用户的数据。在本文中，我们将审查三个隐私保护的特征选择方法，并提供建议，以提高其性能时，任何差距被确定。本文还提出了一种基于粗糙集特征选择的隐私保护特征选择方法。所提出的方法是能够处理水平和垂直分区的数据集在两个和多方的情况下。
2020-08-17 cs.CR cs.LG
Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；Macquarie University（麦考瑞大学）；Peking University（北京大学）；JZTData Technology（九州通数据科技）
近年来，图神经网络（Graph Neural Network，GNN）在处理由节点特征和节点间邻接信息组成的图数据的各种实际任务中取得了显著的进展。高性能的GNN模型往往依赖于图中丰富的特征和完整的边信息。然而，在实际运作中，这些数据可能会被不同的数据持有者隔离，这就是所谓的数据隔离问题。为了解决这个问题，在本文中，我们提出了VFGNN，联邦GNN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GNN模型。具体来说，我们将计算图分为两部分。我们保留私有数据（即，特征、边和标签）相关的计算，并将其余的计算委托给半诚实服务器。我们还建议应用差分隐私，以防止潜在的信息泄漏的服务器。我们在三个基准上进行了实验，结果证明了VFGNN的有效性。
2022-04-25 cs.CR cs.LG stat.ML
Privacy-Preserving Generalized Linear Models using Distributed Block Coordinate Descent
Utrecht University（乌得勒支大学）；Maastricht University（马斯特里赫特大学）
将来自不同来源的数据结合起来对于知识发现具有相当大的潜力：协作的数据方可以在扩展的特征空间中挖掘数据，使他们能够探索更大范围的科学问题。然而，各方之间的数据共享受到法律条件、伦理问题和/或数据量的高度限制。在这些关注的推动下，密码学和分布式学习领域在隐私保护和分布式数据采掘方面取得了很大的进展。然而，这些方法的有限范围或计算复杂性阻碍了实际实现。在本文中，我们大大扩展了垂直分区数据的分析范围，即，由不同方面收集的具有不同特征的相同主题的数据。为此，我们提出了一种新的隐私保护广义线性模型，一个基本的和强大的框架，许多预测和分类程序的方法。我们的方法基于分布式块坐标下降算法来获得参数估计，并且我们开发了一个扩展来计算精确的标准误差，而无需额外的通信成本。我们批判性地评估了半诚实合作者的信息传输，并表明我们的协议可以安全地防止数据重建。通过模拟和现实世界的例子，我们说明了我们提出的算法的功能。在不泄漏信息的情况下，我们的方法在垂直分区数据上的性能与现有的组合数据方法一样好-所有这些都在几分钟的计算时间内。我们的结论是，我们的方法是一个可行的方法，垂直分区的数据分析与广泛的现实世界中的应用。
2019-11-08 cs.CR cs.DC cs.LG
Secure Multi-Party Computation Based Privacy Preserving Extreme Learning Machine Algorithm Over Vertically Distributed Data
TÜBİTAK BİLGEM（土耳其科学技术研究理事会 信息与信息安全研究中心）；Cyber Security Institute（网络安全研究所）
特别是在大数据时代，不同分类方法的使用日益增多。这些分类方法的成功取决于学习方法的有效性。极限学习机（ELM）分类算法是一种基于前馈神经网络的相对较新的学习方法。ELM分类算法是一种简单快速的方法，可以从高维数据集创建模型。传统的ELM学习算法隐含地假设对整个数据集的完全访问。这在大多数情况下是一个重要的隐私问题。出于安全考虑，禁止共享私人数据（即医疗记录）。在这项研究中，我们提出了一个有效的和安全的隐私保护学习算法ELM分类数据之间的垂直分区。新的学习方法保留了数值属性的隐私性，在不共享隐私数据的情况下建立分类模型，同时不向他人泄露各方的数据。
2016-02-09 cs.CR cs.LG
Optimization for Large-Scale Machine Learning with Distributed Features and Observations
Northwestern University（西北大学）
由于现代数据集的大小超过了单个计算机的磁盘和内存容量，机器学习从业者已经求助于并行和分布式计算。鉴于优化是机器学习和预测建模的支柱之一，分布式优化方法最近在文献中获得了足够的关注。虽然以前的研究主要集中在设置中的观察，或手头的问题的功能存储在分布式的方式，这两个分区跨计算机集群的节点（双重分布）的情况下，几乎没有被研究。在这项工作中，我们提出了两个双分布优化算法。第一个属于分布式双坐标上升法的保护伞下，而第二个属于一类的随机梯度/坐标下降混合方法。我们使用真实世界和模拟数据集在火花进行数值实验，并研究我们的方法的标度特性。我们的经验评估所提出的算法证明了一个块分布式ADMM方法，据我们所知，这是唯一的其他现有的双分布优化算法的性能。
2017-04-15 cs.LG stat.ML
Data-Driven Pinball-Loss Selection for Vertically Distributed Elastic-Net SVMs
Yunnan University（云南大学）；Chongqing Normal University（重庆师范大学）；Southern University of Science and Technology（南方科技大学）
本文提出数据驱动的垂直分布弹性网支持向量机，通过学习单纯形约束权重优化弹球损失，开发列分区变量分裂求解器，经实验验证其预测性能、数值等价性及多进程可扩展性。
2026-08-04 cs.LG stat.CO
PyVertical: A Vertical Federated Learning Framework for Multi-headed SplitNN
OpenMined；Edinburgh Napier University（爱丁堡龙比亚大学）；Apheris；Tessella；Birla Institute of Technology, Mesra（比拉理工学院（梅斯拉校区））
我们介绍PyVertical，这是一个使用分离神经网络支持垂直联邦学习的框架。所提出的框架允许数据科学家对跨多个所有者垂直分区的数据特征进行训练神经网络，同时将原始数据保存在所有者的设备上。为了链接不同数据集分区之间共享的实体，我们在与数据点关联的ID上使用私有集交集。为了证明所提出的框架的有效性，我们提出了一个简单的双头分裂神经网络的MNIST分类任务的训练，数据样本垂直分布在两个数据所有者和数据科学家。
2021-04-14 cs.CR cs.DC cs.LG
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati（辛辛那提大学）；University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Northeastern University（东北大学）
针对电子健康数据同时存在水平与垂直划分的问题，本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法，给出收敛上界与自适应调参策略，实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
Learning Privately over Distributed Features: An ADMM Sharing Approach
University of Alberta（阿尔伯塔大学）；University of Kent（肯特大学）
分布式机器学习已被广泛研究，以处理爆炸式增长的数据量。在本文中，我们研究了一个重要的但访问量较少的分布式学习问题，其中的功能是固有的分布或垂直划分在多方之间，和各方之间的原始数据或模型参数的共享是禁止的，由于隐私问题。我们提出了一个ADMM共享框架，以接近分布式特征的风险最小化，其中每一方只需要在训练过程中为每个样本共享一个值，从而最大限度地减少数据泄漏风险。我们建立了收敛性和迭代复杂性的结果，建议并行ADMM算法下的非凸损失。我们进一步介绍了一种新的差分隐私ADMM共享算法和绑定的隐私保证精心设计的噪声扰动。基于原型系统的实验表明，所提出的ADMM算法收敛效率高，在一个强大的方式，表现出优于基于梯度的方法，特别是对数据集的高维特征空间。
2019-07-17 cs.DC cs.LG stat.ML
Quantum Privacy-Preserving Data Mining
University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
数据挖掘是大数据分析中的一项关键技术，它可以发现隐藏在大数据集中的可理解的知识（模式）。关联规则是最有用的知识模式之一，在数据挖掘文献中已经开发了大量的算法来生成对应于不同问题和情况的关联规则。当数据挖掘用于敏感数据集（如医疗记录、商业数据集和国家安全）时，隐私成为一个至关重要的问题。在这封信中，我们提出了一个量子协议的垂直分区数据库上挖掘关联规则。量子协议可以提高经典协议的隐私保护水平，同时它可以指数级地降低计算复杂度和通信成本。
2016-01-14 cs.CR cs.DB cs.LG
Vertical Federated Learning: A Structured Literature Review
Maastricht University（马斯特里赫特大学）
本文对垂直联邦学习（VFL）进行了结构化文献综述，探讨了其最新方法、现有挑战的解决方案及未来研究方向。
2023-04-09 cs.AI cs.DC cs.LG
Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by Features
CMU（卡内基梅隆大学）；IST（高等理工学院）；NOVA（新大学）
期望最大化（EM）是学习高斯混合的标准方法。然而，由于隐私问题以及计算和通信瓶颈，其经典的集中式形式通常是不可行的。以前的工作处理的数据分布的例子，水平分区，但我们缺乏一个对应的数据分散的功能，一个越来越常见的方案（例如，用户分析数据来自多个实体）。为了填补这一空白，我们提供了一个基于EM的算法来拟合高斯混合垂直分区数据（VP-EM）。在联邦学习设置中，我们的算法匹配高斯混合约束到一个子空间的集中EM拟合。在任意通信图中，共识平均允许VP-EM在大型对等网络上运行作为EM近似。这种不匹配仅来自共识误差，它随着共识轮数的增加而呈指数级快速消失。我们证明了VP-EM的各种拓扑结构的合成和真实的数据，评估其近似集中EM，并看到它优于现有的基准。
2022-01-24 cs.LG
Personalized Federated Learning via Stacking
提出一种基于堆叠泛化的个性化联邦学习方法，客户端交换隐私保护模型作为基础模型训练元模型，适用于多种数据划分和隐私技术，并支持贡献评估。
2024-04-21 cs.CR cs.DC cs.LG
SecureBoost: A Lossless Federated Learning Framework
University of California, Los Angeles（加州大学洛杉矶分校）；Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
保护用户隐私是机器学习的一个重要问题，2018年5月欧盟（EU）推出的《通用数据保护条例》（GDPR）就是明证。GDPR旨在让用户更好地控制其个人数据，这促使我们探索不侵犯用户隐私的机器学习数据共享框架。为了实现这一目标，在本文中，我们提出了一种新的无损隐私保护树提升系统称为SecureBoost的设置联邦学习。SecureBoost首先在隐私保护协议下进行实体对齐，然后使用精心设计的加密策略在多方之间构建提升树。这种联邦学习系统允许学习过程在具有共同用户样本但不同特征集的多方上联合进行，这对应于垂直分区的数据集。SecureBoost的一个优点是，它提供了与非隐私保护方法相同的准确性水平，同时不会透露每个私人数据提供商的信息。我们证明了SecureBoost框架与其他需要集中数据的非联邦梯度树提升算法一样准确，因此对于信贷风险分析等工业应用来说，它具有高度的可扩展性和实用性。为此，我们讨论了协议执行过程中的信息泄漏，并提出了可证明地减少它的方法。
2021-04-07 cs.LG stat.ML
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks
KITE, University Health Network（KITE，大学健康网络）
联邦学习（FL）和分裂学习（SL）是保护隐私的机器学习（ML）技术，能够在客户端之间分布的数据上训练ML模型，而无需直接存取原始数据。现有的FL和SL方法在水平或垂直分区的数据上工作，并且不能处理顺序分区的数据，其中多段顺序数据的段跨客户端分布。在本文中，我们提出了一种新的联邦分裂学习框架，FedSL，训练模型的分布式序列数据。在序列数据上进行训练的最常见ML模型是循环神经网络（RNN）。由于所提出的框架是隐私保护的，多段顺序数据的段不能在客户端之间或客户端和服务器之间共享。为了规避这一限制，我们提出了一种为RNN量身定制的新SL方法。RNN被分成子网络，每个子网络在一个包含多段训练序列的单个段的客户端上训练。在本地训练期间，不同客户端上的子网络彼此通信以捕获不同客户端上的多段顺序数据的连续段之间的潜在依赖性，但不共享原始数据或完整的模型参数。在使用本地顺序数据段训练本地子网络之后，所有客户端将其子网络发送到联邦服务器，在那里子网络被聚合以生成全局模型。在模拟和真实数据集上的实验结果表明，该方法成功地在分布式序列数据上训练模型，同时保护隐私，并且在以更少的通信轮次实现更高的准确性方面优于以前的FL和集中式学习方法。
2022-11-07 cs.DC cs.LG
Asymmetric Private Set Intersection with Applications to Contact Tracing and Private Vertical Federated Machine Learning
Morfix；OpenMined；École Supérieure en Informatique, Sidi Bel Abbès（西迪贝勒阿巴斯高等计算机学院）；Bitdefender（比特梵德）；Edinburgh Napier University（爱丁堡龙比亚大学）；apheris AI；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Tessella
我们提出了一个多语言，跨平台，开源的非对称私有集交集（PSI）和PSI-Cardinality（PSI-C）库。我们的协议结合了传统的基于DDH的PSI和PSI-C协议与基于Bloom过滤器的压缩，有助于减少非对称设置中的通信。目前，我们的库支持C++，C，Go，WebAssembly，JavaScript，Python和Rust，并在传统硬件（x86）和浏览器目标上运行。我们进一步将我们的库应用于两个用例：（i）与现有方法兼容的隐私保护联系人跟踪协议，但提高了它们的隐私保证，以及（ii）垂直分区数据上的隐私保护机器学习。
2020-11-18 cs.CR cs.LG
Federated singular value decomposition for high dimensional data
University of Southern Denmark（南丹麦大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
联邦学习（FL）正在成为传统的基于云的机器学习的隐私感知替代方案。在FL中，敏感数据仍然处于数据孤岛中，并且仅交换聚合参数。不愿意分享数据的医院和研究机构可以加入联合研究，而不会违反保密性。除了生物医学数据的极端敏感性之外，高维性在联合全基因组关联研究（GWAS）的背景下也构成了挑战。在这篇文章中，我们提出了一个联邦奇异值分解（SVD）算法，适用于GWAS的隐私相关和计算需求。值得注意的是，该算法具有独立于样本数量的传输成本，并且仅弱依赖于特征数量，因为与样本相关联的奇异向量从不交换，并且与特征相关联的向量仅用于固定数量的迭代。虽然GWAS的动机，该算法是一般适用于水平和垂直分区的数据。
2022-05-24 cs.DS cs.LG
Scalable Vertical Federated Learning via Data Augmentation and Amortized Inference
Centre for Data Science, Queensland University of Technology（昆士兰科技大学数据科学中心）；School of Mathematical Sciences, Queensland University of Technology（昆士兰科技大学数学科学学院）；Euler Institute, Università della Svizzera italiana (USI)（瑞士意大利语区大学欧拉研究所）；Insubria University（因苏布里亚大学）
提出首个面向VFL的贝叶斯建模综合框架，通过数据增强、似然分解与摊销变分近似实现与观测数无关的可扩展隐私保护推理。
2024-05-07 cs.LG stat.CO stat.ME
KDk: A Defense Mechanism Against Label Inference Attacks in Vertical Federated Learning
University of Pavia（帕维亚大学）；University of Milan（米兰大学）
本文提出KDk框架，结合知识蒸馏与k-匿名性，防御纵向联邦学习中的标签推断攻击，使攻击性能下降超60%且模型精度几乎不变。
2024-04-18 cs.CR cs.LG
Differentially Private Vertical Federated Learning
Data61, CSIRO（联邦科学与工业研究组织数据61所）
成功的机器学习（ML）算法通常依赖于大量高质量的数据来训练性能良好的模型。监督学习方法，例如深度学习技术，为现实生活中的应用生成高质量的ML函数，但是需要花费大量的成本和人力来标记训练数据。联邦学习（FL）的最新进展允许多个数据所有者或组织在不共享原始数据的情况下协作训练机器学习模型。在这种情况下，垂直FL允许组织在参与组织具有垂直分区数据时构建全局模型。此外，在垂直FL设置中，与直接共享数据相比，参与组织通常需要更少的资源，从而实现轻量级和可扩展的分布式培训解决方案。然而，由于中间输出的通信和模型更新的梯度，垂直FL中的隐私保护具有挑战性。这会邀请对手实体推断其他组织的底层数据。因此，在本文中，我们的目的是探讨如何保护个人组织数据的隐私在差分隐私（DP）设置。我们使用不同的真实世界数据集和DP预算进行实验。我们的实验结果表明，需要找到一个折衷点，以实现之间的平衡垂直FL性能和隐私保护的扰动噪声量。
2022-11-13 cs.CR cs.DB cs.LG
Achieving Transparency in Distributed Machine Learning with Explainable Data Collaboration
University of Tsukuba（筑波大学）；NTT DATA Corporation（NTT数据公司）
用于各行各业决策支持的机器学习模型的透明度对于确保其道德使用至关重要。为此，诸如SHAP（SHapley Additive exPlanations）的特征归因方法被广泛用于向客户和开发人员解释黑盒机器学习模型的预测。然而，一个平行的趋势是与其他数据持有者合作训练机器学习模型，而不访问他们的数据。这些模型在水平或垂直分区的数据上训练，对可解释的AI提出了挑战，因为解释方可能对背景数据有偏见或对特征空间有部分看法。因此，从分布式机器学习的不同参与者那里获得的解释可能彼此不一致，从而破坏了对产品的信任。提出了一种基于模型无关的加性特征属性算法（KernelSHAP）和隐私保护分布式机器学习的数据协作方法的可解释数据协作框架。特别是，我们提出了三种算法，不同的情况下，在数据协作的可解释性，并验证其一致性与开放获取数据集上的实验。我们的研究结果表明，分布式机器学习用户之间的特征归因差异显著减少（至少减少了1.75倍）。
2022-12-06 cs.AI cs.LG
FedVS: Straggler-Resilient and Privacy-Preserving Vertical Federated Learning for Split Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出FedVS框架，通过秘密共享方案同时解决拆分垂直联邦学习中掉队客户端导致的性能下降和嵌入上传引发的隐私泄露问题，并在多种数据集上验证了其优势。
2023-07-06 cs.CR cs.IT cs.LG
Incentive Allocation in Vertical Federated Learning Based on Bankruptcy Problem
Maastricht University（马斯特里赫特大学）
本文针对纵向联邦学习中被动方激励分配问题，将其建模为破产博弈并采用Talmudic分配规则得到核仁解，在合成与真实数据集上验证了该方法相比Shapley值计算更高效且能保证公平性与稳定性。
2025-02-10 cs.DC cs.GT cs.LG
Secure Split Learning against Property Inference, Data Reconstruction, and Feature Space Hijacking Attacks
Nanjing University（南京大学）；University of California San Diego（加州大学圣迭戈分校）
本文针对分割学习面临的三类攻击，提出基于R3eLU激活函数的隐私保护隧道和细粒度隐私预算分配方案，在保证模型可用性的同时实现严格隐私保护。
2023-04-19 cs.CR cs.LG
Entity Resolution and Federated Learning get a Federated Resolution
University of Amsterdam（阿姆斯特丹大学）；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；N1 Analytics（N1分析公司）；Data61（Data61数据科学研究中心）
考虑两个数据提供者，每个都维护关于公共实体的不同特征集的记录。他们的目标是在整个特征集上学习线性模型。垂直分区数据上的联邦学习问题包括一个关键的上游问题：实体解析，即找到数据集行之间的对应关系。众所周知，实体解析和学习一样，在现实世界中也是容易出错的。尽管问题的重要性，一直没有正式的评估如何在实体分辨率的错误影响学习。在本文中，我们对这个问题提供了一个彻底的答案，回答了最佳分类器，经验损失，利润率和泛化能力是如何受到影响的。虽然我们的答案涵盖了广泛的损失-超越了正确的，凸的，或分类校准-它带来了简单的实际参数，以升级实体分辨率作为学习的预处理步骤。其中之一表明，实体解析的目的应该是控制或最小化不同类的示例之间的匹配错误的数量。在我们的实验中，我们修改了一个简单的基于令牌的实体分辨率算法，使其确实旨在避免匹配属于不同类别的行，并在实体分辨率依赖于噪声数据的设置中进行实验，这与现实世界的领域非常相关。值得注意的是，我们的方法涵盖的情况下，一个对等\textit{does not}类，或类的嘈杂记录。实验表明，在实体分解过程中使用类信息可以从复杂度的角度以很小的代价获得显著的学习提升。
2018-03-20 cs.DB cs.LG
SiloFuse: Cross-silo Synthetic Data Generation with Latent Tabular Diffusion Models
TU Delft（代尔夫特理工大学）；University of Neuchatel（纳沙泰尔大学）
针对跨筒仓垂直分布表格数据，本文提出 SiloFuse 分布式潜在扩散框架，以单步堆叠训练实现高质量、隐私可量化且通信高效的合成。
2024-04-04 cs.CR cs.DB cs.DC
TabVFL: Improving Latent Representation in Vertical Federated Learning
Delft University of Technology（代尔夫特理工大学）；National University of Singapore（新加坡国立大学）
本文提出TabVFL分布式框架，通过联合多方特征学习单一潜在表示向量，并添加全连接层保护隐私及增强对客户端故障的鲁棒性，有效改进了纵向联邦学习中的潜在表示学习。
2024-06-25 cs.DC cs.LG
VFed-SSD: Towards Practical Vertical Federated Advertising
Tsinghua University（清华大学）；Tencent（腾讯）
针对垂直联邦广告中标签样本少和跨机构服务成本高的问题，提出半监督拆分蒸馏框架VFed-SSD，利用匹配对检测和拆分知识蒸馏，在三个工业数据集上AUC中位数提升0.86%至2.6%。
2023-06-17 cs.DC cs.IR cs.LG
ABG: A Multi-Party Mixed Protocol Framework for Privacy-Preserving Cooperative Learning
协作学习是一种由两个或多个数据拥有者共同训练模型的学习方法，被广泛用于解决机器学习中训练数据不足的问题。如今，迫切需要机构和组织合作训练模型，同时保持彼此的数据私密。为了解决协作学习中的隐私保护问题，安全外包计算和联邦学习是两种典型的方法。然而，这两种方法在协作学习中的运用都存在着许多不足。对于安全的外包计算，需要引入半诚实服务器。一旦外包服务器勾结或进行其他主动攻击，数据的隐私将被泄露。对于联邦学习，它很难应用于垂直分区数据分布在多方的场景。在这项工作中，我们提出了一个多方混合协议框架，ABG $^n$，它有效地实现任意转换之间的算术共享（A），布尔共享（B）和混淆电路共享（G）的$n$ -党的场景。基于ABG $^n$，我们设计了一个隐私保护的多方协作学习系统，该系统允许不同的数据拥有者在数据安全和隐私保护方面合作进行机器学习。此外，我们设计了一些典型的机器学习方法，如逻辑回归和神经网络特定的隐私保护计算协议。与以往的工作相比，该方法具有更广泛的适用范围，并且不需要依赖于额外的服务器。最后，我们评估了ABG $^n$在本地设置和公共云设置上的性能。实验表明，ABG $^n$具有良好的性能，尤其是在低延迟的网络环境中。
2022-02-10 cs.CR cs.LG
Privacy-Preserving Vertical K-Means Clustering
University of Twente（特文特大学）；University of Waterloo（滑铁卢大学）；RBC Borealis（加拿大皇家银行博雷利斯公司）；University of Oldenburg（奥尔登堡大学）
本文针对垂直划分数据下的隐私保护聚类问题，提出基于同态加密与差分隐私的K-Means方案，将通信复杂度从O(nkt)降至O(n+kt)，在保持聚类准确性的同时大幅降低通信开销和运行时间，使其适用于广域网部署。
2025-04-10 cs.CR cs.LG
