Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations
Linköping University（林雪平大学）
在本文中，我们考虑隐私方面的无线联邦学习（FL）与无线（OTA）传输的梯度更新从多个用户/代理到边缘服务器。通过利用多址信道的波形叠加特性，OTA FL使用户能够使用线性处理技术同时发送他们的更新，这提高了资源效率。然而，这种设置容易受到隐私泄漏，因为对手节点可以直接听到未编码的消息。传统的基于扰动的方法提供了隐私保护，同时由于降低的信噪比而牺牲了训练精度。在这项工作中，我们的目标是最大限度地减少隐私泄漏到对手和模型的准确性在边缘服务器在同一时间的退化。更明确地说，空间相关的扰动被添加到传输之前在用户处的梯度向量。使用相关扰动的零和属性，可以最小化添加的扰动对边缘服务器处的聚合梯度的副作用。同时，增加的扰动不会被对手抵消，这防止了隐私泄露。对扰动协方差矩阵、差分隐私和模型收敛性进行了理论分析，在此基础上提出了联合设计协方差矩阵和功率缩放因子的优化问题，以平衡隐私保护和收敛性能。仿真结果验证了相关扰动方法在保证较高学习精度的同时，具有较强的防御能力。
2022-10-05 cs.CR cs.IT cs.LG
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation
University at Buffalo（布法罗大学）；United Imaging Intelligence（联影智能）
联邦学习（FL）是一种机器学习范例，其中本地节点协作地训练中央模型，而训练数据保持分散。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而，他们受到通信瓶颈的困扰。更重要的是，他们冒着隐私泄露的风险。在这项工作中，我们开发了一个隐私保护和通信有效的方法在FL框架与一次性离线知识蒸馏使用未标记的，跨域的公共数据。我们提出了一个量化和噪声合奏的本地预测从完全训练的本地模型更强的隐私保证，而不牺牲准确性。基于对图像分类和文本分类任务的大量实验，我们表明，我们的隐私保护方法优于基线FL算法，在准确性和通信效率方面都具有优异的性能。
2022-09-10 cs.CR cs.CV cs.LG
Private Deep Learning with Teacher Ensembles
隐私保护深度学习对于部署基于深度神经网络的解决方案至关重要，特别是当模型处理包含敏感信息的数据时。大多数隐私保护方法会导致不希望的性能下降。包围学习是提高模型性能的有效途径。在这项工作中，我们提出了一种新的方法，教师合奏，使用更多的信息网络输出下的差分私人随机梯度下降，并提供可证明的隐私保证。Out方法采用知识蒸馏和对中间表示的提示学习来促进学生模型的训练。此外，我们提出了一个简单的加权集成方案，在不同的教学设置更强大。在三个常见的图像数据集基准上的实验结果（即，CIFAR10，MINST和SVHN）表明，我们的方法在性能和隐私预算方面都优于以前的最先进的方法。
2019-09-18 cs.CR cs.LG
A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control
IBM Research AI（IBM研究AI）；Amazon Web Services（亚马逊云科技）
空中交通管制是一个极具挑战性的操作问题，很容易通过决策支持技术来增强人类的专业知识的一个例子。在本文中，我们提出了一个新的智能决策框架，利用多智能体强化学习（MARL），动态建议调整飞机的速度实时。该系统的目标是提高空中交通管制员的能力，为飞机提供有效的引导，以避免空中交通拥挤，险些相撞的情况，并提高到达的及时性。我们开发了一种新的深度集成MARL方法，该方法可以通过学习有效地在基于本地内核的RL模型和更广泛的深度MARL模型的决策之间进行仲裁，来简洁地捕捉空中交通管制问题的复杂性。所提出的方法进行了培训和评估的开放源代码的空中交通管理模拟器开发的Eurocontrol。在包括数千架飞机的真实世界数据集上进行的大量实证结果证明了使用多智能体RL解决航路空中交通管制问题的可行性，并表明我们提出的深度集成MARL方法显着优于三种最先进的基准方法。
2020-04-03 cs.AI cs.LG
Privacy Leakage Avoidance with Switching Ensembles
Perspecta Labs（Perspecta实验室）；University of Maryland（马里兰大学）
我们考虑成员推断攻击，在机器学习的主要隐私问题之一。这些最近开发的攻击已被证明成功地确定了给定样本是否属于受攻击机器学习模型训练的数据集，其置信度优于随机猜测。已经开发了几种方法来减轻这种隐私泄露，但是这些防御机制的折衷性能影响（即，受保护的机器学习模型的准确性和实用性）还没有得到很好的研究。我们提出了一种新的方法，隐私泄漏避免与开关集成（PASE），既可以防止当前的成员推断攻击，并与非常小的准确性惩罚，同时需要可接受的增加训练和推理时间。我们测试我们的PASE方法，以及目前最先进的PATE方法，在三个校准图像数据集，并分析其权衡。
2019-11-18 cs.CR cs.LG stat.ML
Over-the-Air Federated Averaging with Limited Power and Privacy Budgets
Queen Mary University of London（伦敦玛丽女王大学）；Brunel University London（伦敦布鲁内尔大学）；Southeast University（东南大学）；Hainan University（海南大学）；Nanjing University of Science and Technology（南京理工大学）；University of Kent（肯特大学）
针对无线联邦学习的通信与隐私问题，提出功率与隐私预算受限的DP-OTA-FedAvg系统，通过联合优化设备调度、对齐系数与聚合轮次提升学习性能，经收敛与隐私分析后高效求解，仿真验证有效。
2023-05-05 cs.CR cs.IT cs.LG
Federated Learning with Privacy-Preserving Ensemble Attention Distillation
University at Buffalo（布法罗大学）；United Imaging Intelligence（联影智能）
联邦学习（FL）是一种机器学习范例，其中许多本地节点协作地训练中央模型，同时保持训练数据分散。这是特别相关的临床应用，因为患者数据通常不允许被转移出医疗设施，导致需要FL。现有的FL方法通常共享模型参数或采用共蒸馏来解决数据分布不平衡的问题。然而，它们还需要多轮同步通信，更重要的是，它们存在隐私泄露风险。在这项工作中，我们提出了一个隐私保护FL框架，利用未标记的公共数据进行单向离线知识蒸馏。中心模型通过集成注意蒸馏从局部知识中学习。我们的技术像现有的FL方法一样使用分散和异构的本地数据，但更重要的是，它显着降低了隐私泄露的风险。我们证明，我们的方法实现了非常有竞争力的性能与更强大的隐私保护的基础上广泛的实验图像分类，分割和重建任务。
2022-10-16 cs.AI cs.CR cs.LG
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Private Wireless Federated Learning with Anonymous Over-the-Air Computation
在传统的联邦学习（FL）中，差分隐私（DP）保证可以通过在传输到参数服务器（PS）之前向局部模型更新注入附加噪声来获得。在无线FL的情况下，我们表明，系统的隐私可以通过利用空中计算（OAC）和匿名的传输设备。在OAC中，设备同时以未编码的方式传输其模型更新，从而更有效地使用可用频谱。我们进一步利用OAC提供匿名的传输设备。所提出的方法通过减少必须注入的噪声量来提高私有无线FL的性能。
2021-02-13 cs.CR cs.LG
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo (USP)（圣保罗大学）
本文介绍了一种隐私感知贝叶斯方法，它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下，实例及其分类/聚类结果分布在不同的数据站点，并有共享限制。作为一种特殊情况，当目标数据的实例分布在不同的数据站点时，模型的隐私感知计算也进行了讨论。实验结果表明，该方法可以提供良好的分类精度，同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University（普林斯顿大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
成员推断攻击是评估机器学习（ML）模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型，具有较高的成员隐私，同时在很大程度上保留其实用性，因此，我们的目标是一个经验的成员隐私保证，而不是可证明的隐私保证提供的技术，如差分隐私，因为这些技术被证明会恶化模型的效用。具体来说，我们提出了一个新的框架，训练隐私保护模型，诱导成员和非成员输入类似的行为，以减轻成员推断攻击。我们的框架，称为SELENA，有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集，并在每个数据子集上训练模型。我们在测试时使用自适应推理策略：我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击，但是，它容易受到新的自适应攻击。因此，我们在我们的框架中使用了第二个组件，称为自蒸馏，以防止这种更强大的攻击。Self-Distillation组件（self-）通过我们的Split-AI集成来提取训练数据集，而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验，我们表明，与最先进的技术相比，SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation
Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）；Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（智能交通研究组，香港科学与技术大学（广州））
本文提出差分隐私空中联邦蒸馏框架，通过推导学习收敛速率与隐私损失解析式，优化跨时间尺度的收发机设计与训练轮数，在满足功率与隐私要求下最大化收敛速率，大幅降低通信开销。
2025-08-06 cs.IT cs.LG eess.SP
Differential Privacy as a Perk: Federated Learning over Multiple-Access Fading Channels with a Multi-Antenna Base Station
IoT Thrust, The Hong Kong University of Science and Technology (Guangzhou)（科技与应用大学信息学部，香港科学与技术大学（广州））；Department of ECE, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）
本文研究多接入衰落信道上的联邦学习，通过多天线基站实现差分隐私保护，推导新型DP界并优化收敛-隐私权衡。
2026-10-21 cs.CR cs.LG stat.ML
Privacy-Preserving Hybrid Ensemble Model for Network Anomaly Detection: Balancing Security and Data Protection
Stevens Institute of Technology（史蒂文斯理工学院）；UCLA（加利福尼亚大学洛杉矶分校）；Virginia Tech（弗吉尼亚理工大学）；University of Southern California（南加利福尼亚大学）
本文提出融合 KNN、SVM、XGBoost 与 ANN 的隐私保护混合集成模型，并结合先进预处理应对小样本和数据不平衡，以兼顾网络异常检测性能与数据隐私。
2025-02-13 cs.LG
Differentially Private Federated Learning via Reconfigurable Intelligent Surface
ShanghaiTech University（上海科技大学）
联邦学习（FL）作为一种破坏性的机器学习范式，能够在分散的本地数据集上协作训练全局模型，而无需共享它们。它涵盖了从物联网（IoT）到生物医学工程和药物发现的广泛应用。为了支持无线网络上的低延迟和高隐私FL，在本文中，我们提出了一个可重构智能表面（RIS）授权的空中FL系统，以缓解学习精度和隐私之间的困境。这是通过同时利用RIS的信道传播可重构性来提高接收信号功率，以及利用空中计算（AirComp）的波形叠加特性来实现快速模型聚合。通过考虑一个实际的情况下，高维本地模型更新跨多个通信块传输，我们的特点的差异私有联邦优化算法的收敛行为。我们进一步制定了一个系统优化问题，以优化学习精度，同时满足隐私和功率约束，通过联合设计的发射功率，人工噪声，并在RIS的相移，其中两步交替最小化框架的开发。仿真结果验证了我们的系统，理论和算法的成就，并表明，RIS可以实现更好的权衡之间的隐私和准确性的空中FL系统。
2022-03-31 cs.CR cs.IT cs.LG
Membership Inference Attacks as Privacy Tools: Reliability, Disparity and Ensemble
Rensselaer Polytechnic Institute（罗文斯莱尔理工学院）；IBM Research - Almaden（IBM阿尔马登研究）
本文系统研究了成员推理攻击在不同方法及同方法多次实例化之间的差异性及其对隐私评估可靠性的影响，并提出一种包含三种策略的集成框架，以构建更强大的攻击并提供更稳健全面的隐私评估方法。
2025-07-03 cs.LG
Privacy-Preserving Training of Tree Ensembles over Continuous Data
University of Washington Tacoma（华盛顿大学塔科马分校）；Ghent University（根特大学）
大多数现有的安全多方计算（MPC）协议的隐私保护训练的决策树分布式数据假设的功能是分类的。在实际应用中，特征通常是数值。在具有连续值的数据上生长决策树的标准"in the clear“算法需要对每个特征的训练样本进行排序，以寻求每个节点中特征值范围内的最佳分割点。排序在MPC中是一个昂贵的操作，因此找到避免这种昂贵步骤的安全协议是隐私保护机器学习中的一个相关问题。在本文中，我们提出了三种更有效的方案，用于在具有连续特征的数据上安全地训练基于决策树的模型，即：（1）数据的安全离散化，然后在离散化数据上安全地训练决策树;（2）数据的安全离散化，然后在离散化数据上安全地训练随机森林;以及（3）在原始数据上的极端随机树（"额外树“）的安全训练。方法（2）和（3）都涉及随机化特征选择。此外，在方法（3）中，也随机选择切割点，从而减轻了预先对数据进行排序或离散化的需要。我们实现了所有提出的解决方案，在半诚实设置与添加剂秘密共享的MPC。除了在数学上证明所有提出的方法都是正确和安全的之外，我们还在分类精度和运行时间方面进行了实验评估和比较。我们私下训练树集成在数据集上与1000个实例或功能在几分钟内，其准确性是在那些在明确获得的。这使得我们的解决方案比现有的基于不经意排序的方法更有效。
2021-06-05 cs.CR cs.LG
Accuracy-Privacy Trade-off in the Mitigation of Membership Inference Attack in Federated Learning
Old Dominion University（奥多明尼昂大学）；Deloitte & Touche LLP（德勤全球）
本文探索深度集成与联邦学习的关系，研究基于置信度的指标在FL中缓解成员推理攻击时的适用性，通过多客户端、数据集和融合策略实验，证实了FL中准确率与隐私权衡的明确存在。
2024-07-26 cs.AI cs.CR cs.LG
FedCL-Ensemble Learning: A Framework of Federated Continual Learning with Ensemble Transfer Learning Enhanced for Alzheimer's MRI Classifications while Preserving Privacy
Vellore Institute of Technology（韦洛尔理工学院）
本文提出FedCL-集成学习框架，结合ResNet、ImageNet、VNet迁移学习与联邦学习及加密机制，在保护隐私的前提下提升阿尔茨海默病MRI分类性能。
2024-11-15 cs.AI cs.CV cs.IR
Over-the-Air Federated Learning In Broadband Communication
针对现有联邦学习在安全多方计算易受推理攻击、差分隐私降低准确率方面的不足，本文提出将 FL 无缝集成到 MIMO 系统内部的空中联邦学习方法。
2023-06-03 cs.LG
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出使用对抗自动编码器（AAE），以取代生成对抗网络（GAN）的教师合奏（PATE）的私人聚合，解决方案，以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时，这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案，该方案使用噪声输出的集合来标记合成样本，并在其导出的分类器上保证$\varepsilon$ -差分隐私（DP）。因此，我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器（PATE-AAE）。在Google语音命令数据集版本II上进行评估，与其他隐私保护解决方案（即PATE-GAN和DP-GAN）相比，所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$，同时保持了$\varepsilon$ =0.01的强大隐私目标水平，固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
Ensembling Neural Networks for Improved Prediction and Privacy in Early Diagnosis of Sepsis
Heidelberg University（海德堡大学）
本研究提出将神经网络集成技术应用于医疗数据机器学习，可高效训练患者专属网络、构建性能更优的小样本集成模型，并通过输出扰动保障隐私，在脓毒症早期预测任务上得到验证。
2022-09-01 cs.LG
eFedDNN: Ensemble based Federated Deep Neural Networks for Trajectory Mode Inference
Toronto Metropolitan University（多伦多都会大学）；Royal Military College（皇家军事学院）
作为智能移动系统中最重要的数据源，GPS轨迹可以帮助识别用户的出行模式。然而，这些GPS数据集可能包含用户的私人信息（例如，家庭位置），防止许多用户与第三方共享他们的私人信息。因此，在保护用户隐私的同时识别出行模式是一个重要的问题。为了应对这一挑战，我们使用了联邦学习（FL），这是一种隐私保护的机器学习技术，旨在通过访问用户的本地训练模型而不是原始数据来协同训练一个健壮的全局模型。具体来说，我们设计了一种新的基于集成的联邦深度神经网络（eFedDNN）。集成方法结合了用户通过FL学习的不同模型的输出，并显示出超越文献中报道的可比模型的准确性。在蒙特利尔真实世界开放获取数据集上进行的广泛实验研究表明，所提出的推理模型可以在不影响隐私的情况下准确识别用户的旅行模式。
2022-05-11 cs.LG
A Fairness Analysis on Private Aggregation of Teacher Ensembles
Syracuse University（锡拉丘兹大学）
教师集合私有聚合（Private Aggregation of Teacher Ensembles，PATE）是一个重要的私有机器学习框架。它结合了多个学习模型作为教师的学生模型，学习预测教师之间的嘈杂投票选择的输出。由此产生的模型满足差分隐私，并已被证明有效地学习高质量的私人模型在半监督设置或当一个人希望保护数据标签。本文问这种隐私保护框架是否会引入或加剧偏见和不公平，并表明PATE可以引入个人和群体之间的准确性差距。本文分析了哪些算法和数据属性造成了不成比例的影响，为什么这些方面对不同群体的影响不成比例，并提出了减轻这些影响的指导方针。所提出的方法进行了评估，在几个数据集和设置。
2021-09-17 cs.AI cs.CR cs.LG
Scalable Private Learning with PATE
Pennsylvania State University（宾夕法尼亚州立大学）；University of California San Diego（加利福尼亚大学圣地亚哥分校）；Google Brain（谷歌大脑）
机器学习的快速采用增加了人们对在敏感数据（如医疗记录或其他个人信息）上训练的机器学习模型的隐私影响的担忧。为了解决这些问题，一种有前途的方法是教师集合的私人聚合，或PATE，它将“教师”模型集合的知识转移到“学生”模型中，通过在不相交的数据上训练教师提供直观的隐私，并通过教师答案的嘈杂聚合来保证强隐私。然而，到目前为止，PATE只在像MNIST这样的简单分类任务上进行了评估，因此在应用于大规模学习任务和真实世界数据集时，其效用尚不清楚。在这项工作中，我们展示了PATE如何扩展到具有大量输出类和未经策划的，不平衡的错误训练数据的学习任务。为此，我们引入了新的嘈杂的聚合机制，教师合奏，更具选择性，增加更少的噪音，并证明其更严格的差分隐私保证。我们的新机制建立在两个见解上：通过使用更集中的噪音来增加教师达成共识的机会，缺乏共识，不需要给学生答案。所使用的共识答案更有可能是正确的，提供更好的直观隐私，并产生更低的差异隐私成本。我们的评估表明，我们的机制在所有指标上都比原来的PATE有所改进，并且可以扩展到具有高实用性和非常强的隐私性（$\varepsilon$ < 1.0）的更大任务。
2018-02-24 cs.CR cs.LG stat.ML
A collaborative ensemble construction method for federated random forest
Chungnam National University（忠南国立大学）
本文提出一种联邦随机森林方法，通过客户端间迭代共同生长决策树的协同集成构建策略，在不泄露数据分布的前提下显著提升了模型在 non-IID 数据上的性能。
2024-07-27 cs.AI cs.CR cs.DC
Privacy-Preserving Collaborative Prediction using Random Forests
ISI Foundation（ISI基金会）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了隐私保护机器学习（PPML）集成方法的问题，我们的努力集中在随机森林。在协作分析中，PPML试图解决数据共享需求与隐私之间的冲突。这在隐私敏感应用中尤其重要，例如从来自不同诊所的EHR数据学习用于临床决策支持的预测模型，其中每个诊所都对其患者的隐私负责。我们提出了一种集成方法的新方法：每个实体从自己的数据中学习一个模型，然后当客户端要求预测一个新的私有实例时，所有本地训练模型的答案都被用来计算预测，这样就不会泄露任何额外的信息。我们实现了这种方法的随机森林，我们证明了其高效率和潜在的准确性的好处，通过实验对现实世界的数据集，包括实际的EHR数据。
2018-11-21 cs.LG stat.ML
Rethinking Federated Learning Over the Air: The Blessing of Scaling Up
Zhejiang University/University of Illinois Urbana-Champaign Institute（浙江大学/伊利诺伊大学厄巴纳-香槟分校研究所）；Zhejiang University（浙江大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Engineering Systems and Design, Singapore University of Technology and Design（新加坡科技与设计大学工程系统与设计系）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学学院）；Department of Computer and Information Science, Linköping University（_linköping大学计算机与信息科学系）
本文针对联邦学习通信资源受限问题，构建理论框架分析大规模客户端场景下空中联邦学习的性能，揭示扩大客户端数量可增强隐私、缓解信道衰落、提升收敛性，证实其可行性。
2025-08-25 cs.LG
Over-the-Air Federated Learning in Satellite systems
本研究探讨卫星系统中的空中联邦学习，该技术可保障数据隐私安全、利用分布式数据协同学习、降低通信带宽需求，助力构建更智能高效的卫星系统，支撑多领域航天应用。
2023-06-05 cs.LG eess.IV
SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
数据驱动过程中的一个关键问题是建立模型，其结果不会歧视某些人口群体，包括性别，种族或年龄。为了确保在学习任务中不歧视，了解群体属性至关重要。然而，在实践中，由于法律和道德要求，这些属性可能不可用。为了应对这一挑战，本文研究了一种模型，该模型保护个人敏感信息的隐私，同时还允许它学习非歧视性的预测。所提出的模型的一个关键特征是，使通过关闭的自我和非私有的公平模型，以创建一个隐私保护和公平的模型。本文分析了准确性，隐私性和公平性之间的关系，实验评估说明了所提出的模型在几个预测任务上的好处。特别是，这个建议是第一个允许非常大的神经网络的私人和公平的模型的可扩展和准确的训练。
2022-04-11 cs.AI cs.LG
Federated Inference: Toward Privacy-Preserving Collaborative and Incentivized Model Serving
Department of Electrical Engineering and Computer Science, University of Stavanger（电子工程与计算机科学系，斯塔万格大学）；Department of Data Science, The Catholic University of Korea（数据科学系，韩国天主大学）
本文提出联邦推断作为一种隐私保护的协作与激励化模型服务范式，探讨其系统行为及关键挑战。
2026-03-04 cs.AI cs.CR cs.LG
Enhancing Air Quality Monitoring: A Brief Review of Federated Learning Advances
Sunway University（双威大学）；Al-Nahrain University（纳赫兰大学）
本文综述了Federated Learning在空气质量与环境监测中的应用，指出其在保护隐私前提下预测污染物的有效性，并分析了通信开销等局限性及未来优化方向。
2025-04-03 cs.CY cs.LG
Federated Learning in Wireless Networks via Over-the-Air Computations
Technische Universität Berlin（柏林工业大学）
本文提出一种在无线网络中利用空中计算进行联邦学习的方法，无需重建信道系数，从而提升资源效率和隐私保护。
2023-05-08 cs.CR cs.IT cs.LG
Wireless Federated Learning with Limited Communication and Differential Privacy
National Yang Ming-Chiao Tung University（阳明交通大学）
针对基于空中计算（AirComp）的联邦学习（FL）模型，研究了降维在远程用户有效通信和本地数据集差分隐私（DP）中的作用.更确切地说，我们考虑FL设置，其中客户端被提示通过在高斯多址信道（GMAC）上与参数服务器（PS）同时进行信道感知和有限通信来训练机器学习模型，使得传输在PS全局感知信道系数的情况下相干地求和。对于这种设置，提出了一种算法的基础上应用联邦随机梯度下降（FedSGD）的局部梯度，约翰逊-林登施特劳斯（JL）随机投影的基础上训练给定的损失函数的最小值，以减少局部更新的维度，和人工噪声，以进一步帮助用户的隐私。对于该方案，我们的研究结果表明，局部DP性能的改善主要是由于在每个维度上注入更大方差的噪声，同时保持投影向量的灵敏度不变。这是因为与没有降维的情况相比，收敛速度减慢。由于性能超过收敛速度较慢，隐私和收敛之间的权衡是较高的，但显示减少在高维政权产生几乎相同的权衡与少得多的通信成本。
2021-06-01 cs.IT cs.LG math.IT
An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊）
差分隐私（DP）是一种通过对隐私数据施加噪声失真来保护用于训练深度模型的用户信息的数据保护途径。这样的噪声扰动通常导致自动语音识别（ASR）中的严重性能降级，以便满足隐私预算$\varepsilon$。教师集成的私有聚合（PATE）利用集成概率来在处理由小的$\varepsilon$值控制的噪声效应时提高ASR精度。我们将PATE学习扩展到动态模式，即语音话语，并进行了第一次实验演示，它可以防止ASR训练中的声学数据泄漏。我们在开源LibriSpeech和TIMIT语料库上评估了三个端到端的深度模型，包括LAS、混合CTC/attention和RNN transducer。PATE学习增强的ASR模型优于基准DP-SGD机制，特别是在严格的DP预算下，对于使用LibriSpeech评估的RNN转换器模型，相对字出错率降低了26.2%至27.5%。我们还介绍了一个DP-preserving ASR解决方案，用于在公共语音语料库上进行预训练。
2022-10-13 cs.LG cs.NE cs.SD
Private Collaborative Edge Inference via Over-the-Air Computation
Imperial College London（伦敦帝国学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对无线边缘协同推理的准确率与本地模型隐私需求，提出基于空中计算的集成及多视图分类推理方法，在更少资源下实现更优性能与隐私保障，且代码已开源。
2025-01-14 cs.AI cs.CR cs.IT
Boosted and Differentially Private Ensembles of Decision Trees
Data61（数据61中心）；the Australian National University（澳大利亚国立大学）
决策树（DT）分类器的提升集成在国际竞争中非常受欢迎，然而据我们所知，关于如何使它们成为\textit{also}差分私有（DP），还没有正式的知识，直到随机森林目前在DP阶段占据主导地位。我们的论文首先证明了DT的隐私与提升图片涉及一个显着和一般的技术权衡：对于任何适当的损失，敏感性往往会随着损失的提升率而增加。DT归纳算法从根本上是迭代的，我们的发现意味着非平凡的选择，选择或调整损失，以平衡噪声对效用分裂节点。为了解决这个问题，我们制定了一个新的参数化的适当的损失，称为M $α$ -损失，这，正如我们所示，允许微调的灵敏度与提升保证的完整频谱的权衡。然后，我们引入了\textit{objective calibration}作为一种方法，在DT诱导过程中自适应地调整权衡，以限制隐私预算的花费，同时正式能够以高概率在有限深度节点上保持符合提升的收敛。在19个UCI域上的广泛实验表明，即使在无DP设置中，客观校准也具有很强的竞争力。我们的方法往往非常显着击败随机森林，特别是在高DP制度（$\varepsilon \leq 0.1$），甚至与提升合奏包含十倍少的树，这可能是至关重要的保持DT模型的一个关键特征下差分隐私：可解释性。
2020-02-03 cs.LG stat.ML
Towards Communication-Efficient and Privacy-Preserving Federated Representation Learning
OPPO Research Institute（OPPO研究院）；Zhejiang University（浙江大学）
研究了在通信代价和隐私保护约束下联邦表示学习的可行性。现有的作品要么进行注释引导的本地培训，需要频繁的通信或聚合的客户端模型通过加权平均，这有潜在的隐私暴露的风险。为了解决上述问题，我们首先确定自监督对比局部训练对非同分布数据具有鲁棒性，这提供了更长的局部训练的可行性，从而降低了通信成本。基于这种鲁棒性，我们提出了一种新的联合表示学习框架与包围相似蒸馏（FLESD）利用这种鲁棒性。在每一轮通信中，服务器首先在公共数据集上收集客户端推断的相似性矩阵的一部分。然后，它集成的相似矩阵和训练的全球模型通过相似蒸馏。我们通过一系列的实证实验验证了FLESD的有效性，并表明，尽管有更严格的约束，它在多个数据集上的多个设置下取得了可比的结果。
2022-01-15 cs.CV cs.LG
