Differentially Private Clustering: Tight Approximation Ratios
Google Research（谷歌研究院）
我们研究的任务差异私有集群。对于几个基本的聚类问题，包括欧几里德DensestBall，1-Cluster，k-means和k-median，我们给出了高效的差分私有算法，这些算法可以实现与任何非私有算法基本相同的近似比，同时只会产生很小的附加误差。这改进了现有的有效算法，仅实现一些大的常数近似因子。我们的研究结果也意味着一个改进的算法的样本和聚合隐私框架。此外，我们表明，在我们的1-集群算法中使用的工具之一，可以用来得到一个更快的量子算法在一个中等数量的维度的ClosestPair。
2020-08-18 cs.CR cs.DS cs.LG
Fast and Memory Efficient Differentially Private-SGD via JL Projections
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Twitter（推特）
Abadi等人（2016）的差分私有SGD（DP-SGD）及其变体是唯一已知的用于大规模神经网络私有训练的算法。该算法需要计算每个样本的梯度范数，这在实践中是非常缓慢和内存密集的。在本文中，我们提出了一个新的框架来设计差分私有优化称为DP-SGD-JL和DP-Adam-JL。我们的方法使用Johnson-Lindenstrauss（JL）投影来快速近似每个样本的梯度范数，而无需精确计算它们，从而使我们的优化器的训练时间和内存要求更接近其非DP版本。与以前的尝试，使DP-SGD更快的工作只在一个子集的网络架构或使用编译器技术，我们提出了一个算法的解决方案，适用于任何网络在黑盒的方式，这是本文的主要贡献。为了说明这一点，在IMDb数据集上，我们训练了一个递归神经网络（RNN），以实现良好的隐私与准确性权衡，同时比DP-SGD快得多，并且与非私有SGD具有类似的内存占用。我们算法的隐私分析比DP-SGD更复杂，我们使用Dong等人最近提出的f-DP框架。（2019）来证明隐私。
2021-02-05 cs.CR cs.LG
Efficiently Computing Similarities to Private Datasets
Microsoft Research（微软研究院）；MIT（麻省理工学院）
本文针对差分隐私模型训练中计算查询点与私有数据相似度的核心子程序，提出利用低维结构的高效DP数据结构，改进隐私-效用权衡与查询时间，并在DP分类中验证了其速度优势。
2024-03-13 cs.CR cs.DS cs.LG
Super-convergence and Differential Privacy: Training faster with better privacy guarantees
Aarhus University（奥胡斯大学）
近年来，深度神经网络和差分隐私的结合越来越受到关注，因为它为所使用的训练数据集的个人提供了重要的数据保护保证。然而，在神经网络的训练中使用差分隐私会带来一系列缺点，例如验证准确性降低以及训练中资源和时间的使用显着增加。在本文中，我们研究了超收敛作为一种方法，大大提高了训练速度的差异私人神经网络，解决了高训练时间和资源使用的缺点。超收敛允许使用非常高的学习率来加速网络训练，并且已经显示出以比常规方式少的数量级的训练迭代来实现具有高效用的模型。本文中的实验表明，当将其与差分隐私相结合时，也可以看到这种数量级的加速，与非隐私，非超收敛基线模型相比，可以在更少的训练迭代中获得更高的验证精度。此外，超收敛被证明可以提高私有模型的隐私保证。
2021-03-18 cs.CR cs.LG
Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations
Booz Allen Hamilton（博兹艾伦汉密尔顿公司）
本文针对稀疏输入数据上的差分隐私回归训练问题，提出一种能感知稀疏性的 Frank-Wolfe 算法，显著降低 LASSO 正则化逻辑回归的训练时间，最高可加速 2200 倍。
2023-10-30 cs.LG stat.CO stat.ML
The Differentially Private Lottery Ticket Mechanism
Simon Fraser University（西蒙弗雷泽大学）
我们提出了差分私人彩票机制（DPLTM）。基于彩票假说的端到端差异化私人培训范式。使用“高质量的赢家”，通过我们的自定义评分功能选择，DPLTM显着提高了隐私效用权衡超过国家的最先进的。我们表明，DPLTM收敛速度更快，允许提前停止与减少隐私预算消耗。我们进一步表明，从DPLTM票是跨数据集，域和架构可转移。我们对几个公共数据集的广泛评估为我们的主张提供了证据。
2020-02-16 cs.LG stat.ML
Differentially Private Wasserstein Barycenters
UT Austin（德克萨斯大学奥斯汀分校）；Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工-IBM Watson AI实验室；IBM研究）；IBM Research
针对由敏感数据构建的概率测度，本文提出首批差分隐私 Wasserstein 重心计算算法，并在合成数据、MNIST 和大规模美国人口数据集上验证其高质量与良好的准确性—隐私权衡。
2025-10-03 cs.LG stat.ML
Differentially-Private Collaborative Online Personalized Mean Estimation
New Jersey Institute of Technology（新泽西理工学院）；Simula UiB（西挪威西蒙研究所）
针对多智能体持续接收特定分布数据的场景，提出基于假设检验、差分隐私和方差估计的协同个性化均值估计算法，理论分析和数值结果表明其收敛快于完全本地方法，性能接近数据公开的理想情况。
2024-11-28 cs.IT cs.LG math.IT
FERRET: Private Deep Learning Faster And Better Than DPSGD
David Zagardo（独立研究者）
本文提出基于互信息差分隐私和符号压缩的FERRET方法，通过伯努利掩码传输至多1比特梯度，在零加噪条件下实现形式化隐私保证，训练速度比DPSGD快5倍且困惑度低3倍。
2025-06-04 cs.AI cs.CR cs.LG
Differentially Private Bias-Term Fine-tuning of Foundation Models
Amazon AI（亚马逊人工智能）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对现有差分隐私微调计算开销大或需改架构的问题，提出DP-BiTFiT方法，仅微调0.1%参数，精度达最优DP算法水平，效率远超全微调，可支撑长文本、高分辨率图像的隐私微调任务并已开源。
2024-06-19 cs.CL cs.CR cs.CV
Differentially Private ADMM Algorithms for Machine Learning
Xidian University（西安电子科技大学）
本文针对许多机器学习问题，研究了基于梯度扰动的差分私有交替方向乘子方法（ADMM）。对于具有（非）光滑正则化的光滑凸损失函数，我们提出了第一个具有$(ε,δ)$ -差分隐私（$(ε,δ)$ -DP）性能保证的差分隐私ADMM（DP-ADMM）算法。从理论分析的角度出发，利用高斯机制和Rényi差分隐私（RDP）与DP的转换关系，对算法进行了全面的隐私分析。然后，我们建立了一个新的准则来证明所提出的算法，包括DP-ADMM的收敛性。我们还给出了我们的DP-ADMM的效用分析。此外，我们提出了一个加速DP-ADMM（DP-AccADMM）与Nesterov的加速技术。最后，在真实数据集上进行了数值实验，对比分析了两种算法的隐私-效用权衡，结果表明，当隐私预算$ε$大于阈值时，DP-AccADMM比DP-ADMM收敛更快，且具有更好的效用.
2020-10-31 cs.AI cs.CR cs.DS
Papaya: Practical, Private, and Scalable Federated Learning
Meta AI
跨设备联邦学习（FL）是一种分布式学习范式，它具有与传统分布式学习不同的几个挑战，每个设备上的系统特性的可变性，以及与中央服务器协调的数百万客户端是主要的。文献中描述的大多数FL系统是同步的-它们执行来自各个客户端的模型更新的同步聚合。扩展同步FL具有挑战性，因为增加并行训练的客户端数量会导致训练速度的收益递减，类似于大批量训练。此外，掉队者阻碍同步外语训练。在这项工作中，我们概述了生产异步FL系统设计。我们的工作解决了上述问题，概述了一些系统设计挑战及其解决方案，并触及了为数百万客户构建生产FL系统所产生的原则。从经验上讲，我们证明了在近一亿台设备上训练时，异步FL比同步FL收敛得更快。特别是，在高并发设置中，异步FL比同步FL快5倍，通信开销几乎少8倍。
2022-04-25 cs.DC cs.LG
Assessing Centrality Without Knowing Connections
University of Melbourne（墨尔本大学）
我们认为，在分布式社交网络中的节点影响力的隐私保护计算，作为衡量自我中心的介数中心性（EBC）。受跨越多个提供商的现代通信网络的启发，我们首次展示了多个相互不信任的各方如何成功地计算节点EBC，同时仅透露有关其内部网络连接的差异私有信息。一个理论效用分析上界私人EBC错误的主要来源-自我网络的私人释放-具有很高的概率。实证结果表明，具有较低的1.07相对误差可实现在强大的隐私预算$ε=0.1$上的Facebook的图形，和微不足道的性能下降，随着网络提供商方的数量的增长的实用性。
2020-05-28 cs.CR cs.LG cs.SI
NanoBatch Privacy: Enabling fast Differentially Private learning on the IPU
Stanford University（斯坦福大学）；Graphcore Inc.（Graphcore公司）；University of Toronto（多伦多大学）
差分私有SGD（DPSGD）最近在深度学习中显示出了希望。然而，与非私有SGD相比，DPSGD算法的计算开销可能会抵消GPU中的GPU的优势。微加密是缓解这种情况的常用方法，并且在TensorFlow隐私库（TFDP）中得到完全支持。然而，它降低了准确性。我们提出了NanoBatch Privacy，这是TFDP的一个轻量级附加组件，通过利用批次大小为1（无微扰）和梯度累积在Graphcore IPU上使用。这使我们能够在对吞吐量影响最小的情况下实现较大的总批量。其次，我们使用Cifar-10说明了从隐私与实用的角度来看，更大的批量大小不一定是最佳的。在ImageNet上，我们在TFDP上实现了超过15倍的加速，而在A100上实现了8倍的加速，甚至在Opacus等库之间也实现了显著的加速。我们还提供了两个扩展：1）用于流水线模型的DPSGD和2）每层剪切，比8x A100上的Opacus实现快15倍。最后，作为应用案例研究，我们将Nanobatch培训应用于私人Covid-19胸部CT预测。
2022-06-02 cs.CR cs.CV cs.DC
MAPLE: Metadata Augmented Private Language Evolution
National Taiwan University（国立台湾大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究）；Meta
MAPLE通过差分隐私元数据提取和上下文学习，解决私有演化中初始化瓶颈问题，实现更优的隐私-效用平衡和更低的API成本。
2026-09-18 cs.AI cs.CL cs.CR
Differentially Private Fine-tuning of Language Models
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；University of Washington（华盛顿大学）
我们为大规模预训练语言模型的差异化私有微调提供了更简单，更稀疏，更快速的算法，这些算法在许多标准NLP任务中实现了最先进的隐私与实用性权衡。我们针对这个问题提出了一个元框架，其灵感来自于最近高度参数高效的微调方法的成功。我们的实验表明，这些方法的差异化私有适应在三个重要方面优于以前的私有算法：实用性，隐私性以及私有训练的计算和内存成本。在许多常用的研究数据集上，私有模型的效用接近非私有模型。例如，在MNLI数据集上，我们使用RoBERTa-Large实现了$87.8\%$的准确度，使用RoBERTa-Base实现了$83.5\%$的准确度，隐私预算为$ε= 6.7$。相比之下，在没有隐私约束的情况下，Roberta-Large实现了$90.2\%$的准确性。我们的发现与自然语言生成任务相似。使用DART、GPT-2-Small、GPT-2-Medium、GPT-2-Large和GPT-2-XL进行的私人微调分别实现了38.5、42.0、43.1和43.8的BLEU评分（隐私预算为$ε= 6.8,δ=$ 1e-5），而非私人基线为$48.1$。我们所有的实验都表明，更大的模型更适合私人微调：虽然众所周知，它们在非私人情况下可以实现更高的准确性，但我们发现，当引入隐私时，它们也可以更好地保持其准确性。
2022-07-14 cs.CL cs.CR cs.LG
Quantum Differentially Private Sparse Regression Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；Hon Hai Quantum Computing Research Center（鸿海量子计算研究中心）；University of Technology Sydney（悉尼科技大学）；SenseTime（商汤科技）
如果不能保证隐私，各种先进的量子算法的资格将受到质疑。为了填补这一知识空白，我们设计了一个有效的量子差分私有（QDP）Lasso估计器来解决稀疏回归任务。具体地说，给定$N$ $d$维数据点与$N\ll d$，我们首先证明了最佳的经典和量子非私有Lasso需要$Ω(N+d)$和$Ω(\sqrt{N}+\sqrt{d})$运行时，分别。我们接下来证明QDP Lasso的运行时成本是\textit{dimension independent}，即，$O(N^{5/2})$，这意味着QDP Lasso可以比最佳经典和量子非私有Lasso更快。最后，我们证明了QDP Lasso在隐私保证的情况下达到了接近最优的效用界$\tilde{O}(N^{-2/3})$，并讨论了在近期量子芯片上实现它的机会。
2022-05-30 cs.LG quant-ph
Noise-Aware Shrinkage for Differentially Private Zeroth-Order Fine-Tuning of Large Language Models
本文针对差分隐私零阶微调大语言模型的噪声问题，提出SAGE噪声感知收缩方法，经理论分析和多模型实验验证，该方法在相同隐私预算下多数场景优于基线，且保留内存效率。
2026-08-05 cs.CR cs.LG
Noise-Aware Differentially Private Regression via Meta-Learning
University of Helsinki（赫尔辛基大学）；University of Cambridge（剑桥大学）；Microsoft Research AI for Science（微软研究院人工智能科学部）
本文提出DPConvCNP，将ConvCNP与改进的函数型差分隐私机制结合，通过元学习从模拟数据中学习将私有数据映射为DP预测模型，在非高斯数据上优于DP高斯过程基线，且测试更快、调优更少。
2025-05-08 cs.CR cs.LG stat.ML
DP-MAC: The Differentially Private Method of Auxiliary Coordinates for Deep Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）
开发差分私有深度学习算法是具有挑战性的，这是由于难以分析通常用于训练深度神经网络的目标函数的灵敏度。许多现有的方法诉诸于随机梯度下降算法，并应用一个预先定义的灵敏度的梯度私有化的权重。然而，它们的缓慢收敛通常产生高累积隐私损失。在这里，我们通过采用辅助坐标的方法采取不同的路线，该方法允许我们通过优化每层目标函数来独立更新每层的权重。这个目标函数可以很好地近似低阶泰勒展开，其中灵敏度分析变得易于处理。为了隐私，我们扰动了扩展的系数，我们使用比SGD更先进的优化例程进行优化，以加快收敛速度。我们的经验表明，我们的算法在适度的隐私预算下提供了一个体面的训练模型质量。
2019-10-15 cs.LG stat.ML
Differentially Private Federated Learning via Inexact ADMM
Argonne National Laboratory（阿贡国家实验室）；Mathematics and Computer Science Division（数学与计算机科学部）；Lemont, IL 60439（美国伊利诺伊州莱蒙特市（60439））
差分隐私（DP）技术可以应用于联邦学习模型，以保护数据隐私免受推理攻击的学习代理之间的通信。然而，DP技术阻碍了在确保强大的数据隐私的同时实现更好的学习性能。本文提出了一种DP不精确交替方向乘子法，该算法求解目标为随机噪声扰动的子问题。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是一个隐私参数由用户控制。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$22\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2021-10-06 cs.LG
Differentially Private Learned Indexes
Indiana University（印第安纳大学）；UMass Dartmouth（马萨诸塞大学达特茅斯分校）；Binghamton University（宾汉姆顿大学）
针对加密数据库中传统差分隐私索引存储成本高的问题，提出结合学习型索引构建更紧凑的差分隐私索引，在保障隐私的同时提升查询效率。
2024-10-28 cs.CR cs.DB cs.LG
Efficient and Private Federated Learning with Partially Trainable Networks
Google（谷歌）
联邦学习用于在大量（数百万）边缘移动设备上对机器学习模型进行分散式训练。这是具有挑战性的，因为移动设备通常具有有限的通信带宽和本地计算资源。因此，提高联邦学习的效率对于可伸缩性和可用性至关重要。在本文中，我们建议利用部分可训练的神经网络，在整个训练过程中冻结一部分模型参数，以减少通信成本，对模型性能的影响很小。通过大量的实验，我们的经验表明，部分可训练神经网络（FedPT）的联邦学习可以导致优越的通信精度权衡，在一个小的精度成本，通信成本高达$46\times$减少。我们的方法还可以实现更快的训练，更小的内存占用，以及更好的实用性，以实现强大的差分隐私保证。所提出的FedPT方法对于推动设备上学习中过度参数化的限制特别有趣。
2021-11-08 cs.LG
Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates
Argonne National Laboratory（阿贡国家实验室）
差分隐私（DP）技术可以应用于联邦学习模型，以统计地保证数据隐私免受推理攻击的学习代理之间的通信。然而，在确保强大的数据隐私的同时，DP技术阻碍了实现更好的学习性能。本文提出了一种用于联邦学习的DP不精确交替方向乘子算法，该算法的目标扰动为Laplace分布的随机噪声。我们表明，我们的算法提供了$\barε$ -DP的每次迭代，其中$\barε$是由用户控制的隐私预算。我们还提出了该算法的收敛性分析。使用MNIST和FEMNIST数据集的图像分类，我们表明，我们的算法减少了测试误差最多$31\%$与现有的DP算法相比，同时实现了相同的数据隐私水平。数值实验也表明，我们的算法收敛速度比现有的算法。
2022-02-18 cs.LG
Graph-based Clustering under Differential Privacy
CEA, LIST（法国原子能和替代能源委员会清单实验室）；Université Paris-Dauphine, PSL Research University, CNRS, LAMSADE（巴黎第九大学（巴黎多芬纳大学）、巴黎文理研究大学、法国国家科学研究中心、拉撒路德实验室）
在本文中，我们提出了第一个差分私有聚类方法的任意形状的节点簇图。该算法只需要输入一个近似的最小生成树（MST）$\mathcal{T}$下发布的重量差分隐私约束从图。然后，底层的非凸聚类分区成功地恢复从切割$\mathcal{T}$上的最优切割。与现有的方法相反，我们的算法在理论上是动机良好的。实验支持我们的理论发现。
2018-03-10 cs.DS cs.LG
Pointing the Way, Hiding the Destination: Practical Private Dense Retrieval at Scale
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
该研究针对私有密集检索的成本与质量平衡问题，将深度哈希用作私有过滤器，结合加密重排序等技术，在保证检索准确性的同时降低了延迟，满足差分隐私要求，实现了大规模实用的私有密集检索。
2026-10-06 cs.AI cs.CR cs.IR
Faster Rates of Convergence to Stationary Points in Differentially Private Optimization
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文研究差分隐私下Lipschitz光滑函数平稳点的逼近问题，提出新算法将有限和情形的平稳点速率从O((√d/(nε))^{1/2})改进为O((√d/(nε))^{2/3})，并在随机优化、凸性与广义线性模型等设定下给出更优或最优的总体平稳性速率。
2023-05-30 cs.CR cs.LG math.OC
Differentially Private Synthetic Data via APIs 4: Tabular Data
Microsoft（微软）
提出Tab-PE算法，将Private Evolution框架扩展至表格数据，通过启发式算子迭代优化候选数据集，在保持差分隐私的同时高效处理高阶相关性，相比基线AIM分类准确率提升最高10%，速度提升28倍。
2026-06-06 cs.LG
Efficient and Scalable Implementation of Differentially Private Deep Learning without Shortcuts
Department of Computer Science, University of Helsinki, Finland（计算机科学系，赫尔辛基大学）；CSC – IT Center for Science, Finland（芬兰IT研究中心）；NVIDIA（NVIDIA公司）
本文提出了一种基于JAX的高效DP-SGD实现，利用泊松子采样并结合PyTorch的高效裁剪优化，提升了差分隐私深度学习的计算效率和扩展性。
2026-01-13 cs.CR cs.DC cs.LG
DP-FedSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix
Department of Mechanical Engineering, Indian Institute of Technology Delhi（印度理工学院德里机械工程系）；SQC & OR Unit, Indian Statistical Institute Kolkata（印度统计研究院科钦SQC与OR单位）；Department of Artificial Intelligence, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴人工智能系）；Operations Management & Quantitative Techniques Area, Indian Institute of Management, Indore（印度管理学院印地尔运营管理和定量技术领域）
针对差分隐私联邦学习在严格隐私预算下收敛慢的问题，提出DP-FedSOFIM方法，利用正则化Fisher信息矩阵的代理进行二阶优化，无需完整Hessian计算，在CIFAR-10和PathMNIST上实现更快收敛和更高精度。
2026-06-23 cs.CR cs.DC cs.LG
Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation
Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）；Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（智能交通研究组，香港科学与技术大学（广州））
本文提出差分隐私空中联邦蒸馏框架，通过推导学习收敛速率与隐私损失解析式，优化跨时间尺度的收发机设计与训练轮数，在满足功率与隐私要求下最大化收敛速率，大幅降低通信开销。
2025-08-06 cs.IT cs.LG eess.SP
Tukey Depth Mechanisms for Practical Private Mean Estimation
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）；University of California, Berkeley（加州大学伯克利分校）
本文实现并优化了Tukey深度机制，用于多变量高斯分布的私有均值估计，在小样本和低维场景下提供高精度与鲁棒性，并探索了加速计算的方法。
2025-02-25 cs.LG stat.ME
Efficient Language Model Architectures for Differentially Private Federated Learning
Google, Inc.（谷歌公司）
本文提出尺度不变的CIFG循环网络，通过修改激活函数使语言模型能用SGD高效训练，在跨设备联邦学习中实现更快收敛和更好效用，并改善差分隐私下的隐私效用权衡。
2024-03-12 cs.CR cs.DC cs.LG
Near-Universally-Optimal Differentially Private Minimum Spanning Trees
本文首次在差分隐私中引入普遍最优性概念，证明简单机制在 $\ell_1$ 邻接关系下近似释放最小生成树具有近似普遍最优性，并通过多项式时间实现指数机制，使其在 $\ell_1$ 和 $\ell_\infty$ 邻接关系下均达到近似普遍最优。
2024-04-23 cs.CR cs.DS
Private Synthetic Data for Multitask Learning and Marginal Queries
University of Minnesota（明尼苏达大学）；Amazon AWS AI/ML（亚马逊AWS人工智能与机器学习部门）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个差异化的私有算法，用于产生同时适用于多个任务的合成数据：边缘查询和多任务机器学习（ML）。在我们的算法中的一个关键的创新是能够直接处理数值特征，与一些相关的先前的方法，需要数值特征首先转换为{高基数}分类功能通过{分箱策略}。为了获得更好的准确性，需要更高的分仓粒度，但这会对可伸缩性产生负面影响。消除对分箱的需要使我们能够产生合成数据，保留大量的统计查询，如数字特征的边缘，和类条件线性阈值查询。保留后者意味着特定半空间上方的每个类标签的点的分数在真实数据和合成数据中大致相同。这是在多任务设置中训练线性分类器所需的属性。我们的算法还允许我们产生高质量的混合边缘查询，结合分类和数值特征的合成数据。我们的方法始终比最好的可比技术快2- 5倍，并且在混合类型数据集的边缘查询和线性预测任务中提供了显着的准确性改进。
2022-09-15 cs.LG
Differentially Private Distributed Inference for Multicenter Clinical Studies
Cornell University（康奈尔大学）；University of Pittsburgh（匹兹堡大学）
针对多中心临床研究的数据隐私与集中难题，提出基于对数似然比交换的差分隐私分布式推断框架，揭示三者权衡，推导误差界，验证其在多类模拟研究中兼具高效性与低误差优势。
2026-07-31 cs.AI cs.CR cs.LG
CANAL: Channel-Aware Noise Allocation for Differentially Private Feature Distillation in Medical Image Segmentation
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
针对医学图像分割中差分隐私特征蒸馏的噪声分配问题，提出基于任务梯度能量的闭式注水分配方法CANAL，实现每图像单次发布与诚实预算分割，在三个基准上优于均匀噪声。
2026-09-15 cs.CR cs.CV cs.LG
Faster Algorithms for Privately Releasing Marginals
研究了在保持差分隐私的同时释放数据库$D \in (\{0,1\}^d)^n$的$k$ -路边缘的问题. $k$ -路边际查询的答案是$D$的记录$x \in \{0,1\}^d$中具有给定值的部分，这些记录在最多$k$列的给定集合中的每个列中具有给定值.边缘查询使得能够对数据集进行丰富类别的统计分析，并且设计用于私下发布边缘查询的有效算法已经被识别为私有数据分析中的重要开放问题（参见图1）。巴拉克等例如，PODS '07）。我们给出了一个算法，运行在时间$d^{O(\sqrt{k})}$和释放一个私人的摘要能够回答任何$k$方式边际查询与最多$\pm .01$错误的每个查询只要$n \geq d^{O(\sqrt{k})}$。据我们所知，我们是第一个算法能够私下释放边际查询与非平凡的最坏情况下的准确性保证时间大大小于$k$方式边际查询的数量，这是$d^{Θ(k)}$（$k \ll d$）。
2014-03-14 cs.DS
Faster Fully-Dynamic Minimum Spanning Forest
给出了简单图中全动态最小生成森林问题的一种新的数据结构。边更新在每次操作的$O(\log^4n/\log\log n)$分摊时间中得到支持，从而改进了Holm等人的$O(\log^4n)$分摊界限（STOC'98，JACM'01）。我们假设具有标准指令的Word-RAM模型。
2014-07-25 cs.DS
pfl-research: simulation framework for accelerating research in Private Federated Learning
Apple（苹果公司）
针对现有开源工具难以高效仿真大规模真实联邦学习（FL）数据集的问题，本文提出快速、模块化的Python框架pfl-research，支持多框架与隐私算法，速度比同类工具快7-72倍，还提供基准测试，显著提升FL研究效率。
2024-12-10 cs.AI cs.CR cs.CV
SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy
Macquarie University（麦考瑞大学）
SpliTEE通过差分隐私保护中间表示，将LLM推理分割到TEE和GPU，实现比CPU推理快近两倍且比加密方案更快的安全加速。
2026-10-07 cs.AI cs.CR cs.LG
Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
大型卷积神经网络（CNN）可能难以在差分私有（DP）机制中进行训练，因为优化算法需要计算上昂贵的操作，称为每样本梯度裁剪。我们提出了一种高效且可扩展的卷积层裁剪实现，称为混合重影裁剪，它在时间和空间复杂性方面大大简化了私人训练，而不会影响准确性。通过第一次复杂度分析，严格研究了混合鬼裁剪和现有DP训练算法的效率提高。使用大型ResNet，VGG和视觉Transformer对视觉分类任务进行的广泛实验表明，使用混合重影裁剪的DP训练增加了$1\sim 10\%$内存开销和$<2\times$对标准非私有训练的减速。具体而言，当在CIFAR10上训练VGG 19时，混合重影裁剪比具有$3\times$更大最大批量大小的最新Opacus库更快。为了强调卷积层上高效DP训练的重要性，我们使用BEiT在$ε=1$上在CIFAR10上实现了96.7\%的准确率，在CIFAR100上实现了83.0\%的准确率，而之前的最佳结果分别为94.8\%和67.4\%。我们开源了一个隐私引擎（\url{https://github.com/woodyx218/private_vision}），它用几行代码实现了CNN的DP训练。
2022-11-29 cs.CC cs.CV cs.LG
PrivEraserVerify: Efficient, Private, and Verifiable Federated Unlearning
Department of Electronics and Communication Engineering（电子与通信工程系）；Department of Mathematics and Computer Science（数学与计算机科学系）；Khulna University of Engineering & Technology（库尔纳工程与技术大学）；Hobart and William Smith Colleges（霍巴特和威廉·斯密斯学院）；Department of Electrical and Electronic Engineering（电气与电子工程系）
本文提出PrivEraserVerify框架，结合高效、隐私保护和可验证性，解决联邦学习中去学习的挑战，实验显示其在速度、性能和可扩展性上均优于现有方法。
2026-04-14 cs.LG
A Faster Exact Algorithm for the Directed Maximum Leaf Spanning Tree Problem
给定有向图$G=(V,A)$，有向最大叶生成树问题要求计算有向生成树（即，尽可能多的叶子。通过设计一个分支和减少算法结合测量和征服技术的运行时间分析，我们表明，该问题可以解决的时间$\Oh^*(1.9043^n)$使用多项式空间。不过，这样的例子并不多。如果提供指数空间，则该运行时间上限可以降低到$\Oh^*(1.8139^n)$。
2009-11-11 cs.DM cs.DS
Node-Differentially Private Estimation of the Number of Connected Components
本文提出首个节点差分隐私的连通分量数量估计算法，通过基于森林多面体构造Lipschitz扩展克服图统计量对节点添加不鲁棒的障碍，并证明其误差近乎最优。
2023-04-13 cs.CR cs.DS
Federated Learning Model Aggregation in Heterogenous Aerial and Space Networks
University of Calgary（卡尔加里大学）；Michigan State University（密歇根州立大学）
针对空天网络联邦学习中客户端知识多样性差异影响模型质量的问题，提出基于投影多样性估计的WeiAvgCS框架，通过加权平均与客户端选择提升收敛速度。
2024-04-16 cs.AI cs.DC cs.LG
Lightweight machine unlearning in neural network
近年来，机器学习神经网络已经深入到人们的生活中。作为便利的代价，人们的隐私信息也存在泄露的风险。适时引入“被遗忘权”，规定个人有权基于本人同意，对个人信息处理活动撤回同意。为了解决这个问题，机器遗忘被提出，它允许模型擦除所有私有信息的记忆。以前的研究，包括再训练和增量学习来更新模型，通常会占用额外的存储空间，或者很难应用于神经网络。我们的方法只需要对目标模型的权重做一个很小的扰动，并使其朝着用剩余数据子集训练的模型的方向移动，直到完全消除未学习数据对模型的贡献。在本文中，五个数据集上的实验证明了我们的方法的有效性机器遗忘，我们的方法是15倍的速度比再训练。
2021-11-10 cs.AI cs.LG
Graph Theory Meets Federated Learning over Satellite Constellations: Spanning Aggregations, Network Formation, and Performance Optimization
University at Buffalo—SUNY（纽约州立大学布法罗分校）
Fed-Span结合图论与联邦学习，通过生成性聚合和优化，提升卫星星座分布式学习的性能与效率。
2025-12-02 cs.DC cs.LG cs.NI
Locally differentially private estimation of nonlinear functionals of discrete distributions
CREST（法国统计与经济研究所）；ENSAE（法国国家统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文研究局部差分隐私下离散分布幂和泛函的估计问题，提出交互式与非交互式隐私机制及相应估计方法，并给出二次风险上界与下界，其中交互式两步程序在γ≥2时达到参数速率。
2023-08-12 cs.LG math.ST stat.ME
Faster Private Release of Marginals on Small Databases
我们研究的问题回答\emph{$k$-way marginal}查询数据库$D \in (\{0,1\}^d)^n$，同时保持差分隐私。$k$方式边际查询的答案是数据库记录$x \in \{0,1\}^d$中具有给定值的部分，这些记录在给定的一组最多$k$列中的每一列中具有给定值。边缘查询使得数据集上的丰富的统计分析，并设计有效的算法，私下回答边缘查询已被确定为一个重要的公开问题，在私人数据分析。对于任何$k$，我们给出了一个差分私人在线算法，运行时间$$ \min{\exp(d^{1-Ω(1/\sqrt{k})}), \exp(d / \log^{.99} d)\} $$每个查询和回答任何（可能superpolynomially长和自适应选择）序列的$k$ -路边际查询错误最多$\pm .01$在每个查询，提供$n \gtrsim d^{.51} $。据我们所知，这是第一个算法能够私下回答边际查询与非平凡的最坏情况下的准确性保证数据库的大小$\poly(d, k)$的时间$\exp(o(d))$。我们的算法是私有乘法权重算法（Hardt和Rothblum，FOCS '10）的变体，但使用不同的低权重数据库表示。我们推导出我们的低权重表示使用近似的或功能的低次多项式系数有界$L_1$ -范数。我们还证明了一个强大的限制，我们的方法是独立的近似理论的兴趣。具体来说，我们表明，对于任何…
2013-09-03 cs.DS
Faster generation of random spanning trees
本文提出了一种在无向图中生成近似一致随机生成树的新算法。我们展示了如何从一个在预期时间$\TO(m\sqrt{n}\log 1/δ)$均匀的乘法$(1+δ)$内的分布中采样。这改善了稀疏图的情况下，最好的以前已知的最坏情况下的界的$O(\min \{mn, n^{2.376}\})$，这已经站了二十年。为了实现这一目标，我们利用图和电网络上的随机游走之间的连接，我们用这个引入一个新的方法来解决这个问题，集成离散随机游走为基础的技术与连续线性代数方法。我们相信，我们使用的电气网络和稀疏线性系统解算器与随机游走和组合分区技术是一个有用的范例，将找到进一步的应用在算法图论。
2009-08-11 cs.DM cs.DS
How to Make Your Approximation Algorithm Private: A Black-Box Differentially-Private Transformation for Tunable Approximation Algorithms of Functions with Low Sensitivity
提出一种黑盒框架，利用平滑敏感度技术将低敏感度函数的可调近似算法转换为差分隐私变体，在不牺牲精度的前提下，为图论、流式及滑动窗口算法提供了首批隐私保护方案。
2023-09-11 cs.CR cs.DS
Fast and Private Max-Sum Diversification
Tel Aviv University（特拉维夫大学）
研究差分隐私下的最大和多样化问题，提出基数和拟阵约束下的差分隐私算法，实现近最优效用保证，设计更高效算法，实验表明该方法在强隐私保证下效用与非私密基线相当且显著提高执行时间。
2026-07-21 cs.CR cs.DS
Faster Privacy Accounting via Evolving Discretization
Google Research（谷歌研究院）
提出了一种新的隐私随机变量数值合成算法，可用于计算机构合成中的精确差分隐私参数。我们的算法实现了运行时间和内存使用的$\mathrm{polylog}(k)$的任务，自我组成的机制，从一个广泛的机制类，$k$倍;这一类，例如，包括亚采样高斯机制，该机制出现在差分私有随机梯度下降的分析中。相比之下，Gopi等人最近的工作（NeurIPS 2021）已经获得了相同任务的运行时间$\widetilde{O}(\sqrt{k})$。我们的方法扩展到组成$k$不同的机制在同一个类的情况下，改善他们的运行时间和内存使用从$\widetilde{O}(k^{1.5})$到$\widetilde{O}(k)$。
2022-07-10 cs.CR cs.DS cs.LG
