Fast Fourier Transform-Based Spectral and Temporal Gradient Filtering for Differential Privacy
Electronics and Telecommunications Research Institute (ETRI)(电子电信研究所);University of Southern California(南加州大学);KAIST(韩国科学技术院);Hanwha Life Insurance(翰威特生命保险);OpenNN Lab, MODULABS(OpenNN实验室,MODULABS)
针对差分隐私DP-SGD噪声导致精度下降的问题,提出FFT增强卡尔曼滤波(FFTKF),通过频域滤波分离噪声并利用卡尔曼滤波优化梯度,在保持隐私保证的同时显著提升了模型精度与隐私-效用权衡。
2025-09-13 cs.AI cs.IT cs.LG
Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)
National University of Singapore(新加坡国立大学)
先前的工作差分隐私分析的随机SGD算法依赖于组成定理,其中隐含的(不切实际的)假设是,内部状态的迭代算法被透露给对手。因此,通过这种基于成分的分析导出的Rényi DP界限随着训练时期的数量线性增长。当算法的内部状态是隐藏的,我们证明了一个收敛的隐私界噪声随机梯度下降(强凸光滑损失函数)。我们展示了如何通过子采样和随机后处理来利用隐私放大,并证明了“洗牌和分区”和“无替换采样”随机小批量梯度下降方案的隐私界动态性。我们证明了,在这些设置中,我们的隐私边界以指数速度收敛,并且大大小于组合边界,特别是在几个训练时期之后。因此,除非DP算法收敛快,我们的隐私分析表明,隐藏状态分析可以显着放大差分隐私。
2022-10-17 cs.CR cs.LG stat.ML
Differentially Private Decentralized Dataset Synthesis Through Randomized Mixing with Correlated Noise
School of Data and Sciences(数据与科学学院);BRAC University(布拉克大学);Electrical and Computer Engineering(电气与计算机工程);University of California, Santa Barbara(加州大学圣巴巴拉分校);Electrical and Electronic Engineering(电气与电子工程);Bangladesh University Engineering and Technology(孟加拉工程与技术大学)
本研究提出CAPE辅助联邦DP-CDA算法,通过引入相关辅助隐私估计协议生成反相关噪声,解决了去中心化环境下差分隐私合成数据实用性下降的问题,在保持严格隐私保证的同时实现了与集中式方法相当的实用性。
2025-09-12 cs.LG stat.ML
Super-convergence and Differential Privacy: Training faster with better privacy guarantees
Aarhus University(奥胡斯大学)
近年来,深度神经网络和差分隐私的结合越来越受到关注,因为它为所使用的训练数据集的个人提供了重要的数据保护保证。然而,在神经网络的训练中使用差分隐私会带来一系列缺点,例如验证准确性降低以及训练中资源和时间的使用显着增加。在本文中,我们研究了超收敛作为一种方法,大大提高了训练速度的差异私人神经网络,解决了高训练时间和资源使用的缺点。超收敛允许使用非常高的学习率来加速网络训练,并且已经显示出以比常规方式少的数量级的训练迭代来实现具有高效用的模型。本文中的实验表明,当将其与差分隐私相结合时,也可以看到这种数量级的加速,与非隐私,非超收敛基线模型相比,可以在更少的训练迭代中获得更高的验证精度。此外,超收敛被证明可以提高私有模型的隐私保证。
2021-03-18 cs.CR cs.LG
Fast John Ellipsoid Computation with Differential Privacy Optimization
University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at UC Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);University of California, Berkeley(加州大学伯克利分校)
针对现有John椭球快速近似算法无隐私保障的问题,提出首个结合噪声扰动、草图与杠杆得分采样的差分隐私算法,证明其满足(ε,δ)-差分隐私且能收敛到指定精度的近似解,平衡了效用与隐私。
2025-02-20 cs.CR cs.DS cs.LG
The Saddle-Point Accountant for Differential Privacy
Arizona State University(亚利桑那州立大学);Harvard University(哈佛大学);McMaster University(麦克马斯特大学)
我们介绍了一种新的差分隐私(DP)会计称为鞍点会计(SPA)。SPA以准确和快速的方式近似于DP机制组成的隐私保证。我们的方法受到鞍点方法的启发-统计学中一种无处不在的数值技术。我们证明严格的性能保证,得出的上界和下界SPA提供的近似误差。SPA的关键是大偏差方法与中心极限定理的结合,我们通过指数倾斜对应于DP机制的隐私损失随机变量来推导。SPA的一个关键优点是,对于隐私机制的$n$折叠组合,它以恒定的时间运行。数值实验表明,SPA实现了国家的最先进的会计方法具有更快的运行时间相当的准确性。
2022-08-20 cs.CR cs.IT cs.LG
An Adaptive and Fast Convergent Approach to Differentially Private Deep Learning
University of Nanjing(南京大学);Michigan State University(密歇根州立大学);Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学)
随着大数据时代的到来,深度学习已经成为各种机器学习或数据采掘任务(例如,信号处理、网络建模和流量分析等)中的普遍构建块。众包的海量用户数据对深度学习模型的成功起着至关重要的作用。然而,已经表明,用户数据可以从训练的神经模型中推断出来,从而暴露给潜在的对手,这引起了信息安全和隐私问题。为了解决这个问题,最近的研究利用差分隐私技术来设计隐私保护深度学习算法。尽管差分隐私在隐私保护方面取得了成功,但它降低了神经模型的性能。在本文中,我们开发ADADP,自适应和快速收敛的学习算法与可证明的隐私保证。ADADP通过自适应学习率提高收敛速度,显著降低了隐私代价,并通过引入自适应噪声,减轻了差分隐私对模型精度的负面影响。ADADP的性能在真实世界的数据集上进行了评估。实验结果表明,它优于国家的最先进的差分隐私方法的隐私成本和模型的准确性。
2019-12-19 cs.CR cs.LG
Efficient Sparse Least Absolute Deviation Regression with Differential Privacy
Shanghai Jiao Tong University(上海交通大学);Zhongnan University of Economics and Law(中南财经政法大学);Iowa State University(爱荷华州立大学)
针对强凸和平滑假设无法覆盖鲁棒损失的问题,提出一种快速且隐私保护的稀疏最小绝对偏差回归算法FRAPPE,通过将问题转化为惩罚最小二乘估计并采用三阶段噪声注入,实现了更优的隐私与统计精度权衡。
2024-01-02 cs.LG stat.ME stat.ML
NanoBatch Privacy: Enabling fast Differentially Private learning on the IPU
Stanford University(斯坦福大学);Graphcore Inc.(Graphcore公司);University of Toronto(多伦多大学)
差分私有SGD(DPSGD)最近在深度学习中显示出了希望。然而,与非私有SGD相比,DPSGD算法的计算开销可能会抵消GPU中的GPU的优势。微加密是缓解这种情况的常用方法,并且在TensorFlow隐私库(TFDP)中得到完全支持。然而,它降低了准确性。我们提出了NanoBatch Privacy,这是TFDP的一个轻量级附加组件,通过利用批次大小为1(无微扰)和梯度累积在Graphcore IPU上使用。这使我们能够在对吞吐量影响最小的情况下实现较大的总批量。其次,我们使用Cifar-10说明了从隐私与实用的角度来看,更大的批量大小不一定是最佳的。在ImageNet上,我们在TFDP上实现了超过15倍的加速,而在A100上实现了8倍的加速,甚至在Opacus等库之间也实现了显著的加速。我们还提供了两个扩展:1)用于流水线模型的DPSGD和2)每层剪切,比8x A100上的Opacus实现快15倍。最后,作为应用案例研究,我们将Nanobatch培训应用于私人Covid-19胸部CT预测。
2022-06-02 cs.CR cs.CV cs.DC
Fast, Private, and Protected: Safeguarding Data Privacy and Defending Against Model Poisoning Attacks in Federated Learning
Institute of Computing State University of Campinas(计算研究所 卡廷斯州立大学)
提出 FPP 方法,通过参与者评估、训练恢复和声誉机制,在保护数据隐私的安全聚合下防御联邦学习中的模型投毒攻击,实现快速收敛。
2025-11-04 cs.LG
Exposing the Vulnerability of Decentralized Learning to Membership Inference Attacks Through the Lens of Graph Mixing
CNRS, INSA Lyon - LIRIS(法国国家科学研究中心、里尔- Lyon 工程学院 - LIRIS);CNRS, INSA Lyon - LIRIS, McGill - ILLS(法国国家科学研究中心、里尔- Lyon 工程学院 - LIRIS、麦吉尔大学 - ILLS);Inria, INSA Lyon - CITI(法国国家信息与自动化研究所、里尔- Lyon 工程学院 - CITI)
本研究探索去中心化学习架构对MIA的脆弱性,发现其与局部模型混合策略及通信图全局混合特性高度相关,通过实验与理论分析验证,并提出设计低脆弱性系统的经验教训。
2025-11-13 cs.DC cs.LG
FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy
University of Waterloo(滑铁卢大学)
针对横向联邦 $k$-means 中安全计算开销高与差分隐私效用差的问题,FastLloyd 结合计算型 DP 和安全聚合,并提出新的 DP 聚类机制,实现五个数量级加速且提升聚类效用。
2025-06-10 cs.CR cs.LG
Differentially Private In-context Learning via Sampling Few-shot Mixed with Zero-shot Outputs
University of Southern California(南加州大学)
本文提出$\texttt{dps-mozo}$解码框架,通过混合单样本与零样本输出采样实现差分隐私,无需添加噪声即可在ICL生成任务中达到强隐私保证与极小效用损失。
2025-01-31 cs.LG
A Selective Homomorphic Encryption Approach for Faster Privacy-Preserving Federated Learning
A. Korkmaz Dept. of Electrical Engineering \& Computer Science, The University of Missouri, Columbia, USA P. Rao Dept. of Electrical Engineering \& Computer Science, The University of Missouri, Columbia, USA
FAS通过结合选择性同态加密、差分隐私和位操作,实现高效安全的联邦学习,比传统FHE快90%并提升实用性。
2025-06-05 cs.CR cs.DC cs.LG
When approximate design for fast homomorphic computation provides differential privacy guarantees
Institut LIST, CEA, Université Paris-Saclay(巴黎萨克雷大学原子能和替代能源委员会LIST研究所)
本文提出了概率近似算法 SHIELD,通过在同态计算中放宽 argmax 算子的精度来兼顾快速执行与差分隐私保证,并将其集成至 SPEED 协作训练框架以提升计算效率。
2023-04-06 cs.CR cs.LG
Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning
MIPT(莫斯科物理技术学院);ISP RAS(俄罗斯科学院信息学问题研究所);Innopolis University(因诺波利斯大学)
针对分布式与联邦学习的通信和隐私问题,提出结合 Hessian 相似性、同质梯度及客户端采样的加速随机额外梯度方法,并通过加噪分析收敛,实验验证理论。
2024-09-22 cs.LG math.OC
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
University of Basel(巴塞尔大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI));King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
本文提出Clip21-SGD2M方法,结合剪裁、动量和误差反馈,实现非凸问题中的最优收敛率和近最优差分隐私保障。
2026-03-05 cs.LG math.OC stat.ML
SpliTEE: Fast and Private LLM Inference by Coupling GPU-Assisted Trusted Execution Environments with Differential Privacy
Macquarie University(麦考瑞大学)
SpliTEE通过差分隐私保护中间表示,将LLM推理分割到TEE和GPU,实现比CPU推理快近两倍且比加密方案更快的安全加速。
2026-10-07 cs.AI cs.CR cs.LG
Mitigating Data Absence in Federated Learning Using Privacy-Controllable Data Digests
Digital Center Inventec Corporation(纬创资通数字中心);University at Albany(奥尔巴尼大学)
针对联邦学习中数据缺失与分布变化损害性能的问题,提出隐私可控的FedDig框架,通过混合低维特征加差分隐私实现可调隐私保护,在多数据集上显著优于基线算法且具备可扩展性与兼容性。
2024-10-28 cs.LG
Predictability as a Fine-Grained Measure for Privacy
Cornell University(康奈尔大学)
提出可预测性框架,通过攻击者预测敏感信息的能力增益来衡量隐私泄露,与差分隐私互补,并基于广义矩方法分析渐近可预测性,用于ERM输出扰动。
2026-06-19 cs.LG
Amplifying Rényi Differential Privacy via Shuffling
差分隐私是构建机器学习模型的有用工具,该模型不会发布太多有关训练数据的信息。我们研究了随机梯度下降的Rényi差分隐私,当每个训练样本被采样而不替换(也称为循环SGD)。循环SGD通常比传统SGD更快,是大规模实现中的首选算法。我们恢复的隐私保证循环SGD这是竞争对手的那些已知的采样与替换。我们的证明技术不对模型或数据做任何假设,因此具有广泛的适用性。
2020-02-17 cs.CR cs.LG stat.ML
Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping
Penn State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
Renyi差分隐私最近的工作表明了将差分隐私应用于深度学习任务的可行性。然而,尽管它们有希望,但差异私有深度网络在准确性方面往往远远落后于非私有网络,这表明需要在模型架构、优化器等方面进行更多的研究。这种放缓的原因是一个关键的隐私相关步骤,称为"每个示例的梯度裁剪",其幼稚的实现取消了使用GPU进行批量训练的好处。通过分析反向传播方程,我们推导出与自动微分兼容的每个示例梯度裁剪的新方法(例如,在PyTorch和TensorFlow中),并提供更好的GPU利用率。我们在PyTorch中的实现显示了显著的训练速度提升(对于批量大小为128的各种模型,训练速度提高了54 - 94倍)。这些技术适用于各种架构选择,包括卷积层、递归网络、注意力、残差块等。
2020-09-07 cs.LG stat.ML
Numerical Composition of Differential Privacy
Microsoft(微软);University of Washington(华盛顿大学)
我们给出了一个快速算法,以最佳组合的隐私保证差分隐私(DP)算法的任意精度。我们的方法是基于隐私损失随机变量的概念来量化DP算法的隐私损失。我们的算法所需的运行时间和内存来近似的隐私曲线的DP算法与自身$k$倍组成的是$\tilde{O}(\sqrt{k})$。这改进了Kopia等人(2020)的最佳现有方法,该方法需要$\tildeΩ(k^{1.5})$运行时间。我们通过准确计算Abadi et al.(2016)的DP-SGD算法的隐私损失来证明我们算法的实用性,并表明我们的算法与之前的工作相比将隐私计算速度提高了几个数量级,同时保持了类似的准确性。
2021-10-26 cs.CR cs.DS cs.LG
Privacy Regularization: Joint Privacy-Utility Optimization in Language Models
University of California San Diego(加州大学圣迭戈分校);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
已知神经语言模型具有用于记忆训练样本的高容量。当针对电子邮件通信等用户内容训练模型时,这可能会产生严重的隐私影响。差分隐私(DP),一个流行的选择,训练模型的隐私保证,带来了显着的成本方面的效用退化和不同的影响,对用户的子群体。在这项工作中,我们介绍了两种隐私保护正则化方法,用于训练语言模型,通过(1)使用一个参数和(2)包含一个三重损失项来实现效用和隐私的联合优化。我们比较我们的方法与DP通过广泛的评估。我们展示了正则化器的优势,它具有良好的效用-隐私权衡,更快的训练能力,能够利用现有的优化方法,并确保对代表性不足的子群进行统一处理。
2021-04-16 cs.CL cs.CR cs.LG
Differential Privacy Guarantees for Stochastic Gradient Langevin Dynamics
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学)
我们分析噪声随机梯度下降的隐私泄漏建模雷尼发散动力学与朗之万扩散。最近的非随机算法的工作的启发,我们得到类似的理想性质的随机设置。特别是,我们证明了隐私损失指数收敛速度快的平滑和强凸目标下恒定的步长,这是一个显着的改进,比以前的DP-SGD分析。我们还将我们的分析扩展到任意序列的不同步长,并推导出新的效用界。最后,我们提出了一个实现和我们的实验表明,我们的方法相比,经典的DP-SGD库的实际效用。
2022-02-05 cs.LG stat.ML
Fast and Private Submodular and $k$-Submodular Functions Maximization with Matroid Constraints
Simon Fraser University(西蒙菲莎大学);National Institute of Informatics(信息科学研究所)
在过去的十年中,极大化非负单调次模函数的问题得到了广泛的研究,并提出了一系列有效的近似算法。许多机器学习问题,包括数据摘要和影响力最大化,可以很自然地建模为最大化单调子模函数的问题。然而,当此类应用程序涉及有关个人的敏感数据时,应解决其隐私问题。本文在差分隐私框架下研究了拟阵约束下的单调次模函数的最大化问题。我们提供了$(1-\frac{1}{\mathrm{e}})$ -近似算法,它改进了以前的结果在近似保证。在我们的算法中,这几乎是用立方数量的函数求值来完成的。此外,我们研究了$k$ -子模块性,子模块性的一个自然推广。我们给第一个$\frac{1}{2}$近似算法,保持差分隐私最大化单调$k$ -子模函数拟阵约束。近似比是渐近紧的,并获得了几乎线性数量的功能评估。
2020-06-28 cs.CR cs.DM cs.DS
DP-CDA: An Algorithm for Enhanced Privacy Preservation in Dataset Synthesis Through Randomized Mixing
Department of Electrical and Electronic Engineering(电子与电气工程系);Bangladesh University of Engineering Technology(孟加拉工程科技大学)
本文提出DP-CDA算法,通过随机混合敏感数据和引入可控随机性,在高维数据中实现更强的隐私保障与数据效用平衡。
2026-04-29 cs.LG stat.ML
CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
如何训练机器学习模型,同时保持数据的私密性和安全性?我们提出CodedPrivateML,一个快速和可扩展的方法来解决这个关键问题。CodedPrivateML保持数据和模型信息的私密性,同时允许跨分布式工作者进行有效的并行训练。我们描述了CodedPrivateML的隐私阈值,并证明了它对逻辑(和线性)回归的收敛性。此外,通过在Amazon EC2上进行的大量实验,我们证明了CodedPrivateML比基于多方计算(MPC)的加密方法提供了显著的加速。
2021-02-20 cs.CR cs.IT cs.LG
Mixing Times and Privacy Analysis for the Projected Langevin Algorithm under a Modulus of Continuity
Institute for Mathematical;School of Engineering, Pontificia Universidad Cat\'olica de Chile, Vicu\ na Mackenna 4860, Santiago, Chile
本文研究了投影拉格朗日算法的混合时间及噪声SGD的隐私曲线,通过扩展PABI框架,得出了新的混合时间界和隐私曲线上界,适用于非光滑凸、弱光滑及强耗散等情形。
2026-03-02 cs.LG math.OC math.ST
Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization
该研究提出P3M协议,在不修改目标函数或引入正式隐私机制的情况下,通过调整隐私-偏好数据比例,降低LLM的金丝雀记忆与成员推理攻击性能,同时平衡隐私、效用与安全。
2026-09-01 cs.CR cs.LG
DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for Large-Scale Bayesian Inference
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Purdue University(普渡大学)
本文提出首个精确且快速的差分隐私Metropolis-Hastings算法,仅用少量数据批次,并首次揭示隐私、可扩展性与效率间的三方权衡,兼顾隐私保护与推断性能。
2023-10-12 cs.LG stat.ML
Learning Fast-Mixing Models for Structured Prediction
Stanford University(斯坦福大学)
马尔可夫链蒙特卡罗(MCMC)算法通常用于学习内部的近似推理,但它们的缓慢混合可能难以诊断,并且近似会严重降低学习。为了缓解这些问题,我们使用强Doeblin马尔可夫链定义了一个新的模型族,其混合时间可以通过参数精确控制。我们还开发了一种算法来学习这样的模型,其中包括在这些链的诱导平稳分布下最大化数据可能性。我们在两个具有挑战性的推理任务上显示了经验改进。
2015-02-24 cs.LG
CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
University of Virginia(弗吉尼亚大学);Facebook AI Research(Facebook AI研究院)
我们介绍CryptGPU,这是一个用于隐私保护的机器学习系统,它在GPU(图形处理单元)上实现所有操作。正如GPU在现代深度学习的成功中发挥了关键作用一样,它们对于实现可扩展的隐私保护深度学习也至关重要。在这项工作中,我们首先引入了一个新的接口,以将秘密共享值(在离散域中)上的加密操作有损嵌入到浮点运算中,这些运算可以由高度优化的CUDA线性代数内核处理。然后,我们确定了一系列的“GPU友好”的加密协议,使隐私保护评估的线性和非线性运算的GPU。我们的微基准测试表明,我们基于GPU的私有卷积协议比类似的基于CPU的协议快150倍以上;对于ReLU激活函数等非线性操作,我们基于GPU的协议比其CPU模拟快10倍左右。借助CryptGPU,我们支持在具有超过6000万个参数的卷积神经网络上进行私有推理和私有训练,并处理ImageNet等大型数据集。与以前的最先进技术相比,当考虑大型模型和数据集时,我们的协议在私有推理方面实现了2倍至8倍的改进,在私有训练方面实现了6倍至36倍的改进。我们的工作不仅展示了完全在GPU上执行安全多方计算(MPC)以实现快速隐私保护机器学习的可行性,而且还强调了设计可以充分利用GPU计算能力的新MPC原语的重要性。
2021-04-22 cs.CR cs.LG
Faster Privacy Accounting via Evolving Discretization
Google Research(谷歌研究院)
提出了一种新的隐私随机变量数值合成算法,可用于计算机构合成中的精确差分隐私参数。我们的算法实现了运行时间和内存使用的$\mathrm{polylog}(k)$的任务,自我组成的机制,从一个广泛的机制类,$k$倍;这一类,例如,包括亚采样高斯机制,该机制出现在差分私有随机梯度下降的分析中。相比之下,Gopi等人最近的工作(NeurIPS 2021)已经获得了相同任务的运行时间$\widetilde{O}(\sqrt{k})$。我们的方法扩展到组成$k$不同的机制在同一个类的情况下,改善他们的运行时间和内存使用从$\widetilde{O}(k^{1.5})$到$\widetilde{O}(k)$。
2022-07-10 cs.CR cs.DS cs.LG
Projecting Markov Random Field Parameters for Fast Mixing
NICTA(澳大利亚国家信息与通信技术研究院);The University of New South Wales(新南威尔士大学);The Australian National University(澳大利亚国立大学)
马尔可夫链蒙特卡罗(MCMC)算法是一种简单而非常强大的技术,可以从几乎任意的分布中进行采样。在实践中的缺陷是,它可能需要大量和/或未知量的时间来收敛到平稳分布。本文给出了马尔可夫随机场(MRF)上单变量Gibbs抽样在精确意义下快速混合的充分条件。此外,给出了一个算法,以投影到这组快速混合参数的欧几里德范数。根据最近的工作,我们给出了一个例子,使用这个项目在各种分歧的措施,比较单变量的边缘后,投影到常见的变分方法和吉布斯抽样原始参数的采样。
2014-11-12 cs.LG stat.ML
Fast Conditional Mixing of MCMC Algorithms for Non-log-concave Distributions
MIT(麻省理工学院);USTC(中国科学技术大学);IIIS, Tsinghua(清华大学交叉信息研究院);Shanghai Qizhi Institute(上海期智研究院);Tsinghua University(清华大学)
本文针对非对数凹分布下MCMC算法全局混合缓慢的问题,提出基于庞加莱型不等式在状态空间子集上成立的条件混合理论,证明MCMC迭代的条件分布可快速混合到真实条件分布,并展示了其在高斯混合采样、参数估计和Gibbs采样中的应用价值。
2024-01-14 cs.LG math.PR
CHEETAH: An Ultra-Fast, Approximation-Free, and Privacy-Preserved Neural Network Framework based on Joint Obscure Linear and Nonlinear Computations
Old Dominion University(奥尔多明尼恩大学)
机器学习即服务(MLaaS)正在终端设备上实现广泛的智能应用。然而,这种便利性带来了隐私成本,因为用户必须将他们的私人数据上传到云端。本研究旨在提供有效且高效的MLaaS,使得云服务器对用户数据一无所知,并且用户无法推断服务器所拥有的专有模型参数。这项工作作出了以下贡献。首先,它揭示了现有方案的基本性能瓶颈,由于在计算线性变换和使用通信密集型乱码电路的非线性变换的重排列。其次,它引入了一个超快的安全MLaaS框架CHEETAH,该框架具有精心制作的秘密共享方案,运行速度比现有方案快得多,而不会损失准确性。第三,CHEETAH在MNIST和ImageNet数据集上的知名实用深度网络(如AlexNet和VGG-16)的基准上进行评估。结果表明,比最快的GAZELLE(Usenix Security'18)加速超过100倍,比MiniONN(ACM CCS'17)加速2000倍,比CryptoNets(ICML'16)加速5个数量级。这种显著的加速使得基于隐私保护的深度神经网络的广泛的实际应用成为可能。
2021-02-11 cs.CR cs.LG stat.ML
Projecting Ising Model Parameters for Fast Mixing
NICTA(澳大利亚国家信息与通信技术研究院);The Australian National University(澳大利亚国立大学);The University of New South Wales(新南威尔士大学)
在一般伊辛模型的推理是困难的,由于高树宽使得基于树的算法棘手。此外,当相互作用很强时,吉布斯采样可能需要指数时间才能收敛到平稳分布。我们提出了一个算法,以项目伊辛模型参数到一个参数集,保证是快速混合,在几个分歧。我们发现,吉布斯抽样使用的投影参数是更准确的比与原始参数时,相互作用的强度是强大的,当有限的时间是可用于采样。
2014-10-08 cs.LG stat.ML
FastPFRec: A Fast Personalized Federated Recommendation with Secure Sharing
organization= Key Laboratory of Big Data \& Artificial Intelligence in Transportation (Beijing Jiaotong University) , addressline= Ministry of Education , city= Beijing , postcode= 100044 , country= China;organization= School of Computer Science;Technology , addressline= Beijing Jiaotong University , city= Beijing , postcode= 100044 , country= China
本文提出FastPFRec框架,通过高效本地更新策略和隐私感知参数共享机制,提升联邦推荐系统的训练效率和数据安全性,在四个真实数据集上表现优异。
2026-03-18 cs.IR cs.LG
Fast Privacy-Preserving Text Classification based on Secure Multiparty Computation
University of Campinas(坎皮纳斯大学);University of Washington Tacoma(华盛顿大学塔科马分校);Monash University(莫纳什大学);Aarhus University(奥胡斯大学)
我们提出了一个隐私保护的朴素贝叶斯分类器,并将其应用于私人文本分类问题。在此设置中,一方(Alice)持有文本消息,而另一方(Bob)持有分类器。在协议结束时,Alice只会学习应用于她的文本输入的分类器的结果,而Bob什么也不会学到。我们的解决方案是基于安全多方计算(SMC)。我们的Rust实现为非结构化文本的分类提供了一个快速安全的解决方案。将我们的解决方案应用于垃圾邮件检测的情况(该解决方案是通用的,并且可以在可以采用朴素贝叶斯分类器的任何其他场景中使用),在Bob的模型的字典大小包括所有单词(n = 5200)并且Alice的SMS具有至多m = 160个一元词的情况下,我们可以在小于340 ms内将SMS分类为垃圾邮件或火腿。在n = 369和m = 8(数据库中垃圾短信的平均值)的情况下,我们的解决方案只需要21毫秒。
2021-06-08 cs.CR cs.LG
An Intrinsically-Motivated Approach for Learning Highly Exploring and Fast Mixing Policies
Politecnico di Milano(米兰理工大学);Università di Bologna(博洛尼亚大学)
对于一个在没有外部奖励的情况下与环境交互的智能体来说,什么是好的探索策略?理想情况下,我们希望在最少的步骤(快速混合)中获得一个朝向统一状态-动作访问(高度探索)的策略,以便以后轻松有效地学习任何目标条件策略。不幸的是,直接学习这种性质的最优策略非常困难。在本文中,我们提出了一种新的代理目标学习高度探索和快速混合的政策,其重点是最大限度地提高下限的稳态分布的熵诱导的政策。特别是,我们引入了三个新的下限,导致尽可能多的优化问题,权衡理论保证与计算复杂性。然后,我们提出了一个基于模型的强化学习算法,IDE $^{3}$ AL,学习一个最优的政策,根据介绍的目标。最后,我们提供了一组硬探索任务的经验评估该算法。
2019-12-19 cs.LG stat.ML
BLAZE: Blazing Fast Privacy-Preserving Machine Learning
Indian Institute of Science(印度科学学院)
机器学习工具已经展示了它们在医疗保健和金融等许多重要领域的潜力,以帮助得出有用的推论。在这些部门,数据的敏感性和机密性自然引起对数据隐私的关切。这激发了隐私保护机器学习(PPML)领域的发展,在该领域中,数据的隐私得到了保证。通常,ML技术需要强大的计算能力,这导致基础设施有限的客户端依赖于安全外包计算(SOC)的方法。在SOC设置中,计算被外包给一组专业且功能强大的云服务器,并且该服务以按使用付费的方式提供。在这项工作中,我们将在SOC环境中探索PPML技术,用于广泛使用的ML算法-线性回归,逻辑回归和神经网络。我们提出了BLAZE,一个在三个服务器设置容忍一个恶意腐败环(\Z{\ell})的超快PPML框架。BLAZE实现了更强的公平性安全保证(所有诚实的服务器都得到输出,而腐败的服务器得到相同的输出)。利用独立于输入的预处理阶段,BLAZE具有依赖于有效PPML原语的快速输入依赖在线阶段,例如:(i)在线阶段中的通信独立于向量大小的点积协议,这是三服务器设置中的第一种;(ii)一种截断方法,该方法避免了对Ripple Carry Adders(RCA)的昂贵电路进行评估,并实现了恒定的轮复杂度。这改进了ABY 3的截断方法(Mohassel等人,CCS 2018),其使用RCA并且消耗具有RCA深度的量级的轮复杂度。在WAN和LAN设置中的64位环上对上述ML算法的BLAZE…
2020-05-18 cs.CR cs.LG
Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for Inverse Problems
University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们证明了快速混合,并描述了Langevin算法的平稳分布,用于反转随机加权DNN生成器。这一结果将Hand和Voroninski的工作从有效的反演扩展到有效的后验采样。在实践中,为了提高表现力,我们建议在预训练的生成模型的潜在空间中进行后验采样。为了实现这一目标,我们在StyleGAN-2的潜在空间中训练了一个基于分数的模型,并使用它来解决逆问题。我们的框架,分数引导的中间层优化(SGILO),通过在中间层中用生成先验代替稀疏正则化来扩展先前的工作。实验上,我们获得了显着的改进,在以前的国家的最先进的,特别是在低测量制度。
2022-06-22 cs.AI cs.LG
Fast mixing of Metropolized Hamiltonian Monte Carlo: Benefits of multi-step gradients
University of California(加州大学)
哈密顿蒙特卡罗(HMC)是一种最先进的马尔可夫链蒙特卡罗抽样算法,用于从连续空间上的光滑概率密度中抽取样本。我们研究的变体最广泛地应用于实践中,大都市HMC与Störmer-Verlet或蛙跳积分,并作出两个主要贡献。首先,我们提供了一个非渐近上界的混合时间的Metropolized HMC明确选择的步长和数量的蛙跳步骤。该界限给出了Metropolized HMC相对于诸如Metropolized随机游动或Metropolized Langevin算法之类的更简单MCMC算法的更快收敛的精确量化。其次,我们提供了一个通用框架,用于锐化在连续空间上与目标分布有很大距离的初始化的马尔可夫链的混合时间边界。我们应用这种锐化设备的Metropolized随机游动和Langevin算法,从而获得改进的混合时间范围从一个非温暖的初始分布。
2021-01-11 cs.LG stat.CO stat.ML
Hawk: Accurate and Fast Privacy-Preserving Machine Learning Using Secure Lookup Table Computation
University of Southern California(南加州大学)
本文提出Hawk,一种基于秘密共享查找表的双服务器隐私保护机器学习协议,通过引入宽松安全度量显著降低计算开销,在提升逻辑回归和神经网络训练速度的同时实现了更高的模型准确率。
2024-03-26 cs.CR cs.LG
Maximum Likelihood Learning With Arbitrary Treewidth via Fast-Mixing Parameter Sets
NICTA(国家信息与通信技术研究院);Australian National University(澳大利亚国立大学)
在高树宽无向图模型中,推理通常是难以处理的,这使得最大似然学习成为一个挑战。克服这一点的一种方法是将参数限制为易于处理的集合,最典型的是树结构参数的集合。本文探讨了一个易处理的集合,即一组“快速混合参数”,马尔可夫链蒙特卡罗(MCMC)推断可以保证快速收敛到平稳分布的替代概念。虽然在实践中使用从MCMC获得的样本来近似似然梯度是常见的,但是这样的程序缺乏理论保证。本文证明了对于任何具有有界充分统计量的指数族(不仅仅是图模型),当参数被约束在一个快速混合集上时,用采样近似梯度的梯度下降将以高概率逼近集内的最大似然解.当未正则化时,要找到对数似然的ε-精度解,需要1/1/2的总工作量,忽略对数因子。当脊正则化时,强凸性允许解在参数距离上是ε-精确的,而努力是1/ε的二次。这两种方法都提供了一个完全多项式时间的随机近似方案。
2015-10-30 cs.LG stat.ML
PrivFT: Private and Fast Text Classification with Homomorphic Encryption
A*STAR(新加坡科技研究局);Inferati Inc(Inferati公司);Microsoft Research(微软研究院)
由于隐私风险的严重性,对隐私保护分析的需求比以往任何时候都要高,并且要遵守新的隐私法规,这导致对试图在隐私和实用性之间取得平衡的隐私保护技术的兴趣被放大。在这项工作中,我们提出了一种有效的方法,文本分类,同时保护隐私的内容使用全同态加密(FHE)。我们的系统(命名为\textbf{Priv} ate \textbf{F} ast \textbf{T} ext(PrivFT))执行两个任务:1)使用明文模型对加密的用户输入进行推理,2)使用加密的数据集训练有效的模型。对于推理,我们训练一个监督模型,并概述了一个系统的同态推理加密用户输入的预测精度为零损失。在第二部分中,我们展示了如何使用完全加密的数据来训练模型以生成加密模型。我们提供了一个GPU实现的千金金宋(CKKS)FHE计划,并将其与现有的CPU实现,以实现1至2个数量级的加速在各种参数设置。我们在GPU中实现PrivFT,以实现每次推理的运行时间小于0.66秒。在相对较大的加密数据集上进行训练的计算量更大,需要5.04天。
2019-11-18 cs.CR cs.LG
SWIFT: Super-fast and Robust Privacy-Preserving Machine Learning
Indian Institute of Science(印度科学学院)
对私有数据进行机器学习(ML)计算,同时保持数据隐私,又称隐私保护机器学习~(PPML),是一个新兴的研究领域。最近,PPML已经看到了一个明显的转变,采用安全外包计算~(SOC)范式,由于它需要大量的计算。在SOC范例中,计算外包给一组功能强大且配备特殊的服务器,这些服务器以按使用付费的方式提供服务。在这项工作中,我们提出了SWIFT,一个强大的PPML框架,用于SOC设置中的一系列ML算法,保证输出交付给用户,而不管任何敌对行为。鲁棒性是一个非常理想的特性,它可以唤起用户的参与,而不必担心拒绝服务。在我们的框架的核心在于一个高效的,恶意安全的,三方计算(3PC)的环,提供保证输出交付(GOD)在诚实的大多数设置。据我们所知,SWIFT是3PC环境中第一个强大而高效的PPML框架。SWIFT与最著名的3PC框架BLAZE(Patra et al. NDSS '20)一样快(在某些情况下甚至更好),后者只实现了公平性。我们将3PC框架扩展为四方(4PC)。在这种情况下,SWIFT的速度与最著名的公平4PC框架Trident(Chaudhari等人,NDSS '20)一样快,比最著名的健壮4PC框架FLASH(Byali等人,PETS' 20)快两倍。我们通过对流行的ML算法(如Logistic Regression)和深度神经网络(如VGG 16和LeNet)进行基准测试来展示我们…
2021-02-17 cs.CR cs.LG
Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic
U.S. Army Research Laboratory(美国陆军研究实验室);University of Maryland(马里兰大学);JP Morgan Chase AI Research(摩根大通人工智能研究院)
许多现有的强化学习(RL)方法在后端采用随机梯度迭代,其稳定性取决于一个假设,即数据生成过程与步长选择中出现的速率参数以指数方式快速混合。不幸的是,这个假设是违反了大的状态空间或设置稀疏的奖励,混合时间是未知的,使步长不可操作。在这项工作中,我们提出了一种RL方法调谐到混合时间采用多级蒙特卡洛估计的评论家,演员,并嵌入在演员-评论家(AC)算法的平均奖励。这种方法,我们称之为\textbf{M}多层次\textbf{A} ctor- \textbf{C} ritic(MAC),是特别为无限地平线平均奖励设置,既不依赖于甲骨文知识的混合时间在其参数选择,也不假设其指数衰减,因此,它很容易适用于应用程序的混合时间较慢。尽管如此,它实现了可与最先进的AC算法相媲美的收敛速度。我们的实验表明,这些缓解的限制所需的技术条件的稳定性转化为优越的性能在实践中的RL问题与稀疏的奖励。
2023-02-01 cs.LG math.OC stat.ML
SecFormer: Fast and Accurate Privacy-Preserving Inference for Transformer Models via SMPC
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出 SecFormer 框架,通过消除高成本指数与最大值操作并设计高效 SMPC 协议,实现 Transformer 快速准确的隐私保护推理,性能与速度均优于现有方法。
2025-06-09 cs.CL cs.CR cs.LG
InstaHide's Sample Complexity When Mixing Two Private Images
University of California, Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院);Columbia University(哥伦比亚大学);Boston University(波士顿大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Duke University(杜克大学)
本文针对InstaHide隐私保护方案,提出统一攻击分析框架,并设计新算法在最优样本复杂度下可证明恢复所有私有图像,同时证明其计算安全性。
2024-02-06 cs.CC cs.CR cs.DS
Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
最近,图像生成任务备受关注。特别是,最近的经验成功的马尔可夫链蒙特卡罗(MCMC)技术的朗之万动力学已经促使了一些理论上的进步,尽管如此,一些突出的问题仍然存在。首先,朗之万动力学在非凸景观上以非常高的维度运行;在最坏的情况下,由于非凸优化的NP-硬度,人们认为朗之万动力学在维度上仅以时间指数混合。在这项工作中,我们演示了如何流形假设允许混合时间的相当大的减少,从指数的环境维度,仅取决于(小得多)的内在维度的数据。其次,采样空间的高维数严重损害了Langevin Dynamics的性能;我们利用多尺度方法来帮助改善这个问题,并观察到这种多分辨率算法允许在生成图像质量和计算费用之间进行权衡。
2020-06-22 cs.LG stat.ML
Fast mixing for Latent Dirichlet allocation
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
马尔可夫链蒙特卡罗(MCMC)算法在概率论中普遍存在,特别是在机器学习中。设计了一个马尔可夫链,使其平稳分布是某种感兴趣的概率分布。然后,通过运行马尔可夫链“很长一段时间”,从给定的分布中进行采样,直到它看起来是平稳的,然后收集样本。然而,这些链通常非常复杂,并且没有理论保证实际上达到平稳性。在本文中,我们研究了潜在狄利克雷分配的一个非常简单的情况下,可以说是最有名的贝叶斯无监督学习模型的文本生成和文本分类的后验分布的吉布斯采样器。结果表明,当语料库由两个等长的$m$文档组成,而词汇表仅由两个不同的词组成时,混合时间至多为$m^2\log m$阶(相当于$m\log m$在语料库中的循环次数).从我们的分析中可以明显看出,在文档数量和词汇量都很大的情况下,只要每个单词在每个文档中表示为一个很大的数字,即使所涉及的计算可能很难处理,混合时间也不会差得多。
2017-11-01 cs.LG stat.ML
FFPDG: Fast, Fair and Private Data Generation
Amazon(亚马逊公司)
针对现有GAN方法在合成数据生成中存在的偏见、高计算资源消耗及隐私问题,提出一种快速、公平、灵活且隐私的数据生成方法FFPDG,理论及实验证明其有效,且在真实场景中表现良好。
2023-06-30 cs.AI cs.LG