Photonic Differential Privacy with Direct Feedback Alignment
LightOn(LightOn公司);LPENS, École Normale Supérieure(巴黎高等师范学院 LPENS实验室);Criteo AI Lab(Criteo人工智能实验室)
光学处理单元(OPU)--专用于大规模随机投影的低功耗光子芯片--已在先前的工作中使用直接反馈对准(DFA)来训练深度神经网络,这是反向传播的有效替代方案。在这里,我们演示了如何利用光学随机投影的固有噪声来构建差异化私有DFA机制,使OPU成为提供私有设计培训的首选解决方案。我们提供了我们的自适应隐私机制的理论分析,仔细测量光学随机投影的噪声如何在这个过程中传播,并产生可证明的差分隐私。最后,我们进行实验,证明我们的学习过程,以实现坚实的最终任务性能的能力。
2022-03-25 cs.CR cs.LG
Tracking Protection in Firefox For Privacy and Performance
我们在Mozilla Firefox Web浏览器中提供跟踪保护。跟踪保护是一种新的隐私技术,通过阻止对跟踪域的请求来减轻对用户在线活动的侵入性跟踪。我们评估了我们的方法,并证明了在Alexa前200名新闻网站的抓取过程中设置的HTTP cookie数量减少了67.5%。由于Firefox不会从跟踪域下载和呈现内容,因此跟踪保护还可以在Alexa前200名新闻网站中减少44%的页面加载时间中位数和39%的数据使用量。
2015-06-12 cs.CR
Differential Privacy with Random Projections and Sign Random Projections
LinkedIn Ads(领英广告)
该研究基于随机投影与符号随机投影开发系列差分隐私算法,提出平滑翻转概率技术优化位翻转策略,构建的DP-SignOPORP、iDP-SignRP在不同隐私设定下均实现了效用提升。
2023-06-13 cs.CR cs.LG stat.ML
Privacy-Utility Trade-off of Linear Regression under Random Projections and Additive Noise
UCLA(加利福尼亚大学洛杉矶分校)
数据隐私是机器学习中的一个重要问题,并且从根本上与训练有用的学习模型的任务不一致,这通常需要获取大量的私有用户数据。在保护用户隐私的同时完成机器学习任务的一种可能的方法是在数据的变换的噪声版本上训练模型,这不会直接向训练过程揭示数据本身。在这项工作中,我们分析了两个这样的计划的线性回归问题的隐私效用权衡:加性噪声和随机投影。与以前的工作相比,我们考虑了最近提出的差分隐私的概念是基于条件互信息(MI-DP),这是强于传统的$(ε, δ)$ -差分隐私,并使用相对客观误差作为效用度量。我们发现,在添加噪声之前将数据投影到低维子空间通常会获得更好的权衡。我们还建立了隐私问题和(非相干)SIMO之间的联系,SIMO在无线通信中已被广泛研究,并使用工具进行分析。我们提出的数值结果表明该计划的性能。
2019-02-13 cs.CR cs.IT cs.LG
Fast Privacy-Preserving Punch Cards
长期以来,可以兑换优惠的打孔卡形式的忠诚度计划一直是消费者景观中无处不在的元素。然而,它们越来越受欢迎的数字等价物虽然提供了更多的便利和更好的簿记,但也带来了相当大的隐私风险。本文介绍了一种隐私保护穿孔卡协议,允许公司在不强迫客户提交公司监控的情况下,验证他们的忠诚度计划。我们还提出了一些扩展,使我们的计划提供其他隐私保护的客户忠诚度功能。最好的先前的工作相比,我们实现了一个$14\times$减少计算和$11\times$减少所需的通信执行“打孔”,一个$55\times$减少赎回打孔卡所需的通信,和一个$128\times$减少赎回卡所需的计算时间。我们的大部分性能改进可以归因于消除依赖配对或范围证明存在于以前的工作,这只解决了这个问题的背景下,更一般的忠诚度系统。通过定制我们的计划,打孔卡和相关的忠诚度系统,我们证明,我们可以减少通信和计算成本的数量级。
2021-02-19 cs.CR
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML(亚马逊云科技人工智能与机器学习部门);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出,实施,并评估一个新的算法,用于释放答案非常大量的统计查询,如$k$方式的边缘,受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛,该机制使用简单的扰动来回答对私有数据集的查询,然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛,这使得投影损失可微,并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询,而是通过迭代和自适应地找到我们的(放松的)合成数据具有高误差的查询,然后重复投影,来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估,发现我们的方法在许多情况下优于现有的算法,特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
RON-Gauss: Enhancing Utility in Non-Interactive Private Data Release
在非交互式环境中设计差分隐私面临的一个关键挑战是保持发布数据的实用性。为了克服这一挑战,我们利用了Diaconis-Freedman-Meckes(DFM)效应,该效应表明高维数据的大多数投影几乎是高斯的。因此,我们提出了RON-Gauss模型,该模型利用了通过随机正交(RON)投影和高斯生成模型进行降维的新组合来合成差分私有数据。我们分析了RON-Gauss如何从DFM效应中受益,并为一系列机器学习应用提供了多种算法,包括无监督学习和监督学习。此外,我们严格证明了(a)我们的算法满足强$ε$ -差分隐私保证,(b)RON投影可以降低差分隐私所需的扰动水平。最后,我们在三个大型真实世界数据集上说明了RON-高斯在三个常见的机器学习应用程序(聚类,分类和回归)下的有效性。我们的实证结果表明,(a)RON-Gauss优于以前的方法高达一个数量级,(b)与非私有真实数据相比,效用损失很小。因此,RON-Gauss可以作为隐私保护数据发布的实际部署的关键推动者。
2018-10-16 cs.CR
Data Obfuscation through Latent Space Projection (LSP) for Privacy-Preserving AI Governance: Case Studies in Medical Diagnosis and Finance Fraud Detection
本文提出潜在空间投影(LSP)技术,通过自编码器与对抗训练将敏感数据投影到低维潜在空间,在保持模型性能的同时实现强隐私保护,并在医疗诊断和金融欺诈检测中验证其优于传统隐私方法。
2024-10-22 cs.AI cs.CR cs.CY
Differential Privacy in Kernelized Contextual Bandits via Random Projections
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对随机上下文核赌博机问题,提出一种基于私有协方差估计与私有随机投影相结合的核岭回归估计器,在联合和局部差分隐私模型下均实现了最先进的累积遗憾界。
2025-07-18 cs.CR cs.LG stat.ML
On Lightweight Privacy-Preserving Collaborative Learning for Internet of Things by Independent Random Projections
Nanyang Technological University(南洋理工大学)
物联网(IoT)将成为实现更好系统智能的主要数据生成基础设施。本文考虑了一个实用的隐私保护的协作学习方案的设计和实现,其中一个好奇的学习协调器训练一个更好的机器学习模型的基础上,由一些物联网对象贡献的数据样本,而原始形式的训练数据的机密性是保护协调器。现有的分布式机器学习和数据加密方法会产生大量的计算和通信开销,使其不适合资源受限的IoT对象。我们研究了一种方法,该方法在每个物联网对象上应用独立的随机投影来混淆数据,并基于来自物联网对象的投影数据在协调器上训练深度神经网络。这种方法为物联网对象引入了少量的计算开销,并将大部分工作负载转移到具有足够计算资源的协调器。虽然物联网对象执行的独立投影解决了好奇的协调器和一些受损的物联网对象之间的潜在勾结,但它们显着增加了投影数据的复杂性。在本文中,我们利用深度学习在捕获复杂模式方面的卓越学习能力来保持良好的学习性能。广泛的比较评估表明,这种方法优于其他轻量级的方法,应用加性噪声差分隐私和/或支持向量机学习的应用程序中轻到中等的数据模式复杂性。
2020-12-11 cs.CR cs.DC cs.LG
AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents
Bahcesehir University(巴切希尔大学);University of Turkish Aeronautical Association(土耳其航空协会大学)
提出AgentSecBench框架,通过定义意图到执行的无干扰游戏,系统评估LLM智能体在指令完整性、检索机密性和能力完整性方面的安全风险,并实验验证防御措施的有效性。
2026-05-25 cs.CR
Communication Cost Reduction for Subgraph Counting under Local Differential Privacy via Hash Functions
The University of Tokyo(东京大学)
本文提出在边局部差分隐私下使用线性同余哈希降低子图计数的通信开销,在相同通信开销下使三角形计数的 $\ell_2$-误差最高降低 1000 倍。
2025-08-14 cs.AI cs.CR
The Bounded Gaussian Mechanism for Differential Privacy
高斯机制是一种通常用于保护数值数据的差分隐私机制。然而,它可能不适合某些应用程序,因为它具有无限的支持度,因此可能对查询产生无效的数值答案,例如负年龄或数十米的人类身高。可以将这样的私有值投影到有效的数据范围上,尽管这样的投影导致私有查询响应在这样的范围的边界处的积累,从而损害准确性。出于对有界域上的隐私性和准确性的需求,我们提出了一种有界高斯差分隐私机制,该机制仅在给定区域上具有支持。我们提出了这种机制的单变量和多变量版本,并说明了一个显着减少相对于可比的现有工作的方差。
2022-11-30 cs.CR
A New Dimensionality Reduction Method Based on Hensel's Compression for Privacy Protection in Federated Learning
University of Houston(休斯顿大学)
本文提出一种结合亨塞尔引理无损降维与差分隐私的两层联邦学习隐私保护方法,通过仅对压缩数据集应用一次DP来避免组合定理导致的隐私泄露,在仅用25%原始数据量时达到97%准确率。
2022-05-01 cs.AI cs.CR
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno(内华达大学里诺分校)
提出一种新的联邦学习方案,通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减,在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction
La Trobe University(拉筹伯大学);CSIRO’s Data61(联邦科学与工业研究组织数据61所);Cybersecurity CRC(网络安全合作研究中心);Nanjing University of Science and Technology(南京理工大学)
分离学习(SL)通过允许客户端与服务器协作训练深度学习模型而无需共享原始数据来实现数据隐私保护。然而,SL仍然存在诸如潜在的数据隐私泄露和客户端的高计算量等限制。在这项研究中,我们建议将SL局部层二进制化,以实现更快的计算(在移动设备上的训练和推理阶段,前向传播时间减少17.5倍)和减少内存使用(内存和带宽需求减少32倍)。更重要的是,二值化SL(B-SL)模型可以减少SL粉碎数据的隐私泄漏,而模型精度只有很小的下降。为了进一步增强隐私保护,我们还提出了两种新的方法:1)训练额外的本地泄漏损失和2)应用差分隐私,这可以单独或并发地集成到B-SL模型。不同数据集上的实验结果证实了B-SL模型相对于几种基准模型的优势。最后,通过实例说明了B-SL模型在抵抗特征空间劫持攻击(FSHA)方面的有效性。我们的研究结果表明,B-SL模型对于具有高隐私保护要求的轻量级物联网/移动应用(如移动医疗应用)是有希望的。
2022-06-10 cs.CR cs.LG
Crypto-Assisted Graph Degree Sequence Release under Local Differential Privacy
研究本地差分隐私下图度序列发布问题,提出结合加密与差分隐私的 CADR-LDP 框架,通过加密辅助选择最优阈值并优先投影低度节点以降低误差,在八个数据集上优于现有方法。
2025-07-14 cs.CR cs.DB
Brownian Noise Reduction: Maximizing Privacy Subject to Accuracy Constraints
Carnegie Mellon University(卡内基梅隆大学);LinkedIn(领英)
本研究提出布朗机制,将噪声缩减推广至高斯噪声,通过沿布朗路径回溯逐步降噪,在满足精度约束下最大化隐私,并辅以ReducedAboveThreshold提供自适应隐私保证。
2023-11-10 cs.CR cs.DS cs.LG
Privacy without Noisy Gradients: Slicing Mechanism for Generative Model Training
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对差分隐私生成模型依赖噪声梯度导致调参与收敛困难的问题,提出向私有数据随机低维投影加噪的切片机制,并基于平滑切片$f$-散度和核估计器实现非对抗训练,提升合成数据质量且优化调整不增加隐私成本。
2024-10-25 cs.CR cs.LG
Fast and Memory Efficient Differentially Private-SGD via JL Projections
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Twitter(推特)
Abadi等人(2016)的差分私有SGD(DP-SGD)及其变体是唯一已知的用于大规模神经网络私有训练的算法。该算法需要计算每个样本的梯度范数,这在实践中是非常缓慢和内存密集的。在本文中,我们提出了一个新的框架来设计差分私有优化称为DP-SGD-JL和DP-Adam-JL。我们的方法使用Johnson-Lindenstrauss(JL)投影来快速近似每个样本的梯度范数,而无需精确计算它们,从而使我们的优化器的训练时间和内存要求更接近其非DP版本。与以前的尝试,使DP-SGD更快的工作只在一个子集的网络架构或使用编译器技术,我们提出了一个算法的解决方案,适用于任何网络在黑盒的方式,这是本文的主要贡献。为了说明这一点,在IMDb数据集上,我们训练了一个递归神经网络(RNN),以实现良好的隐私与准确性权衡,同时比DP-SGD快得多,并且与非私有SGD具有类似的内存占用。我们算法的隐私分析比DP-SGD更复杂,我们使用Dong等人最近提出的f-DP框架。(2019)来证明隐私。
2021-02-05 cs.CR cs.LG
Adversarially Robust Bloom Filters: Privacy, Reductions, and Open Problems
City College of New York(纽约城市学院)
本研究探讨布隆过滤器在对抗环境下的鲁棒性与隐私,建立了Filic与NOY模型间的联系,证明PRF过滤器不满足BP测试,并提出首批差分隐私布隆过滤器构造。
2025-06-18 cs.CR cs.LG
FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);University of California Irvine(加州大学欧文分校);FedML Inc.(FedML公司)
针对同态加密联邦学习开销过高的问题,本文提出 FedML-HE,通过选择性加密敏感参数实现安全聚合,并在 ResNet-50 和 BERT 上分别取得约10倍和最高约40倍的开销降低。
2024-06-17 cs.CR cs.LG
ENSEI: Efficient Secure Inference via Frequency-Domain Homomorphic Convolution for Privacy-Preserving Visual Recognition
Kyoto University(京都大学);University of Notre Dame(圣母大学)
在这项工作中,我们提出了ENSEI,安全推理(SI)框架的基础上频域安全卷积(FDSC)协议的有效执行的隐私保护的视觉识别。我们的观察是,在同态加密和秘密共享的组合下,同态卷积可以在频域中不经意地进行,显著简化了相关的计算。我们提供了基于数论变换(NTT)的FDSC的协议设计和参数推导。在实验中,我们深入研究了时域和频域同态卷积之间的精度-效率权衡。使用ENSEI,与最知名的作品相比,我们实现了5- 11倍的在线时间减少,高达33倍的设置时间减少,以及高达10倍的整体推理时间减少。在二进制神经网络上可以进一步减少33%的带宽,而在CIFAR-10数据集上只有1%的精度下降。
2021-10-31 cs.CR cs.CV cs.LG
Training with Differential Privacy: A Gradient-Preserving Noise Reduction Approach with Provable Security
City University of Hong Kong(香港城市大学);Tsinghua University(清华大学);Beijing Normal University(北京师范大学)
本文提出差分隐私训练方法 GReDP,通过在频域计算梯度并降低噪声,仅需 DPSGD 一半噪声尺度即可保持梯度完整,并在多模型与训练设置上取得更优效果。
2025-03-11 cs.AI cs.CR
Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs
Federal University of Pampa(帕纳马联邦大学)
本文首次实证研究DP SGD与HMAC伪匿名化在微调1B-3B小语言模型时的交互作用,发现匹配更新控制可解释66%-132%的记忆化减少,HMAC减少40%-61%的暴露,但模型性能不足以实际应用。
2026-06-26 cs.AI cs.CR
Adaptive Privacy Composition for Accuracy-first Mechanisms
LinkedIn(领英);Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
针对精度优先降噪机制缺乏组合理论的问题,本文提出可在差分隐私与事后隐私机制间自适应切换的隐私过滤器,以跟踪累积隐私损失并保证总体差分隐私。
2023-12-05 cs.CR cs.DS cs.LG
Investigating Privacy Leakage in Dimensionality Reduction Methods via Reconstruction Attack
Chiang Mai University(恰iang Mai大学)
本文提出一种基于神经网络的降维重构攻击,在MNIST和NIH Chest X-ray数据集上评估六种降维方法,发现攻击对PCA和Isomap等确定性方法有效,对随机初始化方法无效,并验证了加性噪声可有效缓解攻击。
2025-06-02 cs.CR cs.LG
Distributed Sketching Methods for Privacy Preserving Regression
Stanford University(斯坦福大学)
在这项工作中,我们研究了大规模回归问题的分布式草图绘制方法。我们利用多个随机草图,减少问题的尺寸,以及保护隐私和提高离散弹性异步分布式系统。我们得到新的近似保证经典的草图绘制方法和分析的精度分布草图的参数平均。我们考虑的随机矩阵,包括高斯,随机Hadamard,均匀抽样和杠杆分数抽样分布设置。此外,我们提出了一个混合的方法相结合的采样和快速随机投影更好的计算效率。我们说明了分布式草图的性能在无服务器计算平台与大规模的实验。
2020-06-20 cs.CR cs.DC cs.LG
On the amplification of security and privacy risks by post-hoc explanations in machine learning models
University of California, Los Angeles(加州大学洛杉矶分校);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,已经提出了各种解释方法,以帮助用户深入了解神经网络返回的结果,这些结果是复杂和不透明的黑匣子。然而,解释会引起潜在的侧信道,对手可以利用这些侧信道对系统进行攻击。特别是,根据输入维度的重要性或与结果的相关性来突出输入维度的事后解释方法也会泄露削弱安全性和隐私性的信息。在这项工作中,我们执行的隐私和安全风险所产生的各种流行的解释技术的第一个系统的特征。首先,我们提出了一种新的推理引导的黑盒规避攻击,在相同的成功率下,可以减少10倍的查询计数。我们表明,从解释的对抗优势可以量化为估计梯度的总方差的减少。其次,我们重温常见解释泄露的会员信息。与先前研究中的观察结果相反,通过我们修改的攻击,即使在更严格的黑盒设置中,我们也显示出成员信息的显着泄漏(比先前的结果提高了100%以上)。最后,我们研究了引导的模型窃取攻击,并通过大量减少查询计数来展示对抗性收益。
2022-06-28 cs.CR cs.LG
Stability is Stable: Connections between Replicability, Privacy, and Adaptive Generalization
Boston University(波士顿大学);UCSD(加州大学圣地亚哥分校);Columbia University(哥伦比亚大学);University of Toronto(多伦多大学);IAS(高等研究院);University of Pennsylvania(宾夕法尼亚大学)
在Impagliazzo等人[STOC '22]中引入了可复制算法的概念,以描述在其输入恢复下稳定的随机算法。更准确地说,当随机性固定并且在新的i.i.d.上运行时,可复制算法以高概率给出相同的输出。从同一分布中抽取样本。使用可复制算法进行数据分析可以通过确保分析结果以高概率相同来促进对已发布结果的验证,即使该分析是在新数据集上执行的。在这项工作中,我们建立了新的连接和分离之间的可复制性和算法稳定性的标准概念。特别是,我们给样本效率的算法之间的完美的推广,近似差分隐私,和可复制性广泛的一类统计问题的减少。相反,我们证明了任何这样的等价性都必须在计算上被打破:存在着在差分隐私下很容易解决的统计问题,但是如果不破坏公钥密码学,就不能复制地解决这些问题。此外,这些结果是紧密的:我们的减少是统计上最优的,我们表明,DP和可复制性之间的任何计算分离必须意味着单向函数的存在。我们的统计减少提供了一个新的算法框架之间的翻译稳定的概念,我们实例化回答几个开放的问题,在可复制性和隐私。这包括为各种PAC学习,分布估计和分布测试问题,算法放大$δ$近似DP,从项目级到用户级隐私的转换,以及结构化分布下存在的私有不可知到可实现的学习减少提供样本有效的可复制算法。
2023-03-25 cs.CR cs.DS cs.LG
The Cost of a Reductions Approach to Private Fair Optimization
Harvard University(哈佛大学);School of Engineering and Applied Sciences(工程与应用科学学院)
通过信息理论约简的镜头,我们研究了一种用于公平优化和学习的约简方法,其中使用黑盒优化器来学习用于分类或回归的公平模型。我们的最终目标是从统计和计算两方面量化这种模型满足差分隐私严格定义的复杂性。我们解决了一些开放的问题,并显示适用于公平的机器学习,假设检验,并优化分类损失的非标准措施。此外,我们的样本的复杂性界限是紧之间的所有战略,共同最大限度地减少组合的功能。公平优化的约简方法可以抽象为约束组目标优化问题,其中我们的目标是优化一个目标,该目标是各个组的损失的函数,受到一些约束。我们给出了第一个多项式时间算法来解决这个问题时,定义在凸决策集(例如,$\ell_P$单位球)与凸约束和损失的$(ε, 0)$或$(ε, δ)$差分隐私保证。伴随信息理论的问题的下限。此外,以前的方法相比,用于确保差分隐私受到放松形式的均衡赔率公平约束,$(ε, δ)$差分隐私算法,我们目前提供了渐近更好的样本复杂度的保证,导致在某些参数制度的指数改善。我们引入了一类有界发散线性优化器,它可以是独立的兴趣,并专门用于纯和近似差分隐私。
2021-05-23 cs.CR cs.LG stat.ML
DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction
本文提出DOPPLER组件,通过引入低通滤波的频域操作来放大梯度并抑制差分隐私噪声,在保持隐私保证的同时提升模型质量,有效缩小了DP与非DP训练之间的性能差距。
2024-08-24 cs.CR cs.LG stat.ML
SALT: Steering Activations towards Leakage-free Thinking in Chain of Thought
Independent(独立研究者);RAND;University of Maryland(马里兰大学);META;Algoverse
SALT通过在链式思维中注入引导向量减少隐私泄露,提升模型隐私保护能力
2025-11-21 cs.AI cs.CL cs.CR
Reconstruction of Privacy-Sensitive Data from Protected Templates
University of Geneva(日内瓦大学)
在本文中,我们解决的问题,从隐私保护模板的数据重建,基于最近的概念稀疏三进制编码与歧义(STCA)。STCA是随机化技术的推广,其包括随机投影、有损量化和添加模糊噪声以满足隐私效用权衡要求。STCA的理论隐私保护特性已经在合成数据上得到了验证。然而,STCA对真实数据的适用性以及与基于最近深度重建算法的重建相关的潜在威胁仍然是悬而未决的问题。我们的研究结果表明,STCA仍然达到声称的理论性能时,面对深度重建攻击的合成i.i.d.数据,而对于真实图像,需要采取特殊措施来保证模板的适当保护。
2019-05-08 cs.CR cs.IR cs.LG