RON-Gauss: Enhancing Utility in Non-Interactive Private Data Release
在非交互式环境中设计差分隐私面临的一个关键挑战是保持发布数据的实用性。为了克服这一挑战，我们利用了Diaconis-Freedman-Meckes（DFM）效应，该效应表明高维数据的大多数投影几乎是高斯的。因此，我们提出了RON-Gauss模型，该模型利用了通过随机正交（RON）投影和高斯生成模型进行降维的新组合来合成差分私有数据。我们分析了RON-Gauss如何从DFM效应中受益，并为一系列机器学习应用提供了多种算法，包括无监督学习和监督学习。此外，我们严格证明了（a）我们的算法满足强$ε$ -差分隐私保证，（b）RON投影可以降低差分隐私所需的扰动水平。最后，我们在三个大型真实世界数据集上说明了RON-高斯在三个常见的机器学习应用程序（聚类，分类和回归）下的有效性。我们的实证结果表明，（a）RON-Gauss优于以前的方法高达一个数量级，（b）与非私有真实数据相比，效用损失很小。因此，RON-Gauss可以作为隐私保护数据发布的实际部署的关键推动者。
2018-10-16 cs.CR
TraVaS: Differentially Private Trace Variant Selection for Process Mining
在工业过程挖掘领域，隐私保护事件数据发布变得越来越重要。因此，高数据效用和可量化隐私之间的权衡提出了新的挑战。当前的研究主要集中在基于前缀扩展的差分私有迹变体构造方法上。然而，这些算法面临着几个实际的限制，如高计算复杂性，引入假变量，删除频繁的变量，和有限的变量长度。在本文中，我们介绍了一种直接差异化私有跟踪变体发布的新方法，该方法使用匿名\textit{partition selection}策略来克服上述限制。在真实事件数据上的实验结果表明，该算法在纯数据效用和结果效用保持方面都优于最先进的方法。
2022-10-20 cs.CR
Privacy, Security, and Utility Analysis of Differentially Private CPES Data
差分隐私（DP）已被广泛用于保护机密网络物理能量系统（CPES）数据的隐私。然而，在不分析效用、隐私和安全要求的情况下应用DP可能影响数据效用以及帮助攻击者进行完整性攻击（例如，虚假数据注入（FDI））利用差异私有数据。现有的基于异常检测的数据完整性攻击防御策略在基于DP的智能电网中未能最大限度地减少攻击的影响，同时最大限度地提高数据的隐私性和实用性。为了应对这一挑战，在设计过程中应用防御性方法是非常重要的。在本文中，我们制定和开发的防御策略的设计过程中的一部分，调查数据的隐私，安全性和实用程序在DP为基础的智能电网网络。我们提出了一个DP参数之间的可证明关系，使防御者能够设计一个容错系统，抵御FDI攻击。为了实验评估和证明我们提出的设计方法的有效性，我们模拟了基于DP的网格中的FDI攻击。评估表明，攻击的影响可以最小化，如果设计者校准隐私级别根据建议的DP参数的相关性来设计网格网络。此外，我们分析了智能电网网络的DP机制和QoS在对抗环境中的可行性。我们的分析表明，DP机制是可行的，在智能电网领域现有的隐私保护机制。此外，不同的私有网格应用程序的QoS是令人满意的对抗存在。
2021-09-21 cs.CR
Differentially Private Spatiotemporal Trajectory Synthesis with Retained Data Utility
提出DP-STTS差分隐私时空轨迹合成器，通过起始时空立方体分布与1阶Markov过程模型，在差分隐私下平衡隐私保护与数据效用，实验证明其具有良好数据效用。
2024-08-23 cs.CR
PCKV: Locally Differentially Private Correlated Key-Value Data Collection with Optimized Utility
局部差分隐私（LDP）下的数据汇集主要针对同质数据进行研究。现实世界的应用程序通常涉及不同数据类型的混合，例如键-值对，其中必须同时估计键的频率和每个键下的值的平均值。对于使用LDP的键-值数据汇集，由于数据包含两个维度并且用户可能拥有多个键-值对，因此实现良好的效用-隐私权衡是具有挑战性的。键和值之间还有一种内在的相关性，如果不加以利用，将导致效用低下。在本文中，我们提出了一个局部差分私钥-值数据汇集框架，利用相关扰动，以提高效用。我们通过两个协议PCKV-UE（基于一元编码）和PCKV-GRR（基于广义随机响应）来实例化我们的框架，其中我们设计了一个先进的填充和采样机制和改进的非交互式均值估计器。由于我们的相关的键和值的扰动机制，组成的隐私预算被证明是小于独立的键和值的扰动，这使我们能够进一步优化扰动参数通过预算分配。在合成数据集和真实数据集上的实验结果表明，我们提出的协议在相同的LDP保证下比最先进的机制实现了更好的频率和均值估计效用。
2019-11-28 cs.CR
Improved Utility Analysis of Private CountSketch
草绘是处理稀疏（或由稀疏向量很好地近似）的高维向量的重要工具，在分布式、并行和流设置中特别有用。众所周知，草图可以通过根据草图的敏感性添加噪声来进行差异化隐私，并且这已经用于隐私分析和联邦学习设置中。差分隐私的后处理属性意味着从草图计算的所有估计可以在给定的隐私预算内发布。在本文中，我们考虑了经典的CountSketch，差分私有的高斯机制，并给出了一个改进的分析，其估计误差。也许令人惊讶的是，隐私-效用权衡基本上是人们所希望的最好结果，与CountSketch中的重复次数无关：错误几乎与非私有CountSketch的错误相同，加上在原始高维域中使向量私有所需的噪声。
2022-10-12 cs.CR cs.DS
PrivSketch: A Private Sketch-based Frequency Estimation Protocol for Data Streams
针对本地差分隐私下数据流收集效用低的问题，提出基于草图的PrivSketch协议，通过背景信息与解码优先流程提升效用，在频率估计上优于现有方法1-3个数量级且速度更快。
2023-06-21 cs.CR
Utility Preserving Secure Private Data Release
差分隐私机制也使数据的重建变得不可能，这是有代价的-效用降低。在本文中，我们通过设计一个私有数据发布机制来解决这个问题，该机制使原始数据的重建变得不可能，并且还保留了广泛的机器学习算法的实用性。我们这样做，结合约翰逊-林登施特劳斯（JL）变换与噪声产生的拉普拉斯分布。虽然JL变换本身可以提供隐私保证\cite{blocki2012johnson}，使重建不可能，我们不依赖于它的差分隐私属性，只利用它的能力，使重建不可能。我们提出了新的证据表明，我们的机制是不同的隐私下的单个元素的变化，以及单行的变化，任何数据库。为了显示实用性，我们证明了我们的机制在期望中保持点之间的成对距离，并且还表明其方差与我们将数据投影到的子空间的维度成比例。最后，我们通过实验展示了我们的机制部署在集群任务上的实用性。
2019-03-15 cs.CR cs.DS
Not one but many Tradeoffs: Privacy Vs. Utility in Differentially Private Machine Learning
数据持有者越来越多地寻求保护用户的隐私，同时仍然最大限度地提高他们生产具有高质量预测的机器模型的能力。在这项工作中，我们根据经验评估了差分隐私（DP）的各种实现，并衡量它们抵御现实世界隐私攻击的能力，以及衡量它们提供准确分类的核心目标。我们建立了一个评估框架，以确保这些实现中的每一个都得到公平的评估。我们选择的DP实现在框架内的不同位置添加DP噪声，无论是在数据汇集/发布时，在模型训练时的更新期间，还是在通过扰动学习的模型参数进行训练之后。我们在一系列隐私预算和数据集上评估每个实现，每个实现都提供相同的数学隐私保证。通过测量模型对真实世界的成员和属性推断攻击的抵抗力，以及它们的分类准确性。我们确定哪些实现提供了隐私和实用性之间最理想的折衷。我们发现，给定数据集的类的数量不太可能影响隐私和效用权衡的发生。此外，在需要高隐私约束的场景中，与ML过程中稍后添加的噪声相比，扰动输入训练数据不会牺牲同样多的效用。
2020-09-15 cs.CR
Revisiting Locally Differentially Private Protocols: Towards Better Trade-offs in Privacy, Utility, and Attack Resistance
Inria（法国国家信息与自动化研究所）；ÉTS Montréal（蒙特利尔高等技术学院）；Université du Québec à Montréal (UQAM)（魁北克大学蒙特利尔分校）
本文提出多目标优化框架，优化隐私和效用在对抗性设置中的平衡，通过分析八种先进协议并提出改进方案，实验表明所提机制在降低攻击成功率的同时保持效用，接近ASR-MSE帕累托前沿。
2026-03-18 cs.CR
Aim High, Stay Private: Differentially Private Synthetic Data Enables Public Release of Behavioral Health Information with High Utility
University of Vermont（佛蒙特大学）
本文利用差分隐私技术生成合成数据，在保障隐私的同时，使行为健康信息的公开发布保持高实用性，通过评估不同隐私预算下的数据集，确定隐私与实用性的平衡点。
2025-06-30 cs.CR cs.CY
An Optimized Privacy-Utility Trade-off Framework for Differentially Private Data Sharing in Blockchain-based Internet of Things
差分私有（DP）查询和响应机制已经在基于物联网（IoT）的各种应用中被广泛采用，以通过数据分析来利用各种益处。敏感信息的保护是通过向查询响应中添加噪声来实现的，该噪声隐藏了数据集中的各个记录。然而，噪声添加对准确性产生负面影响，从而引起隐私-效用权衡。此外，DP预算或成本$ε$通常是固定的，并且由于限制查询数量的顺序组合而累积。因此，在本文中，我们提出了一个称为优化的隐私效用权衡框架的数据共享在物联网（OPU-TF-IoT）。首先，OPU-TF-IoT使用自适应方法通过考虑人口或数据集大小的新度量以及查询来利用DP预算$ε$。其次，我们提出的启发式搜索算法，减少DP预算，同时满足数据所有者和数据用户。第三，为了使DP预算的使用对数据所有者透明，还提出了基于区块链的验证机制。最后，使用真实世界的数据集进行评估，并与传统的DP模型和其他相关的国家的最先进的作品相比，所提出的框架。结果证实，我们提出的框架不仅利用DP预算$ε$有效，但它也优化了查询的数量。此外，数据所有者可以有效地确保他们的数据通过我们基于区块链的验证机制被共享，该机制鼓励他们将数据共享到物联网系统中。
2022-12-08 cs.CR
Improving the Utility of Differentially Private Clustering through Dynamical Processing
Chung-Ang University（中央大学）；Seoul National University（首尔大学）
针对差分隐私聚类在非凸簇上效用不佳的问题，提出受 Morse 理论启发的动态处理框架，分层连接 Gaussian 子簇，在几乎不增加隐私损失的前提下显著提升了相同隐私水平下的聚类性能。
2024-08-22 cs.CR cs.LG
Certified private data release for sparse Lipschitz functions
针对机器学习训练数据隐私保护及预定义查询未知等场景，提出面向稀疏Lipschitz查询的快速效用损失收敛隐私算法，并实现大类算法的效用损失认证。
2023-08-28 cs.CR
Connecting Pixels to Privacy and Utility: Automatic Redaction of Private Information in Images
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
图像传达了广泛的个人信息。如果这些图像在社交媒体平台上共享，则这些个人信息会泄露，这与所描绘的人的隐私相冲突。因此，我们的目标是采用自动化方法来编辑此类私人信息，从而保护个人的隐私。通过进行用户研究，我们发现，模糊的图像区域相关的私人信息导致隐私，同时保留实用的图像。此外，通过改变区域的大小，可以实现不同的隐私-效用权衡。我们的研究结果主张“节录分割”的范例。因此，我们提出了第一个相当大的私人图像数据集“在野外”，在广泛的隐私类中使用像素和实例级别标签进行注释。我们提出了第一个自动编辑各种私人信息的模型。
2017-12-04 cs.CR cs.CV cs.CY
Optimized Tradeoffs for Private Prediction with Majority Ensembling
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
针对私有预测中多数集成的隐私-效用权衡问题，提出数据依赖随机响应多数（DaRRM）算法，通过数据依赖噪声函数γ优化效用，证明其在固定效用下隐私增益达基线2倍，且实证中展现显著效用提升。
2024-11-27 cs.CR cs.LG
Nebula: Efficient, Private and Accurate Histogram Estimation
Brave Software（Brave软件公司）；Inria, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃大学）；Imperial College London（伦敦帝国理工学院）
Nebula通过高效、隐私保护和准确的直方图估计技术，在保证差分隐私的前提下实现高实用性。
2025-07-03 cs.CR
Dynamic Private Task Assignment under Differential Privacy
数据汇集对于空间众包服务，如资源分配、政策制定和科学探索是不可或缺的。然而，隐私问题使得用户在获得足够的补偿之前分享他们的信息具有挑战性。差分隐私（Differential Privacy，DP）是一种在保护个人隐私的同时发布有用信息的机制。然而，大多数DP机制只考虑对每个用户的隐私损失的固定补偿。在本文中，我们设计了一个任务分配方案，允许工人动态地提高他们的效用与动态距离隐私泄漏。具体来说，我们提出了两种解决方案，以提高任务分配结果的总效用，即私人效用消除（PUCE）的方法和私人博弈论（PGT）的方法，分别。我们证明，PUCE实现更高的效用比国家的最先进的作品。我们证明了我们的PUCE和PGT方法的效率和有效性的真实和合成数据集相比，最近的基于距离的方法，私人距离消除（PDCE）。PUCE总是略优于PDCE。PGT比PDCE快50%到63%，并且当工人范围足够大时，平均可以提高16%的效用。
2023-02-19 cs.CR cs.DB
Segmented Private Data Aggregation in the Multi-message Shuffle Model
本文首次在多消息混洗差分隐私模型中研究分段私有数据聚合，通过为用户提供灵活隐私保护并匿名化隐私级别选择，优化毯式消息配置和隐私放大分析，使估计误差降低约50%。
2024-12-29 cs.CR
DPlis: Boosting Utility of Differentially Private Deep Learning via Randomized Smoothing
Tsinghua University（清华大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Huazhong University of Science and Technology（华中科技大学）；Virginia Tech（弗吉尼亚理工大学）
深度学习技术在广泛的任务中取得了卓越的性能。然而，当在隐私敏感数据集上训练时，模型参数可能暴露训练数据中的隐私信息。之前的差异化私有训练尝试，虽然提供了严格的隐私保证，但导致模型性能比非私有训练低得多。此外，同一训练算法的不同运行产生的模型具有很大的性能差异。为了解决这些问题，我们提出了DPlis--Differentially Private Learning wIth Smoothing。DPlis的核心思想是构造一个平滑的损失函数，该函数有利于位于损失景观的大平坦区域中的抗噪声模型。我们提供了理论依据的实用程序的改进DPlis。大量的实验也表明，DPlis可以有效地提高模型质量和训练稳定性在给定的隐私预算。
2021-06-20 cs.CR cs.LG stat.ML
Utility-Optimized Synthesis of Differentially Private Location Traces
Koç University（科奇大学）；Georgia Institute of Technology（佐治亚理工学院）
差分隐私位置轨迹合成（DPLTS）最近出现作为一种解决方案，以保护移动用户的隐私，同时使他们的位置轨迹的分析和共享。DPLTS中的一个关键挑战是最好地保留位置跟踪数据集中的效用，考虑到数据集的高维性、复杂性和异质性以及效用的不同类型和概念，这是不平凡的。在本文中，我们提出了OptaTrace：一个实用程序优化和有针对性的方法DPLTS。给定真实跟踪数据集D、控制隐私保护强度的差分隐私参数E1和感兴趣的效用/误差度量Err; OptaTrace使用贝叶斯优化来优化DPLTS，使得输出误差（根据给定度量Err测量）最小化，同时满足E1-差分隐私。此外，OptaTrace还引入了一个实用程序模块，其中包含用于实用程序基准测试和选择Err的几个内置错误度量，以及用于可访问和交互式DPLTS服务的前端Web界面。实验表明，OptaTrace的优化输出可以产生实质性的效用改善和错误减少相比，以前的工作。
2020-09-14 cs.CR cs.DB cs.LG
Libra: High-Utility Anonymization of Event Logs for Process Mining via Subsampling
流程挖掘技术使分析人员能够根据事件日志识别和评估流程改进机会。流程挖掘的一个常见障碍是，事件日志可能包含未经同意无法用于分析的私人信息。克服这一障碍的一种方法是对事件日志进行匿名化，这样就不会根据匿名化的日志挑出原始日志中表示的任何个人。差分隐私是一种提供这种保证的匿名化方法。差异隐私事件日志匿名化技术寻求产生与原始日志尽可能相似的匿名化日志（高效用），同时提供所需的隐私保证。现有的事件日志匿名化技术通过将噪声注入到日志中的轨迹中来操作（例如，复制、干扰或滤除某些迹线）。最近的工作差分隐私表明，一个更好的隐私效用权衡可以通过应用噪声注入之前的子采样。换句话说，二次采样放大了隐私。本文提出了一种名为Libra的事件日志匿名化方法，利用了这一观察结果。Libra从日志中提取多个跟踪样本，独立地注入噪声，保留每个样本的统计相关跟踪，并组合样本以产生差异化的私有日志。实证评估表明，所提出的方法导致相当高的实用性，相当于隐私保障相对于现有的基线。
2022-06-27 cs.CR
Fairly Private Through Group Tagging and Relation Impact
隐私和公平在今天都很重要。对于在线服务提供系统中的大多数情况，用户必须与组织共享他们的个人信息。作为回报，客户不仅要求对他们的敏感数据提供高度的隐私保证，而且还希望得到公平对待，无论他们的年龄，性别，宗教，种族，肤色或其他敏感的受保护属性如何。我们的工作介绍了一种新的架构，是平衡的隐私-效用-公平的权衡。该机制采用组标记方法和公平迭代洗牌（FIS），通过随机洗牌放大隐私，防止链接攻击。该算法引入了一个基于均衡最小FPR-FNR的关系影响的公平分类问题。对于计数报告的生成，聚合器使用TF-IDF来添加噪声以提供纵向差分隐私保证。最后，通过风险最小化函数提高系统的效用，得到系统的最优隐私效用预算。在我们的工作中，我们已经做了一个案例研究性别平等的准入制度，并有助于获得一个令人满意的结果，这意味着该架构实现了群体的公平性和最佳的隐私效用权衡的数值和决策的时间。
2021-05-15 cs.CR
Differentially Private Streaming Data Release under Temporal Correlations via Post-processing
本文提出一种后处理框架，通过将差分隐私数据发布建模为最大后验估计并转化为非线性约束规划，显著提升了时间相关性下差分隐私流数据的效用和准确性。
2023-06-26 cs.CR cs.DB
Low Influence, Utility, and Independence in Differential Privacy: A Curious Case of $3 \choose 2$
我们研究了随机化低影响函数和差分私有机制之间的关系。我们的主要目的是正式确定是否差异私人机制是低影响力，以及是否低影响力的随机功能可以差异私人。我们表明，差分隐私并不一定意味着低影响力在正式意义上。然而，低影响意味着近似的差分隐私。这些结果适用于独立和非独立的随机机制，其中前者的一个重要实例是广泛使用的加性噪声技术在差分隐私文献。我们的研究还揭示了有趣的动态之间的效用，低影响力和独立性的差异私人机制。正如本文的名称所示，我们表明，任何两个这样的功能是同时可能的。然而，为了有一个差异私人机制，既有效用和低的影响力，即使在一个非常温和的效用条件下，一个必须采用非独立的机制。
2021-02-07 cs.CR cs.IT math.IT
A self-attention-based differentially private tabular GAN with high data utility
Fudan University（复旦大学）
针对GAN生成表格数据效果不佳及差分隐私导致效用下降的问题，提出基于自注意力的DP-SACTGAN框架，实验证明其能准确建模数据分布并满足差分隐私要求。
2023-12-20 cs.CR cs.DB cs.LG
Towards Practical Differential Privacy in Data Analysis: Understanding the Effect of Epsilon on Utility in Private ERM
Institute of Information Engineering（信息工程研究所）；Chinese Academy of Sciences（中国科学院）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Renmin University of China（中国人民大学）
在本文中，我们关注的是私人经验风险最小化（ERM），这是最常用的数据分析方法之一。我们采取的第一步，解决上述问题的理论探讨的效用的学习模型上的效果的差分隐私的参数，决定隐私保证的强度）。我们跟踪效用的变化与修改的利润，并揭示了一个既定的关系利润和效用。然后，我们形式化这种关系，并提出了一个实用的方法来估计下的任意值的效用。理论分析和实验结果表明，该方法具有较高的估计精度和广泛的适用性。随着提供具有强大实用性保证的算法，在可能的情况下也提供隐私变得越来越被接受，我们的方法将具有很高的实用价值，并且可能被希望保护隐私但不愿意在实用性上妥协的公司和组织所采用。
2022-06-06 cs.AI cs.CR cs.LG
Managing your Private and Public Data: Bringing down Inference Attacks against your Privacy
我们提出了一个实用的方法来保护用户的私人数据，当他希望公开发布的数据是与他的私人数据，希望得到一些实用程序。我们的方法依赖于一个通用的统计推断框架，捕获推理攻击下的隐私威胁，给定的效用约束。在这个框架下，根据隐私保护概率映射，数据在发布之前会被扭曲。该映射通过求解凸优化问题来获得，该凸优化问题在失真约束下最小化信息泄漏。我们解决实际遇到的挑战时，将这一理论框架应用于现实世界的数据。一方面，最优隐私保护机制的设计需要知道连接私有数据和要发布的数据的先验分布，这在实践中通常是不可用的。另一方面，当数据采用大尺寸字母表中的值或高维时，优化可能变得难以处理并且面临可扩展性问题。我们的工作有三大贡献。首先，我们提供了一个不匹配的先验的隐私效用权衡的影响的界限。其次，我们展示了如何通过引入量化步长来减少优化的大小，以及如何在量化下生成隐私映射。第三，我们在三个数据集上评估了我们的方法，包括我们收集的一个新数据集，显示了政治信念和电视观看习惯之间的相关性。我们证明，可以实现良好的隐私属性与有限的失真，以便不破坏公开发布的数据，例如建议的原始目的。
2014-08-16 cs.CR
Post-processing Private Synthetic Data for Improving Utility on Selected Measures
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对私有合成数据生成算法忽略下游任务需求的问题，提出一种基于随机一阶算法寻找最优重采样权重的后处理技术，在保留强隐私保证与数据集质量的同时，有效提升了合成数据在用户选定度量上的效用。
2023-10-19 cs.CR cs.DB cs.IT
Benchmarking Differentially Private Synthetic Data Generation Algorithms
这项工作提出了一个系统的基准差分私人合成数据生成算法，可以生成表格数据。通过测量合成数据是否保持个体和成对属性的分布、成对相关性以及ML分类模型的准确性来评估合成数据的效用。在一个全面的实证评估中，我们确定了表现最好的算法和那些始终未能击败基线方法的算法。
2022-02-15 cs.CR
DPNCT: A Differential Private Noise Cancellation Scheme for Load Monitoring and Billing for Smart Meters
通过智能电表向电网报告消费者日常能源使用的高度准确的概况，使智能电网能够有效地调节电力需求和供应。然而，消费者的能源消耗模式可以揭示关于他们的生活方式的个人和敏感信息。因此，为了确保用户隐私，差分分布的噪声被添加到原始数据中。这种技术在提供计费、需求响应方案和负载监控等服务方面，需要在消费者隐私与数据实用性之间进行权衡。在本文中，我们提出了一种技术-差分隐私与噪声消除技术（DPNCT）-最大限度地利用聚合负载监测和公平计费，同时保护用户的隐私，通过使用差分隐私数据的噪声消除机制。我们在敏感数据流离开智能电表之前将噪声引入其中，以保证个人隐私。此外，我们评估了不同的周期性噪声消除方案对隐私和效用的影响，即，计费和负载监控。我们提出的计划在保护隐私同时准确计算账单方面优于现有计划。
2021-03-31 cs.CR
Improving the utility of locally differentially private protocols for longitudinal and multidimensional frequency estimates
本文研究了在整个时间内收集多维数据的问题（即，纵向研究）的基本任务的频率估计下的本地差分隐私（LDP）的保证。相反，频率估计的一个单一的属性，多维方面需要特别注意的隐私预算。此外，当纵向收集用户统计数据时，隐私会逐渐降低。实际上，组合的“多个”设置（即，许多属性和贯穿时间的若干集合）提出了若干挑战，针对这些挑战，本文提出了LDP下频率估计的第一个解决方案。为了解决这些问题，我们扩展了三个国家的最先进的LDP协议（广义随机响应- GRR，优化一元编码- OUE，对称一元编码- SUE）的纵向和多维数据汇集的分析。虽然已知文献使用OUE和SUE进行两轮消毒（a.k.a.记忆化），即，我们分别通过分析和实验表明，从OUE开始，然后使用SUE可以提供更高的数据效用（即，L-OSUE）。此外，对于具有小域大小的属性，我们提出了纵向GRR（L-GRR），它提供了更高的效用比其他协议的基础上一元编码。最后，我们还提出了一种新的解决方案，名为自适应LDP for Longquality and Multidimensional FREquency Estimates（ALLOMFREE），它随机采样单个属性以发送整个隐私预算，并自适应地选择最佳协议，即，L-GRR或L-OSUE。如结果所示，ALLOMFREE在频率估计的质量方面始终显著优于最先进的L-SUE和L-OUE协议。
2022-07-16 cs.CR
DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders
现代机器学习系统在大型数据集上训练时取得了巨大的成功。然而，这些数据集通常包含敏感信息（例如医疗记录、人脸图像），导致严重的隐私问题。差分私有生成模型（DPGM）通过生成私有化的敏感数据来规避这种隐私问题。与其他差分隐私（DP）学习器类似，DPGM的主要挑战也是如何在效用和隐私之间实现微妙的平衡。我们提出了DP $^2$ -VAE，一种新的训练机制变分自编码器（VAE）与可证明的DP保证和改进的效用通过\emph{pre-training on private data}。在相同的DP约束条件下，DP $^2$ -VAE最小化了训练过程中的扰动噪声，从而提高了实用性。DP $^2$ -VAE非常灵活，易于适用于许多其他VAE变体。理论上，我们研究了预训练对私有数据的影响。从经验上讲，我们对图像数据集进行了广泛的实验，以说明我们在各种隐私预算和评估指标下优于基线。
2022-11-02 cs.CR cs.LG
Optimizing Privacy and Utility Tradeoffs for Group Interests Through Harmonization
Kansas State University（堪萨斯州立大学）；Louisiana State University（路易斯安那州立大学）
针对两类属性不同的用户群体的隐私-效用权衡问题，提出基于可信第三方的协作数据共享机制，结合对抗隐私技术实现数据脱敏，无需辅助数据与人工标注，兼容多种现有技术，实验验证了其平衡隐私与效用的有效性。
2024-04-07 cs.CR cs.LG
Overcoming the Randomness-Utility Trade-off in Answering Differentially Private Linear Queries
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
该研究针对差分隐私线性查询，提出了随机高效的‖·‖_K范数机制，其在ℓ_∞误差下优于现有算法且在ε≤1/d时最优，还给出了计算高效的版本。
2026-09-03 cs.CC cs.CR
Visualizing Privacy-Utility Trade-Offs in Differentially Private Data Releases
各组织经常收集私人数据，并为公众的利益发布汇总统计数据。如果不采取保护隐私的措施，攻击者可能会使用发布的统计数据来推断有关私人数据集中描述的个人的未经授权的信息。不同的隐私算法通过用噪声稍微扰动底层统计数据来解决这一挑战，从而在数学上限制了可以从每个数据发布中推断出的信息量。正确校准这些算法--以及数据集中描述的人的披露风险--需要数据管理者为隐私预算参数$ε$选择一个值。然而，很少有正式的指导选择$ε$，一个任务，需要推理的概率隐私效用权衡。此外，在统计推断的上下文中选择$ε$需要在存在测量误差和差分隐私（DP）噪声两者的情况下推理关于准确性权衡。我们提出了可视化隐私（VIP），一个交互式界面，可视化之间的关系$ε$，准确性和披露风险，以支持设置和分裂$ε$查询。当用户调整$ε$时，ViP动态更新描述预期准确性和风险的可视化。ViP还具有推理设置，允许用户推理DP噪声对统计推理的影响。最后，我们提出了一项研究的结果，其中16个研究从业者很少或没有DP背景完成了一组相关的任务设置$ε$使用VIP和控制。我们发现，VIP可以帮助参与者更正确地回答与判断DP噪声释放可能下降的概率以及DP噪声和非私人置信区间之间的比较相关的问题。
2022-01-16 cs.CR cs.HC
Private Hyperparameter Tuning with Ex-Post Guarantee
本文将事后差分隐私机制从拉普拉斯/高斯噪声推广到任意私有估计器序列，并证明超参数调优无需额外隐私代价，同时扩展至事后Renyi DP。
2025-08-21 cs.CR cs.DS
End-to-End Differentially-Private Parameter Tuning in Spatial Histograms
差分隐私直方图已经成为位置隐私的关键工具。虽然过去的机制包括理论和实验分析，但最近观察到，现有文献中的大部分都没有完全提供差分隐私。缺少的组件，私有参数调优，是严格评估这些机制所必需的。相反，它经常调整训练数据来优化参数，而不考虑隐私;在其他情况下，选择是任意执行的，与数据无关，降低了效用。我们解决这个开放的问题，得出一个原则性的调整机制，私下优化数据相关的误差范围。理论结果建立了隐私和实用性，而广泛的实验表明，我们实际上可以实现真正的端到端隐私。
2017-02-18 cs.CR cs.DB
On the Utility Gain of Iterative Bayesian Update for Locally Differentially Private Mechanisms
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））
本文评估 IBU 作为 LDP 离散分布估计后处理方法的效用，通过十四种机制、多指标与真实/合成数据实验证明其尤其在小 ε 下优于 MI，并开源实现与教程。
2023-07-15 cs.CR cs.LG
On Mitigating the Utility-Loss in Differentially Private Learning: A new Perspective by a Geometrically Inspired Kernel Approach
University of Rostock（罗斯托克大学）；Software Competence Center Hagenberg GmbH（哈根堡软件能力中心有限公司）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对差分隐私分类中的隐私—效用权衡，本文提出在 RKHS 中学习数据仿射包表示的几何启发核距离方法，以抵御成员推理攻击并降低准确率损失，且在多个数据集和联邦学习场景中验证有效。
2024-02-07 cs.AI cs.CR cs.LG
Self-Supervised Pretraining for Differentially Private Learning
Indiana University（印第安纳大学）
我们证明了自监督预训练（SSP）是一种具有差分隐私（DP）的深度学习的可扩展解决方案，无论图像分类中可用公共数据集的大小如何。当面对缺乏公共数据集时，我们展示了SSP在一张图像上生成的特征，使私有分类器在相同的隐私预算下获得比非学习手工特征更好的效用。当一个中等或大规模的公共数据集可用时，SSP产生的特征大大优于在相同的私有预算下在各种复杂的私有数据集上使用标签训练的特征。我们还比较了多个支持DP的训练框架，以在SSP生成的特征上训练私有分类器。最后，我们报告了一个非平凡的实用程序25.3\%的私人ImageNet-1 K数据集时，$ε=3$。我们的源代码可以在\url{https://github.com/UnchartedRLab/SSP}上找到。
2022-08-05 cs.CR cs.CV
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近，贝叶斯优化（BO）被联邦汤普森采样（FTS）算法扩展到联邦学习（FL）设置，它有很好的应用，如联邦超参数调整。然而，FTS没有配备一个严格的隐私保证，这是一个重要的考虑因素，在FL。最近的作品已纳入差分隐私（DP）到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架，我们在这里的工作将DP集成到FTS中，以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力，以及BO的本地建模技术，通过分布式探索（DE）进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE（DP-FTS-DE）算法被赋予的隐私和效用的理论保证，并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明，DP-FTS-DE实现高效用（竞争性能），具有很强的隐私保证（小的隐私损失），并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
Assessment of Differentially Private Synthetic Data for Utility and Fairness in End-to-End Machine Learning Pipelines for Tabular Data
AI for Good Research Lab, Microsoft（微软AI for Good研究实验室）；Department of Electrical Engineering, University of Brasilia（巴西利亚大学电气工程系）；INSITRO
本文系统评估了差分隐私合成数据在表格数据端到端机器学习流程中的效用与公平性，提出不依赖真实数据的训练评估框架，并发现基于边缘分布的生成器（尤其是MWEM PGM）优于GAN方法，可训练出接近真实数据效用的模型。
2023-10-30 cs.CR cs.LG
On the privacy-utility trade-off in differentially private hierarchical text classification
SAP（思爱普）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
分层文本分类是将文本文档分类为类和子类的层次结构。虽然人工神经网络已被证明可用于执行此任务，但不幸的是，由于训练数据记忆，它们可能会将训练数据信息泄漏给对手。在模型训练期间使用差分隐私可以减轻对训练模型的泄漏攻击，使模型能够以降低模型准确性为代价安全地共享。这项工作调查的隐私效用权衡分层文本分类与差分隐私保证，并确定神经网络架构，提供优越的权衡。为此，我们使用白盒成员推断攻击经验评估三个广泛使用的神经网络架构的信息泄漏。我们发现，大的差分隐私参数已经足以完全减轻成员推断攻击，从而导致模型效用的适度下降。更具体地说，对于具有长文本的大型数据集，我们观察到基于transformer的模型可以实现整体有利的隐私-效用权衡，而对于具有较短文本的较小数据集，卷积神经网络更可取。
2021-12-09 cs.CL cs.CR cs.LG
A Simple Differentially Private Algorithm for Global Minimum Cut
在这篇文章中，我们提出了一个简单的差分私有算法的全球最小割问题，只使用一个调用的指数机制。这个问题首先由Gupta等人研究。[2010]，他们给出了一个具有接近最优效用保证的差分私有算法。我们在许多方面改进了他们的工作：我们的算法比Gupta et al. [2010]中给出的算法更简单，更自然，更有效，而且提供了更好的隐私和实用性保证。
2022-08-22 cs.CR cs.DS
Differentially Private SGDA for Minimax Problems
University at Albany（奥尔巴尼大学）；University at Buffalo（布法罗大学）；University of Birmingham（伯明翰大学）；IBM Research（IBM研究院）
随机梯度下降上升（SGDA）及其变体一直是解决极大极小问题的主力。然而，与研究得很好的随机梯度下降（SGD）与差分隐私（DP）的约束，有很少的工作，了解推广（效用）的SGDA与DP约束。在本文中，我们使用的算法稳定性的方法来建立DP-SGDA在不同的设置的泛化（效用）。特别是，对于凹凸设置，我们证明了DP-SGDA可以实现最优效用率的弱原始-对偶人口风险光滑和非光滑的情况下。据我们所知，这是DP-SGDA在非光滑情况下的第一个已知结果。我们进一步提供了其效用分析的非凸强凹设置，这是有史以来第一次已知的结果，在原始人口的风险。这种非凸设置的收敛性和推广的结果是新的，即使在非私人设置。最后，数值实验证明了DP-SGDA的有效性，凸和非凸的情况下。
2022-07-29 cs.CR cs.LG
Differentially Private EEG Feature Anonymization: A Privacy-Utility Case Study in Clinical Neurophysiology
University of South-Eastern Norway（东南挪威大学）
本研究针对临床EEG特征匿名化，提出基于高斯和拉普拉斯扰动的受试者级差分隐私框架，评估三种部署场景，揭示隐私与效用间的权衡及小样本不平衡数据的挑战。
2026-09-11 cs.CR cs.LG eess.SP
Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy
University of Arkansas（阿肯色大学）
当我们在机器学习中强制实施差分隐私时，效用-隐私权衡是不同的。每组梯度裁剪和随机噪声添加不成比例地影响代表性不足和复杂的类和子群，这导致效用损失的不平等。在这项工作中，我们分析了不平等的效用损失差分隐私，并提出了一个修改的差分私人随机梯度下降（DPSGD），称为DPSGD-F，以消除潜在的不同影响的差分隐私的保护组。DPSGD-F根据组剪切偏差调整组中样本的贡献，使得差分隐私对组效用没有不同的影响。我们的实验评估显示了组样本大小和组剪切偏差如何影响DPSGD中的差分隐私的影响，以及每个组的自适应剪切如何有助于减轻DPSGD-F中的差分隐私所造成的不同影响。
2020-09-27 cs.CR cs.CY cs.LG
Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy
Seldon（塞尔顿）；University of California San Diego（加州大学圣地亚哥分校）；Ford R&A（福特研发中心）；University of Oxford（牛津大学）；OpenMined（开放挖掘）
深度学习在不同领域和行业的部署日益增长，这是由于其性能依赖于数据和计算的可用性。数据通常是众包的，并且包含关于其贡献者的敏感信息，这些信息会泄漏到在其上训练的模型中。为了实现严格的隐私保证，使用了不同的隐私训练机制。然而，最近的研究表明，差分隐私会加剧数据中现有的偏见，并对不同数据子组的准确性产生不同的影响。在本文中，我们的目标是研究差异私有深度学习中的这些影响。具体来说，我们的目标是研究数据中不同程度的不平衡如何影响模型在不同隐私级别下做出的决策的准确性和公平性。我们证明，即使是很小的不平衡和宽松的隐私保障也会造成不同的影响。
2020-10-03 cs.AI cs.CR cs.LG
Concentrated Differentially Private and Utility Preserving Federated Learning
University of Texas at San Antonio（得克萨斯大学圣安东尼奥分校）
联邦学习是一种机器学习设置，其中一组边缘设备在中央服务器的编排下协作训练模型，而不共享其本地数据。在联邦学习的每一轮通信中，边缘设备使用其本地数据执行多个步骤的随机梯度下降，然后将计算结果上传到服务器进行模型更新。在此过程中，由于边缘设备和服务器之间的信息交换，当服务器不完全可信时，隐私泄露的挑战就会出现。虽然以前的一些隐私保护机制可以很容易地用于联邦学习，但它们通常在算法的收敛和学习模型的实用性方面付出很高的代价。在本文中，我们开发了一种联邦学习方法，通过局部梯度扰动，安全聚合和零集中差分隐私（zCDP）的组合，在不降低模型效用的情况下解决隐私挑战。我们提供了一个严格的端到端的隐私保证我们的方法，并分析其理论收敛速度。通过在真实数据集上的大量数值实验，我们证明了我们提出的方法的有效性，并显示了其优越的隐私和模型效用之间的权衡。
2020-09-22 cs.CR cs.LG stat.ML
Samplable Anonymous Aggregation for Private Federated Data Analysis
Apple（苹果公司）
针对本地与中心化差分隐私的效用差距，提出可采样匿名聚合原语及配套系统架构，在弱信任下实现接近中心化的隐私核算与更优的隐私-效用权衡。
2024-07-19 cs.CR cs.LG
MC-GEN:Multi-level Clustering for Private Synthetic Data Generation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
随着机器学习和数据科学的发展，企业和研究机构之间为避免数据稀缺而进行的数据共享非常普遍。然而，共享包含隐私信息的原始数据集可能会导致隐私泄露。一个可靠的解决方案是利用私人合成数据集，保留原始数据集的统计信息。在本文中，我们提出了MC-GEN，隐私保护合成数据生成方法下的差分隐私保证机器学习分类任务。MC-GEN采用多级聚类和差分私有生成模型来提高合成数据的效用。在实验评估中，我们评估了参数的影响和MC-GEN的有效性，结果表明MC-GEN在一定的隐私保证下对多分类任务都能取得显著的效果。此外，我们比较MC-GEN与现有的三种方法。结果表明，MC-GEN在实用性方面优于其他方法。
2022-11-29 cs.CR cs.LG
Profile-Based Privacy for Locally Private Computations
差分隐私已经成为隐私保护数据分析的黄金标准。一个流行的变体是本地差分隐私，其中数据持有者是受信任的管理者。然而，更广泛地采用这种模式的一个主要障碍是，它提供了一个糟糕的隐私-效用权衡。在这项工作中，我们解决这个问题，通过引入一个新的变种的本地隐私称为基于配置文件的隐私。其中心思想是，问题设置带有数据生成分布的图G，其边缘编码敏感的分布对，这些分布应该是不可区分的。这提供了更高的效用，因为与局部差分隐私不同，我们不再需要使域中的每对私有值不可区分，而是只保护底层分布的身份。我们建立隐私属性的基于配置文件的隐私定义，如后处理不变性和优美的组合。最后，我们提供的机制，在这个框架中是私人的，并通过模拟表明，他们实现了更高的效用比相应的本地差分隐私机制。
2019-06-16 cs.CR cs.LG stat.ML
Syfer: Neural Obfuscation for Private Data Release
Massachusetts Institute of Technology（麻省理工学院）；Maynooth University（梅努斯大学）
平衡隐私和预测效用仍然是医疗保健领域机器学习的核心挑战。在本文中，我们开发了Syfer，一种神经混淆方法，以防止重新识别攻击。Syfer将训练层与随机神经网络组合在一起，以编码原始数据（例如X射线），同时保持从编码数据预测诊断的能力。编码器中的随机性充当数据所有者的私钥。我们将隐私量化为重新识别单个图像（猜测）所需的攻击者猜测次数。我们提出了一个对比学习算法来估计猜测。我们的经验表明，差分隐私的方法，如DP图像，获得隐私的效用显着损失。相比之下，Syfer在保持实用性的同时实现了强大的隐私。例如，用DP图像、Syfer和原始数据构建的X射线分类器分别实现了0.53、0.78和0.86的平均AUC。
2022-01-28 cs.CR cs.CV cs.LG
