Better Private Algorithms for Correlation Clustering
University of Washington（华盛顿大学）
在机器学习中，相关聚类是一个重要的问题，其目标是将个体划分为尽可能与其成对相似性相关的组。在这项工作中，我们重温相关聚类下的差分隐私的限制。特别是，我们改进了以前的结果，并实现了$\Tilde{O}(n^{1.5})$添加剂的错误相比，在一般图的期望最优成本。对于未赋权的完全图，我们进一步改进了结果，提出了一个更复杂的算法，该算法实现了$\Tilde{O}(n \sqrt{Δ^*})$加性误差，其中$Δ^*$是所有节点之间的正边的最大度。
2022-02-22 cs.CR cs.DS cs.LG
Scalable Differentially Private Clustering via Hierarchically Separated Trees
Google Research（谷歌研究院）；Sorbonne Université（索邦大学）；Aarhus University（奥胡斯大学）
研究了$d$维欧氏空间中的私有$k$ -中值和$k$ -均值聚类问题。通过利用树嵌入，我们给出了一个高效且易于实现的算法，该算法在经验上与最先进的非私有方法具有竞争力。我们证明了我们的方法计算的解决方案的成本最多$O(d^{3/2}\log n)\cdot OPT + O(k d^2 \log^2 n / ε^2)$，其中$ε$是隐私保证。(The维度项$d$可以使用标准降维技术用$O(\log k)$代替）。虽然最坏情况下的保证是最先进的私有聚类方法的状态差，我们提出的算法是实用的，运行在近线性，$\tilde{O}(nkd)$，时间和规模为数千万点。我们还表明，我们的方法是适合在大规模的分布式计算环境中的并行化。特别是，我们表明，我们的私人算法可以实现对数数量的MPC轮在次线性内存制度。最后，我们补充我们的理论分析与实证评估，证明算法的效率和准确性相比，其他隐私聚类基线。
2022-06-17 cs.CR cs.DS cs.LG
Differentially Private $k$-Means Clustering
有两种广泛的方法来分析不同的私人数据。交互式方法的目的是为各种数据采掘任务开发定制的差异隐私算法。非交互式方法的目的是开发差分私有算法，可以输出输入数据集的概要，然后可以用于支持各种数据采掘任务。在本文中，我们研究的权衡互动与非互动的方法，并提出了一种混合的方法，结合互动和非互动，使用$k$均值聚类为例。在差分私有$k$ -均值聚类的混合方法中，首先使用非交互式机制来发布输入数据集的概要，然后应用标准的$k$ -均值聚类算法来学习$k$聚类中心，最后使用交互式方法来进一步改进这些聚类中心。我们分析了非交互式和交互式方法的错误行为，并使用这种分析来决定如何分配非交互式步骤和交互式步骤之间的隐私预算。大量的实验结果支持我们的分析，并证明了我们的方法的有效性。
2015-04-22 cs.CR
Colored Noise Mechanism for Differentially Private Clustering
本文的目标是提出和分析一个差异私有随机机制的$K$ -均值查询。我们的目标是确保收到的关于集群质心的信息是不同的私人。该方法包括在添加高斯噪声与最佳协方差。本文的主要结果是作为数据库的函数的最佳协方差的解析解。与现有技术的比较证明了我们的方法的有效性。
2021-11-15 cs.CR eess.SP
Differentially Private k-Means Clustering with Guaranteed Convergence
the University of Adelaide（阿德莱德大学）；Sun Yat-sen University（中山大学）
迭代聚类算法帮助我们了解数据背后的洞察力。不幸的是，这可能会让对手推断出具有某些背景知识的个人的隐私。在最坏的情况下，对手知道任意迭代的质心和n个项目中的n-1个的信息。为了保护个人隐私免受这样的推理攻击，保持差分隐私（DP）的迭代聚类算法已被广泛研究的互动设置。然而，现有的交互式差异私有聚类算法遭受非收敛问题，即，这些算法在没有预定义的迭代次数的情况下不会终止。该问题严重影响了差分隐私算法的聚类质量和效率。为了解决这个问题，在本文中，我们提出了一种新的差分私有聚类框架中的交互式设置控制的方向的移动的质心的迭代，以确保通过在选定的区域注入DP噪声的收敛。我们证明，在预期的情况下，算法在我们的框架下收敛最多两倍的迭代劳埃德算法。我们在真实世界的数据集上进行实验评估，以表明我们的算法优于最先进的交互式差分私有聚类算法，具有保证的收敛性和更好的聚类质量，以满足相同的DP要求。
2020-02-03 cs.CR cs.LG
Making Old Things New: A Unified Algorithm for Differentially Private Clustering
McGill University（麦吉尔大学）；Institute for Science and Technology Austria (ISTA)（奥地利科学技术研究所）；CNRS（法国国家科学研究中心）；Université Paris Cité（巴黎西岱大学）
本文提出对一种20年前的聚类算法作小幅修改，使其统一适用于集中式、本地、洗牌及持续观察等差分隐私模型，并在匹配、改进既有结果的同时拓展至新场景。
2024-06-17 cs.CR cs.DS cs.LG
Locally Private k-Means Clustering
Ben-Gurion University（本-古里安大学）；Google Research（谷歌研究院）
我们设计了一个新的算法的欧几里德$k$ -手段的问题，操作在本地模型的差分隐私。与非私有文献不同，$k$的差分私有算法意味着目标会产生加法和乘法错误。我们的算法显着减少了加法误差，同时保持乘法误差与以前的最先进的结果相同。具体来说，在一个数据库的大小$n$，我们的算法保证$O(1)$乘法错误和$\approx n^{1/2+a}$添加剂错误为任意小常数$a>0$。在局部模型中，所有先前的算法都具有加性误差$\approx n^{2/3+a}$。我们的技术扩展到$k$ -中位数聚类。我们发现，我们得到的附加误差几乎是最佳的依赖于数据库大小$n$。具体来说，我们给出了一个简单的下界，表明每个局部私有算法的$k$ -手段的目标必须有附加误差至少$\approx\sqrt{n}$。
2021-06-28 cs.CR cs.DS cs.LG
Differentially Private Clustering in Data Streams
Google（谷歌）；Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
本研究针对流式聚类的隐私保护需求，提出首个持续发布设置下的次线性空间差分隐私$k$-均值/$k$-中位数聚类框架，实现两种近似保证且仅需离线DP算法作为黑盒。
2025-10-02 cs.CR cs.DS cs.LG
Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees
UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
本文在 Dasgupta 框架下研究了差分隐私层次聚类，证明了误差下界，提出了多项式与指数时间近似算法，并在随机块模型下设计了能精确恢复块的近似算法，最后通过实验验证了性能。
2023-05-23 cs.CR cs.DS cs.LG
Improving the Utility of Differentially Private Clustering through Dynamical Processing
Chung-Ang University（中央大学）；Seoul National University（首尔大学）
针对差分隐私聚类在非凸簇上效用不佳的问题，提出受 Morse 理论启发的动态处理框架，分层连接 Gaussian 子簇，在几乎不增加隐私损失的前提下显著提升了相同隐私水平下的聚类性能。
2024-08-22 cs.CR cs.LG
Utility-efficient Differentially Private K-means Clustering based on Cluster Merging
差分隐私广泛应用于数据分析中。具有差分隐私的最先进的$k$均值聚类算法通常为每次迭代计算向质心添加等量的噪声。在本文中，我们提出了一种新的差分私有$k$均值聚类算法，DP-KCCM，显着提高了聚类的效用，通过添加自适应噪声和合并集群。该算法首先生成$n \times k$初始质心，然后在每次迭代中加入自适应噪声，得到$n \times k$簇，最后将这些簇合并为$k$簇，从而得到具有差分隐私的$k$簇.我们从理论上证明了该算法的差分隐私。令人惊讶的是，大量的实验结果表明：1）具有等量噪声的聚类合并在一定程度上提高了效用; 2）尽管仅添加自适应噪声并不能提高效用，但将聚类合并和自适应噪声相结合进一步显著提高了效用。
2020-10-03 cs.CR
MC-GEN:Multi-level Clustering for Private Synthetic Data Generation
University of South Florida（南佛罗里达大学）；Snap Inc.（Snap公司）
随着机器学习和数据科学的发展，企业和研究机构之间为避免数据稀缺而进行的数据共享非常普遍。然而，共享包含隐私信息的原始数据集可能会导致隐私泄露。一个可靠的解决方案是利用私人合成数据集，保留原始数据集的统计信息。在本文中，我们提出了MC-GEN，隐私保护合成数据生成方法下的差分隐私保证机器学习分类任务。MC-GEN采用多级聚类和差分私有生成模型来提高合成数据的效用。在实验评估中，我们评估了参数的影响和MC-GEN的有效性，结果表明MC-GEN在一定的隐私保证下对多分类任务都能取得显著的效果。此外，我们比较MC-GEN与现有的三种方法。结果表明，MC-GEN在实用性方面优于其他方法。
2022-11-29 cs.CR cs.LG
Differential Privacy for Clustering Under Continual Observation
McGill University（麦吉尔大学）；IST Austria（奥地利科学技术研究所）
针对持续观察下经历点插入和删除的数据集聚类问题，提出首个加性误差仅与更新次数对数相关的 $\varepsilon$-差分隐私 $k$-means 近似算法，通过结合降维与贪心近似实现，并部分扩展至 $k$-median。
2023-07-27 cs.CR cs.DS cs.LG
Clustering and Median Aggregation Improve Differentially Private Inference
Google Research（谷歌研究院）；University of Southern California（南加州大学）
针对差分隐私文本生成中均匀采样导致质量下降的问题，本文提出先聚类再选取推理批次，并通过私下计算中位数聚合词元统计量，以更低隐私成本生成更高质量的合成数据。
2025-06-05 cs.AI cs.CL cs.CR
Differentially Private Federated $k$-Means Clustering with Server-Side Data
Institute of Science；CNRS \& Universit\'e Paris Cité, Paris, France
针对分布式数据下传统聚类因隐私问题无法适用的难题，提出兼具完全联邦与差分隐私特性的FedDP-KMeans算法，利用服务端数据解决初始化难题，结合联邦DP-Lloyds算法在多基准任务上取得优异结果并给出理论界。
2025-06-11 cs.CR cs.LG
Differentially private $k$-means clustering via exponential mechanism and max cover
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
针对$k$均值聚类问题，提出了一种新的$(ε_p, δ_p)$ -差分私有算法.给定欧几里德空间中的数据集，$k$均值聚类问题要求人们在该空间中找到$k$点，使得每个数据点与返回的$k$中其最近的相应点之间的欧几里德距离的平方和最小化。尽管存在具有良好理论保证的隐私保护方法来解决该问题[Balcan等人，2017年; Kaplan和Stemmer，2018年]，在实践中可以看出，决定这些方法实际性能的是加性误差。通过将问题简化为网格上最大覆盖范围的一系列实例，我们能够推导出一种新的方法，该方法比以前的方法具有更低的加性误差。对于具有基数$n$和直径$Δ$的输入数据集，我们的算法具有$O(Δ^2 (k \log^2 n \log(1/δ_p)/ε_p + k\sqrt{d \log(1/δ_p)}/ε_p))$加法误差，同时保持恒定的乘法误差。我们的结论与一些实验，并找到一个改进以前实现的工作，这个问题。
2020-09-02 cs.CR cs.DS cs.LG
A Differentially Private Clustering Algorithm for Well-Clustered Graphs
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Google Research（谷歌研究院）
本文提出一种针对良聚类图的高效（$ε$,$δ$）-DP聚类算法，适用于$k$个近乎平衡簇，误分类率接近最佳非私有算法，并证明纯$ε$-DP算法误差显著。
2024-03-21 cs.CR cs.DS cs.LG
Private Hierarchical Clustering in Federated Networks
分析社交网络的结构属性，例如识别其聚类或找到其最中心的节点，有许多应用。然而，这些应用不受允许用户在其终端设备上本地存储其社交链接的联合社交网络的支持。在联邦制度中，用户希望访问个性化服务，同时也保持他们的社交联系私密。在本文中，我们采取了一个步骤，使联邦网络上的分析与差分隐私保证保护网络中的用户链接或联系人。具体来说，我们提出的第一项工作，计算层次聚类树使用本地差分隐私。我们计算它们的算法是新颖的，并且对学习到的树的质量具有理论上的界限。私有分层聚类树使得服务提供商能够以各种粒度查询用户周围的社区结构，而用户不必与提供商共享其原始联系人。我们证明了这种查询的效用，重新设计的国家的最先进的社会推荐算法的联邦设置。我们的推荐算法明显优于不使用社交联系人的基线，并与使用联系人的非隐私算法相当。
2021-05-19 cs.CR cs.SI
Differentially Private Explanations for Clusters
本文提出差分隐私聚类解释框架DPClustX，在保护敏感数据的同时自动揭示黑盒聚类结果中各簇的显著特征，并通过实验证明其在严格隐私约束下仍能提供准确且有洞察力的解释。
2025-06-06 cs.CR cs.DB
Differentially Private Hierarchical Heavy Hitters
University of Warwick（华威大学）；University of Oxford（牛津大学）；AT&T Research（AT&T研究院）
研究差分隐私下层次重击者（HHH）的发布问题，在非流式设置中前缀残差计数的相对误差与层次高度和重击者数量无关；在流式设置中频率估计的绝对误差与可用空间无关。
2026-06-12 cs.CR cs.DS
On the Optimal Number of Grids for Differentially Private Non-Interactive $K$-Means Clustering
Center of Data for Public Good, Foundation for Science Innovation and Development, Indian Institute of Science（印度科学研究所科学与创新发展基金会公共数据中心）
本文研究了差分隐私非交互K-均值聚类中网格数目的选择问题，提出了一种基于最小化K-均值目标函数期望偏差上界的新规则，改进了非交互隐私聚类的离散化策略。
2026-03-27 cs.CR cs.LG eess.SP
Differentially Private User-based Collaborative Filtering Recommendation Based on K-means Clustering
协同过滤（CF）推荐算法以其优异的推荐性能而闻名，但已有研究表明，CF推荐算法可能会因k-最近邻（KNN）攻击而导致用户隐私泄露。最近，差分隐私（DP）的概念已被应用于协同过滤推荐算法的隐私保护。然而，据我们所知，现有的差异私人CF推荐方案的推荐性能（如召回率和精度）下降到一个不可接受的水平。为了解决协同过滤推荐系统性能下降的问题，提出了一种基于k-means聚类的差异化隐私用户协同过滤推荐方案（KDPCF）。具体而言，为了提高推荐性能，我们首先通过k-means聚类将数据集聚类到类别中，并适当调整目标用户所属的目标类别的大小，使得只有大小合适的目标类别中的用户才能用于推荐。然后，采用一种指数机制而不是多个指数机制的组合，从目标类别中一次性有效地选择出一组邻居，并基于邻居集进行推荐。我们从理论上证明了我们的方案实现了差分隐私。根据经验，我们使用MovieLens数据集来评估我们的推荐系统。实验结果表明，与现有的计划相比，显着的性能增益。
2018-12-05 cs.CR
HRNet: Differentially Private Hierarchical and Multi-Resolution Network for Human Mobility Data Synthesization
Kyoto University（京都大学）；Emory University（埃默里大学）；Tokyo Institute of Technology（东京工业大学）；Osaka Seikei University（大阪成蹊大学）
针对人类移动数据合成中的隐私问题，本文提出差分隐私分层多分辨率网络HRNet，通过分层编码、多任务学习和私有预训练，在真实数据集上显著提升了效用-隐私权衡。
2024-07-20 cs.CR cs.LG
Locally Private $k$-Means Clustering with Constant Multiplicative Approximation and Near-Optimal Additive Error
Northeastern University（东北大学）
给定$d'$维欧几里德空间中大小为$n$的数据集，$k$均值问题要求一组$k$点（称为中心），使得大小为$n$的给定数据集的点与$k$中心集之间的$\ell_2^2$距离之和最小.最近的工作在这个问题上的本地私人设置实现了常数乘法近似与添加剂的错误$\tilde{O} (n^{1/2 + a} \cdot k \cdot \max \{\sqrt{d}, \sqrt{k} \})$，并证明了一个下界的$Ω(\sqrt{n})$的添加剂的错误的任何解决方案具有恒定的轮数。在这项工作中，我们弥合了$n$的指数之间的差距，在上界和下界的附加误差与两个新的算法。给定任何$α>0$，我们的第一个算法实现了乘法近似保证，这是最多的$(1+α)$因子大于任何非私有的$k$ -均值聚类算法与$k^{\tilde{O}(1/α^2)} \sqrt{d' n} \mbox{poly}\log n$添加剂错误。给定任何$c>\sqrt{2}$，我们的第二个算法实现$O(k^{1 + \tilde{O}(1/(2c^2-1))} \sqrt{d' n} \mbox{poly} \log n)$加法误差与常数乘法近似。这两种算法都超越了$Ω(n^{1/2 + a})$的因素，发生在任意小的参数$a$在以前的工作中的添加剂错误，第二个算法，特别是第一次表明，它是可能的解决本地私人$k$ -手段的问题，在一个恒…
2021-05-31 cs.CR cs.DS cs.LG
Understanding Private Evolution as Learning-Augmented Clustering
Apple（苹果公司）；Yale University（耶鲁大学）
本文重新诠释私有进化算法为生成模型增强的Wasserstein学习，理论证明其性能界限可依赖内在维度，并提出几何感知版本以解决标准变体在良好聚类实例上的收敛问题，实验表明新算法具有竞争力且能提高召回率。
2026-09-30 cs.CR cs.LG stat.ML
The Key Authority - Secure Key Management in Hierarchical Public Key Infrastructures
我们将私钥的生存周期建模为有限状态机。状态是键的生命阶段，转换函数描述了要用键完成的任务。在此基础上，我们定义和描述的密钥权威，一个信任中心模块，它加强了层次公钥基础设施中的私钥的安全管理的容易实施。这是通过在一个集中式模块中组装所有关于私钥关键处理的信任中心任务来完成的。由于该模块完全受信任中心运营商的控制，因此可以通过众所周知的组织和技术措施对其进行保护。
2004-10-12 cs.CR
Improving the Variance of Differentially Private Randomized Experiments through Clustering
Google Research（谷歌研究院）
提出差分隐私机制Cluster-DP，利用数据聚类结构在保证隐私的同时降低因果效应估计的方差惩罚，并在真实与模拟数据上验证了其优于基线的性能。
2025-05-28 cs.CR cs.LG stat.ME
Private Aggregation in Hierarchical Wireless Federated Learning with Partial and Full Collusion
Institute for Communications Engineering, Technical University of Munich（慕尼黑工业大学通信工程研究所）
本文针对分层无线联邦学习架构，在部分与完全共谋假设下，推导信息论隐私下的通信成本基本极限，并提出通信成本接近最优的私有聚合方案。
2024-07-18 cs.CR cs.DC cs.LG
Differentially Private Vertical Federated Clustering
Purdue University（普渡大学）；University of Virginia（弗吉尼亚大学）
本文提出首个差分隐私纵向联邦 k-means 聚类算法，通过不可信服务器聚合差分隐私本地中心与成员编码构建加权网格，并基于 Flajolet-Martin sketch 估计网格权重，在保证隐私的同时实现了接近中央隐私设置的模型效用。
2023-03-31 cs.CR cs.LG
Differentially Private Spectral Graph Clustering: Balancing Privacy, Accuracy, and Efficiency
Nokia Bell Labs（诺基亚贝尔实验室）；Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）；Stony Brook University（石溪大学）
本文研究了在边差分隐私下谱图聚类，提出了一种结合随机边翻转和邻接矩阵随机排列的矩阵洗牌机制，通过理论分析框架证明其在隐私预算、特征间隙和社区数下的误分类率显著优于传统方法。
2026-05-11 cs.CR cs.IT cs.LG
On the privacy-utility trade-off in differentially private hierarchical text classification
SAP（思爱普）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
分层文本分类是将文本文档分类为类和子类的层次结构。虽然人工神经网络已被证明可用于执行此任务，但不幸的是，由于训练数据记忆，它们可能会将训练数据信息泄漏给对手。在模型训练期间使用差分隐私可以减轻对训练模型的泄漏攻击，使模型能够以降低模型准确性为代价安全地共享。这项工作调查的隐私效用权衡分层文本分类与差分隐私保证，并确定神经网络架构，提供优越的权衡。为此，我们使用白盒成员推断攻击经验评估三个广泛使用的神经网络架构的信息泄漏。我们发现，大的差分隐私参数已经足以完全减轻成员推断攻击，从而导致模型效用的适度下降。更具体地说，对于具有长文本的大型数据集，我们观察到基于transformer的模型可以实现整体有利的隐私-效用权衡，而对于具有较短文本的较小数据集，卷积神经网络更可取。
2021-12-09 cs.CL cs.CR cs.LG
Private Hierarchical Governance for Encrypted Messaging
针对端到端加密消息社区难以实施层级治理的问题，本文提出在 MLS 协议上扩展治理逻辑，并构建 MlsGov 原型以保护内容与治理行为隐私。
2024-07-02 cs.CR cs.CY
Private Training & Data Generation by Clustering Embeddings
Yale University（耶鲁大学）；Texas A&M University（德克萨斯大学）；Google Research（谷歌研究）
本文提出一种基于差分隐私聚类嵌入空间中的高斯混合模型来生成合成数据的方法，用于私有训练深度神经网络，在标准基准上达到最先进分类准确率，且方法通用、可扩展。
2025-06-20 cs.CR cs.LG stat.ML
