Differentially Private Set Union
Microsoft（微软）；Stanford University（斯坦福大学）
研究了差分隐私全局模型中集合并的基本运算。在这个问题中，我们给出了一个可能无限大的项目集$U$和一个用户数据库$D$。每个用户$i$贡献项目的子集$W_i \subseteq U$。我们需要一个（$ε$，$δ$）-差分私有算法，它输出一个子集$S \subset \cup_i W_i$，使得$S$的大小尽可能大。这个问题出现在无数现实世界的应用程序中;它在自然语言处理（NLP）应用程序中尤其普遍，如词汇提取。例如，发现单词、句子、$n$ -grams等，从属于用户的私有文本数据中提取数据是集合并问题的一个实例。用于该问题的已知算法通过从每个用户收集项目的子集、取这样的子集的并集并且公开噪声计数落在特定阈值以上的项目来进行。至关重要的是，在上述过程中，每个用户的贡献总是独立于其他用户持有的项目，这导致了一个浪费的聚合过程，其中一些项目计数恰好超过阈值。我们通过允许用户在$\textit{policy}$的引导下在$\textit{dependent fashion}$中贡献他们的项目来偏离上述范例。在这种新的环境下，确保隐私是非常微妙的。我们证明，任何政策，具有一定的$\textit{contractive}$属性将导致在一个不同的私人算法。我们设计了两个新的算法，一个使用拉普拉斯噪声和其他高斯噪声，作为满足压缩特性的政策的具体实例。我们的实验表明，新的算法显着优于以前已知的机制的问…
2022-04-06 cs.CR cs.DS cs.LG
Differentially Private Online Submodular Maximization
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们考虑的问题下的基数约束差分隐私（DP）的在线次模最大化。公共有限基集$U$上的$T$子模函数流在线到达，并且在每个时间步，决策者在观察函数之前必须选择$U$的至多$k$元素。决策者获得的回报等于在所选集合上评估的函数，并旨在学习一系列实现低预期后悔的集合。在完全信息条件下，我们提出了一个$(\varepsilon,δ)$ -DP算法，其期望的$(1-1/e)$ -后悔界为$\mathcal{O}\left( \frac{k^2\log |U|\sqrt{T \log k/δ}}{\varepsilon} \right)$ .该算法包含$k$有序的专家，学习最好的边际增量为每个项目在整个时间范围内，同时保持隐私的功能。在强盗设置中，我们提供了具有预期$(1-1/e)$-$\mathcal{O}\left( \frac{\sqrt{\log k/δ}}{\varepsilon} (k (|U| \log |U|)^{1/3})^2 T^{2/3} \right)$遗憾界限的$(\varepsilon,δ+ O(e^{-T^{1/3}}))$-DP算法。我们的算法包含$k$有序的专家，学习最好的边缘项目选择给定的项目选择她的前任，同时保持隐私的功能。在这种情况下，隐私面临的一个挑战是，专家$i$的回报和反馈取决于她的$i-1$前任所采取的行动。这种特殊类型的信息泄漏不包…
2020-10-24 cs.CR cs.DS cs.LG
Tight Differential Privacy for Discrete-Valued Mechanisms and for the Subsampled Gaussian Mechanism Using FFT
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所HIIT）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
我们提出了一个数值会计评估紧$(\varepsilon,δ)$隐私损失的算法与离散一维输出。该方法是基于隐私损失分布形式主义，它使用了最近推出的快速傅立叶变换为基础的会计技术。我们进行了误差分析的隐私损失分布，导致严格的下限和上限的真实$(\varepsilon,δ)$值的时刻界的方法。作为一个应用，我们提出了一种新的方法来准确的隐私会计的子采样高斯机制。这完成了先前提出的分析，给出严格的下限和上限的隐私参数。我们证明了性能的会计二项式机制，并表明，我们的方法允许降低噪声方差高达75%，在同等的隐私文献中现有的界限相比。我们还说明了如何计算紧边界的指数机制应用于计数查询。
2021-06-21 cs.CR cs.LG stat.ML
Graph Federated Learning for Personalized Privacy Recommendation
Yangzhou University（扬州大学）；Jilin University（吉林大学）；City University of Hong Kong（香港城市大学）；Nanjing University（南京大学）
本文提出GFed-PP框架，通过构建用户-项目交互图和用户关系图，利用公开用户数据并保护私有用户隐私，在适应不同隐私需求的同时显著提升了联邦推荐系统的准确性。
2025-08-08 cs.AI cs.LG
Subject Granular Differential Privacy in Federated Learning
Oracle Labs（甲骨文实验室）
本文针对联邦学习中主体级隐私保护问题，提出两种本地主体级DP算法，证明用户级LDP的主体隐私保证，发现隐私损失横向组合问题，实验验证算法效用并指出关键挑战。
2023-06-15 cs.CR cs.LG
The Discrete Gaussian for Differential Privacy
本文提出在差分隐私中使用离散高斯分布替代连续高斯噪声，以解决有限计算机表示误差导致的隐私破坏和离散数据可解释性下降问题，并从理论和实验上证明其提供与连续高斯噪声基本相同的隐私和精度保证，同时给出高效的精确采样算法。
2024-11-18 cs.CR cs.DS stat.ML
Connect the Dots: Tighter Discrete Approximations of Privacy Loss Distributions
Google（谷歌）；Google Research（谷歌研究院）
隐私损失分布（PLD）提供了差分隐私（DP）背景下的机制的隐私损失的严格表征。最近的工作表明，与其他已知方法相比，基于PLD的核算允许对许多流行机制的更严格的$(\varepsilon, δ)$ -DP保证。基于PLD的会计中的一个关键问题是如何在任何指定的离散支持上用PLD来近似任何（可能连续的）PLD。我们提出了一种新的方法来解决这个问题。我们的方法支持悲观估计，这高估了关键-坚持分歧（即，$δ$），以及乐观估计，这低估了关键-坚持分歧。此外，我们证明了我们的悲观估计是所有悲观估计中最好的。实验评估表明，我们的方法可以与更大的离散化间隔，同时保持类似的误差界相比，以前的方法，但给出了一个更好的近似比现有的方法。
2022-07-10 cs.CR cs.DS cs.LG
Optimal Schemes for Discrete Distribution Estimation under Locally Differential Privacy
University of Maryland（马里兰大学）
考虑了隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$衡量私有化方案的隐私级别。对于给定的$ε,$，我们考虑构造具有$ε$ -隐私级别的最优私有化方案的问题，即，最小化最坏情况分布的预期估计损失的方案。文献中的两个方案分别在$ε$非常接近$0,$的高隐私机制和$e^ε\approx k,$的低隐私机制中提供了顺序最优性能。在本文中，我们提出了一个新的家庭的计划，大大提高了现有的计划在中等隐私制度的性能时，$1\ll e^ε \ll k.$更具体地说，我们证明了，当$3.8 < ε<\ln(k/9) ,$我们的计划减少预期估计损失的$50\%$下$\ell_2^2$度量和$30\%$下$\ell_1$度量超过现有的计划。我们还证明了一个下界的区域$e^ε \ll k,$，这意味着我们的计划是为了在这个政权的最佳。
2017-02-02 cs.IT cs.LG math.IT
Element Level Differential Privacy: The Right Granularity of Privacy
Stanford University（斯坦福大学）；Apple（苹果公司）
差分隐私（DP）为统计学习应用中用户数据泄露的风险提供了强有力的保证，尽管这些强有力的保护使学习具有挑战性，并且对于某些用例可能过于严格。为了解决这个问题，我们提出了元素级别的差分隐私，它扩展了差分隐私，以提供保护，防止泄漏信息的任何特定的“元素”的用户，允许更好的效用和更强大的结果比经典的DP。通过仔细选择这些“元素”，可以以期望的粒度提供隐私保护。我们提供的定义，相关的隐私保证，并分析，以确定权衡与新的定义，我们还开发了几个私人估计和学习方法，提供仔细的例子，项目频率和M-估计（经验风险最小化）与随之而来的隐私和效用分析。我们通过几个实际应用，估计直方图和拟合几个大规模预测模型（包括深度网络）来补充我们的理论和方法进步。
2019-12-05 cs.CR cs.LG stat.ML
The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation
Google Research（谷歌研究院）
我们考虑在分布在用户设备上的私人数据上训练模型。为了确保隐私，我们添加了设备上的噪声，并使用安全聚合，以便只有噪声和才会显示给服务器。我们提出了一个全面的端到端系统，它适当地离散化数据，并在执行安全聚合之前添加离散高斯噪声。我们提供了一个新的隐私分析的离散高斯和仔细分析的影响，数据量化和模求和算法。我们的理论保证强调了沟通、隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上是能够匹配的准确性，中央差分隐私与小于16位的精度每个值。
2022-09-08 cs.DS cs.LG stat.ML
Breaking the Communication-Privacy-Accuracy Tradeoff with $f$-Differential Privacy
Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）；North Carolina State University（北卡罗来纳州立大学）
该研究基于$f$-差分隐私分析离散取值机制的隐私保障，提出三元随机压缩器利用压缩实现隐私放大，打破了联邦数据分析中隐私、通信与准确率的三方权衡，并探讨了其拜占庭容错性与联邦学习应用。
2024-02-01 cs.CR cs.IT cs.LG
Anonymized Histograms in Intermediate Privacy Models
Google Research（谷歌研究院）
我们研究的问题，私人计算匿名直方图（a.k.a. unattributed histogram），它被定义为没有项目标签的直方图。先前的工作提供了具有$\ell_1$和$\ell_2^2$错误的算法，其中$O_\varepsilon(\sqrt{n})$在差分隐私（DP）的中心模型中存在错误。在这项工作中，我们提供了一个几乎匹配的错误保证$\tilde{O}_\varepsilon(\sqrt{n})$在洗牌DP和泛私人模型的算法。我们的算法非常简单：它只是对离散拉普拉斯噪声直方图进行后处理！使用该算法作为一个子程序，我们显示在私人估计对称属性的分布，如熵，支持覆盖，支持大小的应用。
2022-10-27 cs.CR cs.DS cs.LG
Discrete Distribution Estimation under User-level Local Differential Privacy
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
研究了用户级局部差分隐私（LDP）下的离散分布估计。在用户级$\varepsilon$ -LDP中，每个用户都有$m\ge1$样本，并且必须同时保护所有$m$样本的隐私。我们解决了以下困境：一方面，每个用户有更多的样本应该提供更多的信息的基础分布，另一方面，保证隐私的所有$m$样本应该使估计任务更加困难。我们得到紧界几乎所有的参数制度下，这个问题。也许令人惊讶的是，我们表明，在合适的参数制度，每个用户具有$m$样本相当于具有$m$倍以上的用户，每个用户只有一个样本。我们的研究结果表明有趣的相变$m$和隐私参数$\varepsilon$的估计风险。最后，与最近的结果洗牌DP，我们表明，结合随机洗牌，我们的算法导致最佳的错误保证（对数因子）在一定的参数制度下的用户级DP的中央模型。我们提供了几个模拟来验证我们的理论研究结果。
2022-11-07 cs.CR cs.LG
Local, Private, Efficient Protocols for Succinct Histograms
The Pennsylvania State University（宾夕法尼亚州立大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）
我们给出了有效的协议和匹配精度下界的频率估计的局部模型的差分隐私。在这个模型中，个人用户自己随机化他们的数据，将不同的私人报告发送到一个不受信任的服务器，该服务器将这些报告聚集在一起。我们研究的协议，产生一个简洁的直方图表示的数据。一个简洁的直方图是数据中最频繁的项目（通常称为“重打击者”）及其频率估计值的列表;所有其他项目的频率隐式估计为0。如果有$n$用户的项目来自一个大小为$d$的宇宙，我们的协议在$n$和$\log(d)$中以时间多项式运行。以高概率，他们估计每个项目的准确性，直到错误$O\left(\sqrt{\log(d)/(ε^2n)}\right)$，其中$ε$是隐私参数。此外，我们表明，这么多的错误是必要的，无论计算效率，甚至对于简单的设置，只有一个项目出现在数据集中的显着频率。先前用于该任务的方案（Mishra和Sandler，2006; Hsu，Khanna和Roth，2012）要么在$Ω(d)$中运行，要么具有更严重的错误（约为$\sqrt[6]{\log(d)/(ε^2n)}$），并且唯一已知的错误下限是$Ω(1/\sqrt{n})$。我们还将McGregor et al（2010）的结果适用于当地环境。在一个使用公共硬币的模型中，我们展示了每个用户只需要向服务器发送1比特。对于所有已知的本地协议（包括我们的），转换保持计算效率。
2015-04-18 cs.CR cs.DS cs.LG
Robust Estimation of Sparse Numerical Vectors under Local Differential Privacy
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Zhejiang University（浙江大学）；Guangzhou University（广州大学）；National Interdisciplinary Research Center of Engineering Physics（国家工程物理学跨学科研究中心）；Anhui University of Science and Technology（安徽理工大学）
本文针对局部差分隐私下多项用户的稀疏向量均值估计问题，提出带裁剪的随机投影方法，通过偏差校正实现更优鲁棒性，实验验证其在可信与不可信环境中均表现良好。
2026-07-31 cs.LG stat.ML
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）
针对滑动窗口数据流中的敏感频率估计与重击者识别问题，提出基于 count-min sketch 的差分隐私 DPSW-Sketch，在亚线性时空开销下保证有界误差，并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Frequency Estimation Under Multiparty Differential Privacy: One-shot and Streaming
Hong Kong University of Science and Technology（香港科技大学）；University of Warwick（华威大学）
我们研究了隐私和通信约束下的频率估计的基本问题，其中数据分布在$k$各方之间。我们考虑两种应用场景：（1）单次，其中数据是静态的，聚合器进行一次性计算;（2）流式传输，其中每一方随着时间的推移接收项目流，聚合器不断监控频率。我们采用多方差分隐私（MDP）模型，它比局部差分隐私（LDP）和（集中式）差分隐私更具有一般性。我们的协议实现最优性（对数因子）允许的两个约束条件中更严格的。特别是，当专用于$\varepsilon$ -LDP模型时，我们的协议使用$O(k\max\{ \varepsilon, \frac{1}{\varepsilon} \})$通信位和$O(k \log u)$公共随机位实现了$\sqrt{k}/(e^{Θ(\varepsilon)}-1)$的错误，其中$u$是域的大小.
2021-05-29 cs.CR cs.DS cs.LG
Rate Optimality and Phase Transition for User-Level Local Differential Privacy
University of Warwick（华威大学）
本文研究了用户级差分隐私中，用户数量和观察值数量对估计精度的影响，发现存在相变现象，稀疏均值估计在特定条件下可实现一致估计。
2026-01-19 math.ST stat.ME stat.TH
Robust Estimation of Discrete Distributions under Local Differential Privacy
虽然鲁棒学习和局部差分隐私都是广泛研究的研究领域，但将这两种设置结合起来才刚刚开始探索。我们考虑的问题估计的离散分布的总变异从$n$污染的数据批次下的局部差分隐私约束。批次的一部分$1-ε$含有$k$ i.i.d.。从$d$元素上的离散分布$p$中抽取的样本。为了保护用户的隐私，每个样本使用$α$ -本地差分私有机制进行私有化。其余$εn $批次为对抗性污染。在没有隐私的情况下，仅在污染下的极小极大估计率已知为$ε/\sqrt{k}+\sqrt{d/kn}$，直到$\sqrt{\log(1/ε)}$因子。在单独的隐私约束下，最小最大估计率是$\sqrt{d^2/α^2 kn}$。我们表明，结合这两个约束导致一个极小极大估计率的$ε\sqrt{d/α^2 k}+\sqrt{d^2/α^2 kn}$的$\sqrt{\log(1/ε)}$的因素，大于两个单独的利率的总和。我们提供了一个多项式时间算法实现这个界限，以及匹配信息理论的下限。
2022-04-20 math.ST stat.ML stat.TH
DPSR: Differentially Private Sparse Reconstruction via Multi-Stage Denoising for Recommender Systems
Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心）
DPSR通过多阶段去噪框架在推荐系统中实现差分隐私保护，有效提升推荐质量，优于现有隐私保护机制。
2025-12-22 cs.CR cs.LG
The Large Margin Mechanism for Differentially Private Maximization
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Columbia University（哥伦比亚大学）
隐私保护算法设计中的一个基本问题是隐私最大化问题：目标是在差分隐私约束下，从一个（近似）最大化数据依赖函数的论域中选择一个项。这个问题已经被用作许多用于统计和机器学习的隐私保护算法中的子例程。以前的算法对于这个问题要么是范围相关的-即，它们的效用随着宇宙的大小而减少-或者只适用于非常有限的函数类。这项工作提供了第一个通用的，范围无关的算法，保证近似差分隐私的私人最大化。它的适用性在数据采掘和机器学习中的两个基本任务上得到了证明。
2014-09-07 cs.DS cs.IT cs.LG
Differentially Private Regression for Discrete-Time Survival Analysis
Nanyang Technological University（南洋理工大学）
在生存分析中，回归模型用于了解解释变量的影响（例如，年龄、性别、体重等）到生存概率。然而，对于医疗数据等敏感的生存数据，当使用医疗数据来拟合回归模型时，人们对数据集中个人的隐私存在严重担忧。最接近的工作，解决这种隐私问题的工作是Cox回归的线性项目的原始数据到一个较低的维度空间。然而，这种方法的缺点是，这种投影没有正式的隐私保证。在这项工作中，我们的目标是提出解决方案的回归问题的生存分析与保护的差分隐私，这是一个黄金标准的隐私保护在数据隐私研究。为此，我们扩展了输出扰动和目标扰动的方法，最初提出的保护差分隐私的经验风险最小化（ERM）问题。此外，我们还提出了一种新的抽样方法的基础上的马尔可夫链蒙特卡罗（MCMC）方法，以实际保证差分隐私更好的准确性。我们表明，我们提出的方法实现了良好的准确性相比，非私人的结果，同时保证差分隐私的私人数据集中的个人。
2017-08-25 cs.CR cs.DB cs.LG
Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms
我们发现分离率测试多项式或更一般的离散分布的约束下的局部差分隐私。我们构建有效的随机算法和测试程序，在这两种情况下，只有非交互式的隐私机制是允许的，也在所有顺序交互式隐私机制是允许的。在后一种情况下，分离速率更快。我们证明一般信息理论界，使我们能够建立我们的算法的最优性之间的所有对隐私机制和测试程序，在大多数情况下。考虑的例子包括测试均匀，多项式和指数递减分布。
2020-05-26 math.ST stat.ME stat.ML
Binary Federated Learning with Client-Level Differential Privacy
The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种结合二值神经网络与离散噪声的联邦学习算法，在客户端级差分隐私保护下提升通信效率并改善隐私-效用权衡。
2023-08-07 cs.AI cs.CR cs.LG
Towards Prior-Free Approximately Truthful One-Shot Auction Learning via Differential Privacy
设计真实的、收益最大化的拍卖是拍卖设计的核心问题。多项设置长期以来一直难以捉摸。最近的工作（arXiv：1706.03459）引入了有效的深度学习技术来找到这种拍卖的先验依赖设置，其中关于投标人偏好的分布是已知的。剩下的一个问题是，以排除操纵拍卖结果的可能性的方式获得先验信息。使用技术从差分隐私的建设近似真实的机制，我们修改的遗憾网的方法适用于事先免费设置。在这个更一般的设置中，没有假设分布信息，但我们用这个属性换取更差的性能。我们提出了初步的实证结果和定性分析这项工作正在进行中。
2021-03-31 cs.GT cs.LG
Privacy-Preserving Multimodal News Recommendation through Federated Learning
Department of Computer Science, University of Saskatchewan（计算机科学系，萨斯喀彻温大学）
本文提出多模态联邦学习新闻推荐方法，融合图文特征并用时间感知注意力平衡长短期兴趣，结合Shamir安全聚合保护隐私，实验性能优于现有系统。
2025-07-23 cs.LG cs.SI
Dual Personalization on Federated Recommendation
Jilin University（吉林大学）；University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Maryland（马里兰大学）
本文提出PFedRec框架，通过双重个性化机制在用户和物品上实现细粒度个性化，生成轻量级用户特定模型，提升联邦推荐性能并保护隐私。
2023-05-13 cs.AI cs.IR cs.LG
Improved Bounds for Pure Private Agnostic Learning: Item-Level and User-Level Privacy
HKUST（香港科技大学）
本文研究不可知模型下的纯隐私学习，针对条目级与用户级隐私推导所需用户数的改进上界，并给出用户级阈值学习的近似紧复杂度算法。
2025-03-17 cs.LG
The Price of Privacy in Untrusted Recommendation Engines
Stanford University（斯坦福大学）；Technicolor（特艺集团）；Microsoft Research - INRIA Joint Center（微软研究院-法国国家信息与自动化研究所联合中心）
最近在线隐私问题的增加引发了以下问题：如果用户不将其私人数据委托给推荐系统，那么推荐系统是否准确？为了回答这个问题，我们研究了学习项目集群下的本地差分隐私，一个强大的，正式的数据隐私的概念。我们开发的样本的学习项目集群从私有化的用户输入的复杂性的界限。值得注意的是，我们的研究结果确定了在信息丰富和信息稀缺的制度学习之间的样本复杂性分离，从而突出了隐私和每个用户可用的信息量（评级）之间的相互作用。在信息丰富的制度，其中每个用户率至少一个恒定的分数的项目，谱聚类方法，以实现一个简单的信息理论参数的基础上法诺不等式的样本复杂性下界。然而，信息稀缺的制度，其中每个用户率只有一个消失的部分项目，发现需要一个根本不同的方法都为下限和算法。为此，我们开发了新的技术有界互信息下的信道失配的概念，并提出了一种新的算法，MaxSense，并表明，它实现了最佳的样本复杂度在这种情况下。我们开发的用于限定互信息的技术可能具有更广泛的意义。为了说明这一点，我们展示了它们对基于1位草图的$(i)$学习和$(ii)$自适应学习的适用性，其中查询可以根据过去查询的答案进行调整。
2014-10-27 cs.IT cs.LG math.IT
Private Matrix Factorization with Public Item Features
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Microsoft（微软）
本文提出基于集体矩阵分解的方法，在差分隐私约束下利用公开物品特征训练推荐模型，有效缩小私有与非私有模型的质量差距，实现从协同过滤到上下文推荐的平滑过渡。
2023-09-17 cs.CR cs.IR cs.LG
Decentralized Matrix Factorization with Heterogeneous Differential Privacy
Research Institute for Interdisciplinary Sciences（交叉科学研究院）；School of Information Management and Engineering（信息管理与工程学院）；Shanghai University of Finance and Economics（上海财经大学）
本文提出HDPMF算法，首次在不可信推荐器场景下实现去中心化矩阵分解的异构差分隐私，通过改进拉伸机制和隐私预算分配在强隐私保障、高维模型和稀疏数据场景下取得更优的隐私与准确性权衡。
2023-09-17 cs.CR cs.LG
How to Profile Privacy-Conscious Users in Recommender Systems
IBM Research（IBM研究院）；OneSpan（OneSpan公司）
矩阵分解是构建推荐系统的一种常用方法。在这样的系统中，现有的用户和项目被关联到称为简档的低维向量。用户和项目的配置文件可以组合（通过内积）来预测用户将获得的项目评级。这种系统的一个重要问题是所谓的冷启动问题：如何让用户了解她的个人资料，以便她可以得到准确的建议？虽然如果用户愿意对精心选择的项目进行评级和/或提供补充属性或人口统计（诸如性别），则可以计算简档，但是已知揭示该附加信息以允许推荐系统的分析员推断出更多的个人敏感信息。我们设计了一个协议，让隐私意识的用户受益于基于矩阵分解的推荐系统，同时保护他们的隐私。更准确地说，我们的协议使用户能够了解她的个人资料，并从中预测评级，而无需用户透露任何个人信息。该协议在标准模型下对半诚实攻击者是安全的。
2018-12-01 cs.CR cs.LG
Estimating Sparse Discrete Distributions Under Local Privacy and Communication Constraints
Cornell University（康奈尔大学）；Google（谷歌公司）
我们考虑在局部差分隐私（LDP）和通信约束下估计稀疏离散分布的问题。我们刻画了样本的复杂性稀疏估计LDP约束下的一个常数因子和通信约束下的样本复杂性的对数因子。我们在LDP下的上限是基于Hadamard响应的，这是一种私人硬币方案，每个用户只需要一位通信。在通信约束下，我们提出了基于随机哈希函数的公共硬币方案。我们的紧下界是基于最近提出的卡方收缩方法。
2021-02-19 cs.CR cs.DS cs.IT
Federated Social Recommendation with Graph Neural Network
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
推荐系统是通过学习嵌入来预测用户对项目的潜在兴趣的系统。图神经网络~（GNN）的最新发展也为推荐系统提供了强大的骨干，以从用户项图中学习嵌入。然而，由于数据汇集的困难，仅利用用户-项目交互会遭受冷启动问题。因此，目前的努力提出融合社会信息与用户项目的互动，以减轻它，这是社会推荐问题。现有的工作使用GNN同时聚合社交链接和用户-项目交互。然而，它们都需要集中存储用户的社交链接和项目交互，这导致了隐私问题。此外，根据《一般数据保护条例》的严格隐私保护，集中式数据存储在未来可能不可行，因此迫切需要一个分散的社交推荐框架。为此，我们设计了一个新的框架\textbf{Fe}起草的\textbf{So}社会建议与\textbf{G}的神经网络（FeSoG）。首先，FeSoG采用关系注意和聚合来处理异构性。其次，FeSoG使用本地数据推断用户嵌入以保持个性化。最后但并非最不重要的是，该模型采用伪标签技术与项目抽样，以保护隐私和加强训练。在三个真实数据集上的大量实验证明了FeSoG在完成社会推荐和隐私保护方面的有效性。我们是第一个工作，提出了一个联邦学习框架的社会建议，以我们所知的最好的。
2021-11-21 cs.IR cs.LG
Probabilistic Matrix Factorization with Personalized Differential Privacy
Anhui University（安徽大学）
概率矩阵分解（PMF）在推荐系统中起着至关重要的作用。它需要大量的用户数据（如用户购物记录和电影评分）来预测个人偏好，从而为用户提供高质量的推荐服务，这暴露了用户隐私泄露的风险。差分隐私作为一种可证明的隐私保护框架，在推荐系统中得到了广泛的应用。不同的个人对项目有不同级别的隐私要求是常见的。然而，传统的差分隐私只能为所有用户提供统一级别的隐私保护。本文主要提出了一种具有个性化差分隐私的概率矩阵分解推荐方案（PDP-PMF）。它旨在满足用户在项目级别指定的隐私要求，而不是为所有人提供相同级别的隐私保证。然后，我们开发了一个修改的采样机制（有界差分隐私）实现PDP。我们还进行了理论分析的PDP-PMF计划，并证明了PDP-PMF计划的隐私。此外，我们实现了传统的和个性化的差分隐私（DP-PMF，PDP-PMF）的概率矩阵分解方案，并通过一系列的实验进行比较。实验结果表明，PDP-PMF方案在保护用户隐私方面表现良好，推荐质量明显优于DP-PMF方案。
2018-10-19 cs.CR cs.LG
Discrete Distribution Estimation under Local Privacy
Google（谷歌）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
用户数据的收集和分析推动了应用程序和网络生态系统的改进，但也带来了隐私风险。本文探讨了本地隐私下的离散分布估计，其中服务提供商可以学习的分类统计的分布，而不收集底层数据的设置。我们提出了新的机制，包括散列K元随机响应（KRR），经验上满足或超过现有机制在所有隐私级别的效用。新的理论结果证明了KRR和现有的RAPPOR机制在不同的隐私制度的顺序最优性。
2016-06-15 cs.LG stat.ML
Finding Connections: Membership Inference Attacks for the Multi-Table Synthetic Data Setting
University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
本文提出多表成员推断攻击，揭示单表攻击低估用户级隐私泄露问题，通过异构图神经网络评估用户实体的隐私风险。
2026-05-08 cs.LG
Discrete Few-Shot Learning for Pan Privacy
University of Melbourne（墨尔本大学）
在本文中，我们提出了第一个基线结果的任务的少样本学习的离散嵌入向量的图像识别。少样本学习是一项高度研究的任务，通常由资源受限的识别系统利用，以在每个类别的少量图像上进行训练。Few-Shot系统通常存储每个类的连续嵌入向量，在系统违规或内部威胁令人担忧的情况下对隐私构成风险。使用离散的嵌入向量，我们设计了一个简单的密码协议，它使用单向哈希函数，以建立识别系统，不直接存储其用户的嵌入向量，从而提供了一个实用的和广泛的设置计算泛隐私的保证。
2020-06-23 cs.LG stat.ML
Privacy Preserving Inference of Personalized Content for Out of Matrix Users
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-rocquencourt研究所）；Rajiv Gandhi University（拉贾夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒姆研究实验室）；Stanford University（斯坦福大学）
本文提出 DeepNaniNet，一种基于归纳图架构和 BERT 文本嵌入的隐私保护推荐框架，通过“内容篮子”用户表示与自编码器泛化策略解决冷启动问题，并在 CiteULike 和 AnimeULike 数据集上取得领先性能。
2025-08-12 cs.AI cs.IR cs.LG
Co-clustering for Federated Recommender System
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；City University of Hong Kong（香港城市大学）
针对联邦推荐系统中的统计异质性和高维稀疏问题，提出CoFedRec共聚类联邦推荐机制，通过物品成员关系分组客户端并引入监督对比学习，在四个数据集上验证了有效性。
2024-11-03 cs.IR cs.LG
Privacy-Utility-Bias Trade-offs for Privacy-Preserving Recommender Systems
University of Basel（巴塞尔大学）
本文研究了差分隐私机制在推荐系统中的隐私-效用-偏见权衡，发现不同机制在不同数据条件下表现各异，DPSGD在保持准确性方面表现更优，而LDP在保持推荐模式方面更稳定。
2025-11-27 cs.LG
Ranking Items from Discrete Ratings: The Cost of Unknown User Thresholds
EPFL（瑞士联邦理工学院）
该研究针对从粗粒度离散评分恢复细粒度物品排序的问题，构建含隐式物品分数和用户阈值的模型，证明近完美排序需Θ(n²)次查询，提出匹配该界的算法，揭示阈值多样性的利弊。
2025-10-02 cs.IR cs.LG
DRIFT: A Federated Recommender System with Implicit Feedback on the Items
本文提出联邦推荐系统DRIFT，基于SAROS算法利用隐式反馈实现精准推荐，在保护用户隐私的同时保证线性计算复杂度和安全性。
2023-04-17 cs.IR cs.LG
On the Inherent Privacy Properties of Discrete Denoising Diffusion Models
Georgia Institute of Technology（佐治亚理工学院）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Purdue University（普渡大学）
本文首次从理论上分析了离散扩散模型生成离散数据集时的固有隐私属性，基于每实例差分隐私框架量化了数据点隐私泄露与数据集分布的关联，并揭示了数据规模和扩散系数衰减对隐私保证的影响。
2024-06-03 cs.LG
How Much Are You Willing to Share? A "Poker-Styled" Selective Privacy Preserving Framework for Recommender Systems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
大多数工业推荐系统依赖于流行的协同过滤（CF）技术，为用户提供个性化的建议。然而，CF的本质与用户隐私的想法是对立的，因为用户需要与其他人分享他们的偏好，以便与志同道合的人分组并获得准确的推荐。虽然以前的隐私保护方法已经成功，因为他们隐藏用户偏好信息在一定程度上从一个集中式推荐系统，他们也，然而，在隐私，可扩展性和准确性方面产生了显着的权衡。它们也容易受到恶意行为者的隐私侵犯。根据这些观察，我们提出了一种新的选择性隐私保护（SP2）范式，允许用户自定义定义的范围和程度，他们的个人隐私，通过标记他们的个人评级为公开（可以共享）或私人（这是从来没有共享和存储在用户设备上）。我们的SP2框架分两步工作：（i）首先，它基于用户共享的所有公共评级的总和构建初始推荐模型，（ii）然后，基于用户的私人评级在每个用户的设备上微调这个公共模型，从而最终学习更准确的模型。此外，在这项工作中，我们介绍了三种不同的算法来实现一个端到端的SP2框架，可以有效地从数千到数亿的项目。我们的用户调查显示，绝大多数用户可能会对更多的项目进行评分，以改善整体推荐，当他们可以控制哪些评分将与他人公开共享时。
2018-06-04 cs.HC cs.IR cs.LG
Towards User-level Private Reinforcement Learning with Human Feedback
Renmin University of China（中国人民大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
针对RLHF中用户级隐私保护不足的问题，提出AUP-RLHF框架，集成用户级标签差分隐私，建立下界并开发新算法，在情感生成和摘要任务上优于基线，实现更优隐私-效用权衡。
2025-02-22 cs.AI cs.LG
$C^3DRec$: Cloud-Client Cooperative Deep Learning for Temporal Recommendation in the Post-GDPR Era
Peking University（北京大学）
移动设备使用户能够随时随地检索信息。考虑到移动用户的临时需求和碎片化使用模式，提出了基于用户短期交互行为的时态兴趣学习方法，以提高移动设备上信息检索的效率.然而，隐私保护法律法规的实施，如GDPR，可能会使临时推荐的成功实践黯然失色。原因在于，现有的推荐系统需要在集中式服务器中收集和处理用户数据，但是用于临时推荐的交互行为数据通常是非事务性数据，根据GDPR，在没有用户的明确许可的情况下不允许收集这些数据。因此，如果用户不允许服务收集他们的交互行为数据，时间推荐就无法工作。为实现后GDPR时代的时态推荐，提出了一种基于云-客户端协同的深度学习框架$C^3DRec$，用于在保护用户隐私的同时挖掘交互行为进行推荐。$C^3DRec$使用GDPR之前收集的数据在集中式服务器上构建全局推荐模型，并使用GDPR之后收集的数据直接在各个本地设备上微调模型。我们设计了两种模式来完成推荐，即拉模式，其中候选项目被拉到设备上，并送入本地模型，以获得推荐项目，推模式，其中本地模型的输出推到服务器上，并与候选项目相结合，以获得推荐项目。评估结果表明，$C^3DRec$实现了类似的推荐精度集中的方法，以最小的隐私问题。
2021-01-13 cs.CR cs.IR cs.LG
Federated Heterogeneous Graph Neural Network for Privacy-preserving Recommendation
Beijing University of Posts and Telecommunications（北京邮电大学）；Hokkaido University（北海道大学）；National University of Defense Technology（国防科技大学）
针对分布式HIN语义断裂与隐私问题，提出FedHGNN框架，通过差分隐私保护的语义保持交互发布及HGNN聚合实现联邦隐私保护推荐，性能显著提升。
2024-02-28 cs.AI cs.CR cs.DC
Survey of Privacy-Preserving Collaborative Filtering
Missouri University of Science and Technology（密苏里科技大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）；Applied Computational Intelligence Laboratory, Missouri University of Science and Technology（密苏里科技大学应用计算智能实验室）
协同过滤推荐系统基于用户自己的过去偏好以及共享相似兴趣的其他用户的偏好向用户提供推荐。近年来，推荐系统的使用越来越广泛，帮助人们选择要看的电影、要读的书和要买的东西。然而，用户在使用这类系统时往往会担心自己的隐私，许多用户不愿意向大多数在线服务提供准确的信息。隐私保护协同过滤推荐系统的目标是为用户提供准确的推荐，同时保持一定的保证他们的数据的隐私。这项调查研究了最近的文献在隐私保护的协同过滤，提供了一个广阔的视野，并使用两个不同的标准对文献中的关键贡献进行分类：他们解决的脆弱性类型和他们用来解决它的方法类型。
2020-03-18 cs.CR cs.IR cs.LG
Decentralized Graph Neural Network for Privacy-Preserving Recommendation
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
针对联邦与去中心化GNN推荐中的通信低效和隐私泄露问题，提出DGREC，通过局部超图、全局用户图及安全梯度共享实现隐私保护推荐。
2023-08-15 cs.AI cs.CR cs.IR
Semi-decentralized Federated Ego Graph Learning for Recommendation
Southern University of Science and Technology（南方科技大学）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
基于协同过滤（CF）的推荐系统通常基于个人交互数据（例如，点击和购买），这些可以自然地表示为自我图。然而，现有的推荐方法大多收集所有用户的自我图组成一个全局图，以获取用户与项目之间的高阶协作信息，这些集中式CF推荐方法不可避免地导致用户隐私泄露的高风险。虽然最近提出的联合推荐系统可以缓解隐私问题，但它们要么将设备上的本地训练限制在孤立的自我图上，要么依赖于额外的第三方服务器来访问其他自我图，从而导致繁琐的管道，这在实践中很难工作。此外，现有的联合推荐系统需要资源有限的设备来维护整个嵌入表，从而导致高通信成本。有鉴于此，我们提出了一个半分散的联合自我图学习框架的设备上的建议，命名为SemiDFEGL，它引入了新的设备到设备的协作，以提高可扩展性和降低通信成本，并创新地利用预测的交互项目节点连接孤立的自我图，以增加本地子图，以便高阶用户项目的协作信息可以在隐私保护的方式使用。此外，所提出的框架是模型不可知的，这意味着它可以与现有的基于图神经网络的推荐方法和隐私保护技术无缝集成。为了验证所提出的SemiDFEGL的有效性，在三个公共数据集上进行了大量的实验，实验结果表明了所提出的SemiDFEGL与其他联邦推荐方法相比的优越性.
2023-02-10 cs.AI cs.IR cs.LG
