Privately Learning Decision Lists and a Differentially Private Winnow
Boston University(波士顿大学)
本文提出差分隐私算法,用于在PAC和在线模型中高效学习决策列表和半空间,实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Private Online Learning via Lazy Algorithms
Apple(苹果公司);Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院);University of Washington(华盛顿大学)
该研究针对私有在线学习中的OPE和OCO问题,提出将懒在线学习算法转换为私有算法的新方法,在高隐私场景下显著提升遗憾值,并证明对应速率对一类低切换私有算法最优。
2025-02-21 cs.CR cs.DS cs.LG
Differentially Private Online Learning
Microsoft Research India(微软研究院印度);University of Texas at Austin(得克萨斯大学奥斯汀分校);Pennsylvania State University(宾夕法尼亚州立大学)
在本文中,我们考虑在在线学习设置的隐私保护的问题。我们研究的问题,在线凸规划(OCP)框架-一个流行的在线学习设置有几个有趣的理论和实际意义-而使用差分隐私作为正式的隐私措施。对于这个问题,我们提取了私有OCP算法应该具有的两个关键属性,以便提供合理的隐私以及效用保证:1)线性降低的灵敏度,即,随着新的数据点到达,它们对学习模型的影响减小,2)次线性后悔界限--后悔界限是在线学习算法的流行的优度/效用度量。给定一个OCP算法,满足这两个条件,我们提供了一个通用的框架,将给定的算法转换成一个隐私保护OCP算法具有良好的(次线性)遗憾。然后,我们说明了我们的方法,将两个流行的在线学习算法转换成他们的差异私人的变种,同时保证次线性遗憾($O(\sqrt{T})$)。接下来,我们考虑在线线性回归问题的特殊情况,这是一类实际上很重要的在线学习问题,为此我们推广了Dwork等人的方法,以提供一个仅具有$O(\log^{1.5} T)$遗憾的差分私有算法。最后,我们表明,我们的在线学习框架可以用来提供不同的离线学习算法。对于离线学习问题,我们的方法获得了更好的误差界,以及可以处理更大的类的问题比现有的最先进的方法Chaudhuri等人。
2011-09-16 cs.CR cs.LG stat.ML
Private PAC Learning May be Harder than Online Learning
Boston University(波士顿大学);University of Chicago(芝加哥大学)
本文研究了差分隐私 PAC 学习的计算复杂度,在合理的密码学假设下证明了存在概念类具有多项式时间在线学习器但无高效差分隐私 PAC 学习器,否定了保持计算效率的通用转换的可能性。
2024-02-16 cs.CR cs.DS cs.LG
Secure and Policy-Private Resource Sharing in an Online Social Network
提供允许在线社交网络用户以安全和私密的方式管理其信息和/或资源的发布的功能是一个相关的并且远非微不足道的主题,其已经受到各种研究团体的审查。在这项工作中,我们提供了一个框架,允许用户定义高度表达的访问策略,他们的资源的方式,执法不需要干预的(可信或不)第三方。这是通过部署新定义的加密原语来实现的,该原语提供了高效的访问撤销和访问策略隐私。最后,我们提供了一个实现我们的框架作为Facebook的应用程序,证明了我们的方法的可行性。
2013-07-10 cs.CR cs.SI
On the Growth of Mistakes in Differentially Private Online Learning: A Lower Bound Perspective
ETH Zurich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学)
本文从下界视角研究差分隐私在线学习的错误增长,证明在轮数满足一定条件时,期望错误数以 Ω(log(T/δ)) 增长,首次部分解决了 DP 在线学习下界的开放问题。
2024-10-20 cs.CR cs.LG
Online Differentially Private Consistent Clustering
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);Google(谷歌);Google Deepmind(谷歌DeepMind)
该研究针对在线流环境下的差分隐私聚类问题,提出通用归约方法,使算法在近似比、空间与时间性能上优于或匹配现有方法,且继承了非私有聚类算法的一致性属性。
2026-08-31 cs.CR cs.DS
An Equivalence Between Private Classification and Online Prediction
Boston University(波士顿大学);Tel Aviv University(特拉维夫大学);Google AI Princeton(谷歌AI普林斯顿);Princeton University(普林斯顿大学)
我们证明了每一个有限Littlestone维数的概念类可以学习的(近似)微分私有算法。这回答了Alon等人(STOC 2019)的一个开放问题,他们证明了相反的陈述(Neel等人也提出了这个问题。~ (FOCS 2019年))。这两个结果一起产生在线学习能力和私人PAC学习能力之间的等价性。我们引入了一个新的概念,算法的稳定性称为“全球稳定性”,这是必不可少的,我们的证明,可能是独立的利益。我们还讨论了我们的研究结果的应用,以提高隐私和准确性参数的差异私人学习者。
2021-06-22 cs.CR cs.LG stat.ML
Private online learning and prediction for Littlestone classes
University of Copenhagen(哥本哈根大学)
针对遗忘可实现对手,证明私有在线学习与预测的样本复杂度被时间范围因子分离,给出学习下界和预测上界,并填补先前下界空白。
2026-10-06 cs.CR cs.LG stat.ML
On Differentially Private Online Collaborative Recommendation Systems
在协作推荐系统中,隐私可能会受到损害,因为用户的意见被用来为其他人生成推荐。在本文中,我们考虑一个在线的协同推荐系统,我们衡量用户的隐私的标准差分隐私。我们给出了第一个定量分析的推荐质量和用户的隐私之间的权衡,在这样的系统中,通过显示任何非平凡算法的最佳可实现的隐私的下限,并提出了一个接近最优的算法。从我们的研究结果中,我们发现,实际上是很少的权衡推荐质量和隐私的任何非平凡的算法。我们的研究结果还确定了决定最佳可实现隐私的关键参数。
2015-10-29 cs.CR cs.DS
Littlestone Classes are Privately Online Learnable
Tel Aviv University(特拉维夫大学)
我们考虑隐私约束下的在线分类问题。在该设置中,学习器顺序地观察标记的示例$(x_t, y_t)$的流,用于$1 \leq t \leq T$,并且在每次迭代$t$处返回假设$h_t$,该假设用于预测每个新示例$x_t$的标记。学习者的表现是通过她对一个已知的假设类$\mathcal{H}$的后悔来衡量的。我们要求算法满足以下隐私约束:由算法输出的假设序列$h_1, \ldots, h_T$需要是整个输入序列$(x_1, y_1), \ldots, (x_T, y_T)$的$(ε, δ)$ -差分私有函数。我们提供了第一个非平凡的遗憾的可实现的设置。具体来说,我们表明,如果类$\mathcal{H}$具有恒定的Littlestone维数,然后,给定一个不经意的序列标记的例子,有一个私人的学习者,使预期最多$O(\log T)$错误-在非私人的情况下,最佳的错误界相比,对数因子。此外,对于Littlestone维数$d$的一般值,相同的错误界成立,但$d$因子具有双指数。最近的一项工作表明,在线学习的课程和差异化私人学习的课程之间存在着很强的联系。我们的研究结果加强了这种联系,并表明在线学习算法实际上可以直接私有化(在可实现的设置中)。我们还讨论了自适应设置,并提供了一个次线性遗憾界的$O(\sqrt{T})$。
2021-06-25 cs.CR cs.DS cs.LG
Differentially Private Online Community Detection for Censored Block Models: Algorithms and Fundamental Limits
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
本文针对删失块模型下的动态社区,提出在局部和中心边差分隐私下的联合变化检测与社区估计方法,并给出隐私、延迟与精确恢复间权衡的理论条件及实验验证。
2025-10-07 cs.CR cs.IT cs.SI
Differentially Private Online Federated Learning with Correlated Noise
KTH Royal Institute of Technology(KTH皇家理工学院);The Chinese University of Hong Kong(香港中文大学)
针对在线联邦学习中持续发布模型的隐私保护问题,提出采用时间相关噪声的差分隐私算法,并通过扰动迭代分析与拟强凸条件建立动态遗憾界,实验验证其有效性。
2025-01-08 cs.CR cs.DC cs.LG
Faster Secure Comparisons with Offline Phase for Efficient Private Set Intersection
在私有部分交集(PSI)协议中,Alice和Bob计算他们各自集合的交集,而不公开不在交集中的任何元素。PSI协议已经在文献中被广泛研究,并在工业中部署。随着最先进的协议实现最佳渐近复杂度,性能改善是罕见的,只能提高复杂度常数。在本文中,我们提出了一个新的私人,非常有效的比较协议,导致PSI协议与低常数。我们的比较协议的一个有用的属性是,它可以分为在线和离线阶段。所有昂贵的加密操作都在离线阶段执行,在线阶段每次比较只执行四次快速字段操作。这导致了一个令人难以置信的快速在线阶段,我们的评估表明,它优于相关的工作,包括KKRT(CCS 16),VOLE-PSI(EuroCrypt 21)和OKVS(Crypto 21)。我们还评估了使用不同信任假设实现离线阶段的标准方法:加密,硬件和第三方(经销商模型)。
2022-09-28 cs.CR
Near-Optimal Algorithms for Private Online Optimization in the Realizable Regime
Apple(苹果公司);Tel Aviv University(特拉维夫大学)
我们认为在线学习问题的可实现的设置,有一个零损失的解决方案,并提出新的差分私有(DP)算法,获得接近最优的遗憾界。对于专家在线预测问题,我们设计了新的算法来获得接近最优的后悔${O} \big( \varepsilon^{-1} \log^{1.5}{d} \big)$,其中$d$是专家的数量。这显著改善了DP不可实现设置的最佳现有遗憾界限,其为${O} \big( \varepsilon^{-1} \min\big\{d, T^{1/3}\log d\big\} \big)$。我们还开发了一个自适应算法的小损失设置遗憾$O(L^\star\log d + \varepsilon^{-1} \log^{1.5}{d})$其中$L^\star$是最好的专家的总损失。此外,我们认为DP在线凸优化的可实现的设置,并提出了一个算法与接近最佳的遗憾$O \big(\varepsilon^{-1} d^{1.5} \big)$,以及一个算法的顺利情况下遗憾$O \big( \varepsilon^{-2/3} (dT)^{1/3} \big)$,都显着改善现有的界限在不可实现的制度。
2023-02-27 cs.CR cs.LG math.OC
Nash Incentive-compatible Online Mechanism Learning via Weakly Differentially Private Online Learning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出一种结合弱差分隐私在线学习与承诺机制的随机选择方法,在无需智能体类型先验的情况下实现多轮激励兼容在线机制学习,并在对抗环境中获得随远视程度和机制类大小优雅扩展的遗憾界。
2026-11-11 cs.CR cs.DS cs.GT
On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits
The Hong Kong University of Science and Technology(香港科技大学)
差分私有随机凸优化在可信机器学习算法设计中是普遍存在的。本文研究了从一个分布中采样并顺序到达的流数据的DP-SCO问题。我们还考虑了持续发布模型,其中与私人信息相关的参数在每个新数据时更新和发布,通常称为在线算法。尽管已经开发了许多算法来实现不同$\ell_p$范数几何中的最优超额风险,但是现有的算法都不能适应流式和连续发布设置。为了解决具有隐私保护的在线凸优化问题,我们提出了一种基于递归梯度的在线Frank-Wolfe算法的私有变体,用于方差缩减以更新和揭示每个数据的参数。结合自适应差分隐私分析,我们的在线算法在线性时间内实现了$1<p\leq 2$时的最优超额风险和$2<p\leq\infty$时的最新超额风险满足非私有的较低风险。我们的算法也可以扩展到$p=1$的情况下,实现几乎与维度无关的超额风险。虽然以前的递归梯度方差减少的结果只有在独立和同分布的样本设置的理论保证,我们建立了这样的保证在非平稳设置。为了证明我们的方法的优点,我们设计了第一个DP算法的高维广义线性强盗对数遗憾。与各种DP-SCO和DP-Bandit算法的比较实验表明,所提出的算法的有效性和实用性。
2022-06-16 cs.CR cs.LG math.OC
Differentially Private Nonparametric Regression Under a Growth Condition
MIT(麻省理工学院)
给定一个实值的假设类$\mathcal{H}$,我们调查在什么条件下有一个差分隐私算法,学习一个最佳的假设从$\mathcal{H}$给定的i.i.d.数据受二元分类的相关设置的最近结果的启发(Alon等人,2019; Bun等人,Jung等人(2020)表明,在回归的设置中,$\mathcal{H}$的在线可学习性对于私人可学习性是必要的。这里,$\mathcal{H}$的在线可学习性的特征在于其$η$ -连续脂肪粉碎维度${\rm sfat}_η(\mathcal{H})$对于所有$η> 0$的有限性。在私人可学习性的充分条件方面,Jung等人(2020)表明,如果$\lim_{η\downarrow 0} {\rm sfat}_η(\mathcal{H})$是有限的,则$\mathcal{H}$是私人可学习的,这是一个相当严格的条件。我们证明,在宽松条件$\lim \inf_{η\downarrow 0} η\cdot {\rm sfat}_η(\mathcal{H}) = 0$下,$\mathcal{H}$是可私下学习的,从而为类$\mathcal{H}$建立了第一个非参数私人可学习性保证,其中${\rm sfat}_η(\mathcal{H})$与$η\downarrow 0$发散。我们的技术涉及一种新的过滤过程,输出稳定的假设非参数函数类。
2021-11-24 cs.CR cs.LG stat.ML
PAPRIKA: Private Online False Discovery Rate Control
Georgia Institute of Technology(佐治亚理工学院);University of Waterloo(滑铁卢大学)
在假设检验中,当由于样本中的噪声而错误地拒绝假设时,会发生错误发现。当自适应地测试多个假设时,错误发现的概率随着执行更多的测试而增加。因此,错误发现率(FDR)控制的问题是找到一个程序,用于测试多个假设,考虑这种影响,在确定一组假设拒绝。目标是最小化错误发现的数量(或分数),同时保持高的真阳性率(即,正确的发现)。本文研究了样本差异隐私约束下多假设检验中的错误发现率控制问题。与以前在这个方向上的工作不同,我们专注于在线设置,这意味着必须在执行测试后立即做出关于每个假设的决定,而不是像离线设置那样等待所有测试的输出。我们提供了新的私人算法的基础上,国家的最先进的非私人在线FDR控制的结果。我们的算法对隐私和统计性能具有强有力的可证明保证,这些性能由FDR和功率来衡量。我们还提供了实验结果来证明我们的算法在各种数据环境中的有效性。
2020-10-21 cs.CR cs.DS cs.LG
Improved Differentially Private and Lazy Online Convex Optimization
Google Deepmind(谷歌DeepMind);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
本文针对差分隐私在线凸优化,通过强对数凹密度采样改进维度因子并去除光滑性要求,获得该情形下已知最佳速率。
2023-12-20 cs.CR cs.DS cs.LG
Crypto-Book: Bootstrapping Privacy Preserving Online Identities from Social Networks
支持联合身份的社交网站为跨站点身份验证提供了一种方便且日益流行的机制。不幸的是,它们也加剧了许多隐私和跟踪风险。我们提出了加密书,一个匿名层,使跨站点身份验证,同时降低这些风险。Crypto-Book依赖于一组独立管理的服务器,这些服务器共同为每个社交网络身份分配公钥/私钥对。只有身份的所有者知道所有的私钥份额,因此可以构造私钥,而所有参与者可以获得任何用户的公钥,即使尚未检索到相应的私钥。在获得适当的密钥集之后,用户可以利用匿名身份验证技术(如验证签名)登录第三方网站,同时保护隐私。我们已经实现了一个原型的加密书,并展示了它的使用与三个应用程序:一个维基系统,一个匿名组通信系统,和举报人提交系统。我们的结果表明,对于大小为100的匿名集,Crypto-Book登录需要0.56s的签名生成的客户端,0.38s的签名验证的服务器上,并需要5.6KB的通信带宽。
2014-06-16 cs.CR
Differentially Private Online Item Pricing
本文提出首个在重复无限供应商品定价拍卖中同时实现差分隐私保护和次线性遗憾的算法,基于指数权重元算法和随机扰动,并扩展至买家策略性出价场景。
2023-10-28 cs.CR cs.GT cs.LG
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University(克莱姆森大学)
本文提出一种局部差分隐私分布式在线学习方法,利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算,并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Privocracy: Online Democracy through Private Voting
Purdue University(普渡大学)
Privocracy 通过安全的电子投票机制实现对敏感资源的访问控制,减少高特权依赖,提升系统隐私和安全性。
2026-02-01 cs.CR cs.DC
Deciding Differential Privacy of Online Algorithms with Multiple Variables
本文推广了DiP自动机模型以支持多实值变量,刻画了差分隐私DiP自动机类,证明其判定问题为PSPACE完全,并实现了相应算法验证其有效性。
2023-09-12 cs.CR cs.FL cs.LO
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)(格兰萨索科学研究所);Purdue University(普渡大学);Technion(以色列理工学院);Google Research(谷歌研究院)
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题,通过建立树的拉姆齐型定理,直接基于Littlestone树推导给出肯定答案,证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
Optional Data Disclosure and the Online Privacy Paradox: A UK Perspective
民意调查显示,公众重视他们的隐私,大多数人呼吁对他们的数据进行更大的控制。然而,个人继续使用在线服务,这将使他们的个人信息处于危险之中,包括隐私保护。以前的工作分析了这一现象,通过事后的比较,但没有研究在询问过程中的披露行为。我们对英国城市进行了实地调查,以研究英国公众如何看待隐私以及不同人口群体之间的看法如何不同。通过对可选数据披露的分析,我们实证研究了那些声称重视隐私的人是否会私下使用自己的数据。我们发现,意见和自我报告的行为对披露的影响很小,超过99%的个人不必要地披露私人数据。我们表明,不仅个人行为违背他们的意见,他们披露信息不必要的,即使在描述自己为私人。我们相信,我们的研究结果鼓励进一步分析数据披露,作为研究真正隐私行为的一种手段。
2018-07-16 cs.CR cs.CY
Lower Bounds for Differential Privacy Under Continual Observation and Online Threshold Queries
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
该研究针对差分隐私计数器问题提出新下界,并扩展到在线阈值查询,首次实现私有与非私有在线学习及私有在线预测的分离。
2024-04-17 cs.CR cs.LG
Private Online Prediction from Experts: Separations and Faster Rates
Apple(苹果公司);Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦尼克计算机科学学院)
提出隐私约束下的在线专家预测的新算法,改进非自适应对手的遗憾界,证明自适应与非自适应对手及纯与与近似差分隐私间的存在分离性。
2023-06-29 cs.CR cs.LG math.OC
Distributed Online Private Learning of Convex Nondecomposable Objectives
College of Computer Science, Chongqing University(重庆大学计算机学院);College of Electronic and Information Engineering, Southwest University(西南大学电子与信息工程学院)
针对时变网络上的分布式约束在线学习问题,提出DPSDA框架及两种算法,利用拉普拉斯机制和随机对偶平均实现差分隐私,达到$O(\sqrt{T})$遗憾界。
2023-08-03 cs.CR cs.LG math.OC
Differentially Private Online Submodular Maximization
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们考虑的问题下的基数约束差分隐私(DP)的在线次模最大化。公共有限基集$U$上的$T$子模函数流在线到达,并且在每个时间步,决策者在观察函数之前必须选择$U$的至多$k$元素。决策者获得的回报等于在所选集合上评估的函数,并旨在学习一系列实现低预期后悔的集合。在完全信息条件下,我们提出了一个$(\varepsilon,δ)$ -DP算法,其期望的$(1-1/e)$ -后悔界为$\mathcal{O}\left( \frac{k^2\log |U|\sqrt{T \log k/δ}}{\varepsilon} \right)$ .该算法包含$k$有序的专家,学习最好的边际增量为每个项目在整个时间范围内,同时保持隐私的功能。在强盗设置中,我们提供了具有预期$(1-1/e)$-$\mathcal{O}\left( \frac{\sqrt{\log k/δ}}{\varepsilon} (k (|U| \log |U|)^{1/3})^2 T^{2/3} \right)$遗憾界限的$(\varepsilon,δ+ O(e^{-T^{1/3}}))$-DP算法。我们的算法包含$k$有序的专家,学习最好的边缘项目选择给定的项目选择她的前任,同时保持隐私的功能。在这种情况下,隐私面临的一个挑战是,专家$i$的回报和反馈取决于她的$i-1$前任所采取的行动。这种特殊类型的信息泄漏不包…
2020-10-24 cs.CR cs.DS cs.LG
Online Distribution Learning with Local Private Constraints
UIUC(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
该研究针对局部差分隐私下无界标签集的在线条件分布估计问题,推导了满足$(ε,0)$-局部差分隐私时累积KL风险的增长阶,并补充了批量设置下假设选择问题的近乎紧上界。
2024-02-01 cs.CR cs.DS cs.IT
Private Web Browser Forensics: A Case Study of the Epic Privacy Browser
有组织的犯罪,以及个人罪犯,是受益于保护私人浏览器提供给那些谁会进行非法活动,如洗钱,贩毒,在线交换虐待儿童的材料,等提供给用户的保护史诗隐私浏览器说明了这些好处。该浏览器目前在全球约180个国家使用。本文概述了通过Epic隐私浏览器的实时和事后状态分析提供的证据的位置和类型。这项研究确定了浏览器在使用过程中的功能,使用后可以恢复证据的方式,以及恢复材料的工具和有效呈现。
2018-01-04 cs.CR
Privacy Preserving Internet Browsers: Forensic Analysis of Browzar
随着技术的进步,刑事司法机构正面临着越来越多的需要调查部分或全部通过互联网实施的犯罪。这些类型的犯罪被称为网络犯罪。为了隐藏非法在线活动,犯罪分子通常使用隐私浏览功能或旨在提供全面浏览隐私的浏览器。使用私人浏览是一个常见的挑战,例如,在调查剥削儿童案件时,这通常源于互联网。虽然隐私浏览功能不是专门为犯罪活动设计的,但它们已成为犯罪分子隐藏其在线活动的重要工具。因此,技术犯罪部门经常将其法医分析集中在彻底检查计算机上的网络历史上。隐私浏览功能和浏览器通常需要更深入的事后分析。这往往需要使用多种工具,以及不同的法医方法来发现罪证。法庭可能需要这些证据,分析师的调查结果以及用于恢复证据的工具和方法经常受到质疑。然而,有很少的研究评估的隐私浏览的隐私保护以及取证获取和分析的隐私保护的互联网浏览器。因此,在本章中,我们首先回顾了流行的互联网浏览器的隐私模式。接下来,我们描述了Browzar的取证获取和分析,一个隐私保护的互联网浏览器,并将其与其他流行的互联网浏览器进行比较
2017-10-26 cs.CR
Private Social Network Data Sharing
在线社交网络的日益普及给最终用户带来了巨大的隐私威胁。虽然现有的工作主要集中在从社交网络中推断敏感属性,如年龄,位置和性别,很少有人做了如何保护用户的隐私,防止恶意推断。本文针对现有社交网络的隐私脆弱性,设计了一个隐私保护框架。我们评估了该框架的隐私性和有用性保证,证明了其分类和防御隐私攻击的有效性。
2017-07-26 cs.CR cs.SI
Multi-Analyst Differential Privacy for Online Query Answering
大多数差异私有机制都是为单个分析员设计的。然而,在现实中,通常有多个利益相关者,他们的优先级不同,甚至可能相互冲突,他们必须分担相同的隐私损失预算。这激发了多分析者差分隐私的公平共享问题。我们以前的工作定义的desiderata,在这个空间中的任何机制都应该满足和介绍的方法,在离线的情况下,查询是已知的。我们扩展我们以前的工作多分析师差异私人查询回答的情况下,在线查询回答,查询进来一次,必须回答以下查询的知识。我们证明,在网上的情况下,查询的未知顺序的结果在一个基本的限制,可以回答,同时满足desiderata的查询的数量。作为回应,我们开发了两种机制,一种是满足在所有情况下的desiderata,但受到的基本限制,另一种是随机的输入顺序,确保现有的在线查询应答机制可以满足desiderata。
2022-12-19 cs.CR cs.CY cs.DB
CryptoNite: Revealing the Pitfalls of End-to-End Private Inference at Scale
将深度学习推理作为服务提供的隐私问题强调了对使用加密方法保护用户数据和服务提供商模型的私有推理(PI)协议的需求。最近提出的PI协议通过将计算量大的同态加密(HE)部分移动到离线/预计算阶段来实现PI延迟的显著减少。再加上最近针对PI定制网络的优化,这些协议已经达到了非常接近实用的性能水平。在本文中,我们进行了严格的端到端的PI协议和优化技术的表征,发现目前的理解PI性能过于乐观。具体而言,我们发现,在用户/客户端设备上的乱码电路(GC),PI中使用的密钥加密协议的离线存储成本非常高,并迫使许多昂贵的离线HE计算到在线阶段,导致10-1000 $\times$增加PI延迟。我们提出了一个修改后的PI协议,显着降低了客户端的存储成本,在线延迟的小增加。端到端评估,修改后的协议通过将TinyImageNet上ResNet 18的平均PI延迟减少$4\times$而优于当前协议。最后,我们根据研究结果讨论了最近提出的几种PI优化,并注意到从端到端的角度评估时,许多PI优化实际上增加了PI延迟。
2022-07-18 cs.CR
ModelChain: Decentralized Privacy-Preserving Healthcare Predictive Modeling Framework on Private Blockchain Networks
跨机构医疗保健预测建模可以加速研究并促进质量改进计划,因此对于国家医疗保健提供优先事项非常重要。例如,如果使用来自多个机构的数据开发预测特定患者组的再入院风险的模型,则该模型将更具有普遍性。虽然存在构建预测模型的隐私保护方法,但大多数都基于集中式架构,这会带来安全性和鲁棒性漏洞,例如单点故障(和单点漏洞)以及意外或恶意修改记录。在这篇文章中,我们描述了一个新的框架,ModelChain,以适应区块链技术的隐私保护机器学习。每个参与站点都有助于模型参数估计,而不会泄露任何患者健康信息(即,各机构之间只交换模型数据,不交换观测数据)。我们将隐私保护在线机器学习与私有区块链网络相结合,应用交易元数据来传播部分模型,并设计了一种新的信息证明算法来确定在线学习过程的顺序。我们还讨论了应用区块链技术解决隐私保护医疗保健预测建模任务的好处和潜在问题,并提高机构之间的互操作性,以支持全国互操作性路线图和国家医疗保健提供优先事项,如以患者为中心的成果研究(PCOR)。
2018-02-06 cs.CR cs.CY
CriteoPrivateAds: A Real-World Bidding Dataset to Design Private Advertising Systems
本文发布 CriteoPrivateAds 数据集,这是目前特征数量最大的真实竞价数据集,依据 Chrome Privacy Sandbox 等浏览器隐私提案构建,支持在多种隐私约束下训练竞价模型并提供接近生产性能的离线基准。
2025-04-14 cs.CR stat.CO
Near-Optimal Differentially Private Reinforcement Learning
UC Santa Barbara(加州大学圣巴巴拉分校)
受个性化医疗和其他涉及敏感数据的应用的启发,我们研究了具有差分隐私(DP)约束的强化学习中的在线探索。关于这个问题的现有工作建立了联合差分隐私(JDP)和局部差分隐私(LDP)下的无遗憾学习是可能的,但没有提供最佳遗憾的算法。我们通过设计一个遗憾为$ε$算法来缩小JDP情况下的这一差距,该算法与$ε> S^{1.5}A^{0.5} H^2/\sqrt{T}$的所有选择的非私有学习的信息理论下限相匹配。在上面,$S$、$A$表示状态和动作的数量,$H$表示计划范围,并且$T$是步骤的数量。据我们所知,这是第一个将\emph{privacy for free}渐进地实现为$T\rightarrow \infty$的私有RL算法。我们的技术--可能是独立的--包括私下发布伯恩斯坦式的探索奖金和发布访问统计数据的改进方法。同样的技术也意味着自民党的情况略有改善的遗憾。
2023-02-22 cs.AI cs.CR cs.LG
ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing
Columbia University(哥伦比亚大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);Arkhn
我们提出了AriaNN,一个低交互的隐私保护框架,用于私人神经网络训练和敏感数据的推理。我们的半诚实的2方计算协议(与可信的经销商)利用功能秘密共享,最近的轻量级加密协议,使我们能够实现一个有效的在线阶段。我们为神经网络的构建块设计了优化的原语,如ReLU,MaxPool和BatchNorm。例如,我们在在线阶段使用输入大小的单个消息对ReLU操作进行私有比较,并且预处理密钥比以前的工作小近4倍。最后,我们提出了一个扩展来支持n方私有联邦学习。我们将我们的框架实现为PyTorch之上的可扩展系统,该系统利用CPU和GPU硬件加速进行加密和机器学习操作。我们评估了我们的端到端系统,用于在标准神经网络(如AlexNet,VGG 16或ResNet 18)上的远程服务器之间进行私有推理,以及在较小的网络(如LeNet)上进行私有训练。我们表明,计算而不是通信是主要的瓶颈,使用GPU与减少密钥大小是一个很有前途的解决方案,以克服这一障碍。
2021-10-28 cs.CR cs.LG stat.ML
Generalized Private Selection and Testing with High Confidence
组合定理是通用且强大的工具,可以促进跨每次访问隐私界限的多个数据访问的隐私会计。然而,与端到端分析相比,它们通常会导致较弱的边界。两种流行的工具可以缓解这种情况,它们是指数机制(或报告噪声最大值)和稀疏向量技术。它们在最近的几个私人选择/测试框架中得到了推广,包括Liu和Talwar(STOC 2019)以及Papernot和Steinke(ICLR 2022)的工作。在这项工作中,我们首先提出了一个替代框架的私人选择和测试,一个更简单的隐私证明和同样好的效用保证。其次,我们观察到,私人选择框架(以前的和我们的)可以应用于提高许多基本的隐私保护数据分析任务,包括查询发布,顶部$k$选择和稳定的选择的准确性/置信度权衡。最后,针对在线环境,我们应用私有测试设计了一种自适应查询释放机制,改善了Hardt和Rothblum(FOCS 2010)私有乘性权重算法的样本复杂度对置信度参数的依赖性。
2023-02-10 cs.CR cs.DS
Differentially Private Distributed Inference for Multicenter Clinical Studies
Cornell University(康奈尔大学);University of Pittsburgh(匹兹堡大学)
针对多中心临床研究的数据隐私与集中难题,提出基于对数似然比交换的差分隐私分布式推断框架,揭示三者权衡,推导误差界,验证其在多类模拟研究中兼具高效性与低误差优势。
2026-07-31 cs.AI cs.CR cs.LG
Do you pay for Privacy in Online learning?
ETH AI Center(苏黎世联邦理工学院人工智能中心)
在线学习是学习理论中最基本的概念之一,在错误边界模型中。相反,差分隐私是机器学习社区中最广泛使用的隐私统计概念。因此,很明显,定义在线差异私人学习的学习问题是非常有趣的。在本文中,我们从学习的角度提出了这两个问题是否等价的问题,即,在在线学习框架中隐私是免费的吗?
2022-10-10 cs.CR cs.LG
InfoScrub: Towards Attribute Privacy by Targeted Obfuscation
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
个人的个人照片在网上分享时,除了展示无数令人难忘的细节外,还揭示了广泛的私人信息,并可能带来隐私风险(例如,在线骚扰、跟踪)。为了减轻这些风险,研究允许个人限制视觉数据中泄露的私人信息的技术至关重要。我们解决这个问题,在一个新的图像混淆框架:最大限度地提高熵的推断目标的隐私属性,同时保持图像的保真度。我们基于编码器-解码器风格的架构来处理这个问题,其中有两个关键的新颖性:(a)引入一个自适应器来同时从多个不成对域执行双向翻译;(b)预测一个图像插值,该插值最大化目标属性集的不确定性。我们发现我们的方法生成的模糊图像忠实于原始输入图像,并额外增加6.2 $\times$(或高达0.85位)的非模糊对应的不确定性。
2021-06-01 cs.AI cs.CR cs.CV
SoK: A Review of Differentially Private Linear Models For High-Dimensional Data
Booz Allen Hamilton(博兹·艾伦·汉密尔顿);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Air Force Research Laboratory(空军研究实验室)
本文系统综述了高维差分隐私线性模型的优化方法,并通过实证比较发现鲁棒算法与坐标优化算法性能最优,同时公开了全部实现代码。
2024-04-01 cs.CR cs.LG stat.ML
Graph Analysis in Decentralized Online Social Networks with Fine-Grained Privacy Protection
图分析师不能直接获得分散的社交网络中的全局结构,并且分析这样的网络需要从个体用户收集社交图的局部视图。由于用户之间的边缘可能会在局部视图中揭示敏感的社交交互,因此通常期望在数据汇集过程中应用差分隐私,这提供了强大且严格的隐私保证。在实际的去中心化社交图中,由于不同的敏感度水平,不同的边具有不同的隐私要求。然而,现有的社交图谱的差异私有分析为所有边缘提供了相同的保护。为了解决这个问题,这项工作提出了细粒度的隐私概念以及用于私有图分析的新颖算法。首先,我们设计了一个细粒度的关系差分隐私(FGR-DP)的概念,社会图分析,强制执行不同的隐私要求的边缘不同的保护。然后,我们设计算法的三角形计数和k-星级计数,分别,可以准确地估计子图计数给定细粒度的保护社会边缘。我们还分析了估计误差的上限,包括k星和三角形计数,并显示其优越的性能相比,国家的最先进的。最后,我们在两个真实的社交图数据集上进行了大量的实验,并证明了所提出的机制满足FGR-DP具有更好的实用性比国家的最先进的机制,由于更细粒度的保护。
2022-12-10 cs.CR
Characterizing and Optimizing End-to-End Systems for Private Inference
在两方机器学习预测服务中,客户端的目标是查询远程服务器训练的机器学习模型,以执行某个应用领域的神经网络推理。然而,客户端或服务器在此过程中可能会获取敏感信息,从而导致潜在的收集、未经授权的二次使用和对个人信息的不当访问。这些安全问题导致了私有推理(PI),其中客户端的个人数据和服务器的训练模型都是保密的。最先进的PI协议由预处理或离线阶段和在线阶段组成,在线阶段结合了几个密码原语:同态加密(HE),秘密共享(SS),乱码电路(GC)和不经意传输(OT)。尽管需要和最近的性能改进,PI今天仍然很大程度上是《双城之战》,并且对于实际使用来说太慢了。本文讨论了PI的缺点,详细描述了一个标准的高性能协议,以建立系统社区的基础知识和直觉。我们的描述精确地指出了所有低效率的来源--计算、通信和存储。与以前的工作相比,我们考虑推理请求到达率,而不是孤立地研究单个推理,我们发现预处理阶段不能被忽略,并且经常在线发生,因为没有足够的停机时间来隐藏预计算延迟。最后,我们利用我们的特性的见解,并提出了三个优化,以解决存储(客户端Garbler),计算(层并行HE)和通信(无线时隙分配)的开销。与最先进的PI协议相比,这些优化提供了1.8 $\times$的总PI加速比,能够支持高达2.24 $\times$的推理请求。
2023-02-16 cs.CR
Differentially Private Linear Algebra in the Streaming Model
数值线性代数在计算机科学中占有重要地位。在本文中,我们开始研究执行线性代数任务,同时保护隐私时,数据流在线。我们主要关注的是隐私保护数据结构的空间需求。我们给出了第一个基于{ \em sketch-based}的差分隐私算法。我们给出了最佳的,对数因子,空间数据结构,可以计算低秩近似,线性回归,矩阵乘法,同时保持差分隐私更好的添加剂的误差界相比,已知的结果。值得注意的是,我们匹配了Kane和Nelson在非私有环境中最著名的空间界(J. ACM,61(1):4)。我们的差分私有低秩近似{ \em重用}随机高斯矩阵的机制,以特定的方式提供一个单通道机制。我们证明,由此产生的分布也保持差分隐私。这可以是独立的利益。我们不做任何假设,如奇异值分离或归一化行假设,在早期的作品。矩阵乘法和线性回归的机制可以被看作是已知的非私有算法的私有模拟。我们所有的机制,在所提出的形式,也可以在分布式设置计算。
2017-10-25 cs.CR cs.DS
Differentially Private Continual Release of Graph Statistics
出于了解敏感的社交网络随着时间的推移的动态,我们考虑的问题,不断发布的统计数据在网络上到达,同时保护其参与者的隐私。对于我们的隐私概念,我们使用差分隐私--统计数据分析的隐私黄金标准。这个问题的主要挑战是保持良好的隐私-效用权衡;跨时间组合的幼稚解决方案以及适合表格数据的解决方案要么导致效用差,要么不直接适用。在这项工作中,我们表明,如果在整个网络序列中任何节点的最大度上存在一个公开的上限,那么我们可以连续发布许多常见的图统计数据,如度分布和子图计数,并具有更好的隐私准确性权衡。代码可在https://bitbucket.org/shs037/graphprivacycode获得
2018-09-19 cs.CR cs.DS
Randomize the Future: Asymptotically Optimal Locally Private Frequency Estimation Protocol for Longitudinal Data
局部差分隐私(LDP)下的纵向数据跟踪是一项具有挑战性的任务。重复调用为一次性计算设计的协议的基线解决方案导致隐私或实用性保证相对于计算次数的线性衰减。为了避免这种情况,Erlingsson等人(2020)的最新方法利用了用户数据的潜在稀疏性,这些数据很少发生变化。他们的协议针对纵向二进制数据的频率估计协议的基本问题,$\ell_\infty$误差为$O ( (1 / ε) \cdot (\log d)^{3 / 2} \cdot k \cdot \sqrt{ n \cdot \log ( d / β) } )$,其中$ε$是隐私预算,$d$是时间段的数量,$k$是用户数据的最大变化次数,$β$是失败概率。值得注意的是,误差界限与$d$成多项式关系,但与$k$成线性关系。本文突破了估计误差对$k$的线性依赖性。我们的新协议有错误$O ( (1 / ε) \cdot (\log d) \cdot \sqrt{ k \cdot n \cdot \log ( d / β) } )$,将下限与对数因子匹配。该协议是一个在线协议,在每个时间段输出一个估计。关键的突破是一个新的随机发生器的顺序数据,未来兰德,有两个关键功能。第一种是一种组合策略,它将噪声与序列的非零元素相关联。第二种是预计算技术,通过利用输入空间的对称性,使随机发生器能够在不知道未来输入的情况下动态输出结果。我们的协议关闭现有…
2022-04-11 cs.CR
Privacy-Preserving Hierarchical Model-Distributed Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Seagate Technology(希捷科技)
本文针对分层ML推理场景的数据与模型隐私保护需求,提出结合秘密共享、同态加密等技术的privateMDI方案,通过模型并行化和阶段优化降低通信开销,显著提升了隐私保护下的推理速度。
2024-09-15 cs.CR cs.LG
Hiding Your Awful Online Choices Made More Efficient and Secure: A New Privacy-Aware Recommender System
本文提出一种新型隐私感知推荐系统,结合隐私感知机器学习与同态加密、多方计算等密码学原语,无需可信第三方或安全硬件,在保证隐私的同时将计算和内存开销降低三个数量级,首次在低功耗设备上实现1亿条目规模的隐私推荐。
2024-05-30 cs.CR
Differentially Private Distance Query with Asymmetric Noise
针对社交图距离发布的隐私保护需求,本文提出基于边差分隐私的非对称噪声距离查询机制,结合平滑敏感性提升效用,实验验证其可将误差降至0.0862。
2025-01-14 cs.CR