Personalized and Private Peer-to-Peer Machine Learning
INRIA;EPFL(瑞士联邦理工学院);Université de Lille(里尔大学)
本文提出一种高效算法,实现去中心化且异步的个性化机器学习,在强隐私要求下保证收敛性。通过差分隐私保护数据隐私,并分析隐私与效用的平衡。实验表明,在非隐私情况下优于先前方法,隐私约束下可显著提升模型性能。
2018-02-19 cs.CR cs.DC cs.LG
Private Model Personalization Revisited
Department of Computer Science & Engineering, The Ohio State University(计算机科学与工程系,俄亥俄州立大学);Department of Computer Science & Engineering and the Translational Data Analytics Institute (TDAI), The Ohio State University(计算机科学与工程系和转化数据分析研究所(TDAI),俄亥俄州立大学);Google Research, NY(谷歌研究,纽约)
研究联邦设置下用户级差分隐私的模型个性化,提出基于FedRep的私有高效算法以恢复共享嵌入,在更广分布下提供效用保证并改进隐私误差项,且利用JL变换实现独立于维度的二分类准确率保证。
2025-06-24 cs.AI cs.CR cs.DC
Pricing Private Data with Personalized Differential Privacy and Partial Arbitrage Freeness
将个人数据视为商品的趋势越来越明显。现有的研究已经建立了框架和理论,如何确定一个给定的查询的无仲裁的价格,根据隐私损失量化的差分隐私。然而,这些研究假设数据购买者可以购买查询答案,而数据所有者的任意隐私损失,这在严格的隐私法规和数据所有者日益增加的隐私问题下可能是无效的。在本文中,我们研究了如何授权数据所有者控制数据交易中的隐私损失。首先,我们提出了一个交易个人数据的框架,使数据所有者能够限制他们的个性化隐私损失。其次,由于有界隐私损失表明查询答案的效用有界,因此我们提出了一种合理的无套利放松,称为部分无套利,即,仅对有限范围的公用事业保证无仲裁定价,这为我们的市场设计提供了更多的可能性。第三,为了避免套利,我们提出了一种通用的方法,以确保在个性化差分隐私的套利自由。第四,为了充分利用数据所有者的个性化隐私损失范围,我们提出了隐私预算分配技术来分配隐私损失的查询下套利自由。最后,我们进行实验来验证我们提出的交易协议的有效性。
2021-11-23 cs.CR cs.DB
Dual Protection Ring: User Profiling Via Differential Privacy and Service Dissemination Through Private Information Retrieval
本文提出双环保护机制,结合差分隐私用户画像与私有信息检索,在提供个性化服务的同时抵御行为攻击和画像监控等隐私威胁,并通过移动应用验证其可行性。
2025-06-16 cs.CR
Personalized Social Recommendations - Accurate or Private?
随着最近像Facebook这样的社交网络的兴起,新形式的推荐已经成为可能--个性化的广告推荐、内容推荐,甚至是基于一个人的社交互动的新朋友和产品联系。由于推荐可能使用敏感的社交信息,因此推测这些推荐与隐私风险相关。这项工作的主要贡献是在正规化这些预期的权衡之间的准确性和隐私的个性化社会建议。在本文中,我们研究是否“社会建议”,或建议,完全基于用户的社交网络,可以在不披露敏感的链接在社交图。更准确地说,我们量化的效用损失时,现有的推荐算法进行修改,以满足一个强有力的隐私概念,称为差分隐私。我们证明了任何推荐算法的最小效用损失的下界是差异私人。我们适应两个隐私保护算法的差分隐私文献的社会建议的问题,并分析其性能的下限相比,分析和实验。我们表明,良好的私人社交推荐仅适用于社交网络中的一小部分用户或宽松的隐私参数设置。
2011-05-21 cs.CR cs.DB cs.SI
Towards Personalized Differentially Private Learning for Decentralized Local Graphs
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);School of Cyber Science and Technology, Shandong University(山东大学网络空间安全学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
研究去中心化局部图隐私学习问题,提出PPGNN框架,含个性化扰动机制和加权校准策略,能平衡隐私保护与数据效用。
2026-07-07 cs.CR cs.LG
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出DP$^2$-FedSAM,结合个性化部分模型共享与锐度感知最小化,在差分隐私联邦学习中减轻噪声与裁剪影响,提升模型效用,尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
Inferring Private Personal Attributes of Virtual Reality Users from Head and Hand Motion Data
本研究通过分析1006名VR用户游玩《Beat Saber》的头手运动数据,用简单机器学习模型可推断40余种个人属性,揭示VR运动数据的隐私泄露风险,呼吁多用户VR应用部署隐私保护机制。
2023-06-10 cs.CR cs.HC
PII Jailbreaking in LLMs via Activation Steering Reveals Personal Information Leakage
本文提出通过线性探针定位与隐私拒绝相关的注意力头并引导其激活,实现对LLM的隐私越狱,在四个模型上披露率至少95%,证明记忆的私人信息可被定向提取。
2025-08-19 cs.CR
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University(纽约大学);University of Southern California(南加州大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中,我们研究了随机最优化算法的个性化联邦学习设置,涉及本地和全球模型的用户级(联合)差分隐私。虽然学习私有全局模型会导致隐私成本,但局部学习是完全私有的。我们提供的泛化保证表明,协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
What to Remember, What to Reveal: Privacy-Aware Memory for Conversational Agents
ShanghaiTech University(上海科技大学)
该研究针对对话智能体的隐私风险,提出SP-Mem隐私感知记忆架构,通过全生命周期隐私设计实现更强个性化并减少不必要隐私暴露,还构建了相关基准。
2026-08-18 cs.CR
AnomiGAN: Generative adversarial networks for anonymizing private medical data
Seoul National University(首尔国立大学)
典型的个人医疗数据包含有关个人的敏感信息。因此,存储或共享个人医疗数据通常是有风险的。例如,一个短的DNA序列可以提供信息,不仅可以识别一个人,而且还可以识别他或她的亲属。尽管如此,大多数国家和研究人员都同意收集个人医疗数据的必要性。这是因为,包括基因组数据在内的医疗数据是进一步研究和开发疾病预防和治疗的不可或缺的资源。为了防止个人医疗数据被滥用,应该开发用于实际应用的可靠地保存敏感信息的技术。在本文中,我们提出了一个名为匿名生成对抗网络(AnomiGAN)的框架,以改善个人医疗数据隐私的维护,同时保持高预测性能。我们将我们的方法与最先进的技术进行了比较,并观察到我们的方法保留了与差分隐私(DP)相同的隐私级别,但具有更好的预测结果。我们还观察到,根据原始数据的保存程度,隐私和性能结果之间存在权衡。在这里,我们提供了我们提出的模型的数学概述,并使用UCI机器学习存储库数据集来演示其验证,以突出其在实践中的实用性。实验上,我们的方法提供了更好的性能相比,DP的方法。
2019-01-31 cs.CR cs.LG
Echo of Neighbors: Privacy Amplification for Personalized Private Federated Learning with Shuffle Model
Renmin University of China(中国人民大学);Emory University(埃默里大学)
本文提出APES和S-APES框架,首次利用混洗模型的隐私放大效应,在个性化本地差分隐私下实现更强的中心隐私保障,并通过回声贡献度量和后稀疏化技术提升模型效用。
2023-05-26 cs.CR cs.LG
Improving User Privacy in Personalized Generation: Client-Side Retrieval-Augmented Modification of Server-Side Generated Speculations
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
P³通过客户端侧检索增强修改服务器侧生成的推测,实现高质量个性化生成并提升隐私保护。
2026-01-24 cs.AI cs.CL cs.CR
Model Segmentation for Storage Efficient Private Federated Learning with Top $r$ Sparsification
在具有顶级$r$稀疏化的联邦学习(FL)中,数百万用户集体训练本地机器学习(ML)模型,使用他们的个人数据,仅传输更新的最重要的$r$部分,以降低通信成本。已经表明,这些选定的(稀疏的)更新的值以及索引泄露了关于用户的个人数据的信息。在这项工作中,我们研究了不同的方法来进行用户数据库通信在FL与顶级$r$稀疏有效地,同时保证信息理论的隐私用户的个人数据。这些方法产生相当大的存储成本。作为一种解决方案,我们提出了两个方案具有不同的属性,使用MDS编码存储以及模型分割机制,以减少存储成本的代价,可控量的信息泄漏,执行私人FL与顶部$r$稀疏化。
2022-12-22 cs.CR cs.IT cs.NI
An AI Agent Execution Environment to Safeguard User Data
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌)
GAAP通过动态用户提示收集权限规范,确保AI代理在共享用户隐私数据时符合规定,无需信任代理或模型,有效阻止数据泄露攻击。
2026-09-28 cs.AI cs.CR cs.OS
Differentially Private Graph Diffusion with Applications in Personalized PageRanks
Georgia Institute of Technology(佐治亚理工学院)
针对图扩散发布可能泄露敏感链接信息的问题,提出带边级差分隐私的图扩散框架,通过迭代注入拉普拉斯噪声、基于度的阈值函数及无穷瓦瑟斯坦距离跟踪优化隐私分析,在真实数据上验证了其在个性化PageRank任务中的隐私-效用优势。
2025-02-18 cs.CR cs.IR cs.LG
Connecting Pixels to Privacy and Utility: Automatic Redaction of Private Information in Images
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
图像传达了广泛的个人信息。如果这些图像在社交媒体平台上共享,则这些个人信息会泄露,这与所描绘的人的隐私相冲突。因此,我们的目标是采用自动化方法来编辑此类私人信息,从而保护个人的隐私。通过进行用户研究,我们发现,模糊的图像区域相关的私人信息导致隐私,同时保留实用的图像。此外,通过改变区域的大小,可以实现不同的隐私-效用权衡。我们的研究结果主张“节录分割”的范例。因此,我们提出了第一个相当大的私人图像数据集“在野外”,在广泛的隐私类中使用像素和实例级别标签进行注释。我们提出了第一个自动编辑各种私人信息的模型。
2017-12-04 cs.CR cs.CV cs.CY
Evaluating LLM Simulators as Differentially Private Data Generators
Capital One
研究评估LLM模拟器在生成复杂合成数据中的有效性,发现其在欺诈检测中表现良好但存在分布偏移问题,需解决系统性偏差以提升应用潜力。
2026-04-16 cs.CL cs.CR cs.LG
Differentially Private Inductive Miner
本文提出差分隐私归纳式挖掘器(DPIM),在保护事件轨迹个人数据的同时学习底层过程树,实验证明其在14个真实数据集上能以极小的效用损失生成忠实过程树。
2024-10-04 cs.CR cs.DB
Private-Yet-Verifiable Contact Tracing
我们提出了PrYVeCT,一个私人但可验证的接触追踪系统。PrYVeCT还可以作为一个授权框架,允许定义细粒度的策略,某个设施可以定义和应用这些策略来更好地建模自己的访问规则。只有当用户显示符合策略的联系人跟踪时,才授权用户访问该设施。政策评估过程在不披露用户个人数据的情况下进行。同时,每个用户都可以向第三方(例如,(一个公共机构),她得到了一定的授权。PrYVeCT利用不经意自动机评估来实现隐私保护策略执行机制。
2020-10-19 cs.CR
From Bad to Worse: Using Private Data to Propagate Disinformation on Online Platforms with a Greater Efficiency
本文提出一项实验计划,研究攻击者如何利用人口统计、行为模式等私人数据实施定向虚假信息传播,以提升传播效率,并为在线平台监管政策提供依据。
2023-06-08 cs.CR
Preserving Privacy and Sharing the Data in Distributed Environment using Cryptographic Technique on Perturbed data
数据采掘的主要目标是从大量的数据中提取出以前未知的模式。随着硬件、软件和网络技术的快速发展,数据汇集的数量也在显著增长。组织从异构数据库中收集大量的数据,这些数据中包含了关于个人的敏感和私人信息。数据采掘从这些数据中提取新的模式,这些模式可以用于各个领域的决策制定。数据采掘输出的问题是,它也揭示了一些被认为是私人和个人的信息。这些个人资料容易被取阅,对个人私隐构成威胁。人们越来越担心在实际数据所有者不知情的情况下在幕后滥用个人信息的可能性。在分布式环境下的许多数据采掘应用中,隐私问题越来越重要。隐私保护数据采掘技术为解决这一问题提供了新的方向。PPDM提供有效的数据采掘结果,而不需要学习底层的数据值。可以享受数据采掘的好处,而不会损害相关个人的隐私。原始数据被修改或过程以这样的方式使用,即使在挖掘过程之后,私有数据和私有知识仍然是私有的。在本文中,我们提出了一个框架,允许系统的原始数据的转换,使用随机数据扰动技术和修改后的数据,然后提交作为客户端的查询结果,通过加密的方法。使用这种方法,我们可以在客户端和数据所有者站点实现机密性。该模型给出了用于分析目的的有效数据采掘结果,但没有显示实际或真实的数据。
2010-04-26 cs.CR
A Theory of Pricing Private Data
个人数据对所有者和想要分析它的机构都有价值。隐私机制保护所有者的数据,同时向分析师发布聚合查询结果的噪声版本。但这种对个人数据的严格保护在实践中尚未得到广泛应用。相反,例如,互联网公司通常提供免费服务,以换取来自用户的有价值的敏感信息,他们利用这些信息,有时出售给第三方。随着人们对个人数据价值的认识不断提高,对最终用户的私人信息进行补偿的动力也在增加。将私人数据货币化的想法可以改善隐藏私人数据的狭隘观点,因为它使个人能够通过金融手段控制他们的数据。在本文中,我们提出了一个理论框架,分配价格嘈杂的查询答案,作为其准确性的函数,并划分价格之间的数据所有者谁应该赔偿他们的隐私损失。我们的框架采用并扩展了数据市场中的差分隐私和查询定价的关键原则。我们确定的价格函数和微支付的基本属性,并有效的解决方案的特点。
2012-12-17 cs.CR cs.DB
PAS-MC: Privacy-preserving Analytics Stream for the Mobile Cloud
在当今的数字世界中,个人数据正在不断被收集和分析,而无需数据所有者的同意和选择。随着数据所有者不断在其个人设备上生成数据,将私人数据存储在其自己的设备上但允许第三方分析师执行聚合分析的紧张局势产生了一个有趣的困境。本文介绍了PAS-MC,第一个实用的隐私保护和匿名流分析系统。PAS-MC确保每个数据所有者在响应分析师的查询之前在本地私有化其敏感数据。PAS-MC还可以防止交通分析攻击,最小的信任漏洞。我们评估了该计划在加州交通数据集,并表明,我们可以私下和匿名流车辆位置更新,但保持高准确性。
2016-04-17 cs.CR
Differential Privacy By Sampling
在本文中,我们提出了采样隐私机制,私人发布的个人数据。采样隐私是一种基于采样的隐私机制,满足差分隐私。
2017-08-06 cs.CR
User Consented Federated Recommender System Against Personalized Attribute Inference Attack
Department of CSE, HKUST(香港科技大学计算机科学与工程系)
针对联邦推荐系统中属性推断攻击和用户隐私偏好差异问题,提出用户同意的联邦推荐系统UC-FedRec,通过最小化准确度代价灵活满足隐私需求,实验证明其高效灵活。
2023-12-23 cs.CR cs.IR cs.LG
Differentially Private Synthetic Data: Applied Evaluations and Enhancements
Microsoft(微软公司)
在构建预测模型时,机器学习从业者经常寻求利用信息量最大的可用数据,而不侵犯数据所有者的隐私。差异隐私数据合成保护个人细节不被暴露,并允许在私人生成的数据集上训练差异隐私机器学习模型。但是,我们如何才能有效地评估差异化私有合成数据的有效性?在本文中,我们调查了四个不同的私人生成对抗网络的数据合成。我们在五个标准的表格数据集和两个应用的行业场景中对它们进行了规模评估。我们用最近的文献和其他标准机器学习工具中的新指标进行基准测试。我们的研究结果表明,一些合成器更适用于不同的隐私预算,我们进一步证明了复杂的基于域的权衡选择的方法。我们为研究人员和实践者提供基于私有内部数据的应用机器学习场景的实验学习。此外,我们提出了QUAIL,一个基于集成的建模方法来生成合成数据。我们研究QUAIL的权衡,并注意到在相同的预算约束下,它优于基线差分私人监督学习模型的情况。
2020-11-11 cs.AI cs.CR cs.CY
FendOff encryption software to secure personal information on computers and mobile devices
本文介绍了几种基于一次伪随机填充和伪随机置换的原始密码模块(VSEM)。VSEM包括4个可以组合应用的加密模块。我们研究了这些模块的能力,以确保私人数据免受攻击和他们的加密速度。VSEM加密在iOS和Android平台上的移动设备的Fendoff应用程序以及运行Windows或Mac OS的计算机应用程序中实现。我们描述了这些应用程序旨在加密/解密各种个人数据,如密码,信用卡或银行信息以及保护任何文本或图像文件的内容。
2015-10-31 cs.CR
ER-AE: Differentially Private Text Generation for Authorship Anonymization
McGill University(麦吉尔大学);Queen’s University(女王大学);Zayed University(扎耶德大学)
大多数文本数据的隐私保护研究都集中在删除显式敏感标识符上。然而,个人写作风格作为作者身份的一个强有力的指标,却常常被忽视。最近的研究,如SynTF,在隐私保护文本挖掘方面取得了可喜的成果。然而,他们的匿名化算法只能输出数字术语向量,这对接收者来说很难解释。我们提出了一种新的文本生成模型与两组指数机制的作者匿名。通过REINFORCE训练奖励函数增加语义信息,该模型可以生成与原始文本具有紧密语义和相似语法结构的差异化私人文本,同时去除写作风格的个人特征。它不假设任何有条件的标签或文本数据用于训练。我们评估了所提出的模型在现实生活中的同行评议数据集和Yelp评论数据集上的性能。结果表明,我们的模型优于国家的最先进的语义保存,作者混淆,和文体转换。
2021-05-13 cs.CL cs.CR cs.LG
Protecting Activity Sensing Data Privacy Using Hierarchical Information Dissociation
Michigan State University(密歇根州立大学)
本文提出 Hippo 统一模型,通过基于潜在引导的扩散模型解离私人元数据与多粒度活动信息,在无需隐私标签的情况下控制移动感知数据的敏感信息披露并保留应用效用。
2024-09-04 cs.AI cs.CR cs.LG
Having our omic cake and eating it too: Evaluating User Response to using Blockchain Technology for Private & Secure Health Data Management and Sharing
本文报告了一个原型区块链解决方案的开发和评估,该解决方案用于私人和安全的个人组学健康数据管理和共享。该解决方案是一个多学科项目的成果之一,该项目调查了在个性化医疗研究背景下区块链技术应用的社会、数据和技术问题。该项目研究了自我主权医疗保健数据管理和共享的潜在伦理、法律、社会和认知约束,以及这些约束是否可以通过区块链解决方案的精心用户界面设计来解决。
2020-04-24 cs.CR cs.CY
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用,各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加,越来越多的用户越来越关心他们的个人信息。因此,隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中,我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地,我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次,我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉,并且仍然受益于密码学的进步。为了总结目前的研究现状,并对未来的研究有所帮助,我们提出了这一调查。
2021-05-19 cs.CR
A Federated Authorization Framework for Distributed Personal Data and Digital Identity
数字身份问题在很大程度上是一个复杂的问题,因为它涉及个人数据、计算数据声誉的算法以及与个人数据相关联的标识符的管理。当今的现实是,个人的个人数据分布在整个互联网上,在私人和公共机构中,并且越来越多地分布在用户的设备上。为了使个人能够在谁有权访问其个人数据方面拥有发言权,并使个人能够将其数据用于自己的目的,需要一个一致且可扩展的访问授权架构。这种架构必须允许不同的数据持有者、数据提供者和用户内容生成者以联合的方式对个人的同意意愿作出回应。这种联合必须允许个人轻松管理访问策略,并根据当前和即将出台的数据隐私法规的要求提供同意。本文描述了用户管理访问(UMA)体系结构和协议,为可扩展的访问授权提供了基础。
2019-06-09 cs.CR
Federating Recommendations Using Differentially Private Prototypes
University of Texas at Austin(得克萨斯大学奥斯汀分校);CognitiveScale(认知规模公司)
机器学习方法允许我们通过利用用户交互模式的相似性,在包括娱乐、约会和商业在内的应用程序中向用户提供推荐。然而,在需要保护个人敏感数据的领域,如医疗或银行,我们如何在不访问敏感数据的情况下学习这样的模型,并且不会无意中泄露私人信息?我们提出了一种新的联邦方法来学习全局和局部私有模型,而无需收集原始数据,用户统计数据或有关个人偏好的信息。我们的方法产生了一组原型,使我们能够推断出全球的行为模式,同时提供差分隐私保证系统的任何数据库中的用户。通过只需要两轮通信,我们既降低了通信成本,又避免了与迭代过程相关的过度隐私损失。我们在合成数据以及真实的联邦医疗数据和Movielens评级数据上测试我们的框架。我们表明,局部适应的全球模型,使我们的方法优于集中式矩阵分解为基础的推荐系统模型,无论是在矩阵重建的准确性和相关性的建议,同时保持可证明的隐私保证。我们还表明,我们的方法是更强大的,其特点是较小的方差比独立实体学习的个别模型。
2020-03-01 cs.CR cs.IR cs.LG
Private Information Disclosure from Web Searches. (The case of Google Web History)
随着存储在远程服务提供商处的个人信息量的增加,数据被盗的危险也在增加。当在明文中建立到远程服务的连接并使用HTTP cookie保持经过身份验证的会话时,数据窃取变得非常容易实现。在本文中,我们研究了世界上最大的服务提供商的架构,即,Google.首先,除了一些只能通过HTTPS访问的服务(例如,Gmail),我们发现许多Google服务仍然容易受到简单会话劫持的攻击。接下来,我们将介绍Historiographer,这是一种新型攻击,可以重建Google用户的网络搜索历史,即,Google的Web历史记录,尽管这样的服务应该受到更严格的访问控制策略的保护。历史学家使用一种重建技术,从谷歌搜索引擎提供的个性化建议中推断搜索历史。我们验证我们的技术,通过实验进行了真实的网络流量,并讨论可能的对策。我们的攻击是通用的,而不仅仅是针对Google的,并且强调了使用安全和不安全连接的混合架构的隐私问题。
2010-03-23 cs.CR
Teach LLMs to Phish: Stealing Private Information from Language Models
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind);Southeast University(东南大学);Dartmouth College(达特茅斯学院)
本文提出“neural phishing”数据提取攻击,仅需向训练集注入少量看似良性的句子,即可从 LLM 中定向窃取信用卡号等 PII,成功率最高达 50%。
2024-03-01 cs.AI cs.CL cs.CR
Privacy-Preserving Bandits
Queen Mary University of London(伦敦玛丽女王大学);Brave Software(勇敢软件公司);Imperial College London(帝国理工学院)
上下文强盗算法(CBAs)通常依赖于个人数据来提供建议。集中式CBA代理利用来自最近交互的潜在敏感数据为最终用户提供个性化服务。通过在用户的设备上运行本地代理,将敏感数据保持在本地,保护了用户的隐私,然而,代理需要更长的时间来产生有用的建议,因为它不利用来自其他用户的反馈。本文提出了一种技术,我们称之为隐私保护的强盗(P2B),一个系统,更新本地代理通过收集反馈,从其他本地代理在一个不同的私人方式。我们所提出的方法与非私人,以及一个完全私人(本地)系统的比较,显示合成基准和现实世界的数据的竞争力表现。具体来说,我们观察到多标签分类准确率仅下降了2.6%和3.6%,而在线广告的CTR增加了0.0025,用于隐私预算$ε\approx 0.693$。这些结果表明,P2B是解决设备上隐私保护个性化挑战的有效方法。
2020-03-11 cs.CR cs.LG cs.MA
Mind The Gap: Can Air-Gaps Keep Your Private Data Secure?
本文系统梳理空气间隙网络面临的真实入侵事件、攻击模型、隐蔽数据外泄技术及相应防御对策,证明物理隔离并非绝对安全。
2024-09-06 cs.CR
ADePT: Auto-encoder based Differentially Private Text Transformation
Amazon Alexa(亚马逊Alexa)
在对包含个人信息的数据建立统计模型时,隐私是一个重要的问题。差分隐私提供了隐私的强定义,并且可以用于解决若干隐私问题(Dwork等人,2014年)。对于包含敏感信息的数据集的差分私有变换,已经提出了多种解决方案。然而,由于过程中添加的噪声,这种变换算法在自然语言处理(NLP)任务中提供较差的实用性。在本文中,我们解决这个问题,提供了一个实用程序保持差分私有文本转换算法,使用自动编码器。我们的算法转换文本以提供对攻击的鲁棒性,并产生具有高语义质量的转换,在下游NLP任务中表现良好。我们证明了我们算法的理论隐私保证,并评估了其在成员推断攻击(MIA)下的隐私泄露情况(Shokri等人,2017年)使用转换数据训练的模型。我们的研究结果表明,该模型对MIA攻击的表现更好,同时提供较低或没有退化的底层转换过程的效用相比,现有的基线。
2021-01-29 cs.AI cs.CL cs.CR
Differentially Private Estimation of Hawkes Process
Georgia Institute of Technology(佐治亚理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
点过程模型在实际应用中具有重要意义。在某些关键应用中,点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然会出现,但在现有文献中尚未得到解决。为了弥合这一明显的差距,我们提出了第一个一般的差分私人估计程序的点过程模型。具体地说,我们以Hawkes过程为例,在Hawkes过程离散化表示的基础上,对事件流数据引入了严格的差分隐私定义.然后,我们提出了两个差分隐私优化算法,它可以有效地估计霍克斯过程模型与所需的隐私和效用保证在两个不同的设置。实验结果支持了我们的理论分析。
2022-09-15 cs.CR cs.LG stat.ML
Efficient differentially private learning improves drug sensitivity prediction
University of Helsinki(赫尔辛基大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学);Department of Mathematics and Statistics, University of Helsinki(赫尔辛基大学数学与统计系);Department of Public Health, University of Helsinki(赫尔辛基大学公共卫生系);Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Computer Science, Aalto University(阿尔托大学计算机科学系)
个性化推荐系统的用户面临着一个困境:可以通过从数据中学习来改进推荐,但前提是其他用户愿意分享他们的私人信息。良好的个性化预测在精准医疗中至关重要,但预测所基于的基因组信息也特别敏感,因为它直接识别患者,因此不易匿名。差分隐私已经成为一个潜在的有前途的解决方案:隐私被认为是足够的,如果个别患者的存在不能区分。然而,使用当前方法的差异化私人学习并不能改善具有可行数据大小和维度的预测。在这里,我们通过展示新的稳健私人回归方法在私人药物敏感性预测准确性方面的显着改进,表明可以在强大的差异隐私保证下,甚至从中等大小的数据集中学习有用的预测因子。该方法结合了两个关键属性不存在,即使在最近的建议,这可以推广到其他预测:我们证明了它是渐近一致的,有效的私人,并证明它表现良好的有限数据。通过降低维度和投影离群值以适应更严格的边界来限制私人信息的共享,从而实现良好的有限数据性能,因此需要为相等的隐私添加更少的噪声。由于这种易于实现的方法已经在具有挑战性的基因组数据上显示出了希望,我们预计除了急需的精准医学解决方案外,还将在许多领域的实际应用方面取得快速进展,例如移动传感和社交媒体。
2017-07-05 cs.CR cs.LG stat.ME
dpUGC: Learn Differentially Private Representation for User Generated Contents
Umeå University(于默奥大学);University of Tasmania(塔斯马尼亚大学)
本文首先提出了一种简单而有效的通用方法来将差分隐私应用于文本表示(即,词嵌入)。在此基础上,提出了一种基于用户生成内容(UGC)的个性化差异隐私词嵌入模型。据我们所知,这是第一个从文本中学习用户级差异私有词嵌入模型的工作。所提出的方法保护个人的隐私不被重新识别,特别是在用于共享的UGC数据上提供更好的隐私和数据效用的权衡。实验结果表明,训练的嵌入模型适用于经典的文本分析任务(例如,回归)。此外,所提出的学习差分私有嵌入模型的方法是框架和数据独立的,这有利于部署和共享。源代码可在https://github.com/sonvx/dpText上获得。
2019-03-25 cs.CL cs.CR
Private Reinforcement Learning with PAC and Regret Guarantees
University of Minnesota(明尼苏达大学);DeepMind;Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
受个性化医疗等用户信息固有敏感的高风险决策领域的激励,我们设计了用于情景强化学习(RL)的隐私保护探索策略。我们首先使用联合差分隐私(JDP)的概念提供一个有意义的隐私公式--差分隐私的一个强变体,用于每个用户接收他们自己的输出集的设置(例如,政策建议)。然后,我们开发了一个私人的基于乐观主义的学习算法,同时实现强大的PAC和遗憾的界限,并享有JDP保证。我们的算法只支付一个适度的隐私成本的探索:在比较非私人的界限,隐私参数只出现在较低的顺序。最后,我们提出了样本的复杂性和遗憾的强化学习服从JDP的下限。
2020-09-18 cs.CR cs.LG stat.ML
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University(凯斯西储大学);University of South Florida(南佛罗里达大学)
在机器学习中,需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时,由于隐私问题,收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互,该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置,我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入,保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后,可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据,我们建议利用降维技术,可以由个人应用之前扰动他们的输入。实验结果表明,在局部差分隐私下,即使个人隐私得到保证,朴素贝叶斯分类器仍能保持准确性,并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
A sandbox study proposal for private and distributed health data analysis
针对SARDIN项目中的健康数据分布式分析,提出沙箱研究方案,采用联邦分析、安全聚合和差分隐私技术,实验证明其能显著改善隐私与效用权衡。
2025-01-24 cs.CR cs.CY cs.DC
Privacy-Aware Recommendation with Private-Attribute Protection using Adversarial Learning
推荐是帮助用户找到与其兴趣相关的信息的关键应用之一。然而,恶意攻击者可以通过推荐来推断用户的私人信息。先前的工作在与推荐系统共享之前混淆用户项数据。这种方法在执行数据混淆时没有显式地解决推荐的质量。此外,它不能保护用户免受基于建议的私有属性推理攻击。这项工作是第一次尝试建立一个推荐与属性保护(RAP)模型,同时推荐相关的项目和计数器私有属性推理攻击。我们的方法的关键思想是制定这个问题作为一个对抗性的学习问题,有两个主要组成部分:私人属性推理攻击者,和贝叶斯个性化推荐。攻击者试图根据用户的项目列表和建议来推断用户的私有属性信息。推荐器的目标是提取用户的兴趣,同时利用攻击者来规范推荐过程。实验表明,该模型既保持了推荐服务的质量,又保护了用户免受私有属性推理攻击。
2019-11-22 cs.CR cs.IR cs.SI
PEARL: A Task-Aware Framework for Evaluating Differentially Private Synthetic Educational Data
The University of Hong Kong(香港大学)
PEARL框架通过多维度检查评估差分隐私合成教育数据,发现多数数据集因遗漏关键组或顺序问题被拒,且隐私保护不保证任务有用性。
2026-09-11 cs.CR cs.LG
Differential Privacy for Credit Risk Model
Synechron Innovation Lab(赛科创新实验室)
使用机器学习算法对用户行为进行建模并推动业务决策已经变得越来越普遍,特别是为自动决策提供智能建议。这导致越来越多地使用客户个人数据来分析客户行为并预测他们对公司产品的兴趣。增加对这些客户个人数据的使用可以带来更好的模型,但也可能导致客户数据泄露、逆向工程和处理不当。在本文中,我们评估了差分隐私作为解决这些隐私问题的解决方案,通过将隐私保护构建到预测模型开发的数据工程和模型训练阶段。我们的兴趣是一个务实的实现在一个操作环境中,这需要一个通用的差异化的私人建模框架,我们评估了这样一个工具,从LeapYear的信用风险建模域。信用风险模型是银行和金融领域的一种主要建模方法,通过分析用户数据来确定银行的总预期损失。我们研究了差分隐私在信用风险模型中的应用,并评估了一个差异隐私模型与一个非差异隐私模型的性能。信用风险模型是银行和金融领域的主要建模方法,通过分析用户数据来确定银行的总预期损失。本文探讨了差分隐私在信用风险模型中的应用,并对一个非差异隐私模型和一个差异隐私模型的性能进行了评估。
2021-06-24 cs.CL cs.CR cs.LG
Differentially private and decentralized randomized power method
INSA Lyon and McGill University(里昂高等工业学院和麦吉尔大学)
针对随机幂方法应用于含个人信息的大规模数据集时的隐私问题,提出降低差分隐私所需噪声的改进变体,并适配去中心化框架,给出更紧收敛界且经真实数据集验证有效。
2025-06-12 cs.CR cs.LG cs.NA
Private Hierarchical Clustering in Federated Networks
分析社交网络的结构属性,例如识别其聚类或找到其最中心的节点,有许多应用。然而,这些应用不受允许用户在其终端设备上本地存储其社交链接的联合社交网络的支持。在联邦制度中,用户希望访问个性化服务,同时也保持他们的社交联系私密。在本文中,我们采取了一个步骤,使联邦网络上的分析与差分隐私保证保护网络中的用户链接或联系人。具体来说,我们提出的第一项工作,计算层次聚类树使用本地差分隐私。我们计算它们的算法是新颖的,并且对学习到的树的质量具有理论上的界限。私有分层聚类树使得服务提供商能够以各种粒度查询用户周围的社区结构,而用户不必与提供商共享其原始联系人。我们证明了这种查询的效用,重新设计的国家的最先进的社会推荐算法的联邦设置。我们的推荐算法明显优于不使用社交联系人的基线,并与使用联系人的非隐私算法相当。
2021-05-19 cs.CR cs.SI
Protecting Personal Data using Smart Contracts
分散式在线社交网络(DOSN)已经被提出作为当前集中式在线社交网络(OSN)的替代解决方案。在线社交网络基于集中式架构(例如,Facebook、Twitter或Google+),而DOSN没有充当中央权威的服务提供商,用户对自己的信息有更多的控制权。在过去的几年中,已经提出了几个DOSN。然而,OSN的去中心化需要有效的解决方案来保护用户的隐私,并评估用户之间的信任。区块链代表了一种颠覆性技术,已应用于多个领域,其中包括社交网络。在本文中,我们提出了一个可管理的,用户驱动的和可审计的访问控制框架使用区块链技术的DOSN。在所提出的方法中,区块链被用作隐私政策定义的支持。资源所有者使用主体的公钥来定义灵活的基于角色的访问控制策略,而与主体的以太坊账户相关联的私钥则用于在区块链上验证访问权限后对私有数据进行解密。我们通过利用Rinkeby以太坊测试网来部署智能合约并评估其性能来评估我们的解决方案。实验结果表明,该方案在实现可审计的和用户驱动的访问控制,通过部署在区块链上的智能合约的可行性。
2019-10-27 cs.CR cs.DC cs.SI
Beyond Statistical Estimation: Differentially Private Individual Computation via Shuffling
Guangzhou University(广州大学);National University of Singapore(新加坡国立大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Southampton(南安普顿大学)
针对洗牌模型差分隐私仅限于统计估计、无法支持个性化输出的问题,本文提出私有个体计算(PIC)范式及实现协议,通过一次性公钥保障匿名性与隐私放大,结合Minkowski响应随机化器提升实用性,支持排列等变计算任务。
2025-04-14 cs.CR cs.LG
Contrastive Explainable Clustering with Differential Privacy
University of Virginia(弗吉尼亚大学);Biocomplexity Institute and Initiative(生物复杂性研究所);Bar-Ilan University(巴伊兰大学)
本文提出将对比解释与差分隐私结合用于k-median和k-means聚类,证明差分隐私解释能达到与非隐私解释基本相同的效用界限,在保护隐私的同时提供个性化且不显著损害聚类效用的解释。
2025-06-01 cs.CR cs.LG