Privacy-Preserving Querying in Sensor Networks
无线传感器网络(WSNs)通过许多配备无线收发器的小型自治设备提供传感和监测服务。随着无线传感器网络的大规模和/或长期部署,不仅传统的安全,而且隐私问题必须考虑在内。此外,当网络运营商提供按需访问传感器测量到他们的客户端,查询机制应该理想地既不泄漏客户端的利益,也不查询模式。在本文中,我们提出了一个隐私保护的WSN查询机制,使用标准的密码技术。除了防止未经授权的实体访问传感器读数外,它还最大限度地减少了有关用户查询目标和模式的(潜在敏感)信息的泄漏。
2009-05-13 cs.CR
Differentially Private Decentralized Learning with Random Walks
Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ Montpellier(蒙彼利埃大学);Rutgers University(罗格斯大学)
本文研究随机游走去中心化学习的隐私保证,利用 Pairwise Network Differential Privacy 推导出节点间隐私损失的闭式表达式,并证明其优于 gossip 算法。
2024-06-04 cs.CR cs.LG
Network Shuffling: Privacy Amplification via Random Walks
LINE Corporation(LINE公司);Kyoto University(京都大学)
最近,它表明,洗牌可以放大中央差分隐私保证的数据随机与本地差分隐私。在这种设置中,一个集中的、可信的洗牌器负责通过保持数据的身份匿名来进行洗牌,这随后为系统带来了更强的隐私保证。然而,引入一个集中的实体,原来的本地隐私模型失去了一些呼吁没有任何集中的实体,如在本地差分隐私。此外,由于已知的安全问题和/或高级硬件或安全计算技术的要求,以可靠的方式实现混洗器并非微不足道。出于这些实际的考虑,我们重新考虑洗牌模型放松的假设,需要一个集中的,可信的洗牌。我们引入了网络洗牌,一种分散的机制,用户在网络/图上以随机行走的方式交换数据,作为通过匿名实现隐私放大的替代方案。我们分析了这种设置下的威胁模型,并提出了分布式协议的网络洗牌,是直接在实践中实现。此外,我们表明,隐私放大率是类似于其他隐私放大技术,如均匀洗牌。据我们所知,在最近研究的利用隐私放大技术的中间信任模型中,我们的工作是第一个不依赖于任何中心化实体来实现隐私放大的模型。
2022-04-08 cs.CR cs.DB cs.LG
Preventing Attacks on Anonymous Data Collection
匿名数据汇集系统允许用户贡献构建服务和应用程序所需的数据,同时保护他们的隐私。然而,恶意代理可能会滥用匿名性,目的是破坏或破坏数据汇集,例如通过注入伪造的数据。在本文中,我们提出了一个有效的机制,以限制攻击者,而不损害隐私和匿名的用户贡献的数据。建议的系统建立在直接匿名证明之上,这是一种经过验证的加密原语。我们描述了一组速率限制规则可以被形式化,以定义一个规范的空间,在该空间中,攻击者发送的消息可以被链接,因此,丢弃。我们提出了在现有的数据汇集系统上构建和部署这种保护所需的所有组件,开销很小。经验评估产生的性能高达125和140消息每秒分别为中继器和收集器上的标称硬件。当使用Tor作为网络层时,通信延迟在第95个百分位数中被限制为4秒。
2018-12-19 cs.CR cs.CY
Make Split, not Hijack: Preventing Feature-Space Hijacking Attacks in Split Learning
Tampere University(坦佩雷大学);RISE Research Institutes of Sweden(瑞典RISE研究院)
本研究针对拆分学习易受特征空间劫持等攻击、隐私保护不足的问题,提出结合拆分学习与函数秘密共享的混合方法,通过随机掩码与秘密份额处理实现数据隐私保护,兼具高准确率、低通信开销与训练效率优势。
2024-04-14 cs.AI cs.CR
Temporal Unlearnable Examples: Preventing Personal Video Data from Unauthorized Exploitation by Object Tracking
City University of Hong Kong(香港城市大学);ROSE Lab, Nanyang Technological University(南洋理工大学ROSE实验室);Queen Mary University of London(伦敦大学玛丽女王学院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出了一种新颖的生成框架Temporal Unlearnable Examples(TUEs),通过引入时间对比损失生成不可学习噪声,使深度跟踪器在时间匹配时依赖噪声而忽略原始数据结构,从而有效防止个人视频数据被未经授权利用,并在跨模型、数据集和任务上展现出强大的可迁移性。
2025-07-10 cs.CR cs.CV
Preventing Non-intrusive Load Monitoring Privacy Invasion: A Precise Adversarial Attack Scheme for Networked Smart Meters
College of Computer Science, Chongqing University(重庆大学计算机学院);Nanyang Technological University(南洋理工大学);School of Cyberspace Science and Technology, Beijing Institute of Technology(北京理工大学网络空间科学与技术学院)
针对非侵入式负荷监测(NILM)导致的隐私泄露问题,提出一种基于对抗攻击的方案,利用 NILM 模型的 Jacobian 矩阵生成不可察觉扰动误导预测,并引入扰动总和为零的约束以保证计费准确,实验证明其在真实数据集上有效且具可迁移性。
2024-12-22 cs.AI cs.CR
Private Social Network Data Sharing
在线社交网络的日益普及给最终用户带来了巨大的隐私威胁。虽然现有的工作主要集中在从社交网络中推断敏感属性,如年龄,位置和性别,很少有人做了如何保护用户的隐私,防止恶意推断。本文针对现有社交网络的隐私脆弱性,设计了一个隐私保护框架。我们评估了该框架的隐私性和有用性保证,证明了其分类和防御隐私攻击的有效性。
2017-07-26 cs.CR cs.SI
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
社交聊天机器人,也被称为聊天聊天机器人,随着大型预训练语言模型的快速发展。尽管取得了巨大的进步,但最近出现了隐私问题:大语言模型的训练数据可以通过模型反演攻击提取。另一方面,用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中,我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏,这还没有得到很好的研究。我们表明,说话人的人物角色可以推断,通过一个简单的神经网络与高精度。为此,我们提出了有效的防御目标,以保护隐藏状态的人物泄漏。我们进行了大量的实验,证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时,所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
A Survey on Privacy Risks and Protection in Large Language Models
本文系统综述了大型语言模型面临的隐私泄露与攻击风险,梳理了推理检测、联邦学习等现有防护方法,并提出隐私风险评估与跨学科治理等未来方向。
2025-05-04 cs.CR
Local Privacy-preserving Mechanisms and Applications in Machine Learning
本文综述LDP及其变体的模型、适配形式与机制结构,并总结先进隐私保护机制在机器学习中的应用。
2024-01-08 cs.CR
The Effect of Hop-count Modification Attack on Random Walk-based SLP Schemes Developed forWSNs: a Study
本研究提出一种结合主动与被动攻击的混合攻击模型,应用于三种基于TTL的随机游走SLP方案,发现该模型显著降低隐私保护性能,且可优化以增强现有方案的脆弱性。
2025-02-28 cs.CR cs.NI
AMPPERE: A Universal Abstract Machine for Privacy-Preserving Entity Resolution Evaluation
实体解析是识别不同数据集中引用现实世界中相同实体的记录的任务。在敏感域(例如金融账户、医院健康记录)中,实体解析必须满足隐私要求,以避免向不受信任方泄露个人身份信息等敏感信息。现有的解决方案要么过于算法特定,要么在计算的准确性、隐私和运行时效率之间存在隐含的权衡。我们提出了AMMPERE,一个抽象的计算模型进行普遍的隐私保护实体决议。AMPPERE提供了抽象,封装了多种算法和平台无关的方法,使用Jaccard相似性的变体来执行私有数据匹配和实体解析。具体来说,我们表明,双方可以执行实体解析他们的数据,而不会泄露敏感信息。我们严格比较和分析的可行性,性能开销和隐私保护性能的这些方法的Sharemind多方计算(MPC)平台上,以及PALISADE,基于格的同态加密库。AMPPERE系统证明了隐私保护实体解决方案对真实世界数据的有效性,同时提供了防止信息泄露的诱导成本的精确表征。
2021-11-04 cs.CR
FedWalk: Communication Efficient Federated Unsupervised Node Embedding with Differential Privacy
Shanghai Jiao Tong University(上海交通大学)
节点嵌入旨在将复杂图中的节点映射到低维表示中。现实世界中的大规模图和标记的困难激发了无监督节点嵌入问题的广泛研究。尽管如此,以前的努力大多是在一个集中的设置,其中一个完整的图是给定的。随着人们对数据隐私意识的不断增强,只知道一个顶点及其邻居的数据持有者要求更大的隐私保护。在本文中,我们介绍了FedWalk,一个基于随机行走的无监督节点嵌入算法,它在这样一个节点级可见性图中运行,原始图信息保留在本地。FedWalk旨在提供具有数据隐私保护和高通信效率的集中式竞争图形表示功能。FedWalk实例化了流行的联邦范例,并包含三个模块。我们首先设计了一个层次聚类树(HCT)的构造器来提取每个节点的结构特征。动态时间规整算法无缝地处理不同节点之间的结构异质性。在此基础上,设计了一个随机游走发生器,其中序列编码器用于保护隐私,两跳邻居预测器用于节省通信开销。然后,生成的随机游走用于基于SkipGram模型更新节点嵌入。在两个大型图上进行的大量实验表明,Fed-Walk与集中式节点嵌入算法相比具有竞争力的代表性,仅损失了1.8%的Micro-F1分数和4.4%的Marco-F1分数,同时减少了约6.7次每次行走的设备间通信。
2022-06-01 cs.CR cs.DC cs.LG
Combining Forensics and Privacy Requirements for Digital Images
本文提出了研究图像选择性加密的取证和隐私保护机制的影响。建议的选择性加密方案通过加密每个像素的s个最高有效位来独立地在每个位平面上工作。我们表明,这种机制可以用来增加隐私减轻图像识别任务。为了保证取证分析和隐私之间的权衡,用于取证目的的感兴趣的信号是从受保护图像的8-s最低有效位中提取的。我们在CASIA 2数据库上表明,对于s $\in$ {3,. ..,5},使用SRMQ 1特征的准确度高于80%,同时防止使用准确度小于50%的CNN的类识别任务。
2021-03-05 cs.CR eess.SP
walk2friends: Inferring Social Links from Mobility Profiles
定位技术的发展已经导致可用的移动性数据量的增加。在给人们的生活带来诸多便利的同时,这样的可获得性也引发了人们对隐私的严重担忧。在本文中,我们集中在一个最敏感信息,可以推断出从移动数据,即社会关系。我们提出了一种新的社会关系推理攻击,依赖于一个先进的特征学习技术,自动总结用户的移动功能。与现有的方法相比,我们的攻击能够预测任何两个人的社会关系,它不需要对手有任何先验知识的现有的社会关系。这些优势大大增加了我们攻击的适用性和隐私评估的范围。在一个大型数据集上进行的大量实验表明,我们的推理攻击是有效的,并实现了13%至20%的最佳国家的最先进的计划之间的改进。我们提出了三种防御机制-隐藏,替换和泛化-并评估其有效性,以减轻移动数据共享带来的社会联系隐私风险。我们的实验结果表明,隐藏和替换机制优于泛化。此外,隐藏和替换实现了效用和隐私之间的可比权衡,前者保留更好的效用,后者提供更好的隐私。
2017-09-05 cs.CR cs.SI
Private measures, random walks, and synthetic data
针对差分隐私机制效用保证的局限性,本文基于度量隐私开发多项式时间算法生成私有测度,并利用新型超正则随机游走高效构建适用于多种统计分析的私有合成数据,同时证明了紧度量空间下的渐近最优min-max结果。
2024-03-23 cs.CR math.PR math.ST
PriveShield: Enhancing User Privacy Using Automatic Isolated Profiles in Browsers
PriveShield通过浏览器扩展自动创建隔离配置文件,在不修改浏览器底层的情况下阻止在线跟踪,实验显示在54个真实场景中91%有效阻止重定向广告。
2025-01-03 cs.CR
Cohere: Managing Differential Privacy in Large Scale Systems
本文提出 Cohere 系统,通过统一数据视图、接口及隐私预算管理与分配机制,在大规模异构系统中支持差分隐私,并在复杂工作负载上将效用提升至现有方法的 6.4–28 倍。
2023-12-12 cs.CR
A Generic Privacy-Preserving Protocol For Keystroke Dynamics-Based Continuous Authentication
连续身份验证利用某些用户特征的自动识别来进行无缝和被动身份验证,而无需用户注意。这些特征可以分为生理生物特征和行为生物特征。提出了一种基于用户输入模式的击键动力学认证方法。然而,已经指出,使用生理生物测定和行为生物测定的连续认证会带来隐私风险,暴露个人特征和活动。在本文中,我们考虑了以前提出的基于动态的认证方案,没有隐私保护属性。在这方面,我们提出了一个通用的隐私保护版本的身份验证方案,其中所有的用户功能都是加密的-防止这些身份验证服务器的披露。我们的计划是通用的,在这个意义上,它假设同态密码原语。由于我们的协议的同态密码属性的加密数据的基础上进行认证。
2022-09-14 cs.CR
PRIMA: Privacy-Preserving Identity and Access Management at Internet-Scale
互联网上的身份管理已从传统的做法(每个服务提供商存储和管理身份)发展到联合身份管理系统(身份管理委托给一组身份提供商)。一方面,联合身份确保了可用性,并为服务提供商提供了经济利益。另一方面,它对用户和服务提供商构成严重的隐私威胁。目前的技术,这是预先部署在互联网上,允许身份提供商跟踪用户的行为在广泛的服务。在这项工作中,我们提出了PRIMA,一个通用的基于凭证的身份验证系统,支持联合身份管理的隐私保护的方式。基本上,PRIMA在认证过程中不需要服务提供商和身份提供商之间的任何交互,从而防止身份提供商分析用户的行为。此外,在整个认证过程中,PRIMA提供了一种机制,用于控制用户私人信息的披露。我们对该系统进行了全面评估,以证明我们的方法的可行性。我们的性能分析表明,当密钥大小从1024位到2048位变化时,身份提供者每秒可以处理1,426到3,332个请求。
2016-12-06 cs.CR
Bounding Training Data Reconstruction in Private (Deep) Learning
Meta AI;Meta
差分隐私被广泛接受为防止ML中数据泄露的事实上的方法,传统观点认为它提供了强大的隐私攻击保护。然而,现有的DP语义保证集中在成员推理,这可能会高估对手的能力,并不适用于成员身份本身是不敏感的。在本文中,我们推导出第一个语义保证DP机制对训练数据重建攻击下的正式威胁模型。我们发现,两种不同的隐私会计方法-仁义差分隐私和费舍尔信息泄漏-都提供了强大的语义保护,以防止数据重建攻击。
2022-06-23 cs.CR cs.LG
Evaluating Google's Protected Audience Protocol
本研究针对谷歌Protected Audience协议的报告机制展开隐私风险分析,发现即便完整落地现有隐私设计,攻击者仍可通过该机制跨站关联用户请求,揭示了无Cookie广告方案的关联隐私漏洞。
2024-05-20 cs.CR
Training Differentially Private Graph Neural Networks with Random Walk Sampling
Technical University of Munich(慕尼黑工业大学)
众所周知,深度学习模型会将其训练数据的隐私置于危险之中,这对它们向公众的安全和道德发布构成了挑战。差分私有随机梯度下降是训练神经网络而不泄漏关于训练数据的敏感信息的事实上的标准。然而,将其应用于图结构数据的模型提出了一个新的挑战:与i.i.d.不同。关于图中节点的数据、敏感信息不仅会通过其梯度泄漏,而且会通过较大邻域内所有节点的梯度泄漏。在实践中,这将图上的隐私保护深度学习限制在非常浅的图神经网络上。我们建议通过在给定训练图的不相交子图上训练图神经网络来解决这个问题。我们开发了三种基于随机游走的方法来生成这种不相交的子图,并对数据生成分布进行了仔细分析,以提供强有力的隐私保证。通过大量的实验,我们证明了我们的方法在三个大型图上的性能大大优于最先进的基线,并且在四个较小的图上匹配或优于它。
2023-01-02 cs.CR cs.LG
Efficient Secure Aggregation for Privacy-Preserving Federated Machine Learning
针对联邦学习安全聚合中通信与计算开销大的问题,提出e-SeaFL协议,利用辅助节点和同态向量承诺实现单轮通信的可验证聚合,效率较现有最优方法提升一个数量级。
2024-11-08 cs.CR
Calibration with Privacy in Peer Review
同行评审中的评审员经常被错误校准:他们可能是严格的,宽松的,极端的,温和的,等等。然而,这种校准的尝试可能会泄露关于哪个评论者评论了哪篇论文的敏感信息。在本文中,我们确定了这个问题的校准与隐私,并提供了一个基本的构建块来解决it.Specifically,我们提出了一个理论研究这个问题下的简化但具有挑战性的模型,涉及两个评论家,两篇论文,和MAP计算对手。我们的主要研究结果建立了隐私(防止对手推断审稿人身份)和效用(接受更好的论文)之间的权衡的帕累托边界,并设计了明确的计算效率的算法,我们证明是帕累托最优的。
2022-01-27 cs.CR cs.IT math.IT
Approach for GDPR Compliant Detection of COVID-19 Infection Chains
虽然欧洲各国广泛讨论了跟踪移动设备用户以对抗COVID-19传播的前景,但我们提出了一种基于布隆过滤器的构造,提供用户的位置隐私并防止大规模监视。我们应用基于Bloom过滤器数据结构的解决方案,允许第三方,政府机构,对移动电信公司的访问日志文件执行一些隐私保护集合关系。通过计算集合关系,政府机构在已知两个已识别的人的情况下,具有提供从初始到最终受感染用户的(可能的)感染链的工具,而不管他们在全球范围内的哪个位置。我们的方法的好处是,中间可能受感染的用户可以识别,并随后与该机构联系。通过这种方法,我们声明,只有可能受感染的用户的身份将被披露,其他人的位置隐私将被保护。在这方面,它符合通用数据保护条例(GDPR)在该领域的要求。
2020-07-20 cs.CR
A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services
School of Computer, Electronics and Information, Guangxi University(广西大学计算机、电子与信息学院);College of Cyber Security, Jinan University(暨南大学网络安全学院)
提出基于部分盲签名的隐私保护框架,防止服务提供商关联用户请求,支持订阅和API两种模式,兼容现有LLM系统,开销小。
2026-06-23 cs.CR
Split-U-Net: Preventing Data Leakage in Split Learning for Collaborative Multi-Modal Brain Tumor Segmentation
NVIDIA(英伟达)
分裂学习(SL)已经被提出来以分散的方式训练深度学习模型。对于具有垂直数据分区的去中心化医疗保健应用程序来说,SL可能是有益的,因为它允许具有共享患者集的互补功能或图像的机构联合开发更强大和可推广的模型。在这项工作中,我们提出了“分裂-U-网”,并成功地应用SL的协同生物医学图像分割。尽管如此,SL需要交换中间激活图和梯度,以允许在不同的特征空间中训练模型,这可能会泄漏数据并引发隐私问题。因此,我们还量化了生物医学图像分割的常见SL场景中的数据泄漏量,并通过应用适当的防御策略来抵消这种泄漏。
2022-09-26 cs.CR cs.CV cs.DC
Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks
Politecnico di Milano(米兰理工大学)
本文提出Knowledge Recycling(KR)流水线及Generative Knowledge Distillation(GKD)技术,通过合成数据集再生与软标签机制优化合成数据训练,不仅缩小了与真实数据的性能差距,还使模型对成员推理攻击具备几乎完全的免疫力。
2024-07-30 cs.AI cs.CR cs.CV
DAPriv: Decentralized architecture for preserving the privacy of medical data
医疗数据的数字化一直是一个敏感的话题。在现代,诸如HIPAA之类的法律为医疗数据的电子交易提供了一些指导方针,以防止对私人信息的攻击和欺诈性使用。在我们的论文中,我们探索了一种使用混合计算和分散密钥管理的体系结构,并展示了它如何适合防止一种特殊形式的重新识别攻击,我们称之为重组攻击。这种架构将能够以有效的方式使用当前的基础设施,从移动电话到服务器证书和基于云的分散存储模型,为医疗数据的通信提供可靠的模型。我们涵盖的实体包括患者,医生,保险代理人,紧急联系人,研究人员,医学测试实验室和技术人员。这是一个完整的架构,为患者提供良好的隐私,安全的通信和更直接的控制。
2014-10-21 cs.CR cs.CY
Towards Securing IIoT: An Innovative Privacy-Preserving Anomaly Detector Based on Federated Learning
University of Oulu(奥卢大学);Ruhr University Bochum(波鸿鲁尔大学)
本文提出基于联邦学习的隐私保护异常检测器,通过本地数据处理和动态代理选择方案,提升IIoT环境下的隐私保护与效率。
2026-04-07 cs.CR
Disparate Impact in Differential Privacy from Gradient Misalignment
Layer 6 AI
随着机器学习在整个社会中变得越来越普遍,必须仔细考虑数据隐私和公平性等方面,这对于在高度监管的行业中部署至关重要。不幸的是,隐私增强技术的应用可能会加剧模型中的不公平趋势。特别地,用于私有模型训练的最广泛使用的技术之一,差分私有随机梯度下降(DPSGD),经常加剧对数据中的组的不同影响。在这项工作中,我们研究了细粒度的原因DPSGD的不公平,并确定梯度错位,由于不公平的梯度裁剪作为最重要的来源。这一观察使我们提出了一种新的方法,通过防止DPSGD中的梯度不对准来减少不公平性。
2023-02-23 cs.AI cs.CR cs.LG
Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出TRACE-RPS框架,通过细粒度匿名化和推断阻止优化,有效降低大语言模型中属性推断准确性,实现隐私保护与模型效用的平衡。
2026-04-18 cs.AI cs.CL cs.CR
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架,通过低误报率评估语音隐私,发现即使在低FPR下,对手攻击能力显著增强,强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Data Structures for Private Token Transfers in TEE-Based Networks
Solar Republic LLC(Solar Republic有限责任公司);University of Canterbury(坎特伯雷大学)
研究基于可信执行环境的机密智能合约网络易受存储访问模式攻击问题,提出延迟写缓冲区和桶条目按位前缀树两种数据结构及私有通知系统,利用令牌转移特性实现隐私保护与性能平衡。
2026-07-07 cs.CR
Beyond Personalization: Federated Recommendation with Calibration via Low-rank Decomposition
针对联邦推荐中全局物品聚合导致用户嵌入偏斜的问题,本文提出 PFedCLR,利用缓冲矩阵及其低秩分解联合校准用户嵌入并个性化物品嵌入,同时兼顾隐私与效率。
2025-06-11 cs.CR
Privacy Assessment of Federated Learning using Private Personalized Layers
Univ Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院)
针对联邦学习中的推理攻击,本文评估私有个性化层在效用与隐私上的权衡,实验表明其可加快收敛、略微提升准确率,并优于局部差分隐私方案。
2021-09-26 cs.AI cs.CR cs.LG
Planting and Mitigating Memorized Content in Predictive-Text Language Models
University of Washington(华盛顿大学);Microsoft(微软)
语言模型被广泛部署以在用户产品中提供自动文本完成服务。然而,最近的研究表明,语言模型(特别是大型的)承担着相当大的风险,记忆私人训练数据,这是脆弱的泄漏和提取的对手。在这项研究中,我们测试了一系列隐私保护技术的有效性,以减轻敏感用户文本的非故意记忆,同时改变其他因素,如模型大小和对抗性条件。我们测试了“启发式”缓解措施(没有正式隐私保证的缓解措施)和差异私有训练,后者以一些模型性能为代价提供了可证明的隐私级别。我们的实验表明,(L2正则化除外),启发式缓解在很大程度上是无效的,防止记忆在我们的测试套件,可能是因为他们做了太强的假设的特征,定义“敏感”或“私人”的文本。相比之下,差分隐私在我们的实验中可靠地防止记忆,尽管它的计算和模型性能成本。
2022-12-16 cs.CL cs.CR
Enhancing Privacy, Neglecting Harms: An Analysis of Real-World Digital Privacy Incidents
ETH Zurich(苏黎世联邦理工学院);University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学);Belfort Labs(贝尔福特实验室);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
本研究通过分析257起真实世界隐私事件,提出新的信息流模型,揭示隐私增强技术与实际伤害间的错位,发现同意机制不足、伤害源于多实体复杂交互,且最有能力预防伤害的实体最缺乏动机。
2026-09-09 cs.CR cs.CY
Preserving Privacy and Security in Federated Learning
University of Florida(佛罗里达大学)
本研究提出一个原则性框架,通过同态加密安全聚合协议和零知识证明协议,在联邦学习中同时实现用户隐私保护和投毒攻击检测。
2023-08-29 cs.CR cs.LG
Balancing the privacy-utility trade-off: How to draw reliable conclusions from private data
Federal Statistical Office(联邦统计局)
本文提出基于假设检验的新视角,量化相对披露风险,分析DP对统计显著性检验的影响,为非技术利益相关者提供隐私效用权衡的实用指导。
2026-08-31 cs.CR stat.ME
Patient-Driven Privacy Control through Generalized Distillation
The Pennsylvania State University(宾夕法尼亚州立大学);Facebook AI Research(Facebook 人工智能研究院)
将数据分析引入医学改变了患者治疗的性质。在这种情况下,患者被要求披露个人信息,如遗传标记,生活习惯和临床病史。然后,统计模型使用这些数据来预测个性化治疗。然而,由于隐私问题,患者通常希望保留敏感信息。这种自我审查可能会妨碍适当的诊断和治疗,这可能导致严重的健康并发症,甚至随着时间的推移而死亡。在本文中,我们提出了隐私蒸馏,一种机制,允许患者控制他们希望披露给医疗保健提供者的信息的类型和数量,用于统计模型。同时,它保留了模型的准确性,这些模型可以在足够但不完整的隐私相关信息下访问所有患者数据。我们验证隐私蒸馏使用语料库的患者处方华法林的个性化剂量。我们使用深度神经网络来实现隐私蒸馏,以进行训练和剂量预测。我们发现,具有足够隐私相关信息的隐私蒸馏i)保留的准确性几乎与所有患者数据一样好(仅差3%),ii)有效防止引入健康相关风险的错误(仅差3.9%)。
2017-10-13 cs.CR cs.CY cs.LG
Driving Privacy Forward: Mitigating Information Leakage within Smart Vehicles through Synthetic Data Generation
本文提出通过TVAE模型生成合成数据以缓解智能车辆数据隐私泄露问题,构建了14种车载传感器漏洞分类法,并在保真度、效用和隐私指标上实现了90.1%统计相似性与78%分类准确率,有效防止了驾驶员画像。
2024-10-11 cs.CR cs.LG
FedWiLoc: Federated Learning for Privacy-Preserving WiFi Indoor Localization
UC Los Angeles(加州大学洛杉矶分校);University at Buffalo-SUNY(纽约州立大学布法罗分校);Latitude AI(纬度人工智能)
FedWiLoc通过联邦学习和几何损失函数,在保护隐私的同时实现更准确的WiFi室内定位。
2025-12-20 cs.CR cs.SY eess.SP
Privacy-preserving Decision-focused Learning for Multi-energy Systems
针对多能源系统调度中决策聚焦学习面临的隐私泄露问题,提出结合信息掩蔽、矩阵分解与同态加密的隐私保护框架,并开发负荷模式识别算法,在保护隐私的同时降低平均日调度成本。
2025-10-23 cs.AI cs.CR cs.LG
Private Memorization Editing: Turning Memorization into a Defense to Strengthen Data Privacy in Large Language Models
Human Centric ART, University of Rome Tor Vergata(罗马托尔维加塔大学人本艺术研究中心);Almawave S.p.A.(阿尔马韦斯公司)
本文提出私有记忆编辑(PME)方法,通过检测并编辑LLMs对训练数据中PII的记忆,将模型的记忆能力转化为隐私防御策略,在不影响底层语言模型的前提下有效降低隐私训练数据提取攻击的泄露量,甚至使攻击准确率降为零。
2025-06-09 cs.AI cs.CL cs.CR
Promoting Data and Model Privacy in Federated Learning through Quantized LoRA
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出 FedLPP 框架,结合参数量化与 LoRA,在联邦微调 LLM 时同时保护数据与模型隐私、降低通信成本,并保持中心模型良好泛化。
2024-06-16 cs.CL cs.CR cs.LG
Beyond Inferring Class Representatives: User-Level Privacy Leakage From Federated Learning
Wuhan University(武汉大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
联邦学习,即,用于深度学习的移动边缘计算框架是隐私保护机器学习的最新进展,其中模型由客户端以分散的方式训练,即,数据管理员,防止服务器直接访问来自客户端的这些私有数据。这种学习机制极大地挑战了来自服务器端的攻击。尽管结合生成对抗网络(GANs)的先进性的最先进的攻击技术可以在所有客户端之间构建全局数据分布的类代表,但是可预测地攻击特定客户端(即,用户级隐私泄露),这是从特定客户端精确恢复私人数据的更强隐私威胁。本文首次尝试通过恶意服务器的攻击来研究针对联邦学习的用户级隐私泄露问题。我们提出了一个框架,将GAN与多任务的识别,同时区分类别,现实和客户端身份的输入样本。新的客户端身份的歧视,使发电机恢复用户指定的私人数据。与现有的作品往往会干扰联邦学习的训练过程不同,所提出的方法在服务器端“看不见”地工作。实验结果表明,该攻击方法是有效的,优于现有的攻击方法。
2018-12-05 cs.CR cs.CV cs.LG
zk-PoT: Zero-Knowledge Proof of Traffic for Privacy Enabled Cooperative Perception
协同感知是互联自动驾驶汽车的一个重要且广泛讨论的应用。然而,感知数据的真实性并不能得到保证,因为车辆无法独立验证他们没有看到的事件。许多方法,包括基于信任的(即,统计)方法和基于可信度的方法,来确定数据的真实性。然而,这些方法不能验证数据没有先验知识。提出了一种从目标车辆牌照中构造自证数据的新方法。通过将假名和车牌视为共享的秘密,并让多辆车证明它们独立地知道它,数据真实性问题可以转换为密码学问题,可以在没有信任或可验证性评估的情况下解决。我们的工作可以适应现有的作品,包括ETSI/ISO ITS标准,同时保持向后兼容性。对常见攻击和针对该方法的攻击的分析表明,大多数攻击可以被阻止,而阻止其他一些攻击,如共谋攻击,可以减轻。基于真实数据集的实验表明,在高峰时段,验证成功率可达70%~ 80%.
2022-11-15 cs.CR cs.NI
Source Anonymity for Private Random Walk Decentralized Learning
German Aerospace Center, Germany(德国航空航天中心)
针对随机游走去中心化学习中的源身份泄露问题,提出结合公钥加密与网络相关目的地概率分布的匿名化方案,并在随机正则图上给出理论匿名保证。
2025-05-11 cs.CR cs.DC cs.IT
AB/BA analysis: A framework for estimating keyword spotting recall improvement while maintaining audio privacy
Amazon(亚马逊)
评估关键词发现(KWS)系统,检测语音中的关键词是一个具有挑战性的任务,现实的隐私限制。KWS旨在仅在关键字存在时收集数据,限制可能包含假阴性的硬样本的可用性,并防止从生产数据直接估计模型召回。或者,从其他来源收集的补充数据可能不能完全代表实际应用。在这项工作中,我们提出了一种评估技术,我们称之为AB/BA分析。我们的框架评估了候选KWS模型B对基线模型A,使用跨数据集离线解码相对召回估计,而不需要负面的例子。此外,我们提出了一个公式的假设,允许估计模型之间的相对误报率低方差,即使当误报的数量很小。最后,我们建议利用机器生成的软标签,我们称之为半监督AB/BA分析的技术,可以提高分析时间,隐私和成本。模拟和真实数据的实验表明,AB/BA分析是成功的,在衡量召回率的提高与相对误报率的权衡。
2022-04-18 cs.CR cs.LG cs.SD
Statistical anonymity: Quantifying reidentification risks without reidentifying users
数据匿名化是一种保护隐私的数据发布方法,旨在防止参与者重新识别,并且在不能容忍噪声数据的应用中,它是差分隐私的重要替代方案。用于在发布的数据中实施$k$ -匿名的现有算法假设执行匿名化的管理者具有对原始数据的完全访问权。限制这种访问的原因从不可取到完全不可行。本文探讨的想法-目标,指标,协议和扩展-减少必须放在馆长的信任,同时仍然保持$k$ -匿名的统计概念。我们建议信任(提供给策展人的信息量)和隐私(参与者的匿名性)作为这样一个框架的主要目标。我们描述了一类协议,旨在实现这些目标,提出新的隐私指标的过程中,并证明相关的界限。最后,我们讨论了这项工作的自然延伸,完全消除了对中央策展人的需要。
2022-01-28 cs.CR cs.CY cs.DB
Privacy-Preserving Secret Shared Computations using MapReduce
数据外包允许数据所有者将其数据保存在\emph{untrusted}云中,而这些云无法确保数据和/或计算的隐私。MapReduce是一个用于分布式容错数据处理的有用框架,它是为\emph{trusted}私有云开发的。本文提出了基于Shamir的秘密共享方案的数据外包算法,以及在使用MapReduce作为底层编程模型的同时执行隐私保护SQL查询的算法,例如计数,选择(包括范围选择),投影和连接。我们提出的算法防止对手知道数据库或查询,同时也防止输出大小和访问模式的攻击。有趣的是,我们的算法不涉及数据库所有者,它只创建和分发秘密共享一次,在回答任何查询,因此,数据库所有者也不能学习查询。逻辑和实验,我们评估以下参数的算法的效率:(\textit{i})的通信轮数(用户和服务器之间),(\textit{ii})的比特流的总量(用户和服务器之间),和(\textit{iii})在用户和服务器的计算负载。\B
2019-08-06 cs.CR cs.DB cs.DC