SurrogateShield: Beyond Redaction for High-Utility, Privacy-Preserving LLM Interactions
Arizona State University(亚利桑那州立大学)
提出客户端代理SurrogateShield,用本地生成的类型一致替代值替换检测到的PII,在保护隐私的同时保持语义效用,在1124条查询语料上F1达98.87%,BERTScore提升13.26个百分点。
2026-06-28 cs.CL cs.CR
RedactBuster: Entity Type Recognition from Redacted Documents
RedactBuster是首个利用句子上下文对编辑文本进行命名实体识别的去匿名化模型,基于微调Transformer,在TAB基准上准确率高达0.985,并提出字符规避对策及开源模型以增强文档隐私。
2024-04-19 cs.CR
Online publication of court records: circumventing the privacy-transparency trade-off
开放数据运动正在导致在线大规模发布法院记录,提高司法的透明度和可及性,并在现有丰富法律数据的基础上设计法律技术。然而,法律决策的敏感性也引发了重要的隐私问题。当前的实践通过将访问控制与(手动或半手动)文本编辑相结合来解决由此产生的隐私与透明度的权衡。在这项工作中,我们声称,目前的做法是不足以应付大规模访问的法律数据(限制性的访问控制政策是有害的开放性和实用性,而文本编辑是无法提供健全的隐私保护),并倡导一个整合的方法,可以受益于隐私保护的数据发布域的最新发展。我们提出了一个彻底的分析问题和当前的方法,并提出了一个稻草人多式联运架构铺平道路,一个成熟的隐私保护法律数据发布系统。
2020-07-03 cs.CR cs.CY
Differentially Private De-identification of Dutch Clinical Notes: A Comparative Evaluation
Sapienza University of Rome(罗马大学);Translated;Amsterdam UMC(阿姆斯特丹大学医学中心);University of Amsterdam(阿姆斯特丹大学)
研究比较了差分隐私、命名实体识别和大型语言模型在荷兰临床文本去标识化中的性能,发现结合语言预处理可显著提升隐私与效用的平衡。
2026-04-23 cs.AI cs.CL cs.CR
Provably Confidential Language Modelling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
大语言模型被证明可以记忆训练数据中的社会安全号码等隐私信息。考虑到训练语料库的庞大规模,手动或自动筛选和过滤这些隐私数据是一项挑战。在本文中,我们提出了机密编辑训练(CRT),训练语言生成模型,同时保护机密段的方法。我们借用了差分隐私(它解决了一个相关但不同的问题)的想法,并表明我们的方法能够通过随机化训练过程的一部分来防止意外的记忆。此外,我们表明,一个近似正确的筛选政策的节录放大了保密保证。我们为LSTM和GPT语言模型实现了该方法。我们的实验结果表明,CRT训练的模型获得几乎相同的困惑,同时保持强机密性。
2022-06-23 cs.CL cs.CR cs.LG
Unintended Memorization and Timing Attacks in Named Entity Recognition Models
Macquarie University(麦考瑞大学)
命名实体识别模型(NER)被广泛用于识别命名实体(例如,个人、位置和其他信息)。基于机器学习的NER模型越来越多地应用于隐私敏感应用中,这些应用需要自动和可扩展地识别敏感信息以编辑文本以用于数据共享。在本文中,我们研究了设置时,NER模型可作为一个黑盒服务,用于识别用户文档中的敏感信息,并表明这些模型是脆弱的成员资格推断其训练数据集。通过更新spaCy的预训练NER模型,我们展示了对这些模型的两种不同的成员攻击。我们的第一次攻击利用了NER底层神经网络中的无意识记忆,这是一种已知的NN容易受到攻击的现象。我们的第二次攻击利用定时侧通道来针对维护从训练数据构建的词汇表的NER模型。我们发现,与以前没有看到的单词相比,训练数据集中单词的不同功能路径在执行时间上有可测量的差异。揭示训练样本的成员状态具有明显的隐私含义,例如,在文本编辑中,要被发现和移除的敏感词或短语有在训练数据集中被检测到的风险。我们的实验评估包括密码和健康数据的编辑,同时存在安全风险和隐私/监管问题。如果研究结果显示,学生只记住了一个短语,那么这种情况就更加严重了。我们在第一次攻击文本编辑用例时实现了70%的AUC。我们还显示了压倒性的成功,在99.23%的AUC的时间攻击。最后,我们讨论了潜在的缓解方法,以实现安全使用的NER模型的隐私和安全的影响,成员推断攻击。
2022-11-04 cs.AI cs.CR cs.LG
Toward sensitive document release with privacy guarantees
隐私已成为现代信息社会的一个严重问题。每天交换或向不受信任方发布的许多数据的敏感性要求负责任的组织采取适当的隐私保护措施。如今,这些数据中的大部分是文本(例如,电子邮件、社交媒体上发布的消息、医疗保健结果等)这由于其非结构化和语义性质而对自动数据保护方法构成了挑战。事实上,文本文档通常是手动保护的,这个过程称为文档编校或清理。为此,人类专家识别敏感术语(即,可能揭示身份和/或机密信息的术语)并相应地保护它们(例如,通过移除或优选地通过泛化)。为了减轻专家从这个繁重的任务,在以前的工作中,我们介绍了理论基础的C-消毒,一个固有的语义隐私模型,提供了基础的自动文档编辑/消毒算法的发展,并提供了明确的和先验的隐私保证数据保护;尽管它的潜在好处,C-消毒在应用于实践时仍然存在一些限制(主要是关于灵活性,效率和准确性)。在本文中,我们提出了一个新的更灵活的模型,命名为(C,g(C))-消毒,它使一个直观的配置之间的权衡所需的保护水平(即,受控的信息公开)和保存受保护数据的效用(即,要保留的语义量)。此外,我们还提出了一套技术解决方案和算法,提供了一个有效的和可扩展的实现模型,并提高其实际的准确性,我们也通过实证实验说明。
2017-01-02 cs.CR
CIPHER: Benchmarking Cross-record Inference over Privacy-Hardened Evidence Records
Arizona State University(亚利桑那州立大学)
CIPHER基准测试评估隐私加固记录上的跨记录推理,发现系统错误主要源于记录选择和谓词解释,而非算术执行。
2026-09-09 cs.AI cs.CR
Redakto - The Incognito Tab for LLMs
Berlin University of Applied Sciences(柏林应用科学大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
Redakto是一款开源匿名化工具,可通过网页应用、REST API等供用户使用,能移除文本中PII,其匿名化后的文本效用与原文相当,可助力LLM使用时的隐私保护。
2026-08-20 cs.AI cs.CL cs.CR
MaskSQL: Safeguarding Privacy for LLM-Based Text-to-SQL via Abstraction
University of Waterloo(多伦多大学);Vector Institute(向量研究所);Layer 6 AI
针对基于LLM的text-to-SQL任务存在的隐私泄露风险,提出采用抽象机制保护敏感信息的MaskSQL框架,在保障隐私的同时实现了优于主流SLM模型、接近顶尖LLM模型的性能。
2025-09-30 cs.CL cs.CR
OConsent -- Open Consent Protocol for Privacy and Consent Management with Blockchain
在当前的互联世界中-网站,移动应用程序,物联网设备收集大量用户的个人可识别活动数据。这些收集的数据用于分析、营销、服务个性化等各种目的。数据通过网站cookie、跟踪设备ID、嵌入式JavaScript、像素等进行同化。许多这些跟踪和使用收集的数据发生在幕后,对普通用户来说并不明显。因此,许多国家和地区制定了立法(例如,GDPR(欧盟)-允许用户能够控制其个人数据,以可理解和用户友好的方式知情并同意其处理。本文提出了一种基于区块链技术的协议和平台,可以在从捕获,沿袭到编辑的整个生命周期中透明地处理个人数据。该解决方案旨在帮助服务多个利益相关者,从个人最终用户到数据控制器和隐私官。它旨在提供关于如何以及何时捕获、访问和处理数据点的整体和明确的视图。该框架还设想了如何通过公共区块链创建和执行不同的访问控制策略,包括针对隐私数据泄露的实时的警报。
2022-01-04 cs.CR
Differentially Private Language Models Benefit from Public Pre-training
University of California, Irvine(加州大学欧文分校);Princeton University(普林斯顿大学)
语言建模是自然语言处理中的一项关键任务。在对敏感信息训练语言模型时,差分隐私(DP)允许我们量化我们的隐私数据受到保护的程度。然而,执行差分隐私的训练算法往往会导致模型质量的下降。我们研究的可行性学习语言模型,这是同时高质量和隐私保护的公共基础模型上调整私人语料库。我们发现,DP微调提高了性能的语言模型在私人领域,使培训这样的模型成为可能。
2020-10-26 cs.CL cs.CR cs.LG
CyberCane: a privacy-bounded neuro-symbolic retrieval framework for phishing detection under distribution shift
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Bowie State University(鲍威州立大学)
CyberCane结合确定性符号分析与隐私保护RAG,通过形式本体推理实现高召回率的钓鱼检测,在隐私保护和抗AI攻击方面表现优异。
2026-10-20 cs.AI cs.CR cs.IR
Provable Mutual Benefits from Federated Learning in Privacy-Sensitive Domains
INSAIT, Sofia University(INSAIT索菲亚大学);ETH Zurich(苏黎世联邦理工学院);High School of Mathematics Burgas(布尔加斯数学高中)
本文研究隐私敏感领域中联邦学习的互利性,提出互利协议存在条件、最大化客户总效用及最终模型精度的协议,并通过合成实验验证其益处。
2024-11-07 cs.CR cs.GT cs.LG
Not all noise is accounted equally: How differentially private learning benefits from large sampling rates
Aarhus University(奥胡斯大学)
学习通常涉及敏感数据,因此,已经使用差分隐私(DP)的定义开发了对随机梯度下降(SGD)和其他机器学习算法的隐私保护扩展。在差分私有SGD中,在每次训练迭代中计算的梯度受到两种不同类型的噪声的影响。首先,固有的采样噪声所产生的使用小批量。其次,从加性高斯噪声的底层机制即隐私性引入。在这项研究中,我们表明,这两种类型的噪声是等效的私人神经网络的效用的影响,但他们并不占同等的隐私预算。鉴于这一观察结果,我们提出了一种训练范式,将噪声的比例转移到更少的固有噪声和更多的附加噪声,这样可以在隐私预算中考虑更多的整体噪声。有了这个范例,我们能够改进私有端到端CNN的隐私/效用权衡的最新技术。
2021-10-12 cs.CR cs.LG
How good is good enough for COVID19 apps? The influence of benefits, accuracy, and privacy on willingness to adopt
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院);University of Zurich(苏黎世大学)
正在开发越来越多的接触者追踪应用程序,以补充手动接触者追踪。一个关键问题是用户是否愿意采用这些联系人追踪应用程序。在这项工作中,我们调查了4,500多名美国人,以评估(1)准确性和隐私问题对安装COVID 19接触追踪应用程序的意愿的影响,以及(2)不同用户群体如何权衡准确性与隐私。根据我们在前两个研究问题中的发现,我们(3)定量建模了一个假设的接触者追踪应用程序中的公共卫生效益(感染率降低)、个人效益(对COVID暴露的真阳性检测)和隐私风险程度如何影响美国人的安装意愿。我们的工作采用描述性伦理方法,为COVID 19相关政策和应用程序设计的发展提供影响。
2020-05-18 cs.CR cs.CY cs.HC
Exploring the Benefits of Visual Prompting in Differential Privacy
Xi’an Jiaotong University(西安交通大学);National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院)
本文探索视觉提示(VP)与差分隐私(DP)结合,发现VP与PATE方法联合可在最小隐私预算下达到最优隐私-效用权衡,并通过跨域实验和消融研究验证其有效性。
2023-08-30 cs.CR cs.CV cs.LG
Negotiating Privacy with Smart Voice Assistants: Risk-Benefit and Control-Acceptance Tensions
本研究通过风险-收益张力指数和控制-接受张力指数,探讨青少年在使用智能语音助手时的隐私决策过程,发现频繁使用与收益主导的接受倾向相关,可能牺牲感知控制。
2026-04-04 cs.AI cs.CR cs.CY
Assessing the Privacy Benefits of Domain Name Encryption
随着互联网用户越来越了解他们的互联网通信被观察的可能性,网络流量加密技术的使用(例如,HTTPS/TLS)正在崛起。但是,即使启用了加密,用户也会通过DNS查询和TLS的服务器名称指示(SNI)扩展泄漏有关其访问的域的信息。最近有两个改善这个问题的提案是DNS over HTTPS/TLS(DoH/DoT)和加密SNI(ESNI)。在本文中,我们的目标是评估这些建议的隐私利益,考虑主机名和IP地址之间的关系,后者仍然暴露。我们从全球九个有利位置进行DNS查询,以描述这种关系。我们量化了ESNI为不同的托管和CDN提供商提供的隐私增益,使用两个不同的指标,由于共同托管和IP地址变化的动态的k-匿名程度。我们发现,20%的域研究将不会获得任何隐私的好处,因为他们有一个一对一的映射之间的主机名和IP地址。另一方面,30%的域名将在k值大于100的情况下获得显著的隐私优势,因为这些域名与100多个其他域名共同托管。访问者隐私将得到有意义改善的域名远不受欢迎,而对于受欢迎的域名,好处并不显著。分析长期域名的IP地址动态,我们发现只有7.7%的域名每天都会更改其托管IP地址。最后,我们讨论了网站所有者和托管/CDN提供商的潜在方法,以最大限度地提高ESNI的隐私优势。
2020-07-08 cs.CR cs.NI
LLM-Redactor: An Empirical Evaluation of Eight Techniques for Privacy-Preserving LLM Requests
Sperix Labs VIA Cybersecurity Lab, KNUST(斯佩里克斯实验室VIA网络安全实验室,库马西科技大学);KNUST Quantum and Assistive Technologies Lab, KNUST(库马西科技大学量子与辅助技术实验室,库马西科技大学)
本文评估了八种隐私保护LLM请求技术,发现组合A+B+C在保护PII和专有代码方面效果最佳,提出基于威胁模型的决策规则。
2026-04-13 cs.CR cs.SE
Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers
University of Science and Technology of China(中国科学技术大学);National Yang Ming Chiao Tung University(国立阳明交通大学);IBM Research(IBM研究院)
本文探讨了在迁移学习场景下结合差分隐私预训练与参数高效微调(如Adapter、LoRA和Prompt Tuning)对TabTransformers的益处,实验表明这些PEFT方法在参数效率、隐私和准确率间实现了更好的权衡。
2023-09-12 cs.CR cs.LG
Tokenized Key-Gated Adapter Routing: A Secure Access Control Mechanism Against Private Data Leakage in LLMs
Washington State University(华盛顿州立大学)
提出Locket框架,通过键控入口令牌和LoRA适配器实现LLM生成中的细粒度访问控制,在正确令牌下保持效用,缺失或无效时减少PII泄露。
2026-10-02 cs.AI cs.CL cs.CR
Security and Privacy in Future Internet Architectures - Benefits and Challenges of Content Centric Networks
随着我们当前互联网的缺点变得越来越明显,研究人员已经开始为未来的互联网创造替代方法。他们的设计目标主要是面向内容、安全性、对移动性和云计算的支持。可能最流行的架构被称为内容中心网络。每个通信都被视为内容的分发,并在网络中使用缓存来提高效率。虽然以内容为中心的网络的性能增益是肯定的,但存在关于安全性,特别是隐私性的问题,因为它不是其主要设计原则之一。在这项工作中,我们比较了内容为中心的网络方法与当前的互联网方面的安全和隐私。我们分析已经做出的改进和尚未解决的新问题。未来的互联网可能是以内容为导向的,因此必须尽早识别架构固有的潜在安全和隐私问题。
2016-01-13 cs.CR cs.NI
Benefits and Pitfalls of the Exponential Mechanism with Applications to Hilbert Spaces and Functional PCA
Pennsylvania State University(宾夕法尼亚州立大学)
指数机制由于其强大的隐私保证和灵活性而成为差分隐私(DP)的基本工具。我们研究了它的扩展设置与摘要的基础上无限维输出,如功能数据分析,形状分析,和非参数统计。我们表明,可以设计一个特定的基础措施的输出空间,如高斯过程的机制。我们提供了一个积极的结果,建立了一个中心极限定理的指数机制相当广泛。我们还提供了一个明显的负面结果,表明为隐私引入的噪声的大小是渐近不可忽略的相对于统计估计误差。我们开发了一个\ep -DP机制的功能主成分分析,适用于可分离的希尔伯特空间。我们证明了它的性能,通过模拟和应用程序的两个数据集。
2019-01-30 cs.CR cs.LG stat.ML
Privacy and Data Balkanization: Circumventing the Barriers
数字数据的快速增长构成了各种新服务和研究的基础,例如大规模的医学研究。与此同时,越来越严格的隐私问题和法律正在导致在安排共享或合并不同数据集以获得这些好处方面的显着开销。对于新的应用程序,合并数据的好处还不清楚,这种开销甚至会阻止组织尝试确定他们是否可以从共享数据中获益。在本文中,我们讨论的技术,以克服这一困难,采用私人信息传输,以确定是否有一个共享数据的好处,以及是否有空间谈判可接受的价格。这些技术涉及加密协议。虽然目前被认为是安全的,但这些协议可能容易受到量子技术发展的影响,特别是在未来很长一段时间内确保隐私。为了减轻这种担忧,我们描述了实际量子技术的发展如何提高这些协议的安全性。
2021-09-03 cs.CR cs.CY
A Path to Holistic Privacy in Stream Processing Systems
Technical University of Darmstadt(达姆施塔特工业大学)
本文系统审视了流处理系统与物联网交叉领域的隐私问题,识别了实现全面隐私保护的关键挑战并提出相应解决方案。
2023-05-19 cs.CR cs.LG
Feasibility Study on CCTV-aware Routing and Navigation for Privacy, Anonymity, and Safety. Jyvaskyla -- Case-study of the First City to Benefit from CCTV-aware Technology. (Preprint)
为了抵御CCTV摄像头和技术对隐私的日益侵犯,必须存在具有隐私、安全和网络安全功能的CCTV感知解决方案。我们认为,实现这种CCTV感知解决方案的第一个重要步骤必须是一个地图系统,提供隐私和安全的路由和导航选项。据我们所知,没有地图或导航系统支持隐私和安全路由选项。在本文中,我们探讨了CCTV感知路由和导航解决方案的可行性。这种可行性探索的目的是了解CCTV对隐私的主要影响,以及构建这种技术的挑战和好处。我们在芬兰于韦斯屈莱市中心的七(7)条行人步行路线上评估我们的方法。我们首先映射了总共450个CCTV摄像头,然后在几种不同的配置下进行路由和导航实验,以粗略地模拟现实世界中可能的摄像头参数和覆盖范围。我们报告两个主要结果。首先,我们的初步研究结果支持我们的方法的整体可行性。其次,调查结果还揭示了一个数据驱动的令人担忧的现实,即希望保护隐私/匿名作为其主要生活选择的人。当在低性能端对摄像机进行建模时,与通用路由相比,隐私保护路由的距离平均增加了1.5倍。当在中高性能端对摄像机进行建模时,隐私保护路由的距离平均增加了5.0倍,而在某些情况下,根本不可能有隐私保护路由。这些结果进一步支持和鼓励CCTV摄像机的全球映射以及摄像机建模和基础技术的改进。
2020-11-17 cs.CR cs.CY cs.SE
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki(赫尔辛基大学);Telefónica Research(西班牙电信研究机构)
本文提出一种新分析方法,使联邦学习在多个本地步骤中仍能利用安全聚合,从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Towards Privacy-Preserving Medical Imaging: Federated Learning with Differential Privacy and Secure Aggregation Using a Modified ResNet Architecture
Istanbul University-Cerrahpasa(伊斯坦布尔大学-切尔拉帕萨分校);Queen’s University(女王大学)
本文提出结合本地差分隐私、安全多方计算安全聚合与 DPResNet 的联邦医学影像分类框架,并在 BloodMNIST 跨医院场景中验证其可在严格保密下取得接近非隐私模型的性能。
2024-12-01 cs.CR cs.LG
Blockchain-empowered Federated Learning: Benefits, Challenges, and Solutions
School of Software Engineering(软件工程学院);Sun Yat-sen University(中山大学);State University of New York(纽约州立大学)
本文综述区块链赋能联邦学习(BC-FL)的研究,分析其在安全、公平与可扩展性上的优势、资源挑战及解决方案,并展望未来方向。
2024-07-05 cs.CR cs.LG
How Much User Context Do We Need? Privacy by Design in Mental Health NLP Application
University of Marburg(马尔堡大学);Technical University of Darmstadt(达姆施塔特工业大学);Georgia Institute of Technology(佐治亚理工学院);Manipal Institute of Technology(马尼帕尔理工学院)
临床NLP任务,如从文本进行心理健康评估,必须考虑社会约束-性能最大化必须受到保证用户数据隐私的最重要性的约束。消费者保护法规(如GDPR)通常通过限制数据可用性来处理隐私,例如要求将用户数据限制为特定目的所需的数据。在这项工作中,我们的理由是,提供更严格的正式隐私保证,同时增加模型中的用户数据的量,在大多数情况下,增加利益的所有参与方,特别是用户。我们证明了我们的论点上的两个现有的自杀风险评估数据集的Twitter和Reddit的职位。我们提出的第一个分析并列用户历史长度和差分隐私预算和详细说明如何建模额外的用户上下文使实用程序保存,同时保持可接受的用户隐私保证。
2022-09-05 cs.CL cs.CR
Privacy-Preserving Machine Learning: Methods, Challenges and Directions
IBM Research - Almaden Research Center(IBM研究院阿尔马登研究中心);School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院)
机器学习(ML)越来越多地被广泛应用于各种应用领域。通常,性能良好的ML模型依赖于大量的训练数据和高性能的计算资源。由于高度隐私敏感信息泄露的潜在风险,这种对大量数据的需求和使用引发了严重的隐私问题;此外,不断变化的监管环境越来越多地限制对隐私敏感数据的访问和使用,这给充分受益于ML的数据驱动应用带来了重大挑战。经过训练的ML模型也可能容易受到对抗攻击,例如成员关系、属性或属性推断攻击以及模型反演攻击。因此,许多新兴应用迫切需要设计良好的隐私保护ML(PPML)解决方案。越来越多的来自学术界和工业界的重要研究工作可以在PPML领域看到,这些领域旨在将隐私保护技术集成到ML管道或特定算法中,或者设计各种PPML架构。特别是,现有的PPML研究横切ML,系统和应用程序设计,以及安全和隐私领域;因此,迫切需要了解最先进的研究,相关的挑战和PPML领域未来研究的研究路线图。在本文中,我们系统地回顾和总结现有的隐私保护方法,并提出了一个阶段,保证,和效用(PGU)三元组为基础的模型来理解和指导各种PPML解决方案的评估分解其隐私保护功能。我们讨论了PPML的独特特征和挑战,并概述了可能的研究方向,这些方向可以利用并使多个研究社区受益,如ML,分布式系统,安全性和隐私。
2021-09-22 cs.AI cs.CR cs.LG
On the Benefits of Sampling in Privacy Preserving Statistical Analysis on Distributed Databases
我们考虑一个问题,其中相互不信任的管理者拥有垂直分区数据库的部分,其中包含有关一组个人的信息。我们的目标是使授权方能够从数据库中获得汇总(统计)信息,同时保护个人的隐私,我们使用差分隐私将其形式化。这个过程可以通过不受信任的服务器来促进,该服务器提供存储和处理服务,但不应该了解有关数据库的任何信息。这项工作描述了一种数据发布机制,该机制采用后随机化(PRAM),加密和随机采样来维护隐私,同时允许授权方对数据进行准确的统计分析。加密确保存储服务器不会获得有关数据库的任何信息,而PRAM和采样确保针对授权方维护个人隐私。我们描述了与单独使用PRAM相比,随机采样与PRAM的组合增加了系统的差分隐私。我们还分析了我们的系统的统计效用,通过限制估计误差-真实经验分布和估计分布之间的预期l2范数误差-作为样本数,PRAM噪声和其他系统参数的函数。我们的分析显示了增加PRAM噪声与减少样本数量之间的权衡,以保持所需的隐私水平,我们确定了平衡这种权衡并最大化效用的最佳样本数量。在UCI“成人数据集”和综合生成的数据的实验模拟中,我们确认理论预测的最佳样本数确实接近最小经验误差,并且我们的分析误差范围与经验结果匹配良好。
2013-04-16 cs.CR cs.DB cs.DS
Privacy for Free: How does Dataset Condensation Help Privacy?
Shanghai Jiao Tong University(上海交通大学);The University of Edinburgh(爱丁堡大学);Sony AI(索尼人工智能研究院)
为了防止无意的数据泄漏,研究界已经求助于数据生成器,可以生成用于模型训练的差异化私有数据。然而,为了数据隐私,现有的解决方案遭受昂贵的训练成本或泛化性能差。因此,我们提出了一个问题,即培训效率和隐私是否可以同时实现。在这项工作中,我们首次发现,最初旨在提高训练效率的数据集压缩(DC)也是一种更好的解决方案,可以取代传统的数据生成器来生成私有数据,从而免费提供隐私。为了证明DC的隐私优势,我们建立了DC和差分隐私之间的联系,并在线性特征提取器(然后扩展到非线性特征提取器)上从理论上证明了一个样本的存在对由DC从$n (n \gg m)$原始样本合成的$m$样本训练的网络的参数分布的影响有限($O(m/n)$)。我们还通过发起基于损失和最新的基于似然的成员推断攻击来实证验证DC合成数据的视觉隐私和成员隐私。我们将这项工作视为数据高效和隐私保护机器学习的里程碑。
2022-06-01 cs.CR cs.LG
Data Security and Privacy in Cloud Computing: Concepts and Emerging Trends
全球数百万用户利用云环境进行数据处理和共享。数据安全和隐私是云环境的必然要求。用户之间的大量使用和数据共享为安全漏洞打开了大门。本文设想讨论云环境,其效用,挑战和新兴的研究趋势局限于安全处理和数据共享。
2021-08-21 cs.CR
"It's a Fair Game", or Is It? Examining How Users Navigate Disclosure Risks and Benefits When Using LLM-Based Conversational Agents
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文通过分析真实ChatGPT对话和访谈19位用户,揭示用户在使用基于LLM的对话智能体时面临隐私、效用与便利性的权衡困境,并提出保护用户隐私的设计指南与范式转变建议。
2024-04-02 cs.AI cs.CR cs.HC
Composition for Pufferfish Privacy
Penn State University(宾夕法尼亚州立大学)
针对Pufferfish隐私定义缺乏组合性的问题,提出必要充分条件实现线性组合,通过a(b)-影响曲线将差分隐私机制转化为可组合的Pufferfish算法,在马尔可夫链上显著优于先前工作。
2026-06-07 cs.CR
A Discussion and Comparative Study on Security and Privacy of Smart Meter Data
云计算伴随着隐私和安全问题带来了很多高级功能。智能电表数据利用智能电网中的云计算。通过分析家用电器产生的智能电表数据,用户的隐私可能会受到损害。当数据转移到云端时,用户失去了对数据的控制。本文介绍了云环境下智能电表数据的隐私和安全问题。我们还比较了现有的方法来保护智能电表数据的隐私和安全性。
2021-11-17 cs.CR
Private Graph Data Release: A Survey
近年来,图分析在各个领域的应用产生了巨大的社会和经济效益。然而,图形分析的日益广泛的采用伴随着保护图形数据中的私有信息的需求的相应增加,特别是考虑到真实世界的图形数据中的许多隐私泄露,这些数据本应保留敏感信息。本文提供了一个全面的调查私有图数据发布算法,寻求实现隐私和实用性之间的良好平衡,特别关注可证明的私有机制。这些机制中的许多是差分隐私框架到图形数据的自然扩展,但我们也研究了更一般的隐私公式,如河豚隐私,解决了差分隐私的一些限制。我们还对私有图数据发布机制在社交网络、金融、供应链和医疗保健中的应用进行了广泛的调查。这份调查报告及其提供的分类法应该使越来越重要的私人分析和数据发布领域的从业者和研究人员受益。
2022-06-04 cs.CR
Privacy Preserving Identification Using Sparse Approximation with Ambiguization
University of Geneva(日内瓦大学)
在本文中,我们考虑了一个隐私保护编码框架,用于识别应用,包括生物识别,物理对象安全和物联网(IoT)。所提出的框架是基于稀疏化变换,其中包括一个训练有素的线性映射,一个元素明智的非线性,和隐私放大。稀疏化变换和隐私放大对于数据所有者和数据使用者是不对称的。我们证明,所提出的方法是紧密相关的稀疏三进制码(STC),最近提出的信息理论概念,在高维特征空间,是机器学习在本质上也提供了显着的好处,稀疏近似和二进制嵌入方法相比,快速近似最近邻(ANN)搜索。我们证明了外包给服务器的数据库的隐私以及数据用户的隐私以较低的计算成本、存储和通信负担得到保护。
2017-09-29 cs.CR cs.LG stat.ML
Does a Face Mask Protect my Privacy?: Deep Learning to Predict Protected Attributes from Masked Face Images
University of Melbourne(墨尔本大学);University of Moratuwa(莫拉图瓦大学);National University of Singapore(新加坡国立大学);RMIT University(皇家墨尔本理工大学)
我们迅速实施非接触式高效系统,以倡导预防方法对抗COVID-19疫情。尽管这些系统有积极的好处,但也有可能通过侵犯用户隐私来利用。在这项工作中,我们分析了隐私入侵的人脸生物识别系统的隐私敏感的软生物特征,使用蒙面的人脸图像预测。我们训练和应用一个基于ResNet-50架构的CNN,使用20,003个合成掩码图像,并测量隐私入侵。尽管人们普遍认为戴口罩对隐私有好处,但我们发现戴口罩对隐私的侵犯没有显着差异。在我们的实验中,我们能够准确地预测性别(94.7%),种族(83.1%)和年龄(MAE 6.21和RMSE 8.33)从蒙面的脸图像。我们提出的方法可以作为一个基线工具,以评估隐私侵犯的人工智能系统,利用隐私敏感信息。我们开放所有贡献,供研究界进行复制和更广泛的使用。
2022-01-26 cs.CR cs.CV
Powering the Future of IoT: Federated Learning for Optimized Power Consumption and Enhanced Privacy
本文研究联邦学习在物联网中的应用,分析其如何通过降低功耗和增强隐私安全来延长设备寿命,并探讨其机遇、局限及未来研究方向。
2024-05-05 cs.CR
A Privacy-Preserving and Trustable Multi-agent Learning Framework
Bennett University(贝内特大学);Syracuse University(雪城大学)
分布式多智能体学习使智能体能够合作训练模型,而不需要共享它们的数据集。虽然这种设置确保了一定程度的隐私,但已经表明,即使当数据不直接共享时,训练过程也容易受到隐私攻击,包括数据重建和模型反演攻击。此外,在反向标签或随机数据上进行训练的恶意代理可能会任意削弱全局模型的准确性。本文解决了这些挑战,并提出了隐私保护和可信赖的分布式学习(PT-DL),这是一个完全分散的框架,依赖于差分隐私来保证代理数据的强大隐私保护,以及以太坊智能合约来确保可信赖性。本文表明,PT-DL是弹性高达50%的共谋攻击,具有很高的概率,在恶意的信任模型和实验评估说明了所提出的模型的好处,作为一个隐私保护和可信的分布式多智能体学习系统的几个分类任务。
2021-06-02 cs.AI cs.CR cs.LG
Big Data: Opportunities and Privacy Challenges
数据汇集和计算统计学的最新进展,加上计算机处理能力的提高,以及存储成本的暴跌,使得有效分析大量异构数据集的技术无处不在。通过将这些技术(通常称为大数据技术)应用于越来越多的内部和外部数据源,企业和机构可以发现数据项之间隐藏的相关性,并提取创新和经济增长所需的可操作见解。一方面,大数据技术带来了巨大的前景,另一方面,它们提出了关键的安全、隐私和道德问题,如果不加以解决,这些问题可能成为实现大数据预期机遇和长期成功的重大障碍。在本文中,我们讨论了大数据对个人和整个社会的好处,重点关注七个关键用例:大数据用于业务优化和客户分析,大数据和科学,大数据和医疗保健,大数据和金融,大数据和新兴的能源分配系统,大/开放数据作为政府开放和效率的推动因素,以及大数据安全。除了利益和机会,我们还讨论了安全,隐私和道德问题。
2015-02-03 cs.CR
LSB: A Lightweight Scalable BlockChain for IoT Security and Privacy
区块链(BC)由于其不可变的性质以及相关的安全和隐私优势而引起了极大的关注。BC有潜力克服物联网(IoT)的安全和隐私挑战。然而,BC在计算上是昂贵的,具有有限的可扩展性,并且引起不适合IoT上下文的显著带宽开销和延迟。我们提出了一个分层的轻量级可扩展BC(LSB),它针对物联网要求进行了优化。我们将探讨灵巧家庭环境中的LSB,作为更广泛物联网应用的代表性示例。灵巧家庭中的低资源设备受益于集中式管理器,该管理器建立用于通信的共享密钥并处理所有传入和传出请求。LSB通过形成覆盖网络来实现分散化,在覆盖网络中,高资源设备共同管理公共BC,以确保端到端的隐私和安全性。覆盖被组织为不同的集群以减少开销,并且集群头负责管理公共BC。LSB集成了几个优化,包括轻量级共识,分布式信任和吞吐量管理算法。定性的参数表明,LSB是弹性的几种安全攻击。大量的模拟表明,LSB降低了数据包开销和延迟,并增加了BC的可扩展性相比,相关的基线。
2017-12-08 cs.CR
Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models
Iowa State University(爱荷华州立大学);Intel Labs(英特尔研究院)
本文提出联邦基础模型(FFMs)范式,结合基础模型与联邦学习实现隐私保护与协作学习,探讨预训练、微调及联邦提示微调等未来方向,并展望边缘计算下的持续学习潜力。
2024-03-19 cs.AI cs.CR cs.LG
Data privacy for Mobility as a Service
本文综述了出行即服务(MaaS)中的数据隐私问题,分析了相关挑战、现有解决方案及未来方向,旨在平衡用户隐私保护与社会效益。
2023-09-18 cs.CR
Anonymization of System Logs for Privacy and Storage Benefits
系统日志是分析和诊断系统行为的重要信息。并行计算系统的规模及其组件的数量稳步增加。系统生成的日志量与此增长成比例。因此,长期收集和存储系统日志是一项挑战。系统日志的分析需要先进的文本处理技术。对于非常大量的日志,分析非常耗时,需要高水平的专业知识。对于许多并行计算中心来说,将系统日志分析外包给第三方是唯一负担得起的选择。然而,系统日志条目中敏感数据的存在阻碍了系统日志向第三方的传输。此外,用于处理系统日志的分析工具和由这些工具提供的解决方案是高度系统特定的。只有通过多个计算系统的日志的访问和分析系统,才有可能实现更通用的解决方案。然而,对隐私的关注阻碍了各机构之间以及在公共领域共享系统日志。这项工作提出了一种新的方法,用于匿名化的系统日志内的信息,采用去识别和编码,以提供共享的系统日志,尽可能高的数据质量和减小的大小。在这项工作中提出的结果表明,除了消除系统日志中的敏感数据,并将其转换为可共享的数据,所提出的匿名化方法提供了25%的性能提高后处理的匿名化系统日志,并在其所需的存储空间减少了50%以上。
2017-06-14 cs.CR cs.DC
Linear Model Against Malicious Adversaries with Local Differential Privacy
University of Florida(佛罗里达大学);Northeastern University(东北大学)
科学合作受益于分布式资源的协作学习,但当数据敏感时仍然难以实现。近年来,隐私保护技术得到了广泛的研究,以分析跨不同机构的分布式数据,同时保护敏感信息。大多数现有的隐私保护技术都是为了抵抗半诚实的对手,并需要密集的计算来执行数据分析。安全的协作学习是显着困难的恶意对手谁可能偏离安全协议的存在。另一个挑战是在隐私保护的情况下保持高计算效率。本文利用矩阵加密技术对数据进行加密,使安全方案能够抵抗选择明文攻击、已知明文攻击和合谋攻击。该加密方案还实现了局部差分隐私。此外,交叉验证研究,以防止过度拟合,而不增加通信成本。在真实数据集上的实验结果表明,与现有的恶意攻击和半诚实模型相比,所提出的方案具有更高的计算效率。
2022-06-29 cs.CR cs.LG stat.ML
Governing autonomous vehicles: emerging responses for safety, liability, privacy, cybersecurity, and industry risks
Lee Kuan Yew School of Public Policy, National University of Singapore(新加坡国立大学李光耀公共政策学院)
自动驾驶汽车(AV)的好处得到了广泛的认可,但人们对这些好处的程度以及AV风险和意外后果表示担忧。在本文中,我们首先研究了自动驾驶汽车和与之相关的不同类别的技术风险。然后,我们探讨可以采取的战略,以解决这些风险,并探讨新兴的反应,政府为解决AV风险。我们的分析表明,到目前为止,各国政府在大多数情况下避免采取严厉措施,以促进反车辆地雷的发展,大多数反应是不具约束力的,并侧重于建立理事会或工作组,以更好地探讨反车辆地雷的影响。美国一直积极引入立法,以解决与隐私和网络安全有关的问题。特别是英国和德国,已经制定了法律来解决责任问题,其他国家大多承认这些问题,但尚未实施具体的战略。为了应对隐私和网络安全风险,采取了各种战略,从引入或修订非反车辆特定立法到建立工作组。对环境和就业风险等问题的关注要少得多,尽管一些政府已开始实施方案,对可能受到不利影响的工人进行再培训。
2018-07-16 cs.AI cs.CR cs.CY
Open RAN Security: Challenges and Opportunities
开放式RAN(ORAN,O-RAN)代表了RAN(无线电接入网络)的一种新的行业级标准,它定义了支持供应商设备之间互操作的接口,并以较低的成本提供网络灵活性。Open RAN集成了网络软件化和人工智能的优势和进步,以增强RAN设备和操作的操作。Open RAN提供了新的可能性,使不同的利益相关者可以在这个开放的生态系统中开发RAN解决方案。然而,Open RAN的好处带来了新的安全和隐私挑战。由于Open RAN提供了与目前完全不同的RAN配置,如果管理不当,可能会导致严重的安全和隐私问题,利益相关者对Open RAN部署的安全性采取谨慎的态度是可以理解的。特别是,本文深入分析了与开放RAN架构相关的安全和隐私风险和挑战。然后,它讨论了可能的安全和隐私解决方案,以确保开放RAN架构,并提出了相关的开放RAN安全相关的安全标准化工作。最后,我们讨论了如何使用Open RAN在5G和RAN之外部署更先进的安全和隐私解决方案。
2022-12-03 cs.CR
Hide Me: Enabling Location Privacy in Heterogeneous Vehicular Networks
为了支持基于位置的服务,车辆必须与服务器共享其位置以接收相关数据,从而损害其(位置)隐私。为了减轻这种隐私损害,可以通过添加人工噪声来混淆车辆的位置。在有限的可用带宽下,并且由于包括车辆位置的区域随着噪声而增加,因此服务器将提供与车辆的真实位置相关的较少数据,从而降低基于位置的服务的有效性。为了缓解这个问题,我们建议,相关的车辆的数据也提供通过直接的,特设的通信相邻车辆。通过这种车辆到车辆(V2V)协作,减轻了位置混淆的影响。由于车辆订阅(位置相关)影响值的数据,因此相邻车辆将订阅大量重叠的数据集,从而减少V2V合作的好处。为了增加这样的好处,我们开发和研究一个非合作的游戏确定的数据,车辆应该订阅,旨在最大限度地提高其利用率,同时考虑参与(相邻)车辆。我们的分析和结果表明,拟议的V2V合作和衍生策略导致显着的性能提高相比,非合作的方法,并在很大程度上阐明了隐私对基于位置的服务的影响。
2020-01-20 cs.CR cs.NI
Matcha: An IDE Plugin for Creating Accurate Privacy Nutrition Labels
Matcha是一个IDE插件,通过自动化代码分析帮助开发者创建准确的Google Play数据安全标签,实验表明其提高了标签准确性并获开发者偏好。
2024-02-05 cs.CR cs.HC
Improving Utility of Differentially Private Mechanisms through Cryptography-based Technologies: a Survey
由于数据分析技术在许多领域的成功应用,各机构积累了大量的数据来改善其服务。随着数据汇集的速度在过去几年中急剧增加,越来越多的用户越来越关心他们的个人信息。因此,隐私保护成为一个亟待解决的问题。差分隐私作为一种强有力的隐私保护工具已经引起了广泛的关注。在本调查中,我们专注于通过与密码学相关的技术来提高差异私有机制之间的效用。特别地,我们首先关注如何通过匿名通信来提高效用。然后总结了如何将差分保密机制与同态加密方案相结合来提高效用。其次,我们从密码学的角度总结了差分私有机制效用不可能实现的困难性结果。差分隐私从密码学中借用了直觉,并且仍然受益于密码学的进步。为了总结目前的研究现状,并对未来的研究有所帮助,我们提出了这一调查。
2021-05-19 cs.CR