Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference
University of California, Los Angeles(加州大学洛杉矶分校)
提出信息论防御框架,通过最小化中间激活与输入提示的互信息来学习隐私表示,实现隐私-效用-延迟权衡,攻击成功率降低35%。
2026-06-11 cs.CR
Protecting User Prompts Via Character-Level Differential Privacy
Macquarie University(麦考瑞大学)
本文提出一种基于差分隐私的字符级扰动方法,用于保护用户提示中的敏感信息,通过远程LLM恢复非敏感词并完成下游任务,实验显示其在隐私与效用之间取得良好平衡。
2026-03-27 cs.CR
VortexPIA: Indirect Prompt Injection Attack against LLMs for Efficient Extraction of User Privacy
针对现有LLM隐私提取攻击依赖白盒设置的局限,提出黑盒场景下的间接提示注入攻击VortexPIA,通过注入含虚假记忆的高效数据诱导LLM批量索求隐私,在多模型多数据集上达SOTA性能且具实际有效性。
2025-10-05 cs.CR
On the Privacy Risk of In-context Learning
University of Toronto(多伦多大学);Vector Institute(向量研究院)
本文研究了上下文学习的隐私风险,发现提示模型比微调模型更易受成员推理攻击,并提出了集成学习策略以降低该风险。
2024-11-15 cs.CR cs.LG
The Fire Thief Is Also the Keeper: Balancing Usability and Privacy in Prompts
Nanjing University(南京大学)
针对在线大语言模型提示词易泄露隐私、现有方案成本高可用性差的问题,本文提出端到端框架ProSan,可动态调整保护策略,在多任务中有效去隐私且性能损失小,适配不同设备。
2024-06-20 cs.AI cs.CL cs.CR
Cape: Context-Aware Prompt Perturbation Mechanism with Differential Privacy
TikTok(抖音)
针对 LLM 推理中敏感提示泄露与效率、隐私、效用难以兼顾的问题,本文提出基于差分隐私的上下文感知扰动机制 Cape,通过混合效用函数和分桶采样改善隐私—效用权衡。
2025-05-15 cs.CR cs.LG
xDup: Privacy-Preserving Deduplication for Humanitarian Organizations using Fuzzy PSI
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
xDup通过模糊PSI协议实现隐私保护的人道主义组织去重,效率比现有方案高两个数量级,适用于实际人道主义任务。
2026-04-09 cs.CR
Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning
CISE, University of Florida, FL, USA(佛罗里达大学计算机与信息科学系);North Carolina State University, NC, USA(北卡罗来纳州立大学);Washington State University, WA, USA(华盛顿州立大学);Seoul National University of Science and Technology, South Korea(韩国科学技术大学)
本文提出PromptMIA,一种针对联邦提示微调的隐私攻击方法,揭示了该方法在隐私保护方面的潜在风险。
2026-09-29 cs.CR cs.LG
Reward-Driven Learning under Prompt-Level Differential Privacy
University of Notre Dame(圣母大学)
本文提出首个提示级差分隐私下的RLVR训练方法,通过聚合梯度、单次裁剪和加噪实现隐私保护,实验表明奖励信号在MATH和GSM8K上显著提升准确率,并保留非私有GRPO的大部分收益。
2026-10-07 cs.CR cs.LG
SPOT: Secure and Privacy-preserving prOximiTy protocol for e-healthcare systems
本文介绍了SPOT,一个安全的和隐私保护的prOximity为基础的电子医疗系统的协议。它依赖于一个分布式的基于代理的方法来保护用户的隐私和一个半可信的计算服务器,以确保数据的一致性和完整性。所提出的协议确保了安全性,隐私性和可扩展性之间的平衡。据我们所知,在安全性方面,SPOT是第一个防止恶意用户串通产生误报的。在隐私方面,SPOT既支持与受感染者接近的用户匿名,也支持同一用户发布的联系信息不可链接。提出了一个基于结构保持签名和NIWI证明的具体构造,并对SPOT进行了详细的安全性和隐私性分析,证明了SPOT在标准假设下是安全的。在可扩展性方面,SPOT的程序和算法的实现,以显示其效率和实际可用性与可接受的计算和通信开销。
2022-12-01 cs.CR
Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning
CISPA Helmholtz Center for Information Security(亥姆霍兹信息安全中心(CISPA));University of Virginia(弗吉尼亚大学);Azure Research(微软Azure研究院)
本研究系统比较了LoRA、软提示微调与上下文学习在成员推断、后门和模型窃取攻击下的隐私与安全鲁棒性,发现无万能方案,各技术优劣并存。
2023-10-17 cs.CR cs.LG
PromptPET: Privacy-Utility Optimized Prompt Obfuscation
University of California, Irvine(加州大学 Irvine 分校);Washington University in St. Louis(圣路易斯华盛顿大学)
旨在通过用户端机制保护用户隐私,该机制转换用户提示中的敏感信息,在保护隐私和保留效用间权衡。考虑评估比较四种混淆动作,提出基于大语言模型的PROMPTPET,优于现有方法。
2026-07-07 cs.AI cs.CR cs.HC
SoK: Analysis of Privacy Risks and Mitigation in Online Propaganda Detection through the PROMPT Framework
George Mason University(乔治梅森大学)
本文通过PROMPT框架分析在线反宣传检测中各阶段的隐私风险,提出隐私收益与性能损失的权衡模型,并展示隐私-效用的定量基线。
2026-04-20 cs.CR cs.SI
Casper: Prompt Sanitization for Protecting User Privacy in Web-Based Large Language Models
New Jersey Institute of Technology(新泽西理工学院)
Casper通过浏览器扩展在用户设备上运行,利用规则过滤、机器学习和本地LLM技术,有效过滤用户输入中的敏感信息,保护隐私。
2024-08-13 cs.AI cs.CR
AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents
Bahcesehir University(巴切希尔大学);University of Turkish Aeronautical Association(土耳其航空协会大学)
提出AgentSecBench框架,通过定义意图到执行的无干扰游戏,系统评估LLM智能体在指令完整性、检索机密性和能力完整性方面的安全风险,并实验验证防御措施的有效性。
2026-05-25 cs.CR
ConfusionPrompt: Practical Private Inference for Online Large Language Models
ConfusionPrompt通过分解提示和生成伪提示,提升在线LLM的隐私保护,实现隐私与效用的平衡。
2026-04-08 cs.AI cs.CR
FedPrompt: Communication-Efficient and Privacy Preserving Prompt Tuning in Federated Learning
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)通过聚合模型更新,以隐私保护的方式实现了对分散数据的全局模型训练。然而,对于许多自然语言处理(NLP)任务,利用预先训练的语言模型(PLM)与大量的参数,有相当大的通信成本与FL。最近,提示微调,调整一些软提示,而不修改PLM,已经取得了良好的性能作为一种新的学习范式。本文提出了“FedPrompt”方法,研究了基于FL的模型分裂聚合方式下的提示微调提示微调,证明了分裂聚合大大降低了通信开销,仅为PLM参数的0.01%,而对IID和Non-IID数据分布的准确性几乎没有降低。这提高了FL方法的效率,同时还在提示微调中保护了数据隐私。此外,与PLM一样,公共平台和个人用户之间也会上传和下载提示,因此我们尝试在FL场景中仅使用软提示来判断是否仍然存在后门威胁。我们进一步通过对FedPrompt的数据投毒进行后门攻击。实验结果表明,普通的后门攻击不能达到很高的攻击成功率,证明了FedPrompt的鲁棒性。希望本文的工作能够促进Prompt在FL中的应用,提高人们对可能存在的安全威胁的认识。
2023-01-24 cs.AI cs.CR cs.LG
Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection
Tencent(腾讯);Xuanwu Lab, Tencent(腾讯玄武实验室)
本文提出HaS轻量级框架,通过训练小模型去匿名化LLM返回结果,在最小计算开销下实现提示词隐私保护,并在翻译和分类任务中达到隐私与效用的最佳平衡。
2023-09-06 cs.AI cs.CR
Is External Database Protection Static in Retrieval-Augmented Generation? Rethinking Privacy Preservation under Dynamic Queries
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
研究检索增强生成中外部数据库隐私保护问题,提出Prompt-Aware动态分层差分隐私框架PA-HDP,通过风险分层评估和自适应保护,在减少隐私泄露的同时保持高检索质量,实现更好的隐私-效用权衡。
2026-07-17 cs.CR
The Feasibility of Dynamically Granted Permissions: Aligning Mobile Privacy with User Preferences
当前的智能电话操作系统通过在首次使用时询问的基础上提示用户来调节应用许可。先前的研究表明,这种方法是无效的,因为它没有考虑上下文:应用程序首次请求访问数据的情况可能与随后请求访问的情况有很大不同。我们进行了一项纵向的131人的实地研究,以分析用户隐私决策背后的背景,以规范对敏感资源的访问。我们构建了一个分类器,通过检测上下文何时发生变化来代表用户做出隐私决策,并在必要时根据用户过去的决策和行为推断隐私偏好。我们的目标是在没有进一步用户干预的情况下自动授予适当的资源请求,拒绝不适当的请求,并且仅在系统不确定用户偏好时提示用户。我们表明,我们的方法可以准确地预测用户的隐私决策的96.8%的时间,这是一个四倍的出错率降低相比,目前的系统。
2017-03-06 cs.CR
Privacy Guard & Token Parsimony by Prompt and Context Handling and LLM Routing
National Research Council of Italy - Institute of Marine Sciences (CNR-ISMAR)(意大利国家研究委员会海洋科学研究所(CNR-ISMAR))
本文提出隐私守护机制,结合上下文管理和LLM路由,通过自动提示优化减少云服务成本和敏感信息泄露风险,实验证明在隐私保护与成本节约之间取得平衡。
2026-03-30 cs.AI cs.CR
SkillWatermark: An Embedded Skill Watermark of Progressive Privacy Inference via Benign Prompts
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);CASIC Research Institute of Intelligent Decision Engineering(中国航天科工集团智能决策工程研究院)
本研究提出SkillWatermark,通过良性提示插入技能水印在LLM智能体多轮对话流量中编码私密信息,经实验验证水印效果良好且能通过安全审计,揭示了流量模式可被利用的新型攻击面。
2026-08-18 cs.CR
Ensure Differential Privacy and Convergence Accuracy in Consensus Tracking and Aggregative Games with Coupling Constraints
针对带耦合约束的分布式聚合博弈,协同设计GNE求解与噪声注入机制,提出首个同时保证收敛性和严格ε-差分隐私的算法,并辅以新共识跟踪算法及一般收敛性理论,数值实验验证有效性。
2024-07-16 cs.CR cs.GT math.OC
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University(清华大学);Sudo Privacy(Sudo隐私公司)
针对大语言模型隐私推理框架开销过高的问题,本文提出用隐私计算友好的近似算子替换Transformer中密集型算子,相比Iron实现5倍计算加速与80%通信开销降低,且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
Efficiently Achieving Secure Model Training and Secure Aggregation to Ensure Bidirectional Privacy-Preservation in Federated Learning
School of Information Science and Technology, Southwest Jiaotong University(西南交通大学信息科学与技术学院);Meituan Group(美团集团);Shandong University(山东大学);Zhejiang Gongshang University(浙江工商大学)
本文提出一种高效高精度的联邦学习双向隐私保护方案,结合服务器端模型扰动与客户端分布式差分隐私,实现安全训练与聚合,显著优于现有基线。
2024-12-16 cs.CR cs.LG
Towards Prompt-robust Face Privacy Protection via Adversarial Decoupling Augmentation Framework
SenseTime Research(商汤科技研究院);University of Chinese Academy of Sciences(中国科学院大学)
针对扩散模型人脸隐私保护中忽略图像-文本融合模块及防御不稳定的问题,提出对抗解耦增强框架(ADAF),通过多级文本增强与三种损失提升防御性能,实验超越现有算法。
2023-05-06 cs.CR cs.CV
DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts
Xidian University(西安电子科技大学)
针对大语言模型提示存在个人可识别信息泄露风险的问题,本文提出DePrompt框架,结合大模型微调与对抗生成式脱敏实现高精度隐私保护,并设计效用指标平衡隐私与可用性,实验验证其性能优于现有方法。
2024-08-16 cs.AI cs.CL cs.CR
Confidential Prompting: Privacy-preserving LLM Inference on Cloud
Yale University(耶鲁大学)
针对云托管LLM推理中的用户提示与模型参数隐私泄露风险,本文提出基于机密计算的Petridish系统,通过核心技术安全分区解码(SPD)实现兼顾效率、输出一致性的可审计隐私保护推理。
2025-11-19 cs.CL cs.CR
Text-Based Personas for Simulating User Privacy Decisions
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google Research(谷歌研究院);Google(谷歌)
本文提出Narriva方法,通过生成基于历史隐私决策的文本隐私人物,提升隐私研究的准确性与效率,实现87%的预测精度。
2026-05-07 cs.CR
Preempting Text Sanitization Utility in Resource-Constrained Privacy-Preserving LLM Interactions
Macquarie University(麦考瑞大学)
针对差分隐私脱敏后LLM提示词性能难预判、易造成资源浪费的问题,提出基于小语言模型的中间件架构提前预判脱敏提示词效用,最多可减少20%的资源浪费,同时复现相关研究发现其未明确披露的实现选择会显著影响结果。
2025-06-13 cs.CR cs.LG
The Illusion of Local Privacy: Confidentiality Boundary Failures in Consumer LLM Serving Systems
Macquarie University(麦考瑞大学)
本研究揭示本地LLM推理并非天然私密,通过LLAnalyzer框架发现模型加载、内存、包装器及服务接口四类机密性失效,并报告授权缺陷与时序攻击,呼吁明确隐私保证。
2026-10-30 cs.CR
SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models
National University of Singapore (Chongqing) Research Institute(新加坡国立大学(重庆)研究院);Chongqing Key Laboratory of Trusted Perception and Interaction Technology for Intelligent and Connected Vehicles(重庆智能网联车辆可信感知与交互技术重点实验室);National University of Singapore(新加坡国立大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);State Key Laboratory of Intelligent Vehicle Safety Technology, Chongqing, China(重庆智能车辆安全技术国家重点实验室);CHONGQING CHANGAN AUTOMOBILE Co., Ltd(重庆长安汽车有限公司)
提出一种模型无关的隐私保护推理框架SharedRequest,通过批量级别混淆和语义分组实现高效隐私保护,相比差分隐私基线效用提升20%以上,查询成本降低5倍。
2026-06-03 cs.AI cs.CR
RTBAS: Defending LLM Agents Against Prompt Injection and Privacy Leakage
Carnegie Mellon University(卡内基梅隆大学);Two Sigma Investments(Two Sigma投资公司)
针对基于工具的LLM智能体面临的提示注入和隐私泄露风险,以及现有防御需频繁用户确认的问题,提出RTBAS,通过信息流控制适配和新型依赖筛选器自动检测安全工具调用,仅在必要时请求确认,有效防御攻击且任务效用损失低。
2025-02-14 cs.AI cs.CR
A Robust Dynamic Average Consensus Algorithm that Ensures both Differential Privacy and Accurate Convergence
针对差分隐私噪声影响动态平均一致性收敛的问题,提出一种鲁棒算法,可在持续独立噪声下同时保证精确平均收敛与严格 ε-差分隐私,并可应对通信信道噪声。
2023-07-12 cs.CR cs.MA math.OC
InferDPT: Privacy-Preserving Inference for Closed-box Large Language Model
University of Science and Technology of China(中国科学技术大学);Key Laboratory of Cyberspace Security, Ministry of Education, China(教育部网络安全重点实验室);CFAR, A*STAR(先进研究与工程研究院);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
本文提出InferDPT框架,通过差分隐私机制实现闭箱大语言模型的隐私保护推断,结合扰动模块和提取模块,提升文本生成质量并抵御嵌入式修订攻击。
2026-03-18 cs.CR
Heal the Privacy: Functional Encryption and Privacy-Preserving Analytics
安全的云存储是一个至关重要的问题,企业和最终用户在将数据移动到可能不受信任的云之前都应该考虑。将数据迁移到云会引发多个隐私问题,因为它们完全由云提供商控制。因此,不受信任的云提供商可能会侵犯用户的隐私并获得对敏感信息的访问。当云提供商需要存储统计数据库并定期发布分析时,这个问题变得更加突出。在这项工作中,我们首先提出了一个详细的例子,表明使用密码学是不够的,以确保个人的隐私。然后,我们设计了一个基于函数加密和差分隐私的混合协议,该协议允许以隐私保护的方式进行统计计算。
2022-05-06 cs.CR
Can Prompt Anonymity Protect Your Identity From LLM Providers?
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究首次实证探究提示词匿名性风险,构建PromptAnonBench基准,发现攻击者可通过嵌入表示重新识别大量匿名用户对话,揭示仅依赖匿名性保护隐私的不足。
2026-09-29 cs.CR
Private Direct Preference Optimization for LLM Alignment
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);Inria(法国国家信息与自动化研究所)
该研究针对DPO的隐私缺陷,提出PrivDPO方法,通过沿偏好轴添加校准随机性实现偏好隐私,在对齐基准和LLM上取得了更好的隐私-效用权衡。
2026-08-06 cs.CR
Prompt Inference Attack on Distributed Large Language Model Inference Frameworks
本文针对分布式大语言模型推理框架,设计三种提示词推断攻击以从中间输出重建输入提示词,实验显示前两种攻击重建准确率超90%,第三种在严格约束下也超50%,揭示了严重隐私风险。
2025-05-23 cs.CR
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara(加州大学圣巴巴拉分校);UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Meta;United States Military Academy(美国军事学院)
提出LeakAgent框架,通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示,显著优于现有方法并能规避防御,助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
Department of Information Security(信息安全系);Soongsil University(松山大学);AI Safety Center(人工智能安全中心);Department of AI Software(人工智能软件系)
本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链,分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务,并评估了新的提示注入技术'exemplification'的攻击成功率,最终展示了使用虚构个人信息的证明概念数据外泄链。
2026-05-18 cs.AI cs.CR cs.HC
A Security-assured Accuracy-maximised Privacy Preserving Collaborative Filtering Recommendation Algorithm
基于邻域的协同过滤是推荐系统中广泛使用的一种方法。然而,在过滤过程中泄露客户隐私的风险最近引起了公众的关注。具体地说,$k$ NN攻击通过利用非敏感信息创建$k$伪最近邻来泄露目标用户的敏感信息。在目前针对$k$ NN攻击的解决方案中,概率方法表现出了较强的隐私保护效果。然而,现有的概率方法既不能保证足够的预测精度,由于全局随机性,也不能提供有保证的安全性实施对$k$ NN攻击。为了克服目前的概率方法的问题,我们提出了一种新的方法,分区概率邻居选择,以确保所需的安全保证,同时达到最佳的预测精度对$k$ NN攻击。在本文中,我们定义的$k$邻居的相似性的总和作为准确性度量$α$,用户分区的数量,我们选择的$k$邻居,作为安全性度量$β$。与现有的全局选择邻居的方法不同,本文的方法从具有指数差分隐私的每个组中选择邻居,以降低噪声的大小。理论和实验分析表明,在保证对$k$ NN攻击同样安全的前提下,该方法保证了最优的预测精度。
2015-06-04 cs.CR
Robust, privacy-preserving, transparent, and auditable on-device blocklisting
本文提出两种端上黑名单协议,结合隐私集合交集、密码学哈希、签名与 Merkle 包含证明,实现隐私保护、鲁棒、透明且可审计的有害对象判断,为端上保护提供关键第一步。
2023-04-06 cs.CR
Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs
Department of Electrical and Computer Engineering, New York University(纽约大学电气与计算机工程系)
本文从企业数据角度分析生成AI代理的隐私泄露问题,提出基于差分隐私的概率框架,推导隐私界限并优化温度参数选择。
2026-03-18 cs.AI cs.CR
PrivCode++: Latent-Conditioned Differentially Private Code Generation for Comprehensive Guarantees
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);University of Virginia(弗吉尼亚大学);Alibaba Qwen(阿里巴巴通义实验室);Monash University(蒙纳士大学);University of Alberta(阿尔伯塔大学);National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);University of North Carolina at Greensboro(北卡罗来纳大学格林斯伯勒分校)
针对指令-代码对微调的大语言模型可能泄露敏感数据的问题,提出PrivCode-Plus,首个在微调中同时保护提示和代码的差分隐私代码生成方法,通过两阶段DP框架和无隐私潜在条件模块实现高效合成。
2026-06-08 cs.CR
Data privacy for Mobility as a Service
本文综述了出行即服务(MaaS)中的数据隐私问题,分析了相关挑战、现有解决方案及未来方向,旨在平衡用户隐私保护与社会效益。
2023-09-18 cs.CR
Cost-Efficient Privacy Enforcement for Email-Generating LLM Agents under Strategic Information Requests
本研究针对生成邮件的大语言模型智能体,提出本地契约条件重写方案,结合Gemma重写器与PrivacyChecker,在降低隐私泄露的同时减少了防御成本,提升了可用率。
2026-10-14 cs.AI cs.CR
ObCLIP: Oblivious CLoud-Device Hybrid Image Generation with Privacy Preservation
TikTok Inc.(TikTok公司);National University of Singapore(新加坡国立大学)
针对扩散模型云侧推理的提示词隐私泄露问题,提出即插即用的ObCLIP云-端混合生成框架,通过候选提示词混淆、分步去噪及缓存加速实现严格隐私保障与接近云端的生成效用。
2025-10-05 cs.CR cs.LG
User configurable 3D object regeneration for spatial privacy
$\textit{augmented}$(AR)和$\textit{mixed reality}$(MR)设备的环境理解能力通过传感、计算机视觉和机器学习的进步而不断提高。各种AR/MR应用展示了这样的能力,即,使用手持或头戴式设备扫描空间并捕获作为真实空间的精确副本的空间的数字表示。然而,这些能力给用户带来隐私风险:个人可识别信息可能从敏感空间的捕获的3D地图和/或映射空间内的捕获的敏感对象泄漏。因此,在这项工作中,我们演示了如何利用3D对象再生来保护3D点云的隐私。也就是说,我们采用中间保护层来转换3D点云,然后再将其提供给第三方应用程序。具体来说,我们使用现有的对抗性自动编码器来生成3D对象的副本,其中副本与原始副本的相似性可以变化。为了测试该方法作为隐私保护机制的可行性和性能,我们使用3D分类器来分类和识别这些变换后的点云,即执行$\textit{super}$类和$\textit{intra}$类分类。为了衡量所提出的隐私框架的性能,我们定义隐私,$Π\in[0,1]$,和效用指标,$Q\in[0,1]$,这是希望被最大化。实验评估表明,隐私框架确实可以通过改变特权级别$l\in[0,1]$,即,如果保持低$l<0.17$,则确保$Π_1,Π_2>0.4$,其中$Π_1,Π_2$是超类和类内隐私,来影响3D对象的隐私。最后,如果特权级别保持在$0.17<l<0.25$的范…
2021-08-10 cs.CR
EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMs
Rutgers University(罗格斯大学);University of Michigan(密歇根大学)
针对云端大语言模型的用户隐私泄露风险,提出生成式提示混淆范式EmojiPrompt,用语言与非语言元素混淆隐私数据,在8个数据集上验证其兼具隐私保护能力与良好甚至更优的任务性能。
2025-03-20 cs.AI cs.CL cs.CR
Augmenting Security and Privacy in the Virtual Realm: An Analysis of Extended Reality Devices
本文对扩展现实设备的安全与隐私攻击及防御进行设备中心分析,提出未来研究方向与设计考虑,以增强其安全性和隐私保护。
2024-02-05 cs.CR
No Free Lunch Theorem for Privacy-Preserving LLM Inference
Huazhong University of Science and Technology(华中科技大学);WeBank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
本研究提出一个框架,通过NFL定理分析隐私保护LLM推理中隐私保护与效用之间的权衡,为评估保护机制提供理论基础。
2025-02-28 cs.AI cs.CR
Privacy-preserving Searchable Databases with Controllable Leakage
Searchable Encryption(SE)是一种允许云服务提供商(CSP)在不了解查询和记录内容的情况下搜索加密数据集的技术。近年来,已经提出了许多SE方案来保护外包数据不受CSP的影响。不幸的是,它们中的大多数都泄漏了敏感信息,CSP仍然可以通过安装基于泄漏的推断攻击,如计数攻击和文件注入攻击,推断查询和记录的内容。在这项工作中,首先,我们定义的泄漏在可搜索的加密数据库和分析如何泄漏是利用现有的泄漏为基础的攻击。其次,我们提出了一种基于多云的隐私保护关系数据库动态对称SE(SSE)方案(P-McDb)。P-McDb具有最小的泄漏,这不仅确保了查询和记录的机密性,而且还保护了CSP的搜索,访问和大小模式。此外,P-McDb确保数据库的前向和后向隐私。因此,P-McDb可以抵抗现有的基于泄漏的攻击,例如,主动文件/记录注入攻击。我们给出了安全定义和分析,以显示P-McDb如何隐藏上述模式。最后,我们实现了一个P-McDb的原型,并使用TPC-H基准数据集对其进行了测试。我们的评估结果表明,P-McDb的可行性和实际效率。
2019-09-26 cs.CR
ULDP-FL: Federated Learning with Across Silo User-Level Differential Privacy
Kyoto University(京都大学);Emory University(埃默里大学);Hokkaido University(北海道大学);Osaka Seikei University(大阪成蹊大学)
针对用户数据跨多个筒仓分布时缺乏用户级差分隐私保证的问题,提出Uldp-FL框架,通过逐用户加权裁剪、增强加权策略和隐私协议实现更优隐私-效用权衡。
2024-06-16 cs.CR cs.LG