Preserving Statistical Privacy in Distributed Optimization
我们提出了一个分布式的优化协议,保护代理的本地成本函数的统计隐私,对被动的对手,腐败的一些代理在网络中。该协议是一个分布式的“{ \em零和}”混淆协议,混淆代理的本地成本函数,和一个标准的非私有分布式优化方法的组合。我们表明,我们的协议保护统计隐私的代理商的本地成本函数对一个被动的对手,腐败到$t$任意代理,只要通信网络有$(t+1)$顶点连接。"{ \em zero-sum}”混淆协议保留了代理的局部成本函数的总和,因此确保了计算解决方案的准确性。
2020-12-29 cs.CR cs.DC
Privacy and Integrity Preserving Training Using Trusted Hardware
University of Southern California(南加州大学)
随着机器学习进入不同的应用领域,隐私和安全相关的问题越来越多。数据持有者希望使用私有数据进行训练,同时利用托管在云中的GPU等加速器。然而,云系统容易受到攻击者的攻击,这些攻击者会损害数据的隐私性和计算的完整性。这项工作介绍了DarKnight,这是一个大型DNN训练框架,同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境(TEE)和加速器之间的合作执行,其中TEE提供隐私和完整性验证,而加速器执行计算繁重的线性代数运算。
2021-05-01 cs.AR cs.CR cs.LG
Secure Single-Server Nearly-Identical Image Deduplication
云计算通常用于文件存储。云存储服务的客户端希望确保其数据的隐私性,并且客户端和服务器都希望使用尽可能少的存储。跨用户重复数据删除是减少服务器使用的存储量的一种方法。隐私和隐私是自然冲突的目标,特别是对于几乎相同的(“模糊”)去重,因为必须使用关于数据的一些信息来执行去重。因此,现有的解决方案利用多个服务器,或者仅用于精确的去重。在本文中,我们提出了一个单服务器协议的跨用户几乎相同的重复数据删除的基础上安全的位置敏感哈希(SLSH)。我们正式定义了我们理想的安全性,并严格证明我们的协议对完全恶意的,勾结的对手通过模拟证明安全。我们的实验表明,该协议的各个部分是计算上可行的,并进一步讨论实际问题的安全性和效率。
2020-05-05 cs.CR
What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry
QodeX Quantum, Inc.(QodeX量子公司)
研究输入带李群作用的机器学习模型丢弃信息,定义衡量对称性的对象,通过牛顿迭代计算零纤维元素,成本低,开发相关应用并在分子性质预测等任务中测试,框架适用于经典神经网络和变分量子电路。
2026-07-16 cs.CR cs.LG math.RT
A Codon Frequency Obfuscation Heuristic for Raw Genomic Data Privacy
基因组数据为临床研究人员提供了研究各种患者疾病的巨大机会。然而,同样的数据包含揭示信息,其中一些患者可能希望保持隐藏。于是问题就出现了:一个实体如何处理完整的DNA数据,同时隐藏基因组序列中的某些敏感信息,并保持DNA数据的效用?作为对这个问题的回答,我们提出了一个密码子频率混淆启发式,其中在相同的氨基酸组中完成具有高表达基因的密码子频率值的重新分配,生成混淆的DNA序列。我们的初步结果表明,它可能会发布一个混淆的DNA序列与原始DNA序列的相似性(效用)的期望水平。
2014-10-12 cs.CR
ethp2psim: Evaluating and deploying privacy-enhanced peer-to-peer routing protocols for the Ethereum network
针对以太坊网络级隐私研究不足的问题,提出点对点网络模拟器ethp2psim,支持实现并评估隐私增强型路由算法的隐私保证,辅助选择协议参数以实现高效、稳健且隐私的部署。
2023-06-26 cs.CR cs.NI
How to Securely Compute the Modulo-Two Sum of Binary Sources
在安全多方计算中,网络中互不信任的用户希望协作计算分布在用户之间的数据的函数。用户不应该学习关于其他人的数据的任何额外信息,而应该从他们自己的数据和他们正在计算的函数中推断出什么。以前的作品大多考虑了最坏情况的背景(即,不假设数据的任何分布); Lee和Abbe(2014)是一个值得注意的例外。在这里,我们研究了平均情况(即,我们使用数据的分布),其中正确性和隐私性仅是渐进地期望的。为了具体和简单,我们考虑一个安全版本的函数计算问题的Körner和Marton(1979),其中两个用户观察一个双对称二进制源参数p和第三个用户想要计算XOR。我们表明,所需的通信和随机性资源的量取决于所需的正确性水平。当需要零错误和完美隐私时,Data等人(2014)的结果表明,当且仅当每对用户之间的总速率为1比特并且速率为1的私有随机性用完时,才可以实现。相比之下,我们在这里表明,如果我们只希望错误的概率在块长度上渐近消失,它可以通过所有链接和私人随机性的较低速率(p的二进制熵)来实现;这也保证了完美的隐私。我们还表明,没有更小的利率是可能的,即使隐私只需要渐近。
2014-05-26 cs.CR cs.IT math.IT
Modelling imperfect knowledge via location semantics for realistic privacy risks estimation in trajectory data
车辆和人员的移动模式为车队优化和交通流分析等基于位置的服务提供了强大的数据源。基于位置的服务提供商必须平衡他们从轨迹数据中提取的价值与保护这些轨迹背后的个人隐私。实现这一目标需要准确衡量实用性和隐私的价值。目前的度量方法假设对手具有完全的知识,从而高估了隐私风险。为了解决这个问题,我们引入了一个模型的对手与不完善的知识的目标。该模型是基于等价区域,具有语义意义的时空区域,例如目标的家,其大小和准确性决定了对手的技能。然后,我们推导出标准的隐私度量的k-匿名性,l-多样性和t-封闭性的等价区域的定义。这些指标可以在任何数据集上计算,无论是否应用了匿名化以及应用了何种匿名化。这项工作对于所有作为轨迹数据处理器的服务提供商都具有高度相关性,这些服务提供商希望管理隐私风险并优化其服务的隐私与效用权衡。
2021-12-07 cs.CR
Spatial Privacy Pricing: The Interplay between Privacy, Utility and Price in Geo-Marketplaces
University of Southern California(南加州大学);Microsoft Research AI(微软研究院人工智能)
地理市场允许用户为他们的位置数据付费。关心隐私的用户可能希望对准确定位他们位置的数据收取更多费用,但可能对更模糊的数据收取更少费用。买家更愿意将数据成本降至最低,但可能不得不花费更多来获得必要的准确性。我们将隐私、效用和价格之间的这种相互作用称为\emph{spatial privacy pricing}。我们形式化的问题,数学与买方决定是否要打开一个餐厅,通过购买位置数据,以确定潜在的客户数量是否足以打开一个示例问题。这个问题被表达为一个顺序决策问题,其中买方首先做出一系列关于购买哪些数据的决定,并最终决定是否开设餐厅。我们提出了两种算法来解决这个问题,包括实验表明,它们的性能优于基线。
2020-09-04 cs.AI cs.CR
Multi-Armed Bandits with Local Differential Privacy
The Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学)
研究了具有局部差分隐私(LDP)保证的多臂强盗(MAB)问题的后悔最小化问题。在随机强盗系统中,奖励可能涉及用户的活动,这可能涉及私人信息,用户可能不希望代理知道。然而,在许多情况下,代理需要知道这些活动,以提供更好的服务,如推荐和新闻提要。为了解决这个问题,我们采用了差分隐私和研究遗憾的上限和下限的MAB算法与给定的LDP保证。在本文中,我们证明了一个下限,并提出算法的遗憾上限匹配的下限常数因素。数值实验也证实了我们的结论。
2020-07-06 cs.CR cs.LG stat.ML
A Blockchain-based Data Governance Framework with Privacy Protection and Provenance for e-Prescription
医疗保健和供应链领域的实际应用程序在多利益相关者环境中生成、交换和共享数据。数据所有者希望在这样的设置中控制他们的数据和隐私。另一方面,数据消费者需要了解何时、如何以及谁产生数据的方法。这些需求需要数据治理框架来保证数据来源、隐私保护和同意管理。我们引入了一个基于区块链技术和代理重新加密的去中心化数据治理框架,让数据所有者通过隐私增强和同意管理机制来控制和跟踪他们的数据。此外,我们的框架允许数据消费者通过基于区块链的出处机制来理解数据沿袭。我们使用数字电子处方作为用例,因为它具有多个利益相关者和敏感数据,同时使医疗界能够管理患者的处方数据,将患者作为数据所有者,将医生和药剂师作为数据消费者。我们基于CosmWasm、Ethereum和pyUmbral PRE的概念验证实现和评估结果表明,所提出的去中心化系统以最小的开销保证了透明度、隐私和信任。
2021-12-28 cs.CR
Local Distribution Obfuscation via Probability Coupling
AIST(产业技术综合研究所)
本研究提出局部分布混淆通用模型,将分布隐私推广至散度形式,证明f-散度隐私下噪声需与推土机距离成正比,还提出耦合机制,利用辅助信息在保障隐私的同时优化数据效用。
2019-09-30 cs.CR cs.DB cs.IT
Differentially Private Empirical Cumulative Distribution Functions
本文针对联邦学习场景,提出计算差分隐私经验分布函数的通用策略和基于秘密共享的专用策略,证明隐私保证并分析计算成本,通过实验验证其应用价值。
2025-02-10 cs.CR
Report: State of the Art Solutions for Privacy Preserving Machine Learning in the Medical Context
基于大数据的机器学习越来越受到各个领域的关注。即便如此,隐私保护技术也变得更加重要,甚至是必要的,因为法律法规,如《通用数据保护条例》(GDPR)。另一方面,数据往往分布在各方之间。特别是在医疗环境中,有几个数据持有者,例如医院,我们需要处理高度敏感的值。一个真实的世界场景将是保存在电子病历中的数据,目前在许多国家都可以使用。医疗数据是加密的。用户(例如医生、医院)只能在患者授权后解密数据。关于这种情况的一个主要问题是,是否有可能在不侵犯数据所有者隐私的情况下处理用于研究目的的数据。我们希望评估哪种加密机制--同态加密、多方计算或可信执行机制--可用于此任务。
2022-01-27 cs.CR
Enhancing Privacy in Decentralized Min-Max Optimization: A Differentially Private Approach
University of North Texas(北卡罗来纳大学达顿分校);University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);University of Louisville(路易斯维尔大学)
本文提出了一种名为 DPMixSGD 的差分隐私算法,用于解决非凸去中心化 min-max 优化中的隐私泄露问题,证明了添加噪声不会显著影响收敛性能,并通过实验验证了其有效性。
2025-08-10 cs.CR cs.DC cs.LG
Muffliato: Peer-to-Peer Privacy Amplification for Decentralized Optimization and Averaging
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Inria Paris(法国国家信息与自动化研究所巴黎分部);PSL Research University(巴黎文理研究大学)
本文提出成对网络差分隐私及 Muffliato 方法,分析 gossip 平均并设计去中心化优化算法,证明隐私保证随图中节点距离放大。
2024-06-11 cs.CR cs.DC cs.LG
Privacy and Integrity Preserving Computations with CRISP
在数字时代,用户与服务提供商共享他们的个人数据以获得一些效用,例如,获得优质服务。然而,诱导的信息流引起了隐私和完整性的担忧。因此,谨慎的用户可能希望通过最小化他们向好奇的服务提供商披露的信息量来保护他们的隐私。服务提供商对验证用户数据的完整性感兴趣,以改进其服务并为其业务获得有用的知识。在这项工作中,我们提出了一个通用的解决方案,隐私,完整性和实用性之间的权衡,通过实现数据的真实性验证已被加密卸载到服务提供商。基于基于格的同态加密和承诺,以及零知识证明,我们的建设使服务提供商能够处理和重用第三方签署的数据在一个隐私友好的方式与完整性保证。我们在不同的用例上评估我们的解决方案,例如智能计量,疾病易感性和基于位置的活动跟踪,从而显示其多功能性。我们的解决方案实现了广泛的通用性,量子电阻,并放宽了一些假设的国家的最先进的解决方案,而不影响性能。
2021-01-12 cs.CR
Considerations on the Theory of Training Models with Differential Privacy
CWI Amsterdam(阿姆斯特丹数学与计算机科学国家研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Connecticut(康涅狄格大学);eBay(易贝)
该研究面向联邦学习中的本地数据隐私问题,综述差分隐私框架与性质,介绍 Gaussian DP/$f$-DP 定义及 DP-SGD,并以直观方式阐释相关理论洞见。
2023-07-16 cs.CR cs.LG
Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning
本文首次研究机器遗忘过程中的隐私泄露风险,提出仅利用原始模型与遗忘后模型恢复被遗忘样本特征和标签的遗忘反演攻击,并评估攻击效果及三类效用代价型防御。
2024-04-04 cs.CR
Privacy Regularization: Joint Privacy-Utility Optimization in Language Models
University of California San Diego(加州大学圣迭戈分校);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
已知神经语言模型具有用于记忆训练样本的高容量。当针对电子邮件通信等用户内容训练模型时,这可能会产生严重的隐私影响。差分隐私(DP),一个流行的选择,训练模型的隐私保证,带来了显着的成本方面的效用退化和不同的影响,对用户的子群体。在这项工作中,我们介绍了两种隐私保护正则化方法,用于训练语言模型,通过(1)使用一个参数和(2)包含一个三重损失项来实现效用和隐私的联合优化。我们比较我们的方法与DP通过广泛的评估。我们展示了正则化器的优势,它具有良好的效用-隐私权衡,更快的训练能力,能够利用现有的优化方法,并确保对代表性不足的子群进行统一处理。
2021-04-16 cs.CL cs.CR cs.LG
Privacy-preserving Cross-domain Routing Optimization -- A Cryptographic Approach
当今的大规模企业网、数据中心网络和广域网可以分解为多个管理域或地理域。域名可能由不同的行政单位或组织拥有。因此,保护域信息是一个重要的问题。现有的通用安全多方计算(SMPC)方法,保护域的隐私是非常缓慢的跨域路由问题。在本文中,我们提出了PYCRO,专门设计的隐私保护跨域路由优化在软件定义网络(SDN)环境中的加密协议。PYCRO提供了两个基本的路由功能,策略兼容的最短路径计算和带宽分配,同时确保对域的私有信息的强大保护。我们严格证明我们协议的隐私保证。我们已经实现了一个原型系统,在校园网的服务器上运行PYCRO。使用真实ISP网络拓扑的实验结果表明,PYCRO是非常有效的计算和通信成本。
2015-05-22 cs.CR
Privacy-Preserving Distributed Optimization and Learning
Clemson University(克莱姆森大学)
本文综述隐私保护的分布式优化与学习方法,比较密码学与差分隐私等技术,介绍兼顾隐私和精度的差分隐私算法及其机器学习应用,并指出挑战与未来方向。
2024-02-29 cs.CR cs.GT cs.LG
Robust Optimization for Local Differential Privacy
我们考虑在不泄露敏感信息的情况下发布数据的设置。我们这样做的鲁棒本地差分隐私(RLDP)的框架。这确保了不确定性集中所有数据分布的隐私性。我们制定的问题,找到最佳的数据发布协议作为一个强大的优化问题。通过推导出封闭形式的表达式,我们得到一个凸优化问题。我们比较了四种可能的优化问题的性能,这取决于我们是否需要i)效用和ii)隐私的鲁棒性。
2022-05-10 cs.CR cs.IT math.IT
The Privacy Funnel from the viewpoint of Local Differential Privacy
我们考虑一个数据库$\vec{X} = (X_1,\cdots,X_n)$包含$n$用户的数据。数据聚合器想要公开数据库,但希望净化数据集以隐藏与$X_i$相关的敏感数据$S_i$。在隐私漏斗中考虑此设置,隐私漏斗使用互信息作为泄漏度量。这种方法的缺点是互信息不能给出最坏情况的保证,并且找到最佳的消毒协议可能在计算上是禁止的。我们解决这些问题,通过使用差分隐私指标,并通过考虑本地协议的一个条目上的时间。我们表明,在本地差分隐私和本地信息隐私泄漏指标,可以有效地获得最佳协议,但是,本地信息隐私都更紧密地结合隐私漏斗的隐私要求的情况下,更有效地计算。我们还考虑的情况下,每个用户都有多个属性(即$X_i = (X^1_i,\cdots,X^m_i)$),我们定义\emph{Side-channel Resistant Local Information Privacy},我们给出了有效的方法来找到满足这一标准的协议,同时仍然提供良好的实用程序。探索性实验证实了这些方法的有效性。
2020-03-07 cs.CR cs.DB cs.IT
Privacy constraints in regularized convex optimization
本文由于一些错误而撤回,这些错误在arXiv:0912.0071v4 [cs.LG]中得到纠正。
2011-06-21 cs.CR cs.DB cs.LG
When Evolutionary Computation Meets Privacy
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);South China University of Technology(华南理工大学);Singapore Management University(新加坡管理大学);Fuzhou University(福州大学);Peng Cheng Laboratory(鹏城实验室);Xidian University(西安电子科技大学);Zhejiang Normal University(浙江师范大学);Hanyang University(汉阳大学)
本文针对演化计算中的隐私泄露问题,通过三种典型优化范式和BOOM框架系统梳理了隐私保护的对象、动机、位置与方法,并展望了隐私保护演化计算的未来研究方向。
2023-03-22 cs.AI cs.CR cs.NE
The Trusted Server: A secure computational environment for privacy compliant evaluations on plain personal data
不断增长的法律和道德要求框架限制了对个人数据的科学和商业评估。通常,匿名化、加密或分布式计算方法试图保护个人隐私。然而,计算基础设施仍然依赖于人类系统管理员。这引入了严重的安全风险,并对隐私产生了强烈的影响:系统管理员可以无限制地访问他们管理的计算机,包括加密密钥和加密表。分布式计算和数据混淆技术降低了但并没有消除管理员泄露隐私的风险。它们产生更高的实施工作量和可能的数据质量下降。本文提出了可信服务器作为一种替代方法,提供了一个密封的和不可访问的计算环境,在严格意义上的加密。在操作期间或通过直接物理访问存储介质,在可信服务器内存储和处理的数据绝不能被读取,操纵或泄露,除非通过暴力。因此,即使来自多个希望其数据相互保密的来源,也可以对普通的个人相关数据进行安全且符合隐私的数据处理或评估。
2018-07-27 cs.CR cs.CY
On the utility and protection of optimization with differential privacy and classic regularization techniques
Politecnico di Milano(米兰理工大学)
如今,深度学习模型的所有者和开发人员必须考虑其训练数据的严格隐私保护规则,通常是众包和保留敏感信息。如今,最广泛采用的实施深度学习模型隐私保证的方法依赖于实施差分隐私的优化技术。根据文献,这种方法已被证明是一个成功的防御几个模型的隐私攻击,但其缺点是一个模型的性能大幅下降。在这项工作中,我们比较了差分私有随机梯度下降(DP-SGD)算法对标准的优化实践与正则化技术的有效性。我们分析了所得到的模型的效用,训练性能,以及对学习模型的隶属推理和模型反演攻击的有效性。最后,我们讨论了差分隐私的缺陷和局限性,并实证证明了往往优越的隐私保护性能的dropout和l2-正则化。
2022-09-07 cs.AI cs.CR cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
Privacy-Preserving Aggregate Queries for Optimal Location Selection
如今,各种服务提供商收集了大量的位置数据。这些位置数据所有者很清楚他们的用户大部分时间在哪里。其他企业也希望使用这些信息进行位置分析,例如为新分支机构找到最佳位置。然而,位置数据所有者不能与其他企业共享他们的数据,主要是出于隐私和法律方面的考虑。在本文中,我们提出了隐私保护的解决方案,其中基于位置的查询可以回答数据所有者不与其他企业共享他们的数据,而不访问敏感信息,如发送查询的企业的客户列表。我们利用一个部分同态密码系统作为所提出的协议的构建块。在半诚实威胁模型下证明了协议的安全性。我们还解释了如何实现差分隐私在建议的协议,并讨论其效用的影响。我们用真实和合成数据集评估了协议的性能,并表明所提出的解决方案是非常实用的。拟议的解决方案将促进实体之间有效共享敏感数据,并在广泛的应用程序中进行联合分析,而不会侵犯客户的隐私。
2018-01-06 cs.CR
Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy
针对传统差分隐私因最坏情况导致小数据集过度加噪的问题,提出基于逐实例差分隐私的噪声方差优化博弈,证明其Nash均衡点保证隐私,并在KL散度指标上实现高达99.53%的性能提升。
2024-04-27 cs.CR
PAnDA: Rethinking Metric Differential Privacy Optimization at Scale with Anchor-Based Approximation
针对度量差分隐私优化中线性规划可扩展性差的问题,提出基于锚点分布式近似的PAnDA框架,通过三种锚点选择策略降低计算开销,在真实数据集上支持5000条记录,规模为先前方法两倍,并提供隐私与效用保证。
2025-09-10 cs.CR
"What do you want from theory alone?" Experimenting with Tight Auditing of Differentially Private Synthetic Data Generation
本研究针对差分隐私合成数据生成(DP-SDG)实现的理论隐私保障是否在实践中成立的问题,通过区分博弈与成员推理攻击开展严格审计,发现黑盒攻击能力有限,需白盒攻击加最坏情况数据集才能严格估计泄露量,还检出已知及新的DP违规。
2024-05-16 cs.CR
TextCrafter: Optimization-Calibrated Noise for Defending Against Text Embedding Inversion
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
TextCrafter通过结合强化学习、几何感知噪声和聚类先验,提出一种优化校准的噪声机制,有效防御文本嵌入反向攻击并平衡隐私与任务效用。
2026-01-22 cs.CR
Privacy-Preserving Distributed Optimization Under Time Constraints Using Secure Multi-Party Computation and Evolutionary Algorithms
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);AIT Austrian Institute of Technology(奥地利技术研究院)
本文提出了一种结合进化算法和安全多方计算的方法,用于在时间敏感的场景中实现隐私保护的分布式优化,通过减少隐私保护计算对运行时间的影响,确保在截止时间内返回解决方案,并探讨了隐私保护与解决方案质量之间的权衡。
2026-05-20 cs.CR cs.NE
Local Differential Privacy in Decentralized Optimization
MIT(麻省理工学院);KTH(瑞典皇家理工学院)
敏感数据的隐私问题正受到越来越多的关注。本文研究了交互式分散优化中的局部差分隐私问题。通过构建随机本地聚合器,我们提出了一个框架,以放大LDP的常数。本文以乘子的交替方向法和分散梯度下降法为例,通过实验验证了理论的正确性。在一个渐近的观点,我们解决以下问题:在LDP下,是否有可能设计一个分布式的私人最小的任意封闭凸约束与效用损失不显着依赖于维数?作为一个附属的结果,我们还表明,仅仅线性秘密共享,信息理论的隐私是可以实现的有界合谋代理。
2019-06-01 cs.CR cs.LG math.OC
On the Privacy Risk of In-context Learning
University of Toronto(多伦多大学);Vector Institute(向量研究院)
本文研究了上下文学习的隐私风险,发现提示模型比微调模型更易受成员推理攻击,并提出了集成学习策略以降低该风险。
2024-11-15 cs.CR cs.LG
Local Differential Privacy for Bayesian Optimization
Department of ECE(ECE系);The Ohio State University(俄亥俄州立大学);Alibaba, USA(阿里巴巴(美国))
针对当前数据密集型在线学习系统中隐私问题日益受到关注的现状,考虑了非参数高斯过程中具有局部差分隐私(LDP)保证的黑箱优化问题.具体来说,来自每个用户的奖励被进一步损坏以保护隐私,并且学习者只能访问损坏的奖励以最小化遗憾。我们首先推导出任何LDP机制和任何学习算法的遗憾下界。然后,基于GP-UCB框架和Laplace DP机制,提出了三种近似最优算法。在这个过程中,我们还提出了一个新的贝叶斯优化(BO)方法(称为MoMA-GP-UCB)的均值技术和核近似的基础上,它补充了以前的BO算法的重尾收益与降低的复杂性。此外,不同算法在合成和真实世界数据集上的实证比较突出了MoMA-GP-UCB在私人和非私人场景中的优异性能。
2020-10-13 cs.CR cs.LG
DarKnight: An Accelerated Framework for Privacy and Integrity Preserving Deep Learning Using Trusted Hardware
University of Southern California(南加州大学)
随着机器学习进入不同的应用领域,隐私和安全相关的问题越来越多。数据持有者希望利用私有数据进行训练或推断,同时利用托管在云中的加速器(如GPU)。云系统容易受到攻击者的攻击,这些攻击者会损害数据的隐私性和计算的完整性。要应对这样的挑战,需要将理论上的隐私算法与硬件安全功能统一起来。DarKnight是一个大型DNN训练框架,同时保护输入隐私和计算完整性。DarKnight依赖于可信执行环境(TEE)和加速器之间的协作执行,其中TEE提供隐私和完整性验证,而加速器执行大部分线性代数计算以优化性能。特别是,DarKnight使用基于矩阵掩码的自定义数据编码策略在TEE中创建输入混淆。然后将混淆的数据卸载到GPU以进行快速线性代数计算。DarKnight的数据混淆策略在云服务器中提供可证明的数据隐私和计算完整性。虽然以前的作品解决了推理隐私,不能用于训练,但DarKnight的编码方案旨在支持训练和推理。
2022-06-30 cs.AR cs.CR cs.LG
Toward Evaluating Re-identification Risks in the Local Privacy Model
LDP(Local差分隐私)作为一种数据隐私度量标准近年来引起了广泛关注,它可以防止从局部模型中的模糊数据推断出个人数据。然而,在某些情况下,对手希望执行重新识别攻击,以将混淆的数据链接到该模型中的用户。在这些情况下,LDP可能会导致过度混淆并破坏实用程序,因为它的设计目的不是直接防止重新识别。在本文中,我们提出了一种重新识别风险的措施,我们称之为PIE(个人信息熵)。PIE被设计为直接防止局部模型中的重新识别攻击。它降低了最低可能的重新识别错误概率(即,贝叶斯错误概率)。分析了LDP和PIE的关系,并对两种提供LDP的混淆机制的PIE和分布估计效用进行了分析。通过实验,我们表明,当我们考虑重新识别作为一个隐私风险,LDP可以导致过度混淆和破坏实用程序。然后,我们表明,PIE可以用来保证低的重新识别风险的本地混淆机制,同时保持高效用。
2021-12-19 cs.CR cs.DB
Interpolation-Based Optimization for Enforcing lp-Norm Metric Differential Privacy in Continuous and Fine-Grained Domains
University of North Texas(北德克萨斯大学)
本文提出基于插值的优化方法,在连续和细粒度领域中强制实施lp范数度量差分隐私,通过稀疏锚点优化和一维插值步骤,实现严格隐私保障和高效效用。
2026-01-15 cs.CR cs.LG
Differentially Private Convex Optimization with Piecewise Affine Objectives
差分隐私是最近提出的隐私概念,它提供了强有力的隐私保证,而无需对对手进行任何假设。研究了目标函数为分段仿射的凸优化问题的差分私有解的计算问题。这样的问题是由其中定义目标函数的仿射函数包含敏感用户信息的应用激发的。我们提出了几种隐私保护机制,并提供这些机制的最优性和隐私水平之间的权衡分析。数值实验也被用来评估它们在实践中的性能。
2014-03-24 cs.CR cs.DS math.OC
Mitigating Data Reconstruction Attacks in Federated Learning: Conditions, Bounds, and Theoretical Guarantees
Huazhong University of Science and Technology(华中科技大学)
本文从线性代数与优化理论两个角度对联邦学习中的隐私泄露进行理论分析,证明了Jacobian矩阵不满秩时存在产生相同更新的不同批次以确保隐私,推导了防数据重构攻击的批大小充分条件并建立了隐私泄露上界,为设计隐私保护算法提供了理论基础。
2026-10-20 cs.AI cs.CR cs.LG
Privacy-Preserving Black-Box Optimization (PBBO): Theory and the Model-Based Algorithm DFOp
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出DFOp算法,首次解决具有步加密和隐私保护的黑盒优化问题,结合无导数优化与隐私保护机制。
2025-12-28 cs.CR cs.NA math.NA
Data Sanitisation Protocols for the Privacy Funnel with Differential Privacy Guarantees
在开放数据方法中,政府和其他公共组织希望与公众分享其数据集,以实现问责制并支持参与。数据必须以保护个人隐私的方式开放。隐私漏斗是一种数学方法,它产生一个经过净化的数据库,不会泄露超过所选阈值的私人数据。这种方法的缺点是它不能提供最坏情况下的隐私保证,并且找到最佳的消毒协议可能在计算上是禁止的。我们解决这些问题,通过使用差分隐私指标,并通过考虑本地协议的一个条目上的时间。我们证明了在局部差分隐私和局部信息隐私泄漏度量下,可以有效地获得最优协议。此外,本地信息隐私与隐私漏斗场景的隐私要求更紧密地一致,并且可更有效地计算。我们还考虑的情况下,每个用户都有多个属性,我们定义的侧信道抵抗本地信息隐私,我们给出了有效的方法来找到满足这一标准的协议,同时仍然提供良好的实用性。最后,我们介绍了条件报告,一个明确的LIP协议,可以使用时,最佳的协议是不可行的计算,我们测试这个协议在现实世界和合成数据。在真实数据和合成数据上的实验验证了这些方法的有效性。
2020-08-30 cs.CR cs.DB cs.IT
Optimization of Privacy-Utility Trade-offs under Informational Self-determination
物联网的普及导致用户(数据生产者)的智能设备(如智能手机,可穿戴设备和其他嵌入式传感器)生成大量个人数据。这是一个常见的要求,特别是对于大数据分析系统,将这些大规模和分布式数据传输到集中式计算系统进行分析。然而,运行和管理这些系统的第三方(数据消费者)并不总是保证用户的隐私。他们的主要兴趣是提高效用,效用通常是与性能、成本和服务质量相关的度量。有几种技术可以屏蔽用户生成的数据以确保隐私,例如差分隐私。建立一个屏蔽数据的过程,在本文中称为“隐私设置”,一方面减少了数据分析的效用,另一方面增加了隐私。本文研究了隐私设置的参数化,它调节最大效用、最小隐私和最小效用、最大隐私之间的权衡,其中效用是指聚合函数近似的准确性。隐私设置可以作为系统范围的参数化和策略(同构数据共享)普遍应用。尽管如此,它们也可以由每个用户自主应用或在(货币)激励的影响下决定(异构数据共享)。后者的多样性,在数据共享的信息自决发挥了关键作用的隐私效用轨迹,本文所示的理论和经验。一个通用的和新颖的计算框架,介绍了衡量隐私效用权衡和优化。该框架计算了广泛的这种权衡,形成同质和异构数据共享下的隐私效用轨迹。
2018-05-06 cs.CR cs.CY
Balancing Privacy, Utility, and Safety in LLM Alignment through Preference Optimization
该研究提出P3M协议,在不修改目标函数或引入正式隐私机制的情况下,通过调整隐私-偏好数据比例,降低LLM的金丝雀记忆与成员推理攻击性能,同时平衡隐私、效用与安全。
2026-09-01 cs.CR cs.LG
Differential Privacy May Have a Potential Optimization Effect on Some Swarm Intelligence Algorithms besides Privacy-preserving
Huazhong University of Science and Technology(华中科技大学)
本文首次提出差分隐私群体智能算法框架(DPSIAF),基于指数机制将DP与SI结合,发现DP不仅保护隐私,在某些情况下还能提升算法性能,为DP研究提供新视角。
2023-06-30 cs.AI cs.CR cs.NE
Quantization enabled Privacy Protection in Decentralized Stochastic Optimization
Clemson University(克莱姆森大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
分散式随机最优化通过使多个智能体在没有中央协调器的情况下协作解决全局最优化问题,在机器学习、控制和传感器网络等领域获得越来越多的关注。由于相关数据通常包含敏感信息,如用户位置和个人身份,隐私保护已成为分散随机最优化实现的关键需求。在本文中,我们提出了一个分散的随机最优化算法,即使在存在侵略性的量化误差,量化输入的幅度成比例的情况下,能够保证可证明的收敛精度。结果适用于凸和非凸目标函数,并使我们能够利用积极的量化方案来混淆共享信息,从而使隐私保护,而不会失去可证明的优化精度。实际上,通过使用一个{随机}三进制量化方案,将任意值量化到三个数值水平,我们在分散随机最优化中实现了基于量化的严格差分隐私,这在以前还没有报道过。结合所提出的量化方案,所提出的算法确保,第一次,严格的差分隐私分散随机最优化,而不失去可证明的收敛精度。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-08-07 cs.CR cs.LG cs.SY
Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
联邦学习(FL)使分布式代理能够协作学习集中式模型,而无需彼此共享原始数据。然而,数据局部性不提供足够的隐私保护,并且期望促进具有严格的差分隐私(DP)保证的FL。现有的DP机制会引入幅度与模型大小成比例的随机噪声,这在深度神经网络中可能非常大。在本文中,我们提出了一个新的FL框架与稀疏放大隐私。我们的方法集成了随机稀疏与梯度扰动每个代理放大隐私保证。由于稀疏化会增加达到一定目标精度所需的通信轮数,这对DP保证不利,因此我们进一步引入加速技术以帮助降低隐私成本。我们严格分析了我们方法的收敛性,并利用Renyi DP来严格考虑端到端的DP保证。在基准数据集上的大量实验验证了该方法在隐私保证和通信效率方面都优于以前的差分私有FL方法。
2021-06-08 cs.CR cs.LG stat.ML
Privacy-Aware Communication Over a Wiretap Channel with Generative Networks
Imperial College London(帝国理工学院)
我们使用端到端学习研究通过窃听通道的隐私感知通信。Alice想通过二进制对称信道向Bob发送源信号,而被动窃听者Eve则试图根据其偷听到的信号推断Alice的源的某些敏感属性。由于我们通常无法获得真实的分布,我们提出了一种数据驱动的方法,使用变分自编码器(VAE)的联合源信道编码(JSCC)。我们通过模拟与有色MNIST数据集,我们的方法提供了高的重建质量在接收器,同时混淆窃听者的潜在敏感属性,其中包括颜色和厚度的数字。最后,我们考虑了一个并行信道的情况下,我们的方法安排的信息传输,使窃听者携带的敏感信息,而非敏感信息更脆弱的信道具有较高的噪声水平。
2022-02-14 cs.CR cs.IT cs.LG
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
最近,贝叶斯优化(BO)被联邦汤普森采样(FTS)算法扩展到联邦学习(FL)设置,它有很好的应用,如联邦超参数调整。然而,FTS没有配备一个严格的隐私保证,这是一个重要的考虑因素,在FL。最近的作品已纳入差分隐私(DP)到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架,我们在这里的工作将DP集成到FTS中,以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力,以及BO的本地建模技术,通过分布式探索(DE)进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE(DP-FTS-DE)算法被赋予的隐私和效用的理论保证,并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明,DP-FTS-DE实现高效用(竞争性能),具有很强的隐私保证(小的隐私损失),并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
Efficient Privacy-Preserving Stochastic Nonconvex Optimization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Virginia(弗吉尼亚大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
虽然许多解决方案的隐私保护凸经验风险最小化(ERM)已经开发,隐私保护非凸ERM仍然是一个挑战。我们研究非凸ERM,它采取的形式是最小化有限和的非凸损失函数的训练集。我们提出了一个新的差分私人随机梯度下降算法的非凸ERM,有效地实现强隐私保证,并提供了一个严密的分析其隐私和效用的保证,以及其梯度的复杂性。我们的算法降低了梯度复杂度,同时提高了Wang等人给出的最佳效用保证(NeurIPS 2017)。我们在基准非凸ERM问题上的实验表明,与以前使用相同隐私预算的差分隐私方法相比,在训练成本和效用增益方面具有优异的性能。
2023-02-02 cs.CR cs.LG math.OC
Privacy-Preserving Joint Edge Association and Power Optimization for the Internet of Vehicles via Federated Multi-Agent Reinforcement Learning
主动边缘关联能够以增加的切换(HO)频率和能量消耗为代价来改善无线连接,同时依赖于决策所需的大量私有信息共享。为了在不泄露隐私的情况下改善连通性-代价权衡,研究了在环境不确定性和个体学习不可行的情况下,保护隐私的联合边关联和功率分配(JEAPA)问题.在通过分散的部分可观察马尔可夫决策过程(Dec-POMDP)对问题进行建模后,通过仅共享加密的训练数据以用于联邦地学习所寻求的策略,通过联邦多智能体强化学习(FMARL)来解决该问题。我们的模拟结果表明,所提出的解决方案取得了令人信服的权衡,同时保持了更高的隐私水平比国家的最先进的解决方案。
2023-01-26 cs.AI cs.CR cs.LG