FPSelect: Low-Cost Browser Fingerprints for Mitigating Dictionary Attacks against Web Authentication Mechanisms
浏览器指纹识别包括从Web浏览器收集属性。这些年来已经发现了数百种属性。它们中的每一个都提供了一种区分浏览器的方法,但也带来了可用性成本(例如,收集时间)。在这项工作中,我们提出了FPSelect,一个属性选择框架,允许验证者调整他们的浏览器指纹探针的Web认证。我们将问题形式化为搜索满足安全要求并最小化可用性成本的属性集。安全性被测量为给定指纹探针、用户群体和知道用户群体中的确切指纹分布的攻击者的模拟用户的比例。可用性通过浏览器指纹的收集时间、大小和不稳定性来量化。我们比较我们的框架与常见的基线,基于现实生活中的指纹数据集,并发现在我们的实验设置,我们的框架选择的属性集的可用性成本较低。与基线相比,FPSelect发现的属性集生成的指纹最多小97倍,收集速度最多快3,361倍,两次观察之间的属性变化平均最多少7.2倍。
2020-10-13 cs.CR
On the Robustness of LDP Protocols for Numerical Attributes under Data Poisoning Attacks
本研究系统评估了数值属性LDP协议在数据投毒攻击下的鲁棒性,提出新攻击增益指标和零样本攻击检测方法,发现服务器设置下协议更鲁棒且哈希域大小显著影响鲁棒性。
2025-01-25 cs.CR
Trajectory Privacy Protection Mechanism based on Social Attributes
目前的轨迹隐私保护技术只考虑了轨迹数据的时空属性,而忽略了轨迹数据的社会属性。然而,社会属性与人类活动轨迹之间存在着内在联系,这给轨迹隐私保护带来了新的挑战,使得现有的轨迹隐私保护技术无法抵御基于社会属性的轨迹隐私攻击。为此,本文首先研究了轨迹数据中的社会隐私攻击,构建了基于“时空”特征融合的社会隐私攻击模型,揭示了轨迹数据中的时空特征对社会隐私泄露的内在影响。- 匿名算法和轨迹发布隐私保护提供理论支持。在此基础上,将社会属性融入轨迹隐私保护技术,设计基于“时空-社会”三维移动模型的轨迹k-匿名算法,构建基于“时空-社会-语义”多维关联的轨迹数据发布隐私保护模型。
2022-12-13 cs.CR
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习(ML)模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡,ML模型对由敏感属性(如种族和性别)识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外,ML模型容易受到属性推断攻击,其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱,但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施,审计黑盒公平算法,使模型构建者占隐私和公平的模型设计。我们提出了Dikaios,一个隐私审计工具的公平算法的模型构建者,利用一个新的有效的属性推理攻击,占类不平衡的敏感属性,通过自适应预测阈值。我们对Dikaios进行了评估,以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明,我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性,以确保在敏感属性的不同值之间进行不可区分的预测。事实上,这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
Inferring Sensitive Attributes from Model Explanations
University of Waterloo(滑铁卢大学);Univ Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究所);CITI(CITI实验室)
模型解释向模型构建器提供了对经训练的机器学习模型的黑盒行为的透明性。它们表明了不同输入属性对其相应模型预测的影响。解释对输入的依赖性引起了对敏感用户数据的隐私问题。然而,现有文献对模型解释的隐私风险讨论有限。我们专注于属性推断攻击的特定隐私风险,其中对手推断输入的敏感属性(例如,种族和性别)给出了模型解释。我们设计的第一个属性推理攻击模型的解释,在两个威胁模型中,模型生成器要么(a)包括敏感属性的训练数据和输入或(b)审查敏感属性不包括在训练数据和输入。我们评估我们提出的攻击四个基准数据集和四个国家的最先进的算法。我们表明,对手可以成功地推断出敏感属性的值,从这两个威胁模型的解释准确。此外,即使只利用与敏感属性相对应的解释,攻击也是成功的。这表明我们的攻击对解释是有效的,并对数据隐私构成了实际威胁。在将模型预测(先前攻击所利用的攻击面)与解释相结合时,我们注意到攻击成功率并没有提高。此外,与仅利用模型预测相比,利用模型解释的攻击成功率更高。这些表明,模型解释是一个强大的攻击面,可供对手利用。
2022-09-07 cs.CR cs.LG
Task-Agnostic Privacy-Preserving Representation Learning for Federated Learning Against Attribute Inference Attacks
本文提出任务无关的 TAPPFL 框架,通过双互信息目标学习少含敏感属性、多保留任务效用的表示,并给出可证明隐私保证。
2023-12-12 cs.CR
Does Black-box Attribute Inference Attacks on Graph Neural Networks Constitute Privacy Risk?
L3S Research Center(L3S研究中心);Leibniz University(莱布尼茨大学);TU Delft(代尔夫特理工大学)
本文首次系统评估针对 GNN 的黑盒属性推理攻击,通过改变攻击者知识开展实验,发现其相比缺失值估计并未显著增加隐私泄露。
2023-06-01 cs.AI cs.CR cs.LG
AttriGuard: A Practical Defense Against Attribute Inference Attacks via Adversarial Machine Learning
各种web和移动应用中的用户容易受到属性推断攻击,其中攻击者利用机器学习分类器来推断目标用户的私有属性(例如,位置、性取向、政治观点)从其公共数据(例如,评级分数、页面喜欢)。现有的防御利用基于公共数据和属性之间的相关性的博弈论或逻辑学。这些防御措施并不实用。具体而言,博弈论防御需要解决棘手的优化问题,而基于相关性的防御会导致用户公共数据的大量效用损失。在本文中,我们提出了AttriGuard,一个实用的防御属性推理攻击。AttriGuard在计算上是易处理的,并且具有小的效用损失。我们的AttriGuard分两个阶段工作。假设我们的目标是保护用户的私有属性。在第一阶段,对于属性的每个值,我们找到一个最小的噪声,这样如果我们将噪声添加到用户的公共数据中,那么攻击者的分类器很可能推断出用户的属性值。我们通过适应对抗性机器学习中现有的逃避攻击来找到最小噪声。在第二阶段中,我们根据一定的概率分布对一个属性值进行采样,并将第一阶段中发现的相应噪声添加到用户的公共数据中。我们将寻找概率分布公式化为求解约束凸优化问题。我们广泛评估AttriGuard,并使用真实世界的数据集将其与现有方法进行比较。我们的研究结果表明,AttriGuard大大优于现有的方法。我们的工作是第一个表明规避攻击可以作为隐私保护的防御技术。
2020-04-13 cs.CR stat.ML
Taipan: A Query-free Transfer-based Multiple Sensitive Attribute Inference Attack Solely from Auxiliary Graphs
University of Pittsburgh(匹兹堡大学)
Taipan是一种无需查询的基于转移的多敏感属性推断攻击框架,通过分析公开发布的图数据实现隐私泄露。
2026-10-01 cs.CR cs.LG
Ciphertext Outdate Attacks on the Revocable Attribute-Based Encryption Scheme with Time Encodings
云存储是一种新的计算模式,允许用户将数据存储在云中,并通过互联网随时随地访问它们。为了解决大量用户访问的云存储中可能出现的各种安全问题,应该考虑加密加密。目前,对可扩展的基于属性的加密(RABE)系统的研究正在积极地进行,该系统通过扩展提供对密文的访问控制的基于属性的加密(ABE)系统来提供用户撤销功能和密文更新功能。最近,Xu等人提出了一种新的RABE方案,该方案结合了ABE和基于身份的加密(IBE)方案,以有效地处理密文更新和用户撤销功能。在本文中,我们表明,有一个严重的安全问题,徐等。的RABE方案,使得云服务器可以通过收集被撤销用户的无效凭证来获得所存储的密文的明文信息。此外,我们还证明了Xu等人的RABE方案在较弱的安全模型中是安全的,其中云服务器无法获得被撤销用户的任何无效凭证。
2019-11-09 cs.CR
Are Attribute Inference Attacks Just Imputation?
University of Virginia(弗吉尼亚大学)
模型可以暴露关于其训练数据的敏感信息。在属性推断攻击中,攻击者对一些训练记录具有部分知识,并且可以访问在这些记录上训练的模型,并且推断出这些记录的敏感特征的未知值。我们研究了细粒度的属性推断的变体,我们称之为\emph{sensitive value inference},对手的目标是以高置信度从候选集的未知属性具有特定的敏感值的一些记录。我们明确比较属性推断与数据填补,捕捉训练分布统计,在各种假设下的训练数据提供给对手。我们的主要结论是:(1)先前的属性推断方法并没有比对手在不访问训练模型的情况下能够推断出的更多地揭示来自模型的训练数据,但是具有与训练属性推断攻击所需的相同的底层分布知识;(2)黑盒属性推断攻击很少学习没有模型就不能学习的任何东西;但是(3)白盒攻击,我们在本文中介绍和评估,可以可靠地识别具有敏感值属性的一些记录,这些属性在没有访问模型的情况下无法预测。此外,我们表明,提出的防御措施,如差异化私人培训和从培训中删除易受攻击的记录,并不能减轻这种隐私风险。我们的实验代码可在\url{https://github.com/bargavj/EvaluatingDPML}上获得。
2022-09-02 cs.CR cs.LG
Challenges in Forecasting Malicious Events from Incomplete Data
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
准确预测网络攻击的能力将使组织能够减轻其日益增长的威胁,并避免其造成的财务损失和中断。但网络攻击的可预测性如何?研究人员试图将外部数据(从漏洞披露到Twitter和暗网上的讨论)与机器学习算法相结合,以了解即将发生的网络攻击的指标。然而,成功的网络攻击只占所有攻击企图的一小部分:绝大多数都被目标部署的安全设备阻止或过滤。正如我们在本文中所展示的那样,过滤过程降低了网络攻击的可预测性。与整个数据相比,少数确实穿透目标防御的攻击遵循不同的生成过程,这对于预测模型来说要难得多。这可能是由于产生的时间序列除了原始时间序列所依赖的所有不同因素外,还取决于过滤过程。我们根据经验量化了由于使用来自两个组织的真实数据进行过滤而导致的可预测性损失。我们的工作确定了从高度过滤的数据中预测网络攻击的局限性。
2020-04-06 cs.CR cs.LG stat.ML
A Novel Attribute Reconstruction Attack in Federated Learning
Sony AI(索尼人工智能);Zhejiang University(浙江大学)
联邦学习(FL)作为一种有前途的学习范式出现,使众多参与者能够在不暴露其私有训练数据的情况下构建联合ML模型。现有的FL设计已被证明存在漏洞,这些漏洞可以被系统内外的对手利用,从而损害数据隐私。然而,大多数当前的作品通过利用小批量数据上的梯度来进行攻击,这在FL中不太实用。在这项工作中,我们考虑了一个更实用和有趣的场景,其中参与者共享他们的epoch平均梯度(在至少1个epoch的本地训练后共享梯度),而不是像以前的作品那样每个示例或小批量平均梯度。我们执行的属性重构攻击(ARA)的恶意服务器在FL系统中发起的第一个系统的评估,并实证证明,共享的历元平均局部模型梯度可以揭示敏感属性的本地训练数据的任何受害者参与者。为了实现这一目标,我们开发了一个更有效和高效的梯度匹配的方法称为余弦匹配重建的训练数据属性。我们评估我们对各种真实世界数据集,场景,假设的攻击。实验结果表明,该方法的属性攻击性能优于大多数已有的基线方法.
2021-08-16 cs.CR cs.LG
Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains
Keio University(庆应义塾大学);QueryLift Inc.(QueryLift公司)
本研究针对政治领域,提出评估框架与“内容注入屏障”指标,发现不同GSE攻击面有别、执政党攻击面更广、用户画像影响小,揭示了GSE的攻击面特征。
2026-08-18 cs.CR
Averaging Attacks on Bounded Noise-based Disclosure Control Algorithms
我们描述并评估了一种攻击,该攻击重建敏感数据集的任何目标属性的直方图,这些数据集只能通过特定一类现实世界的隐私保护算法(我们称之为有界扰动算法)来查询。这种算法的一个定义属性是,它通过添加分布在有界(可能未公开)范围内的零均值噪声来扰乱查询的答案。该算法的其他关键属性包括仅允许受限查询(通过在线界面强制执行),抑制仅由一小群个体满足的查询的答案(例如,通过返回零作为答案),以及将相同的扰动添加到由相同的个体集合满足的两个查询(以阻止差分或平均攻击)。这种算法的一个现实世界的例子是澳大利亚统计局(ABS)在线工具TableBuilder部署的一个算法,它允许用户创建澳大利亚人口普查数据的表格,图表和地图。我们假设一个攻击者(比如一个好奇的分析师)通过一个接口获得了对算法的访问权限。我们描述了两个攻击的算法。这两种攻击都是基于仔细构造(不同的)查询,评估相同的答案。第一次攻击找到隐藏的扰动参数$r$(如果假设它不是公共知识)。第二次攻击去除噪声以获得一些(计数)查询的原始答案。我们还展示了如何使用这种攻击来找到数据集中具有任何属性$A$的目标属性值$a$的个体的数量,然后针对所有属性值$a_i \in A$。我们的攻击实际上说明了信息恢复的(非正式)基本定律,即“对太多统计数据的过度准确估计完全破坏了隐私”。
2019-11-05 cs.CR
Privacy-Aware Recommendation with Private-Attribute Protection using Adversarial Learning
推荐是帮助用户找到与其兴趣相关的信息的关键应用之一。然而,恶意攻击者可以通过推荐来推断用户的私人信息。先前的工作在与推荐系统共享之前混淆用户项数据。这种方法在执行数据混淆时没有显式地解决推荐的质量。此外,它不能保护用户免受基于建议的私有属性推理攻击。这项工作是第一次尝试建立一个推荐与属性保护(RAP)模型,同时推荐相关的项目和计数器私有属性推理攻击。我们的方法的关键思想是制定这个问题作为一个对抗性的学习问题,有两个主要组成部分:私人属性推理攻击者,和贝叶斯个性化推荐。攻击者试图根据用户的项目列表和建议来推断用户的私有属性信息。推荐器的目标是提取用户的兴趣,同时利用攻击者来规范推荐过程。实验表明,该模型既保持了推荐服务的质量,又保护了用户免受私有属性推理攻击。
2019-11-22 cs.CR cs.IR cs.SI
Class Attribute Inference Attacks: Inferring Sensitive Class Information by Diffusion-Based Attribute Manipulations
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));LAION
该研究提出首个基于扩散模型的黑盒类别属性推断攻击CAIA,可准确推断图像分类器未公开的类别敏感属性,且发现对抗鲁棒模型的隐私泄露风险高于标准模型,揭示了鲁棒性与隐私的权衡关系。
2023-06-13 cs.CR cs.CV cs.LG
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架,通过低误报率评估语音隐私,发现即使在低FPR下,对手攻击能力显著增强,强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Notes on "An Effective ECC based User Access Control Scheme with Attribute based Encryption for WSN"
网络和通信技术的快速发展导致物联网和无线传感器网络的融合,形成WSNIT。无线传感器网络信息技术使无线传感器网络能够动态地连接到互联网,并与外界进行数据交换。存储在传感器节点中的与患者健康、环境相关的关键数据可以被攻击者通过不安全的互联网访问。为了应对这一点,需要通过结合高度安全和轻量级的认证方案来实现数据完整性和受控的数据访问。在此背景下,Santanu等人提出了一种基于属性的无线传感器网络认证框架,并讨论了其安全性。本文对Santanu等人的方案进行了深入的分析,证明了他们的方案容易受到特权内部攻击和节点捕获攻击。我们还证明了Santanu等人的方案包含限制方案执行的主要不一致性。
2016-03-18 cs.CR
Attacks on Node Attributes in Graph Neural Networks
Washington University in St. Louis(圣路易斯华盛顿大学)
本文研究图神经网络节点属性面临的对抗攻击,在 Hellaswag、Cora 和 CiteSeer 上比较 PGD 决策时攻击与基于 Mean Node Embeddings、Graph Contrastive Learning 的投毒攻击,发现前者更强。
2024-03-05 cs.CR cs.LG cs.SI
QueryCheetah: Fast Automated Discovery of Attribute Inference Attacks Against Query-Based Systems
Imperial College London(帝国理工学院);EPFL(洛桑联邦理工学院)
本文提出QueryCheetah方法,用于快速自动化发现针对基于查询系统的属性推断攻击,在发现更强攻击的同时比现有最先进方法快18倍,并支持全面隐私风险评估及发现绕过临时防御的攻击。
2024-09-03 cs.AI cs.CR
Quantitative Questions on Attack-Defense Trees
攻防树是一种新的图形化安全建模和评估方法。该方法包括可视化,直观的树模型,其分析是由一个严格的数学形式主义的支持。该方法的直观和形式两部分都可用于攻防场景的定量分析。在实践中,我们使用直观的问题来询问我们感兴趣的场景的各个方面。形式上,一个计算过程,定义的属性域和自底向上的算法的帮助下,被施加到导出相应的数值。本文弥合了直观和正式的方式定量评估攻击-防御场景之间的差距。我们讨论如何正确地指定一个问题,以便它可以得到明确的回答。给定一个明确的问题,然后我们展示了如何得到一个适当的属性域,构成相应的正式模型。由于任何攻击树都是一个攻击-防御树,因此我们的分析也是攻击树方法的一个进步。
2012-10-30 cs.CR
Attack-Defense Trees with Offensive and Defensive Attributes (with Appendix)
针对现有攻击防御树(ADTs)仅从攻击者角度分析指标的局限,提出纳入防御指标的框架,通过半环编码、自底向上及二元决策图方法计算帕累托前沿,实验证明能有效处理数百节点的ADTs。
2025-04-17 cs.CR cs.GT
DeSIA: Attribute Inference Attacks Against Limited Fixed Aggregate Statistics
Imperial College London(伦敦帝国学院)
针对有限固定聚合统计量,提出属性推断攻击框架DeSIA,在人口普查数据上优于重构攻击,证明聚合不足以保护隐私。
2025-04-25 cs.AI cs.CR
Localization of Dummy Data Injection Attacks in Power Systems Considering Incomplete Topological Information: A Spatio-Temporal Graph Wavelet Convolutional Neural Network Approach
Northeast Electric Power University(东北电力大学);Jilin Electric Power Research Institute of State Grid(国家电网吉林电力科学研究院);Northeast Electric Power Design and Institute Co., Ltd. of China Power Engineering Consulting Group(中国电力工程顾问集团东北电力设计院有限公司);The Hong Kong University of Science and Technology(香港科技大学)
针对新型虚假数据注入攻击难以定位的问题,提出一种考虑不完整拓扑信息的时空图小波卷积神经网络方法,通过注意力机制和联合特征提取实现精准攻击定位。
2024-01-27 cs.CR cs.LG cs.SY
AVA: Inconspicuous Attribute Variation-based Adversarial Attack bypassing DeepFake Detection
Shandong University(山东大学);City University of Hong Kong(香港城市大学)
本文提出 AVA 对抗攻击,通过高斯先验与语义判别器在属性潜在空间施加人类难察的语义变化,可绕过现有 DeepFake 检测防御,并在九种检测器及两个商用系统上取得高攻击成功率。
2023-12-14 cs.CR cs.CV
Purifier: Defending Data Inference Attacks via Transforming Confidence Scores
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Key Laboratory of Blockchain and Cyberspace Governance of Zhejiang Province(浙江省区块链与网络空间治理重点实验室);Jiaxing Research Institute, Zhejiang University(浙江大学嘉兴研究院);Zhengzhou Xinda Institute of Advanced Technology(郑州信大先进技术研究院);National University of Singapore(新加坡国立大学)
神经网络易受数据推断攻击的影响,如成员推断攻击、对抗性模型反演攻击和属性推断攻击,攻击者可以从目标分类器预测的置信度中推断出有用的信息,如数据样本的成员关系、重构或敏感属性。在本文中,我们提出了一种方法,即净化器,以防止成员推断攻击。该方法对目标分类器预测的置信度向量进行变换,使提纯后的置信度在个体形状、统计分布和预测标签上无差别。实验结果表明,PURIFIER能够有效地防御成员推断攻击,性能优于以往的防御方法,且效用损失可以忽略不计。此外,我们进一步的实验表明,PURIFIER在防御对抗性模型反演攻击和属性推断攻击方面也是有效的。例如,在Facescrub530分类器上,反演误差提高了约4倍以上,并且当在我们的实验中部署PURIFIER时,属性推理准确率显著下降。
2022-12-01 cs.CR cs.LG
Attacks Meet Interpretability: Attribute-steered Detection of Adversarial Samples
Purdue University(普渡大学)
对抗性样本攻击会干扰良性输入,从而导致DNN的错误行为。最近的研究表明,这类攻击的广泛存在和破坏性后果。现有的防御技术要么假设特定攻击的先验知识,要么由于其基本假设而无法在复杂模型上很好地工作。我们认为,对抗性样本攻击与DNN模型的可解释性深深纠缠在一起:虽然良性输入的分类结果可以根据人类可感知的特征/属性进行推理,但对抗性样本的结果很难解释。因此,我们提出了一种新的对抗性样本检测技术的人脸识别模型,基于可解释性。它具有一种新的属性和内部神经元之间的双向对应推理,以识别对单个属性至关重要的神经元。关键神经元的激活值被增强以放大计算的推理部分,而其他神经元的值被减弱以抑制不可解释部分。将变换后的分类结果与原模型的分类结果进行比较,从而检测出攻击者。结果表明,我们的技术对7种不同类型的攻击可以达到94%的检测准确率,对良性输入的误报率为9.91%。相比之下,最先进的特征挤压技术只能达到55%的准确率,23.3%的误报率。
2018-10-27 cs.AI cs.CR cs.LG
RAID: An In-Training Defense against Attribute Inference Attacks in Recommender Systems
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学)
针对推荐系统中用户易受属性推理攻击的问题,提出训练中防御方法RAID,通过定义防御目标确保属性分布与标签独立,利用最优传输优化,在保持推荐性能的同时有效抵御攻击,实验表明其优于现有方法。
2025-04-15 cs.AI cs.CR cs.CY
Attribute Inference Attacks for Federated Regression Tasks
Inria(法国国家信息与自动化研究所);Meta;CNRS(法国国家科学研究中心);I3S(信息科学与系统实验室);Amadeus(阿玛迪斯公司)
针对联邦回归任务中属性推理攻击研究空白,提出基于模型的新型攻击方法,在异构客户端数据集等场景下显著提升重建精度,为量化隐私泄露提供有效手段。
2025-04-16 cs.AI cs.CR cs.LG
Inferring Sensitive Attributes from Knowledge Graph Embeddings: Attack and Defense Strategies
LIFO, INSA CVL, Univ. Orléans, Inria, France(LIFO,法国里尔大学CVL学院,奥尔良大学,法国国家信息与自动化研究所)
本文研究了基于知识图谱嵌入(KGE)推理的隐私风险,提出了一种通过后处理去污技术减轻这些风险的框架,探讨了在推荐质量与隐私保护之间进行权衡的必要性。
2026-05-19 cs.CR cs.LG
QuerySnout: Automating the Discovery of Attribute Inference Attacks against Query-Based Systems
Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所)
虽然基于查询的系统(QBS)已成为匿名共享数据的主要解决方案之一,但构建能够强大保护数据集贡献者隐私的QBS是一个难题。依赖于差分隐私保证的理论解决方案很难以合理的准确性正确实现,而临时解决方案可能包含未知的漏洞。因此,评估QBS提供的隐私必须通过评估各种隐私攻击的准确性来完成。然而,现有的攻击需要时间和专业知识来开发,需要针对受攻击的特定系统进行手动定制,并且范围有限。在本文中,我们开发了QuerySnout(QS),第一种自动发现QBS漏洞的方法。QS将目标记录作为输入,QBS作为黑盒,分析其在一个或多个数据集上的行为,并输出多组查询以及组合答案的规则,以揭示目标记录的敏感属性。QS使用基于新的突变算子的进化搜索技术来找到容易导致攻击的多组查询,以及机器学习分类器来从所选查询的答案中推断敏感属性。我们通过将QS应用于两种攻击场景、三种真实数据集和各种保护机制来展示QS的多功能性。我们发现QS的攻击始终等同于或优于,有时是一个很大的差距,从文献中最好的攻击。最后,我们展示了如何QS可以扩展到QBS,需要一个预算,并适用于一个简单的QBS的基础上拉普拉斯机制的QS。总之,我们的研究结果表明,自动化系统已经可以发现针对QBS的强大而准确的攻击,从而可以“按下按钮”自动测试高度复杂的QBS。
2022-11-09 cs.AI cs.CR
Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings
语音情感识别(SER)处理语音信号以检测和表征所表达的感知情感。许多SER应用系统经常获取在客户端收集的语音数据并将其传输到远程云平台进行推理和决策。然而,语音数据不仅包含丰富的情感信息,而且还包含其他敏感的人口统计特征,如性别,年龄和语言背景。因此,希望SER系统具有对情感结构进行分类的能力,同时防止对敏感和人口统计信息的非故意/不适当的推断。联邦学习(FL)是一种分布式机器学习范式,它协调客户端协作训练模型,而无需共享其本地数据。这种训练方法似乎是安全的,可以提高隐私的SER。然而,最近的工作表明,FL方法仍然容易受到各种隐私攻击,如重建攻击和成员推断攻击。虽然这些研究中的大多数都集中在计算机视觉应用上,但在使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL训练的SER系统的信息泄漏,我们提出了一个属性推断攻击框架,该框架从共享梯度或模型参数推断客户端的敏感属性信息,分别对应于FedSGD和FedAvg训练算法。作为一个用例,我们使用三个SER基准数据集:IEMOCAP,CREMA-D和MSP-Improv来经验性地评估我们预测客户性别信息的方法。我们表明,属性推断攻击是可以实现的SER系统使用FL训练。我们进一步确定,大部分的信息泄漏可能来自SER模型中的第一层。
2022-12-22 cs.CR cs.LG cs.MM
When the signal is in the noise: Exploiting Diffix's Sticky Noise
分析数据对企业和研究人员都非常有价值。然而,大量的研究表明,去身份化的释放和忘记模型具有很强的局限性,其中数据是匿名和共享的。这导致了基于隐私保护的查询系统的发展。Diffix是最近提出的一种新的基于查询的匿名机制,它基于“粘性噪声”的思想,仅满足欧盟第29条工作组对匿名化的定义。根据其作者的说法,与基于差分隐私的解决方案相比,Diffix在回答中增加的噪音更少,同时允许无限数量的查询。本文提出了一类新的噪声利用攻击,利用系统添加的噪声来推断数据集中个人的私人信息。我们的第一个差分攻击使用从Diffix中提取的样本进行似然比测试,以区分两个概率分布。我们表明,使用这种攻击对合成的最佳情况下的数据集,使我们能够推断出私人信息的准确率为89.4%,只使用5个属性。我们的第二个克隆攻击使用伪条件,这些条件根据private属性的值有条件地强烈影响查询的输出。通过对四个真实数据集的攻击,我们证明了我们可以推断出数据集中至少93%的用户的私有属性,准确率在93.3%到97.1%之间,平均每个用户发出304个查询。我们展示了如何优化这种攻击,针对55.4%的用户,实现91.7%的准确率,每个用户最多只使用32个查询。我们的攻击表明,添加数据相关的噪声,如Diffix所做的,不足以防止私有属性的推断。我们还认为,Diffix本身无法满足WP第29条对匿名化的定义。[...]
2019-10-29 cs.CR
A Linear Reconstruction Approach for Attribute Inference Attacks against Synthetic Data
University College London(伦敦大学学院);University of Oxford(牛津大学)
本文提出基于聚合统计量线性重构的合成数据属性推理攻击,可针对任意记录实现高准确率,并揭示SDG在隐私、效用与发布记录数量之间的权衡。
2024-05-09 cs.CR cs.LG
Attribute-Guided Encryption with Facial Texture Masking
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出AGE-FTM方法,通过双流形对抗攻击结合GAN修改面部属性与纹理掩蔽,生成高质量加密人脸图像,在保持自然视觉效果的同时实现对未授权人脸识别系统的高黑盒攻击成功率。
2023-05-22 cs.CR cs.CV
Stealthy Dual-Trigger Backdoors: Attacking Prompt Tuning in LM-Empowered Graph Foundation Models
HKPolyU(香港PolyU);Hong Kong Chu Hai College(香港 Chu Hai 学院);Shanghai Jiao Tong University(上海交通大学)
针对LM赋能图基础模型提示微调阶段,提出文本级与结构级双触发器后门攻击框架,利用预建文本池实现高隐蔽攻击,保持干净准确率的同时达到高攻击成功率。
2025-10-16 cs.AI cs.CR
Chasing the Shadows: TTPs in Action to Attribute Advanced Persistent Threats
本研究提出CAPTAIN方法,利用APT组织过去的TTPs及其序列上下文进行基线建立和相似性度量,实现攻击模式匹配与威胁归因,精确度达61.36%(top-1)和69.98%(top-2),优于传统方法。
2024-09-24 cs.CR
PoisonCatcher: Revealing and Identifying LDP Poisoning Attacks in IIoT
针对资源受限 IIoT 边缘难以防御 LDP 投毒的问题,本文揭示攻击模式与影响,并提出聚合端 PoisonCatcher,利用时间序列检测和潜在偏差特征识别投毒数据,F2 分数超过 90.7%。
2025-05-13 cs.CR
Attack Trees with Sequential Conjunction
我们提供了第一个正式的基础的SAND攻击树,这是一个流行的扩展著名的攻击树。SAND攻击树形式主义通过引入顺序合取算子SAND来增加攻击树的表达能力。此运算符启用有序事件的建模。我们给出了一个语义SAND攻击树解释为系列并行图,并提出了一个完整的公理化的语义。我们定义了范式的SAND攻击树和一个长期重写系统,它允许识别语义等价的树。最后,我们形式化如何定量分析SAND攻击树的属性。
2015-03-08 cs.CR
Learning Robust and Privacy-Preserving Representations via Information Theory
Illinois Institute of Technology(伊利诺伊理工学院);Milwaukee School of Engineering(密尔沃基工学院);University of Connecticut(康涅狄格大学)
本文提出信息论框架,通过表示学习同时抵御安全与隐私攻击,并推导出鲁棒性与隐私间的固有权衡及隐私泄露保证。
2024-12-15 cs.CR cs.LG
User Consented Federated Recommender System Against Personalized Attribute Inference Attack
Department of CSE, HKUST(香港科技大学计算机科学与工程系)
针对联邦推荐系统中属性推断攻击和用户隐私偏好差异问题,提出用户同意的联邦推荐系统UC-FedRec,通过最小化准确度代价灵活满足隐私需求,实验证明其高效灵活。
2023-12-23 cs.CR cs.IR cs.LG
Graph-Aware Stealthy Poison-Text Backdoors for Text-Attributed Graphs
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院)
本文研究了在仅修改节点文本的情况下,通过生成隐蔽毒文本对带文本图的攻击方法,实验表明该方法在不同图模型间具有高成功率并能抵御常见防御。
2026-03-28 cs.CR cs.LG
Argumentation-based Security for Social Good
University of Cyprus(塞浦路斯大学);Technical University of Crete(克里特理工大学);Imperial College London(帝国理工学院)
互联互通的增加及其对日常生活的影响正在引发新的和现有的安全问题,这些问题对社会公益越来越重要。我们介绍了两个特殊的问题:网络攻击归因和监管数据共享。对于这两个问题,关于应用哪些规则的决定,应该在不完整和上下文相关的信息下做出。我们提出的解决方案是基于论证推理,这是一个非常适合的技术,在冲突和不完整的信息下实现决策机制。我们的建议允许我们识别网络攻击的攻击者,并决定在使用和共享数据时应使用的监管规则。我们通过具体的例子来说明我们的解决方案。
2017-05-01 cs.AI cs.CR
Attribute Inference Attacks in Online Multiplayer Video Games: a Case Study on Dota2
University of Padua(帕多瓦大学);University of Liechtenstein(列支敦士登大学);Delft University of Technology(代尔夫特理工大学)
该研究首次针对Dota2提出属性推断攻击威胁模型,通过调研验证玩家游戏活动与现实生活的关联后,利用机器学习和公开游戏数据实施攻击,最高精确率达98%,为竞技游戏领域的隐私安全敲响警钟。
2023-04-30 cs.CR cs.LG
On Inferring Training Data Attributes in Machine Learning Models
University of New South Wales(新南威尔士大学);Data61 CSIRO(联邦科学与工业研究组织Data61);Macquarie University(麦考瑞大学)
最近的一些工作已经证明,API访问机器学习模型会泄露有关用于训练模型的数据集记录的信息。此外,\cite{somesh-overfit}的工作表明,这样的成员推断攻击(MIA)可能足以构建一个更强大的品种的属性推理攻击(AIA),它给出了一个记录的部分视图可以猜测丢失的属性。在这项工作中,我们表明(相反),MIA可能不足以建立一个成功的AIA。这是因为后者需要区分相似记录的能力(仅在少数属性上不同),并且,正如我们所证明的,当前的MIA在区分成员记录和相似的非成员记录方面是不成功的。因此,我们提出了一个宽松的AIA的概念,其目标是近似地猜测丢失的属性,并认为这样的攻击更有可能是成功的,如果MIA是用来作为一个子程序推断训练记录属性。
2019-10-12 cs.CR cs.LG
Killing One Bird with Two Stones: Model Extraction and Attribute Inference Attacks against BERT-based APIs
Zhejiang University(浙江大学);Monash University(蒙纳士大学);Sony AI(索尼人工智能);Microsoft Research Asia(微软亚洲研究院)
大数据的收集和可用性,以及预先训练模型的进步(例如,BERT、XLNET等)已经彻底改变了从文本分类到文本生成的现代自然语言处理任务的预测性能。这允许企业通过将微调的基于BERT的模型封装为API来提供机器学习即服务(MLaaS)。然而,基于BERT的API存在一系列安全和隐私漏洞。例如,先前的工作已经通过提取模型制作的对抗性示例利用了基于BERT的API的安全问题。然而,基于BERT的API通过提取的模型的隐私泄漏问题还没有得到很好的研究。另一方面,由于基于BERT的API的高容量,微调后的模型很容易被过度学习,但从提取的模型中可能泄露什么样的信息仍然是未知的。在这项工作中,我们首先提出了一个有效的模型窃取攻击,其中对手几乎可以窃取基于BERT的API(目标/受害者模型),只查询有限数量的查询,以弥补这一差距。我们进一步开发了一种有效的属性推断攻击,可以推断出基于BERT的API所使用的训练数据的敏感属性。我们在各种现实设置下对基准数据集进行了广泛的实验,验证了基于BERT的API的潜在漏洞。此外,我们证明了两种有前途的防御方法对我们的攻击变得无效,这需要更有效的防御方法。
2021-12-26 cs.CL cs.CR cs.LG
Local Model Reconstruction Attacks in Federated Learning and their Uses
本文提出联邦学习中的局部模型重建攻击,使诚实但好奇的对手窃听客户端与服务器通信以重建受害者局部模型,并据此提出基于模型的属性推断攻击,在异构数据下实现更高重建精度,为量化隐私风险提供新视角。
2024-05-27 cs.AI cs.CR cs.LG
On the Privacy of LLMs: An Ablation Study
UDST(多哈大学);CUQ-Ulster University(卡塔尔阿尔斯特大学)
本文通过对四种LLM代表性攻击的系统消融研究,明确不同攻击的隐私敏感性,进而给出隐私感知型LLM部署的实用建议。
2026-10-16 cs.AI cs.CR
User-Level Differential Privacy against Attribute Inference Attack of Speech Emotion Recognition in Federated Learning
University of Southern California(南加州大学)
本文研究联邦学习下语音情感识别系统的属性推理攻击问题,提出采用用户级差分隐私(UDP)来缓解隐私泄露,并通过实验证明其在单次模型更新场景下能有效平衡隐私保护与系统效用。
2022-05-17 cs.CR cs.SD eess.AS
Attacks on fairness in Federated Learning
University of Cambridge(剑桥大学)
本文提出了一种针对联邦学习中公平性的攻击方法,通过控制少量客户端影响模型的属性层面表现分布,强调了在可能使用户受益的情况下,防御此类攻击的重要性。
2026-01-13 cs.CR cs.LG
Automated Certification of Authorisation Policy Resistance
基于属性的访问控制(ABAC)扩展了传统的访问控制,将访问请求视为一组成对的属性名称-值,使其在开放和分布式系统的上下文中特别有用,其中安全相关信息可以从不同的源收集。但是,ABAC支持属性隐藏攻击,允许攻击者通过保留信息来获得某些访问权限。在本文中,我们首先介绍了属性隐藏攻击的政策阻力的概念。然后,我们提出的工具ATRAP(自动任期重写授权政策),最近正式的ABAC语言PTaCL,首先自动搜索阻力反例使用Maude,然后自动搜索伊莎贝尔证明阻力的基础上。我们用两个简单的政策例子来说明我们的方法,并提出了ATRAP性能的评估。
2013-06-20 cs.CR cs.LO
Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
当机器学习算法应用于敏感数据时,会对隐私构成明显的威胁。越来越多的先前工作表明,由这些算法产生的模型可能会通过模型的结构或其可观察到的行为将训练数据中的特定私有信息泄露给攻击者。然而,这种隐私风险的根本原因并没有得到很好的理解,除了少数轶事,表明过度拟合和影响可能发挥作用。本文研究了过拟合和影响对攻击者从机器学习模型中学习有关训练数据的信息的能力的影响,无论是通过训练集成员推理还是属性推理攻击。使用正式和实证分析,我们说明了这些因素和隐私风险,出现在几个流行的机器学习算法之间的明确关系。我们发现,过拟合是足以让攻击者进行成员推理,当目标属性满足一定的条件,其影响,属性推理攻击。有趣的是,我们的正式分析还表明,过拟合对于这些攻击来说并不是必需的,并开始揭示其他因素可能在起作用。最后,我们探讨了成员推理和属性推理之间的联系,表明两者之间存在着深刻的联系,导致有效的新攻击。
2018-05-04 cs.CR cs.LG stat.ML
Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出TRACE-RPS框架,通过细粒度匿名化和推断阻止优化,有效降低大语言模型中属性推断准确性,实现隐私保护与模型效用的平衡。
2026-04-18 cs.AI cs.CL cs.CR