A distribution inference attack aims to infer statistical properties of data used to train machine learning models. These attacks are sometimes surprisingly potent, but the factors that impact distribution inference risk are not well understood and demonstrated attacks often rely on strong and unrealistic assumptions such as full knowledge of training environments even in supposedly black-box threat scenarios. To improve understanding of distribution inference risks, we develop a new black-box attack that even outperforms the best known white-box attack in most settings. Using this new attack, we evaluate distribution inference risk while relaxing a variety of assumptions about the adversary's knowledge under black-box access, like known model architectures and label-only access. Finally, we evaluate the effectiveness of previously proposed defenses and introduce new defenses. We find that although noise-based defenses appear to be ineffective, a simple re-sampling defense can be highly effective. Code is available at https://github.com/iamgroot42/dissecting_distribution_inference
Dissecting the Runtime Performance of the Training, Fine-tuning, and Inference of Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing Damo Technology Co. Ltd.（北京达摩科技有限公司）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong University of Science and Technology（香港科技大学）
Formalizing and Estimating Distribution Inference Risks
University of Virginia（弗吉尼亚大学）
分布推断，有时称为属性推断，通过访问在该数据上训练的模型来推断训练集的统计属性。当模型在私有数据上训练时，分布推断攻击可能会带来严重的风险，但很难与统计机器学习的内在目的区分开来-即生成捕获有关分布的统计属性的模型。由Yeom et al.的成员推理框架，我们提出了一个正式的定义分布推理攻击，是一般足以描述一个广泛的一类攻击区分可能的训练分布。我们展示了我们的定义如何捕获以前的基于比率的属性推断攻击以及新的攻击类型，包括揭示训练图的平均节点度或聚类系数。为了理解分布推断风险，我们引入了一个度量，该度量通过将其与如果将训练分布的样本直接提供给对手则会发生的泄漏相关来量化观察到的泄漏。我们报告了一系列实验，在一系列不同的分布使用新的黑盒攻击和改进版本的最先进的白盒攻击。我们的研究结果表明，廉价的攻击往往是有效的昂贵的元分类器攻击，并有令人惊讶的不对称的攻击的有效性。代码可在https://github.com/iamgroot42/FormEstDistRisks上获得
University of Virginia（弗吉尼亚大学）；Department of Computer Science（计算机科学系）
属性推断攻击揭示了关于训练集的统计属性，但难以与统计机器学习的主要目的区分开来，统计机器学习的主要目的是生成捕获关于分布的统计属性的模型。由Yeom et al.的成员推理框架，我们提出了一个正式的和一般的属性推理攻击的定义。所提出的概念描述了可以区分可能的训练分布的攻击，超出了先前的属性推断攻击，该属性推断攻击推断训练数据集中特定类型的数据的比率。在本文中，我们展示了我们的定义如何捕获以前的属性推断攻击以及揭示训练图节点平均度的新攻击，并报告了实验，以深入了解属性推断攻击的潜在风险。
