BLC: Private Matrix Factorization Recommenders via Automatic Group Learning
School of Computer Science and Statistics, Trinity College（都柏林圣三一学院计算机科学与统计学院）
我们提出了一个隐私增强的矩阵分解推荐，利用这一事实，用户往往可以分组在一起的兴趣。这允许一种形式的“隐藏在人群中”的隐私。我们介绍了一种新的矩阵分解方法，适合在一个共享组（或NYM）设置和BLC算法进行这种矩阵分解的隐私增强的方式进行建议。我们证明，增加隐私并不以降低推荐准确性为代价。
2017-02-27 cs.LG stat.ML
Privacy-Preserving Multiple Tensor Factorization for Synthesizing Large-Scale Location Traces with Cluster-Specific Features
AIST（产业技术综合研究所）；NTT（日本电信电话株式会社）；RIKEN（理化学研究所）；NSSOL（日铁解决方案株式会社）
随着LBS（基于位置的服务）的广泛使用，合成位置轨迹在分析空间大数据同时保护用户隐私方面发挥着越来越重要的作用。具体地，保留特定于用户集群的特征（例如，那些乘训练上下班的人、那些去购物的人）对于各种地理数据分析任务和提供合成位置数据集是重要的。虽然位置合成器已被广泛研究，现有的合成器不提供足够的实用性，隐私，或可扩展性，因此是不实用的大规模的位置跟踪。为了克服这个问题，我们提出了一种新的位置合成器称为PPMTF（隐私保护多张量分解）。我们模型的各种统计功能的原始轨迹的过渡计数张量和访问计数张量。我们通过多重张量分解同时分解这两个张量，并通过后验采样训练因子矩阵。然后，我们从重建的张量合成痕迹，并执行一个合理的可否认性测试的合成痕迹。我们使用两个数据集全面评估PPMTF。我们的实验结果表明，PPMTF保留各种统计特征，包括集群特定的功能，保护用户隐私，并在实际时间合成大规模的位置轨迹。PPMTF在相同隐私级别的实用性和可扩展性方面也显着优于最先进的方法。
2020-11-19 cs.CR cs.DB cs.LG
Learning Robust and Privacy-Preserving Representations via Information Theory
Illinois Institute of Technology（伊利诺伊理工学院）；Milwaukee School of Engineering（密尔沃基工学院）；University of Connecticut（康涅狄格大学）
本文提出信息论框架，通过表示学习同时抵御安全与隐私攻击，并推导出鲁棒性与隐私间的固有权衡及隐私泄露保证。
2024-12-15 cs.CR cs.LG
Matrix Factorization for Practical Continual Mean Estimation Under User-Level Differential Privacy
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究院）
本文研究在用户级差分隐私下连续均值估计问题，提出一种高效的矩阵因子化方法，实现更低的均方误差。
2026-05-10 cs.LG stat.ML
Privacy-Preserving Distributed Nonnegative Matrix Factorization
Norwegian University of Science and Technology（挪威科技大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61部门）
针对ad-hoc网络中分布式非负矩阵分解（NMF）的隐私泄露问题，提出一种利用Paillier密码系统保护智能体间信息交换的全分布式NMF算法，实现了在保护本地数据隐私前提下的矩阵因子协同估计。
2024-03-27 cs.CR cs.DC cs.LG
PrivMVMF: Privacy-Preserving Multi-View Matrix Factorization for Recommender Systems
National University of Singapore（新加坡国立大学）
本文针对联邦推荐系统中矩阵分解的隐私风险，提出基于同态加密的隐私保护多视图矩阵分解框架PrivMVMF，实验证明其能有效抵御服务器重构攻击。
2022-09-29 cs.AI cs.IR cs.LG
Variational Leakage: The Role of Information Complexity in Privacy Leakage
University of Geneva（日内瓦大学）；Imperial College London（帝国理工学院）
我们研究了信息复杂性的作用，在隐私泄漏的属性的对手的利益，这是不知道先验的系统设计者。考虑到有监督的表示学习设置，并使用神经网络来参数化信息量的变化范围，我们研究了以下因素对信息泄漏量的影响：信息复杂度正则化子权重、潜在空间维数、已知效用和未知敏感属性集的基数、效用与敏感属性之间的相关性，以及对对手利益的敏感属性的潜在偏见。我们在有色MNIST和CelebA数据集上进行了广泛的实验，以评估信息复杂性对内在泄漏量的影响。
2021-06-08 cs.CR cs.LG
(Amplified) Banded Matrix Factorization: A unified approach to private training
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出基于带状矩阵分解的统一差分隐私训练方法，在联邦和集中式场景下均能涵盖并超越 DP-SGD 等现有最优算法，同时兼容实际联邦学习基础设施。
2023-11-02 cs.CR cs.LG
Privacy-Preserving Representation Learning for Text-Attributed Networks with Simplicial Complexes
Texas Tech University（德克萨斯理工大学）
尽管最近的网络表示学习（NRL）在文本属性网络中的工作表现出了各种图形推理任务的优越性能，但当节点代表人或与人相关的变量时，学习网络表示总是会引起隐私问题。此外，利用来自图的结构信息的标准NRL首先将成对关系编码到学习的表示中，然后分析其属性。这种方法从根本上与关系涉及多个点的问题不一致，并且拓扑结构必须在成对相互作用之外进行编码。幸运的是，拓扑数据分析（TDA）的机制，特别是单纯神经网络（SNN）提供了一个数学上严格的框架来学习节点之间的高阶交互。通过成对交互，研究SNN的表示输出是否比图神经网络（GNN）的常规表示输出更脆弱是至关重要的。在我的论文中，我将首先研究通过SNN学习单纯复形的文本属性表示（RT 4SC）。然后，我将对SNN表示输出的两种潜在攻击进行研究：（1）成员推断攻击，它推断图的某个节点是否在GNN模型的训练数据内;（2）图重构攻击，它推断文本属性网络的机密边缘。最后，我将研究一种保护隐私的确定性差分私有交替方向乘法器方法，以从SNN中学习安全的表示输出，这些SNN捕获多尺度关系，并促进文本属性网络上从局部结构到全局不变特征的传递。
2023-02-09 cs.CR cs.LG
Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization
Inria, Université de Montpellier, INSERM Montpellier, France（法国蒙彼利埃大学、INSERM蒙彼利埃研究所、Inria）；Institute of Science & Technology Austria (ISTA)（奥地利科学与技术研究所）；University of Rennes, Inria, CNRS, IRISA（雷恩大学、Inria、CNRS、IRISA）
本文提出通过矩阵分解实现去中心化学习的统一隐私保障方法，改进隐私计费并开发新算法，引入MAFALDA-SGD算法在合成和现实数据上表现更优。
2026-02-27 cs.LG
A deep matrix factorization method for learning attribute representations
Imperial College London（帝国理工学院）；Google Robotics（谷歌机器人部门）
半非负矩阵分解（Semi-Non-Negative Matrix Factorization）是一种学习数据集的低维表示的技术，它有助于聚类解释。这是可能的，这种新的表示和我们的原始数据矩阵之间的映射包含相当复杂的层次信息与隐含的较低级别的隐藏属性，经典的一级聚类方法不能解释。在这项工作中，我们提出了一种新的模型，深度半NMF，它能够学习这种隐藏的表示，允许自己根据给定数据集的不同，未知的属性来解释聚类。我们还提出了一个半监督版本的算法，名为深度WSF，它允许使用（部分）先验信息的数据集的每个已知属性，这使得该模型可以用于混合属性知识的数据集。最后，我们证明了我们的模型能够学习更适合聚类和分类的低维表示，优于半非负矩阵分解，也优于其他最先进的方法变体。
2015-09-10 cs.CV cs.LG stat.ML
Additive Non-negative Matrix Factorization for Missing Data
Epson Research and Development（爱普生研发中心）
提出一种加性非负矩阵分解方法，通过联合优化缺失属性和分解因子来生成测试数据中的缺失属性，并证明算法的单调收敛性。
2010-07-01 cs.LG cs.NA math.NA
Privacy Tradeoffs in Predictive Analytics
Technicolor（特艺集团）；Stanford University（斯坦福大学）
在线服务通常会挖掘用户数据，以预测用户偏好，提出建议，并投放有针对性的广告。最近的研究表明，可以从这些数据中推断出几个私人用户属性（如政治派别，性取向和性别）。有隐私意识的用户能否从个性化中受益，同时保护她的私人属性？我们在基于矩阵分解的评级预测服务的背景下研究这个问题。我们构造了一个服务和用户之间的交互协议，该协议具有显著的最优性：它是隐私保护的，因为没有推理算法可以成功地以比随机猜测更好的概率推断出用户的私有属性;它具有最大的准确性，因为没有其他隐私保护协议可以提高评级预测;最后，它涉及最小的披露，因为当服务披露较少的信息时，预测准确性严格降低。我们使用几个评级数据集对我们的协议进行了广泛的评估，证明它成功地阻止了性别，年龄和政治派别的推断，同时导致评级预测准确性下降不到5%。
2014-03-31 cs.CR cs.LG
On Estimating Multi-Attribute Choice Preferences using Private Signals and Matrix Factorization
Coordinated Science Laboratory, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
显示偏好理论研究了对代理人的显示偏好进行建模的可能性，以及构建一致的效用函数。然而，建模代理的选择偏好排序并不总是实用的，需要对人类的理性和数据采集能力的强有力的假设。因此，我们提出了一个简单的生成选择模型，代理人被假定为生成的选择概率的基础上的潜在因素矩阵，捕捉他们的选择评价在多个属性。由于多属性评价通常隐藏在代理的心理，我们认为，通过私人信号，代理提供选择信息的信令机制，使代理的选择提供更多的洞察力，他/她的潜在评价在多个属性。我们估计选择模型通过一种新的多阶段矩阵分解算法，最大限度地减少选择数据的因素估计的平均偏差。仿真结果验证了我们提出的算法的估计性能。
2018-02-19 cs.LG stat.ML
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Recommending with an Agenda: Active Learning of Private Attributes using Matrix Factorization
Technicolor（特艺集团）
推荐系统利用用户人口统计信息，例如年龄、性别等，个性化推荐，更好地投放目标广告。通常情况下，由于隐私问题，或者由于缺乏填写在线个人资料的主动性，用户不会自愿提供这些信息。我们说明了一个新的威胁，其中推荐学习私人属性的用户谁不自愿透露他们。我们设计了被动和主动攻击，征求评级的战略选择的项目，因此可以使用的推荐系统来追求这个隐藏的议程。我们的方法是基于一个新的使用贝叶斯矩阵分解的主动学习设置。对多个数据集的评估表明，这种攻击确实是可行的，并且比静态推理方法使用更少的评级项目。重要的是，它们在不牺牲向用户推荐的质量的情况下取得了成功。
2014-07-30 cs.CY cs.LG
Coupled Item-based Matrix Factorization
Advanced Analytics Institute（高级分析研究所）；University of Technology, Sydney（悉尼科技大学）
推荐系统（RS）面临的冷启动和稀疏性挑战的本质在于，现有的协同过滤（CF）和矩阵分解（MF）等技术主要依赖于用户-项目评分矩阵，而该矩阵有时不能提供足够的信息来预测推荐。为了解决这些问题，客观的项目属性被纳入作为补充信息。然而，大多数现有的推断项目之间关系的方法都假设属性是“独立同分布的（iid）”，这在现实中并不总是成立的。事实上，这些属性或多或少通过一些隐式关系相互耦合。因此，在这篇文章中，我们提出了一个基于属性的耦合相似性度量来捕捉项目之间的隐含关系。然后，我们将隐含的项目耦合到MF形成耦合的基于项目的矩阵分解（CIMF）模型。在两个开放数据集上的实验结果表明，CIMF优于基准方法。
2014-04-08 cs.IR cs.LG
Cross-Attribute Matrix Factorization Model with Shared User Embedding
University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）；Hong Kong Polytechnic University（香港理工大学）
针对 NeuMF 忽视用户与物品属性、冷启动及长尾鲁棒性问题，本文提出融合跨属性交互和共享用户嵌入的矩阵分解模型，并在 Movielens、Pinterest 上验证其优势。
2023-08-14 cs.AI cs.IR cs.LG
Adversarial representation learning for synthetic replacement of private attributes
AI Sweden（瑞典人工智能研究院）
数据隐私是许多现实世界中越来越重要的方面。包含敏感信息的数据源可能具有巨大的潜力，可以使用正确的隐私增强转换来解锁，但当前的方法通常无法产生令人信服的输出。此外，在隐私和实用性之间找到正确的平衡往往是一个棘手的权衡。在这项工作中，我们提出了一种新的方法，数据私有化，其中包括两个步骤：在第一步，它删除了敏感信息，并在第二步，它取代了一个独立的随机样本的信息。我们的方法建立在对抗性表示学习的基础上，通过训练模型来欺骗越来越强大的对手，从而确保强大的隐私。虽然以前的方法只针对混淆的敏感信息，我们发现，添加新的随机信息在其位置加强了所提供的隐私，并提供更好的实用程序在任何给定的隐私级别。其结果是一种方法，可以提供更强的私有化的图像数据，但保留域和输入的效用，完全独立于下游的任务。
2021-02-08 cs.CR cs.LG stat.ML
FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；LANL（洛斯阿拉莫斯国家实验室）
非负矩阵分解（NMF）与缺失值完成是一个著名的有效的协同过滤（CF）方法，用于提供个性化的用户推荐。然而，传统的CF依赖于隐私侵犯收集用户的显式和隐式反馈，以建立一个中央推荐模型。单次联邦学习最近出现了一种方法，以减轻隐私问题，同时解决传统的联邦学习的通信瓶颈。在本文中，我们提出了第一个无监督的一次性联邦CF实现，名为FedSPLIT，基于NMF联合因式分解。在我们的解决方案中，客户端首先并行应用本地CF来构建不同的客户端特定的编译器。然后，从每个客户端的隐私保护的本地项目模式和偏见与处理器共享，以执行联合因子分解，以提取全局项目模式。然后，将提取的模式聚合到每个客户端，以通过知识蒸馏构建本地模型。在我们的实验中，我们证明了我们的方法与标准的推荐数据集的可行性。FedSPLIT可以获得与现有技术相似的结果（在某些情况下甚至优于现有技术），但通信数量大幅减少。
2022-05-04 cs.IR cs.LG
Privacy Preserving Point-of-interest Recommendation Using Decentralized Matrix Factorization
AI Department, Ant Financial Services Group（蚂蚁金融服务集团人工智能部门）
兴趣点（POI）推荐最近由于基于位置的网络的日益普及而引起了很多关注，例如，Foursquare和Yelp在现有的POI推荐方法中，基于矩阵分解（MF）的技术已被证明是有效的。然而，现有的MF方法存在两个主要问题：（1）由于集中式模型训练机制而导致的昂贵的计算和存储：集中式学习器必须维护整个用户-项目评分矩阵，以及潜在的巨大的低秩矩阵。(2)隐私问题：用户的偏好存在通过集中式学习器泄露给恶意攻击者的风险。为了解决这些问题，我们提出了一个分散的MF（DMF）框架的兴趣点推荐。具体地说，我们提出了一种基于随机游走的分散训练技术来训练每个用户端的MF模型，而不是维护所有的低秩矩阵和敏感的评级数据用于训练，例如，手机和Pad。通过这样做，每个用户的评级仍然保持在自己的手上，而且，分散学习可以被视为具有多个学习者（用户）的分布式学习，从而简化了计算和存储问题。在两个真实数据集上的实验结果表明，与经典和最新的潜在因子模型相比，DMF在推荐精度和召回率方面都有显著的提高.
2020-03-12 cs.AI cs.LG stat.ML
An Entropy Weighted Nonnegative Matrix Factorization Algorithm for Feature Representation
Northeastern University（东北大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
非负矩阵分解（NMF）已被广泛用于学习数据的低维表示。然而，NMF同样关注数据点的所有属性，这不可避免地导致不准确的表示。例如，在一个人脸数据集中，如果一个图像包含一顶帽子，在矩阵分解过程中，帽子应该被移除，或者其相应属性的重要性应该被降低。提出了一种新的非负矩阵分解方法--熵加权非负矩阵分解（EWNMF），它对每个数据点的每个属性使用一个可优化的权重来强调它们的重要性。这个过程是通过增加一个熵正则化的成本函数，然后使用拉格朗日乘子方法来解决这个问题。多个数据集的实验结果验证了该方法的可行性和有效性。我们在https://github.com/Poisson-EM/Entropy-weighted-NMF上提供我们的代码。
2021-11-27 cs.LG
Low-rank matrix factorization with attributes
我们开发了一种新的协同过滤（CF）方法，它结合了先前已知的用户的偏好，即标准CF，以及产品/用户属性，即经典函数近似，来预测给定用户对特定产品的兴趣。我们的方法是一个广义的低秩矩阵完成问题，在这里我们学习一个函数，其输入是向量对-标准的低秩矩阵完成问题是一个特殊的情况下，该函数的输入是矩阵的行和列索引。我们解决这个广义矩阵完成问题，使用张量积核，我们也正式推广标准的内核性能。电影评级的基准实验表明，我们的广义矩阵完成方法的优势，标准的矩阵完成一个没有关于电影或人的信息，以及超过标准的多任务或单任务的学习方法。
2006-11-24 cs.AI cs.IR cs.LG
Private Matrix Factorization with Public Item Features
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Microsoft（微软）
本文提出基于集体矩阵分解的方法，在差分隐私约束下利用公开物品特征训练推荐模型，有效缩小私有与非私有模型的质量差距，实现从协同过滤到上下文推荐的平滑过渡。
2023-09-17 cs.CR cs.IR cs.LG
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong（香港城市大学）；UESTC（电子科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；ByteDance Research（字节跳动研究院）
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题，提出FLEST方法，通过联邦张量分解和潜在字典嵌入共享，在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Identifying Population Movements with Non-Negative Matrix Factorization from Wi-Fi User Counts in Smart and Connected Cities
University of Colorado at Boulder（科罗拉多大学博尔德分校）
非负矩阵分解（NMF）是一种有价值的矩阵分解技术，它产生一个“基于部分”的数据集分解。Wi-Fi用户数量是智能互联城市环境中人口流动的隐私保护指标。在本文中，我们将具有新型矩阵嵌入的NMF应用于科罗拉多大学博尔德校区的Wi-Fi用户计数数据，以自动识别智能互联基础设施环境中的人类运动模式。
2021-11-19 cs.LG eess.SP
Real-Time Personalized Content Adaptation through Matrix Factorization and Context-Aware Federated Learning
Department of Computer Science（计算机科学系）；The University of Texas at El Paso（德克萨斯理工大学）；Southern Illinois University（伊利诺伊大学苏尔特分校）
本研究通过联邦学习与矩阵分解技术，实现社交媒体的实时个性化内容推荐，提升用户互动与内容相关性，同时保障隐私。
2025-11-23 cs.LG
How Do Input Attributes Impact the Privacy Loss in Differential Privacy?
Technical University of Munich（慕尼黑工业大学）；Ludwig Maximilian University of Munich（慕尼黑大学）；Imperial College London（帝国理工学院）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）
差分隐私（DP）通常被表述为数据库中所有个体的最坏情况隐私保证。最近，已经引入了对单个主题或其属性的扩展。在个体/每实例DP解释下，我们研究了DP神经网络中每个主体的梯度范数与个体隐私损失之间的联系，并引入了一种新的度量标准，称为隐私损失-输入敏感性（PLIS），它允许将主体的隐私损失分摊到其输入属性。我们的实验表明，这使得识别敏感属性和数据重建的高风险的主题。
2022-11-18 cs.CR cs.LG
Federated Learning based Latent Factorization of Tensors for Privacy-Preserving QoS Prediction
Southwest University（西南大学）
本文提出一种基于张量潜在分解的联邦学习模型（FL-LFT），通过构建面向数据密度的联邦学习框架，使孤立用户在保护隐私的同时协作训练全局模型，实现高精度的Web服务QoS预测。
2024-07-29 cs.CR cs.LG
On the Alignment of Group Fairness with Attribute Privacy
Univ Lyon, INSA Lyon, Inria, CITI（里昂大学、里昂国立应用科学学院、法国国家信息与自动化研究所、CITI研究所）；University of Waterloo（滑铁卢大学）
本文研究群体公平性与属性隐私的关系，提出面向类别不平衡数据的AdaptAIA，并证明标准群体公平算法可在仅承担效用权衡的同时防御属性推断攻击。
2024-03-05 cs.CR cs.LG
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习（ML）模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡，ML模型对由敏感属性（如种族和性别）识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外，ML模型容易受到属性推断攻击，其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱，但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施，审计黑盒公平算法，使模型构建者占隐私和公平的模型设计。我们提出了Dikaios，一个隐私审计工具的公平算法的模型构建者，利用一个新的有效的属性推理攻击，占类不平衡的敏感属性，通过自适应预测阈值。我们对Dikaios进行了评估，以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明，我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性，以确保在敏感属性的不同值之间进行不可区分的预测。事实上，这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
The Power of Factorization Mechanisms in Local and Central Differential Privacy
University of Toronto（多伦多大学）；Northeastern University（东北大学）
在差分隐私的局部和中心模型中，我们给出了回答线性查询（统计查询）的样本复杂度的新的刻画：* 在非交互局部模型中，我们给出了样本复杂度的第一近似刻画。非正式地说，我们的界限是紧的，在查询的数量和所需的准确性的多对数因子。我们的特征扩展到不可知学习的本地模型。* 在中心模型中，我们给出了高精度区域中样本复杂性的表征，类似于Nikolov，Talwar和Zhang（STOC 2013），但在定量上更严格，并且具有非常简单的证明。我们的下界同样适用于经验和人口估计问题。在这两种情况下，我们的特征表明，一个特定的因子分解机制是近似最优的，和最佳的样本复杂性是有界的从上到下的良好研究与查询相关的矩阵的因子分解规范。
2019-11-19 cs.CR cs.DS cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
PrivacyNet: Semi-Adversarial Networks for Multi-attribute Face Privacy
Michigan State University（密歇根州立大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
最近的研究已经建立了从个人的面部图像中以高精度推断诸如年龄、性别和种族等软生物特征属性的可能性。然而，这引起了隐私问题，特别是当为生物识别目的收集的面部图像在未经个人同意的情况下用于属性分析时。为了解决这个问题，我们开发了一种技术，通过图像扰动方法赋予软生物特征隐私的人脸图像。图像扰动是使用基于GAN的半对抗网络（SAN）（称为PrivacyNet）进行的，该网络修改输入面部图像，使其可以被面部匹配器用于匹配目的，但不能被属性分类器可靠地使用。此外，PrivacyNet允许人选择必须在输入面部图像中模糊的特定属性（例如，年龄和种族），同时允许提取其他类型的属性（例如，性别）。使用多个人脸匹配器，多个年龄/性别/种族分类器和多个人脸数据集的广泛实验证明了所提出的多属性隐私增强方法在多个人脸和属性分类器上的通用性。
2021-03-14 cs.CR cs.CV cs.LG
VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks
本文提出VoxGuard框架，通过低误报率评估语音隐私，发现即使在低FPR下，对手攻击能力显著增强，强调需采用低FPR评估以准确衡量隐私泄露。
2026-01-26 cs.CR cs.LG
Interpreting Epsilon of Differential Privacy in Terms of Advantage in Guessing or Approximating Sensitive Attributes
Cybernetica AS（赛博内蒂卡公司）
存在实现$ε$ -差分隐私（DP）的许多方法。问题是$ε$的适当值是什么，因为对于“足够小”的$ε$没有共同的协议，并且它的好坏取决于查询和数据。在本文中，我们将展示如何计算对应于$δ$的$ε$，定义为对手的优势，猜测一些特定属性的输出的概率。攻击者的目标可以表述为布尔表达式，可能在一定的精度内猜测特定的属性。以这种方式组合的属性应该是独立的。我们假设输入和输出分布都有相应的概率密度函数或概率质量函数。
2019-11-28 cs.CR cs.LG
Algorithms with More Granular Differential Privacy Guarantees
Google Research（谷歌研究院）
差分隐私通常应用于大于理论建议的理想隐私参数;已经提出了各种非正式的理由来容忍大的隐私参数。在这项工作中，我们考虑部分差分隐私（DP），它允许量化的隐私保证每个属性的基础上。在这个框架中，我们研究了几个基本的数据分析和学习任务，并设计了算法，其每个属性的隐私参数小于一个人的整个记录的最佳可能的隐私参数（即，所有属性）。
2022-09-08 cs.CR cs.DS cs.LG
(Local) Differential Privacy has NO Disparate Impact on Fairness
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））
本文实证研究了在本地差分隐私（LDP）下收集多种敏感属性对公平性的影响，提出了一种考虑属性域大小的新型隐私预算分配方案，实验表明LDP不仅未恶化反而略微改善了公平性，挑战了差分隐私必然损害公平性的普遍看法。
2023-08-01 cs.CR cs.LG
Machine Learning with Privacy for Protected Attributes
FAIR at Meta（Meta 的 FAIR 部门）；NVIDIA / Cornell University（NVIDIA / 康奈尔大学）
本文提出特征差分隐私（FDP）框架，细化DP定义以仅保护受保护属性，改进DP-SGD算法，在AFHQ数据集上显著提升效用（FID从286.7降至101.9），兼顾隐私与效用。
2025-06-24 cs.CR cs.LG
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；University of Washington Tacoma（华盛顿大学塔科马分校）；Ghent University（根特大学）
群体公平性确保了基于机器学习（ML）的决策系统的结果不会偏向于由敏感属性（如性别或种族）定义的特定人群。在联邦学习（FL）中实现群体公平性是具有挑战性的，因为减轻偏见本质上需要使用所有客户端的敏感属性值，而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示，在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算（MPC）和差分隐私（DP）相结合来解决。在这样做的过程中，我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法，而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
Inferring Sensitive Attributes from Model Explanations
University of Waterloo（滑铁卢大学）；Univ Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；Inria（法国国家信息与自动化研究所）；CITI（CITI实验室）
模型解释向模型构建器提供了对经训练的机器学习模型的黑盒行为的透明性。它们表明了不同输入属性对其相应模型预测的影响。解释对输入的依赖性引起了对敏感用户数据的隐私问题。然而，现有文献对模型解释的隐私风险讨论有限。我们专注于属性推断攻击的特定隐私风险，其中对手推断输入的敏感属性（例如，种族和性别）给出了模型解释。我们设计的第一个属性推理攻击模型的解释，在两个威胁模型中，模型生成器要么（a）包括敏感属性的训练数据和输入或（b）审查敏感属性不包括在训练数据和输入。我们评估我们提出的攻击四个基准数据集和四个国家的最先进的算法。我们表明，对手可以成功地推断出敏感属性的值，从这两个威胁模型的解释准确。此外，即使只利用与敏感属性相对应的解释，攻击也是成功的。这表明我们的攻击对解释是有效的，并对数据隐私构成了实际威胁。在将模型预测（先前攻击所利用的攻击面）与解释相结合时，我们注意到攻击成功率并没有提高。此外，与仅利用模型预测相比，利用模型解释的攻击成功率更高。这些表明，模型解释是一个强大的攻击面，可供对手利用。
2022-09-07 cs.CR cs.LG
Explainable Ordinal Factorization Model: Deciphering the Effects of Attributes by Piece-wise Linear Approximation
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
有序回归预测的对象的标签，表现出自然的顺序，这是很重要的许多管理问题，如信用评分和临床诊断。在这些问题中，解释属性如何影响预测的能力对用户至关重要。然而，大多数，如果不是全部，现有的有序回归模型简化了这样的解释的形式，常数系数的主要和个别属性的相互作用的影响。这样的解释不能表征属性在不同价值尺度上的贡献。为了解决这个问题，我们提出了一个新的可解释有序回归模型，即可解释有序因子分解模型（XOFM）。XOFM使用分段线性函数来近似各个属性及其相互作用的实际贡献。此外，XOFM引入了一种新的顺序变换过程，为每个对象分配属于多个相关类的概率，而不是固定边界来区分类。XOFM是基于因子分解机来处理潜在的稀疏性问题，作为离散化的属性尺度。基准数据集和基线模型的综合实验表明，所提出的XOFM具有优越的可解释性，并导致最先进的预测精度。
2019-11-14 cs.LG stat.ML
Attribute Privacy: Framework and Mechanisms
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）；The University of Melbourne（墨尔本大学）；Columbia University（哥伦比亚大学）
由于许多机器学习模型都是在机密和潜在敏感数据上训练的，因此确保训练数据的隐私性越来越受到关注。在大型数据集的分析过程中，保护个人隐私的方法受到了很大的关注。然而，在许多设置中，数据集的全局属性也可能是敏感的（例如，医院的死亡率，而不是数据集中特定患者的存在）。在这项工作中，我们从个人隐私出发，开始研究属性隐私，其中数据所有者担心在分析过程中泄露整个数据集的敏感属性。我们提出了定义来捕获\emph{attribute privacy}在两个相关的情况下，全局属性可能需要保护：（1）一个特定的数据集的属性和（2）数据集采样的基础分布的参数。我们还提供了两个有效的机制和一个低效的机制，满足这些设置的属性隐私。我们的研究结果基于河豚框架的一种新的用途，以解释数据中属性之间的相关性，从而解决了\cite{kifer2014pufferfish}留下的“开发河豚实例化和一般聚合秘密算法的挑战性问题”。
2021-05-11 cs.CR cs.CY cs.DS
Application-driven Privacy-preserving Data Publishing with Correlated Attributes
Stony Brook University（石溪大学）；NVIDIA（英伟达）；Rutgers University（罗格斯大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Bosch Research（博世研究院）
计算方面的最新进展使收集有关个人活动和私人生活空间的大量数据成为可能。为了解决用户在这种环境中的隐私问题，我们提出了一个新的框架，称为PR-GAN，使用生成对抗网络提供隐私保护机制。给定目标应用程序，PR-GAN自动修改数据以隐藏敏感属性-这些属性可能是隐藏的，可以通过机器学习算法推断-同时保留目标应用程序中的数据实用程序。与以前的作品，公众的目标应用程序和敏感属性之间的相关性的可能的知识是内置到我们的建模。我们将我们的问题表述为优化问题，证明存在最优解，并使用生成对抗网络（GAN）来创建扰动。我们进一步表明，我们的方法提供了隐私保障下的河豚框架，优雅的概括的差分隐私，允许对数据和相关性的先验知识建模。通过实验，我们表明，我们的方法优于传统的方法，有效地隐藏敏感属性，同时保证高性能的目标应用程序，属性推理和训练的目的。最后，我们通过进一步的实验证明，一旦我们的模型在一组个体上学习了隐私保护任务，例如隐藏受试者的身份，它就可以在一个单独的组上执行相同的任务，并且性能下降最小。
2021-01-05 cs.CR cs.LG stat.ML
Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy
EPFL（瑞士洛桑联邦理工学院）；Google Research（谷歌研究院）
本文研究差分隐私优化中线性相关噪声对梯度下降的影响，提出简化分析框架并给出更紧的理论界，据此设计新的矩阵分解方法以提升差分隐私优化性能。
2024-01-15 cs.LG
Does Black-box Attribute Inference Attacks on Graph Neural Networks Constitute Privacy Risk?
L3S Research Center（L3S研究中心）；Leibniz University（莱布尼茨大学）；TU Delft（代尔夫特理工大学）
本文首次系统评估针对 GNN 的黑盒属性推理攻击，通过改变攻击者知识开展实验，发现其相比缺失值估计并未显著增加隐私泄露。
2023-06-01 cs.AI cs.CR cs.LG
RecUP-FL: Reconciling Utility and Privacy in Federated Learning via User-configurable Privacy Defense
University of Tennessee（田纳西大学）；Rutgers University（罗格斯大学）；Intuit AI Research（Intuit人工智能研究院）
本文提出用户可配置的联邦学习隐私防御方法 RecUP-FL，通过对抗学习生成梯度扰动以保护用户指定敏感属性，并利用元学习思想提升对黑盒攻击的可迁移性，在满足隐私约束的同时显著改善模型效用。
2023-04-11 cs.CR cs.LG
Class Attribute Inference Attacks: Inferring Sensitive Class Information by Diffusion-Based Attribute Manipulations
Technical University of Darmstadt（达姆施塔特工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；LAION
该研究提出首个基于扩散模型的黑盒类别属性推断攻击CAIA，可准确推断图像分类器未公开的类别敏感属性，且发现对抗鲁棒模型的隐私泄露风险高于标准模型，揭示了鲁棒性与隐私的权衡关系。
2023-06-13 cs.CR cs.CV cs.LG
IncogniText: Privacy-enhancing Conditional Text Anonymization via LLM-based Private Attribute Randomization
Huawei Munich Research Center（华为慕尼黑研究中心）
本文提出IncogniText文本匿名化技术，通过大语言模型私有属性随机化误导对手预测错误属性值，在8种属性上降低泄露超90%，并蒸馏为端侧LoRA参数实现现实部署。
2025-02-02 cs.AI cs.CL cs.CR
How to Profile Privacy-Conscious Users in Recommender Systems
IBM Research（IBM研究院）；OneSpan（OneSpan公司）
矩阵分解是构建推荐系统的一种常用方法。在这样的系统中，现有的用户和项目被关联到称为简档的低维向量。用户和项目的配置文件可以组合（通过内积）来预测用户将获得的项目评级。这种系统的一个重要问题是所谓的冷启动问题：如何让用户了解她的个人资料，以便她可以得到准确的建议？虽然如果用户愿意对精心选择的项目进行评级和/或提供补充属性或人口统计（诸如性别），则可以计算简档，但是已知揭示该附加信息以允许推荐系统的分析员推断出更多的个人敏感信息。我们设计了一个协议，让隐私意识的用户受益于基于矩阵分解的推荐系统，同时保护他们的隐私。更准确地说，我们的协议使用户能够了解她的个人资料，并从中预测评级，而无需用户透露任何个人信息。该协议在标准模型下对半诚实攻击者是安全的。
2018-12-01 cs.CR cs.LG
When Fairness Meets Privacy: Fair Classification with Semi-Private Sensitive Attributes
Illinois Institute of Technology（伊利诺伊理工学院）；Cisco Research（思科研究院）；University of Connecticut（康涅狄格大学）
本文提出FairSP框架，利用少量干净敏感属性纠正受本地差分隐私保护的敏感属性，并通过对抗式联合建模实现半私有设置下的公平分类，在保护隐私的同时保持高准确率。
2023-05-29 cs.AI cs.CR cs.CY
Robust Privacy: Inference-Stage Privacy through Certified Robustness
University of Science and Technology of China（中国科学技术大学）
提出鲁棒隐私(RP)概念，基于认证鲁棒性确保预测在输入邻域内不变，从而限制推理阶段隐私泄露；实验表明RP在属性推断和模型反演攻击中有效提升隐私-效用权衡。
2026-08-18 cs.AI cs.CR cs.LG
Optimizing Privacy and Utility Tradeoffs for Group Interests Through Harmonization
Kansas State University（堪萨斯州立大学）；Louisiana State University（路易斯安那州立大学）
针对两类属性不同的用户群体的隐私-效用权衡问题，提出基于可信第三方的协作数据共享机制，结合对抗隐私技术实现数据脱敏，无需辅助数据与人工标注，兼容多种现有技术，实验验证了其平衡隐私与效用的有效性。
2024-04-07 cs.CR cs.LG
Efficient Attribute Unlearning: Towards Selective Removal of Input Attributes from Feature Representations
The Hong Kong Polytechnic University（香港理工大学）
最近，隐私法规的颁布促进了机器遗忘范式的兴起。现有的机器遗忘研究主要集中在样本级的遗忘上，使得学习后的模型不会在样本级暴露用户的隐私。然而，我们认为，这种选择性删除的能力也应该在属性水平上呈现，特别是对于与主任务无关的属性，例如，在面部识别系统中识别的人是否戴眼镜或该人的年龄范围。通过文献综述发现，现有的关于公平性和去偏学习等属性相关问题的研究不能很好地解决上述问题。为了弥合这一差距，我们提出了一个范例，有选择地删除输入属性的功能表示，我们命名为“属性unlearning”。在该范例中，某些属性将在训练阶段根据它们的互信息被准确地捕获并从学习的特征表示中分离。随着训练过程的收敛，特定属性将逐渐被消除，而与主要任务相关的其余属性将被保留，以实现竞争性模型性能。考虑到训练过程中的计算复杂性，我们不仅给出了一种理论上近似的训练方法，还提出了一种加速方案来加快训练过程。我们通过跨越多个数据集和模型来验证我们的方法，并证明我们的设计可以保持模型的保真度，并以高效率达到普遍的遗忘效果。所提出的遗忘范式为未来的机器遗忘系统奠定了基础，并将成为最新隐私相关立法的重要组成部分。
2022-04-16 cs.CR cs.LG
