Accuracy, Interpretability, and Differential Privacy via Explainable Boosting
Microsoft（微软）；University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
我们表明，将差分隐私添加到可解释的提升机（EBM）中，这是一种最近用于训练可解释的ML模型的方法，在保护隐私的同时获得了最先进的准确性。我们在多个分类和回归数据集上的实验表明，DP-EBM模型即使有很强的差分隐私保证，也几乎没有准确性损失。除了高准确性之外，将DP应用于EBM的另外两个好处是：a）训练的模型提供精确的全局和局部可解释性，这在需要差分隐私的设置中通常是重要的;以及b）模型可以在训练之后被编辑而不损失隐私以校正DP噪声可能引入的错误。
2021-06-17 cs.CR cs.LG
Continual Learning with Differential Privacy
New Jersey Institute of Technology（新泽西理工学院）；University of Florida（佛罗里达大学）
在本文中，我们专注于在持续学习（CL）中保持差分隐私（DP），其中我们训练ML模型来学习一系列新任务，同时记住以前的任务。我们首先引入连续相邻数据库的概念来约束参与CL训练过程的任何数据记录的灵敏度。在此基础上，我们开发了一种新的CL DP保留算法，该算法采用数据采样策略，通过应用时刻会计师来量化著名的平均梯度情景记忆（A-GEM）方法中训练数据的隐私风险。我们的算法提供了正式的保证隐私的数据记录在CL的任务。初步的理论分析和评估表明，我们的机制收紧隐私损失，同时保持一个有前途的模型效用。
2021-10-11 cs.CR cs.LG
Effective and Efficient Cross-City Traffic Knowledge Transfer: A Privacy-Preserving Perspective
Zhejiang University（浙江大学）
本文提出FedTT框架，通过隐私保护和高效联邦学习方法解决跨城市交通知识迁移中的隐私泄露、数据分布差异和低数据质量问题。
2026-02-01 cs.CR cs.LG
Can large language models be privacy preserving and fair medical coders?
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本研究探讨将差分隐私应用于大语言模型医疗编码任务的两大权衡，发现隐私保护会导致MIMIC-III数据集上前50标签微F1降超40%，且男女患者召回率差距扩大3%以上，为现实部署提供参考。
2024-12-07 cs.CR cs.LG
Individualized PATE: Differentially Private Machine Learning with Individual Privacy Guarantees
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Vector Institute（向量研究所）；Free University Berlin（柏林自由大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）
将机器学习（ML）应用于敏感领域需要通过正式的隐私框架（如差分隐私（DP））对底层训练数据进行隐私保护。然而，通常情况下，训练数据的隐私是以最终ML模型的实用性为代价的。其中一个原因是DP对所有训练数据点使用一个统一的隐私预算，这必须与所有数据持有者之间遇到的最严格的隐私要求保持一致。在实践中，不同的数据持有者有不同的隐私要求，要求较低的数据持有者的数据点可以为ML模型的训练过程提供更多的信息。为了满足这一需求，我们提出了两种基于教师集合私有聚合（Private Aggregation of Teacher Ensembles，PATE）框架的新方法，以支持具有个性化隐私保证的ML模型的训练。我们正式描述的方法，提供其隐私边界的理论分析，并实验评估其对最终模型的效用使用MNIST，SVHN和成人收入数据集的影响。我们的实证结果表明，个性化隐私方法产生的ML模型比非个性化的基线具有更高的准确性。因此，我们改进了在不同数据持有者同意在不同个人隐私级别贡献其敏感数据的情况下的隐私-效用权衡。
2022-11-08 cs.CR cs.LG
NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation
Brave Research（Brave研究）
NoEsis框架结合差分隐私与混合两阶段参数高效微调，在模块化LLM适配中实现可证明隐私保证与跨域知识迁移，并在CodeXGLUE上弥补至少77%的准确率差距。
2025-04-25 cs.CR cs.LG
FedNILM: Applying Federated Learning to NILM Applications at the Edge
Peng Cheng Laboratory（鹏城实验室）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
非侵入式负载监测（NILM）有助于将家庭的主要用电量分解为单个电器的能源使用量，从而大大降低精细家庭负载监测的成本。为了解决NILM应用中出现的隐私问题，可以利用联邦学习（FL）进行NILM模型训练和共享。然而，当将FL范式应用于现实世界的NILM应用时，我们面临着边缘资源限制、边缘模型个性化和边缘训练数据稀缺的挑战。在本文中，我们提出了FedNILM，一个实用的FL范例NILM应用程序在边缘客户端。具体而言，FedNILM旨在通过利用i）通过联邦学习的安全数据聚合，ii）通过过滤器修剪和多任务学习的高效云模型压缩，以及iii）通过无监督迁移学习的个性化边缘模型构建，向大规模边缘客户端提供隐私保护和个性化的NILM服务。我们对真实世界能源数据的实验表明，FedNILM能够以最先进的准确性实现个性化的能源分解，同时确保边缘客户端的隐私保护。
2021-06-07 cs.LG
Differentially Private Matrix Completion Revisited
Microsoft Research（微软研究院）；Boston University（波士顿大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
我们提供了第一个可证明的联合差分隐私算法与正式的效用保证的问题，用户级的隐私保护的协同过滤。我们的算法是基于Frank-Wolfe方法，只要用户数$m$是$ω(n^{5/4})$，其中$n$是项目的数量，并且每个用户提供她的偏好至少$\sqrt{n}$随机选择的项目，它一致地估计潜在的偏好矩阵。一路上，我们提供了一个最佳的差分私有算法的奇异向量计算，著名的Oja的方法的基础上，提供了显着的节省空间和时间，同时操作稀疏矩阵。我们还在一组数据集上对我们的算法进行了经验评估，并表明它始终优于最先进的私有算法。
2018-06-12 cs.LG
Differentially Private n-gram Extraction
Microsoft（微软）；Microsoft Research（微软研究院）
我们重新讨论了差分隐私设置中的$n$ -gram提取问题。在这个问题中，给定私有文本数据的语料库，目标是在保留用户级隐私的同时释放尽可能多的$n$ -元。提取$n$ -gram是许多NLP应用程序中的基本子程序，如句子完成，电子邮件响应生成等。该问题也出现在其他应用程序中，如序列挖掘，并且是最近研究的差分私有集并（DPSU）的推广。在本文中，我们开发了一个新的差分隐私算法，在我们的实验中，显着优于国家的最先进的。我们的改进源于结合DPSU，隐私会计的最新进展，以及Chen等人（2012）发起的基于树的方法中的剪枝新算法。
2021-08-05 cs.CR cs.DS cs.LG
Pufferfish Privacy Mechanisms for Correlated Data
UC San Diego（加州大学圣地亚哥分校）
许多现代数据库包括个人和敏感的相关数据，例如在社交网络中连接在一起的用户的私人信息，以及跨时间的单个受试者的身体活动的测量。然而，差分隐私，目前的数据隐私的黄金标准，并没有充分解决这类数据的隐私问题。这项工作着眼于最近推广的差分隐私，称为河豚，可用于解决相关数据中的隐私。应用河豚鱼的主要挑战是缺乏合适的机制。我们提供了第一种机制--Wasserstein机制--它适用于任何一般的Pufferfish框架。由于这种机制可能是计算效率低下，我们提供了一个额外的机制，适用于一些实际情况下，如身体活动测量跨时间，是计算效率。我们的实验评估表明，这种机制提供了隐私和实用程序的合成以及真实的数据在两个不同的域。
2017-03-12 cs.CR cs.LG stat.ML
A Framework for Evaluating Privacy-Utility Trade-off in Vertical Federated Learning
Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
本文提出隐私-效用评估框架，系统评估三种主流 VFL 算法在多种隐私攻击下的保护机制，指出 MC 攻击仍难防御并给出改进建议。
2024-08-04 cs.CR cs.DC cs.LG
Financial Vision Based Differential Privacy Applications
National Taiwan University（国立台湾大学）；Soochow University（苏州大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
近年来，深度学习数据隐私的重要性受到了极大的关注。将深度学习应用于缺乏金融监管机构监管的加密货币时，很可能会遭遇数据泄露。然而，据我们所知，金融领域的相关研究很少。我们将Google提出的两个具有代表性的深度学习隐私-隐私框架应用于金融交易数据。我们设计了几个不同的参数，从原来的研究建议的实验。此外，我们将隐私程度参考谷歌和苹果公司，以更合理地估计结果。结果表明，DP-SGD在金融交易数据上的表现优于PATE框架。在DP-SGD中，隐私性和准确性之间的权衡很低。隐私程度也符合实际情况。因此，我们可以精确地获得强大的隐私保证，以避免潜在的财务损失。
2021-12-31 cs.LG
A Theoretical Analysis of Efficiency Constrained Utility-Privacy Bi-Objective Optimization in Federated Learning
针对现有差分隐私联邦学习研究忽视训练效率及采样比例等影响因素的问题，该研究构建了效率约束下的效用-隐私双目标优化模型，推导帕累托前沿解析解并经实验验证，为低成本参数设计提供理论指导。
2024-01-29 cs.AI cs.LG
Joint Optimization of Energy Consumption and Completion Time in Federated Learning
Nanyang Technological University（南洋理工大学）
针对联邦学习中的能耗与延迟权衡，提出一种通过分解非凸问题来联合优化带宽、功率和CPU频率的资源分配算法，在多种需求下均优于现有方法。
2025-09-11 cs.LG eess.SP
Survey and Open Problems in Privacy Preserving Knowledge Graph: Merging, Query, Representation, Completion and Applications
Ant Group（蚂蚁集团）；Macquarie University（麦考瑞大学）
知识图谱（KG）因其能够以有意义的方式连接不同类型的数据，并支持丰富的数据服务，受到越来越多企业的关注。然而，数据隔离问题限制了KG的性能，并阻碍了其进一步发展。即是说，多个机构都有自己的幼儿园，但基于规管或竞争的理由，不能共用。因此，如何进行隐私保护的幼儿园成为一个重要的研究课题。也就是说，多方在保护多个幼儿园隐私的基础上协同进行幼儿园相关任务。到目前为止，很少有解决上述KG隔离问题的工作。在本文中，为了填补这一空白，我们总结了开放的问题，隐私保护KG在数据隔离设置，并提出了可能的解决方案。具体而言，我们从四个方面总结了隐私保护KG中存在的问题，即，合并、查询、表示和完成。我们详细介绍了这些问题，并提出了可能的技术解决方案。此外，我们提出了三个隐私保护KG感知的应用程序，并简单地描述了如何将我们提出的技术应用到这些应用程序。
2020-11-20 cs.CR cs.DB cs.LG
Privacy-Preserving Model and Preprocessing Verification for Machine Learning
Case Western Reserve University（凯斯西储大学）；IBM Research（IBM研究院）；UThealth；Rutgers University（罗格斯大学）
本研究提出一种结合LDP与LIME、SHAP模型解释的隐私保护验证框架，可完成预处理相关的二分类与多分类验证任务，在三个真实数据集上验证了其检测错误的有效性与隐私保障能力。
2025-01-14 cs.LG
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
ABCDP: Approximate Bayesian Computation with Differential Privacy
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；Google Research（谷歌研究院）
我们开发了一种新的近似贝叶斯计算（ABC）框架，ABCDP，产生差异私人（DP）和近似后验样本。我们的框架利用稀疏向量技术（SVT），广泛研究的差分隐私文献。SVT仅在满足条件（感兴趣的量是否高于/低于阈值）时才产生隐私成本。如果在重复查询过程中稀疏地满足条件，SVT可以大大减少累积的隐私损失，而不像通常的情况下，每个查询都会导致隐私损失。在ABC中，感兴趣的数量是观察数据和模拟数据之间的距离，只有当距离低于阈值时，我们才将相应的先验样本作为后验样本。因此，将SVT应用于ABC是将ABC算法转换为具有最小修改的隐私保护变体的有机方式，但产生具有高隐私级别的后验样本。我们从理论上分析了为隐私而添加的噪声与后验样本的准确性之间的相互作用。
2021-02-08 cs.LG stat.ML
Causal Inference with Corrupted Data: Measurement Error, Missing Values, Discretization, and Differential Privacy
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
针对2020年美国人口普查数据损坏导致的隐私与分析精度权衡问题，提出一种高维损坏数据下的因果推断半参数模型，通过数据清洗调整的置信区间和有限样本论证，在保证隐私的同时实现了有效推断。
2024-02-12 cs.LG econ.EM math.ST
Privacy-preserving Federated Learning for Residential Short Term Load Forecasting
FINATRAX, University of Luxembourg（卢森堡大学FINATRAX）；University of Luxembourg（卢森堡大学）
由于间歇性发电和动态需求模式的高水平，对住宅负荷的准确预测变得至关重要。智能电表在进行这些预测时可以发挥重要作用，因为它们提供详细的负荷数据。然而，由于数据隐私要求，使用智能电表数据进行负荷预测具有挑战性。本文研究了如何通过结合联邦学习和隐私保护技术（如差分隐私和安全聚合）来满足这些要求。在我们的分析中，我们使用了大量的住宅负载数据，并模拟了不同的联邦学习模型和隐私保护技术如何影响性能和隐私。我们的模拟表明，结合联邦学习和隐私保护技术可以确保高预测准确性和接近完全的隐私。具体来说，我们发现，这种组合使高水平的信息共享，同时确保隐私的处理负荷数据和预测模型。此外，我们确定并讨论了应用联邦学习，差分隐私和安全聚合住宅短期负荷预测的挑战。
2022-09-19 cs.AI cs.LG cs.SY
Achieving Differential Privacy in Vertically Partitioned Multiparty Learning
University of Arkansas（阿肯色大学）
在集中式设置下，差分隐私的保护已经得到了很好的研究。然而，在多方环境下，特别是垂直分割的情况下，保持差分隐私是非常具有挑战性的。在这项工作中，我们提出了一个新的框架，差分隐私保护多方学习的垂直分区设置。我们的核心思想是基于功能机制，通过添加噪声的目标函数，实现差分隐私的发布模型。我们表明，服务器可以简单地将目标函数分解成单方和跨党派的子功能，并分配计算和扰动的多项式系数的本地各方。我们的方法只需要一轮的噪声添加和安全的聚合。在我们的框架中发布的模型实现了与在集中式设置中应用功能机制相同的效用。在真实世界和合成数据集上的线性和逻辑回归的评估表明了我们所提出的方法的有效性。
2019-11-11 cs.CY cs.DC cs.LG
Private Alternating Least Squares: Practical Private Matrix Completion with Tighter Rates
Google Research（谷歌研究院）
研究了用户隐私下的差分隐私矩阵完备化问题。我们设计了一个流行的交替最小二乘（ALS）方法的联合差分私有变体，该方法实现了：i）（几乎）最佳的样本复杂度矩阵完成（在项目数量，用户），和ii）最知名的隐私/效用权衡理论上，以及基准数据集。特别是，我们提供了ALS的第一个全局收敛性分析，引入噪声以确保DP，并表明，与最知名的替代方案（Jain等人的Private Frank-Wolfe算法（2018））相比，我们的误差界在项目和用户数量方面明显更好，这在实际问题中至关重要。标准基准测试的广泛验证表明，该算法结合精心设计的采样程序，比现有技术更准确，从而有望成为第一个实用的DP嵌入模型。
2021-07-20 cs.CR cs.LG stat.ML
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong（香港城市大学）；UESTC（电子科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；ByteDance Research（字节跳动研究院）
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题，提出FLEST方法，通过联邦张量分解和潜在字典嵌入共享，在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
A Linearized Alternating Direction Multiplier Method for Federated Matrix Completion Problems
University of Dayton Research Institute, University of Dayton（代顿大学研究院，代顿大学）；Oakland University（奥克兰大学）
针对分布式隐私场景下的矩阵补全，提出融合 ADMM、随机块坐标与近似梯度的 FedMC-ADMM，并证明其收敛与通信复杂度，实验显示性能更优。
2025-03-18 cs.LG
Concatenated image completion via tensor augmentation and completion
University of Technology Sydney（悉尼科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种新的框架，称为级联图像完成通过张量增强和完成（ICTAC），恢复丢失的彩色图像条目具有高精度。典型的图像是二阶或三阶张量（2D/3D），这取决于它们是灰度还是彩色，因此张量完成算法是恢复它们的理想方法。所提出的框架通过将具有缺失条目的单个图像的副本连接到三阶张量中来执行图像完成，将维度增强技术应用于张量，利用张量完成算法来恢复其缺失条目，并最终从张量中提取恢复的图像。该解决方案依赖于最近提出的利用张量训练（TT）秩的两个关键组件：一个称为ket增广（KA）的张量增广工具，它用高阶张量表示低阶张量，以及通过张量训练（TMac-TT）并行矩阵分解的张量完成算法，该算法已被证明优于最先进的张量完成算法。彩色图像恢复的仿真结果显示了我们的框架对当前最先进的张量完成算法的明显优势。
2016-07-14 cs.CV cs.DS cs.LG
A framework to generate sparsity-inducing regularizers for enhanced low-rank matrix completion
针对半二次优化得到的正则化项通常不具稀疏诱导性的问题，提出一种可生成带闭式邻近算子的稀疏诱导正则化项的框架，结合常用损失函数生成的正则化项用于低秩矩阵补全，实验验证了方法在恢复性能和运行时间上的有效性。
2023-10-08 cs.IR cs.LG eess.AS
GOCPT: Generalized Online Canonical Polyadic Tensor Factorization and Completion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IQVIA（艾昆纬）
低秩张量因式分解或完成被充分研究并应用于各种在线设置，例如在线张量因式分解（其中时间模式增长）和在线张量完成（其中不完整切片逐渐到达）。然而，在许多现实世界中，张量可能具有更复杂的演化模式：（i）一个或多个模式可以增长;（ii）缺失的条目可以被填充;（iii）现有的张量元素可以改变。现有的方法无法支持这种复杂的场景。为了填补这一空白，本文提出了一个广义在线正则多矢（CP）张量分解和完成框架（名为GOCPT），在这个一般的设置，我们保持CP结构的动态张量在进化过程中。我们表明，现有的在线张量因式分解和完成设置可以在GOCPT框架下统一。此外，我们提出了一个名为GOCPTE的变体，用于处理历史张量元素不可用的情况（例如，隐私保护），其实现了与GOCPT类似的适应性，但具有少得多的计算成本。实验结果表明，我们的GOCPT可以在JHU Covid数据上提高高达2：8%的适应度，在专有患者索赔数据集上提高9：2%的适应度。我们的变体GOCPTE在两个数据集上显示了高达1：2%和5：5%的适应度改进，与最佳模型相比，加速了约20%。
2022-05-08 cs.LG cs.MS cs.NA
Completion of the DrugMatrix Toxicogenomics Database using 3-Dimensional Tensors
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出利用三维张量补全方法补全DrugMatrix毒理基因组学数据库，通过保留组织-处理-转录组三维结构并采用非负张量补全，相比传统CP分解和矩阵分解方法实现了更低的均方误差和平均绝对误差，更准确地反映原始数据分布并揭示组织间关系。
2025-07-02 cs.AI cs.LG q-bio.QM
Low-Rank Tensor Completion Based on Bivariate Equivalent Minimax-Concave Penalty
Northwest A&F University（西北农林科技大学）
低秩张量完备化是计算机视觉和机器学习中的一个重要问题。最小最大凹罚函数（MCP）作为一种非凸松弛函数，在LRTC问题中取得了很好的效果。为了将MCP函数的所有常数参数作为变量，进一步提高LRTC问题对奇异值变化的适应性，提出了二元等价最小最大凹罚（BEMCP）定理.将BEMCP定理应用于张量奇异值，得到了二元等价加权张量$Γ$ -范数（BEWTGN）定理，并分析和讨论了它的相应性质.此外，为了便于求解LRTC问题，我们给出了BEMCP定理和BEWTGN的近似算子。同时，我们提出了LRTC问题的BEMCP模型，并基于交替方向乘子（ADMM）进行了最优求解。最后，将该方法应用于多光谱图像（MSI）、磁共振成像（MRI）和彩色视频（CV）的数据处理，实验结果表明，该方法的性能优于现有方法。
2022-09-17 cs.CV cs.LG
High-dimension Tensor Completion via Gradient-based Optimization Under Tensor-train Format
Graduate School of Engineering, Saitama Institute of Technology, Japan（日本埼玉科技大学工学研究科）；Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan（日本RIKEN先进人工智能项目（AIP）张量学习单元）；School of Automation, Guangdong University of Technology, China（广东技术大学自动化学院）；School of Computer Science and Technology, Hangzhou Dianzi University, China（杭州电子科技大学计算机科学与技术学院）
本文提出了一种基于张量列车格式的梯度优化方法，用于补全高维张量中的缺失数据，通过寻找低秩张量列车分解来捕捉数据的潜在特征，并利用梯度下降算法高效解决张量补全问题，同时引入视觉数据张量化方法提升算法性能。
2018-11-30 cs.CV cs.LG cs.NA
