zPROBE: Zero Peek Robustness Checks for Federated Learning
Purdue University（普渡大学）；San Diego State University（圣地亚哥州立大学）；University of California San Diego（加州大学圣地亚哥分校）
zPROBE提出首个基于高崩溃点秩统计与零知识证明的联邦学习隐私鲁棒性检查框架，通过随机聚类提升可扩展性，在不泄露用户更新的前提下检测并移除拜占庭恶意更新，实现低开销防御。
2023-09-05 cs.CR cs.LG
The Power of Sampling: Dimension-free Risk Bounds in Private ERM
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
本研究提出将正则化指数机制与现有采样器结合，仅用零阶预言机在低秩梯度假设下为非平滑凸目标实现依赖秩的风险界，解决了传统差分隐私经验风险最小化中的维度依赖、非平滑及高成本梯度问题，并构建了相关下界。
2024-06-03 cs.CR cs.LG math.OC
Tight Differentially Private PCA via Matrix Coherence
Bocconi University（博科尼大学）；Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息科技学校）
我们重新审视的任务，计算跨度的顶部$r$奇异向量$u_1, \ldots, u_r$的矩阵下差分隐私。我们表明，一个简单而有效的算法-基于奇异值分解和标准的扰动机制-返回一个私人的秩$r$近似，其误差仅取决于\emph{rank-$r$ coherence}的$u_1, \ldots, u_r$和频谱间隙$σ_r - σ_{r+1}$。这解决了Hardt和Roth~ \cite{hardt2013beyond}提出的一个问题。我们的估计器优于最先进的技术-在某些情况下显着。特别是，我们表明，在密集的设置，它实现了相同的保证单尖峰PCA的Wishart模型中的最佳非私人算法所达到的，而以前的私人算法未能做到这一点。此外，我们证明了（秩- $r$）相干性不增加高斯扰动下。这意味着任何基于高斯机制的估计器-包括我们的估计器-都保持了输入的一致性。我们推测，类似的行为适用于其他结构化模型，包括种植的问题图。我们还探讨了应用程序的连贯性图的问题。特别是，我们提出了一个差分隐私算法的最大切割和其他约束满足问题下的低一致性假设。
2025-10-30 cs.DS cs.LG
Differentially Private Graph Learning via Sensitivity-Bounded Personalized PageRank
Google Research（谷歌研究院）
针对PPR对图边高度敏感易泄露隐私的问题，提出一种敏感度有界的近似PPR算法，在高度数图上准确率接近非隐私算法，并直接衍生出多种差分隐私图学习工具。
2024-02-14 cs.CR cs.LG cs.SI
DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation
Samsung R&D Institute UK（英国三星研发研究院）；AI Center-Cambridge, Samsung（三星剑桥人工智能中心）
本文针对 DP-FL 下设备端微调大型 Transformer 性能下降问题，提出可满足差分隐私的动态低秩适配方法 DP-DyLoRA，并在多领域任务中显著降低准确率与 WER 损失。
2025-02-17 cs.CR cs.DC cs.LG
DPSR: Differentially Private Sparse Reconstruction via Multi-Stage Denoising for Recommender Systems
Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心）
DPSR通过多阶段去噪框架在推荐系统中实现差分隐私保护，有效提升推荐质量，优于现有隐私保护机制。
2025-12-22 cs.CR cs.LG
Differentially Private Shapley Values for Data Evaluation
University of Edinburgh（爱丁堡大学）
Shapley值已被提出作为机器学习中许多应用的解决方案，包括对数据的公平估值。Shapley值在计算上是昂贵的，并且涉及整个数据集。对一个点的Shapley值的查询也可能损害其他数据点的统计隐私。我们观察到，在机器学习问题，如经验风险最小化，并在许多学习算法（如那些具有一致稳定性），收益递减属性，其中每个数据点的边际效益随着数据样本大小迅速下降。基于这一性质，我们提出了一种新的分层逼近方法，称为分层Shapley算法。我们证明了这种方法的小（O（\polylog（n）的随机样本的数据和小尺寸（$O(\log n)$）联盟，以达到保证概率精度的结果，并可以修改，将差分隐私。实验结果表明，该算法正确地识别高值数据点，提高验证精度，和差分私人评价保持近似排名的数据。
2022-06-01 cs.CR cs.LG
Private Low-Rank Approximation for Covariance Matrices, Dyson Brownian Motion, and Eigenvalue-Gap Bounds for Gaussian Perturbations
Worcester Polytechnic Institute（伍斯特理工学院）；Yale University（耶鲁大学）
针对(ε,δ)-差分隐私下协方差矩阵的秩k逼近问题，提出高斯机制的复变体并结合戴森布朗运动视角分析，改进了弗罗贝尼乌斯范数上界，还证明了扰动矩阵特征值间隙以高概率较大，成果对相关领域有独立价值。
2025-02-11 cs.CR cs.DS cs.LG
Oneshot Differentially Private Top-k Selection
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
能够高效准确地选择具有差分隐私的顶级$k$元素是各种隐私数据分析任务的组成部分。在本文中，我们提出了oneshot拉普拉斯机制，它概括了著名的报告噪声最大的机制，以报告嘈杂的顶部$k$元素。我们发现，oneshot拉普拉斯机制的噪音水平为$\widetilde{O}(\sqrt{k}/\eps)$近似差分私人。与之前运行Report Noisy Max $k$次的剥离方法相比，oneshot Laplace机制仅添加噪声并计算顶部$k$元素一次，因此对于大型$k$更有效。此外，我们的隐私证明依赖于一种新的耦合技术，绕过使用的组合定理。最后，我们提出了一个新的应用程序，有效的顶部$k$选择的经典问题，从成对比较排名。
2021-06-23 cs.CR cs.LG stat.ML
NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation
Brave Research（Brave研究）
NoEsis框架结合差分隐私与混合两阶段参数高效微调，在模块化LLM适配中实现可证明隐私保证与跨域知识迁移，并在CodeXGLUE上弥补至少77%的准确率差距。
2025-04-25 cs.CR cs.LG
Distributed Differentially Private Data Analytics via Secure Sketching
Aarhus University（奥胡斯大学）
本文提出线性变换模型，一种分布式差分隐私数据分析模型，介于中心模型和本地模型之间，通过安全多方计算在多服务器上分布应用公共矩阵，避免了单点故障并降低噪声，在低秩近似和岭回归等任务中保持高效用。
2025-03-05 cs.CR cs.LG
PRISM: Gauge-Invariant Tangent-Space Differentially Private LoRA
University of Science and Technology of China（中国科学技术大学）
针对LoRA中低秩参数化导致的非可辨识性和规范依赖噪声放大问题，提出PRISM机制，通过构造规范不变的差分隐私扰动，实现高效且稳定的隐私-效用权衡。
2026-05-31 cs.LG
Differentially Private Federated Learning for Cancer Prediction
Owkin Inc.（奥金公司）
自2014年以来，NIH资助的iDASH（整合数据用于分析，分析，共享）国家生物医学计算中心每年举办一次关于基因组数据私人计算主题的竞赛。在2020年的一个竞赛中，参赛者面临的挑战是使用差分隐私（DP）对基因组癌症预测模型进行联邦学习（FL）训练的方法，提交的作品根据给定DP预算的测试准确性进行排名。更确切地说，在这条赛道上，我们的任务是训练一个监督模型，用于从两个虚拟中心之间的基因组数据中预测乳腺癌的发生，同时确保通过DP传输模型的数据隐私。在这篇文章中，我们提出了我们的第三位提交给这个竞争。在竞争过程中，我们遇到了本文中讨论的两个主要挑战：i）确保隐私预算评估的正确性，ii）在预测性能和隐私预算之间实现可接受的权衡。
2021-03-24 cs.CR cs.LG stat.ML
Private Matrix Approximation and Geometry of Unitary Orbits
Worcester Polytechnic Institute（伍斯特理工学院）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
考虑以下优化问题：给定$n \times n$矩阵$A$和$Λ$，最大化$\langle A, UΛU^*\rangle$，其中$U$在酉群$\mathrm{U}(n)$上变化。该问题寻求通过其谱与$Λ$相同的矩阵来近似$A$，并且通过将$Λ$设置为适当的对角矩阵，可以恢复矩阵近似问题，例如PCA和秩- $k$近似。我们研究了在使用用户的私有数据构建矩阵$A$的设置中为该优化问题设计差异私有算法的问题。我们给出了有效的和私人的算法，来与上界和下界的近似误差。我们的结果统一和改进了一些私人矩阵逼近问题的工作。他们依赖于扩展包装/覆盖数界的格拉斯曼酉轨道应该是独立的利益。
2022-07-06 cs.CR cs.DS cs.LG
Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices
Apple Inc.（苹果公司）
联邦学习（FL）是一种使用跨设备分布的数据来训练模型的技术。差分隐私（DP）为敏感数据提供正式的隐私保证。我们的目标是在计算受限的设备上训练一个大型神经网络语言模型（NNLM），同时使用FL和DP保护隐私。然而，引入模型的DP噪声随着模型大小的增加而增加，这通常会阻止收敛。我们提出了部分嵌入更新（PEU），一种新的技术，以减少噪声，通过减少有效载荷的大小。此外，我们采用低秩适应（LoRA）和噪声对比估计（NCE），以减少计算受限设备上的大型模型的内存需求。这种技术组合使得训练大词汇量语言模型成为可能，同时保持准确性和隐私性。
2022-07-18 cs.CL cs.CR cs.LG
Challenges in Enabling Private Data Valuation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Virginia（弗吉尼亚大学）
本文研究了在差分隐私下实现数据估值的可行性，分析了现有方法的局限性，并提出了更隐私友好的估值设计原则。
2026-02-27 cs.AI cs.CR cs.LG
Differentially Private Clustered Federated Learning with Privacy-Preserving Initialization and Normality-Driven Aggregation
Samsung AI Centre Cambridge（三星剑桥人工智能中心）
本文提出PINA框架，通过轻量级LoRA适配器和正态驱动聚合机制，提升聚类联邦学习的隐私保护与收敛性能，实验显示在隐私预算下准确率提升2.9%。
2026-04-22 cs.CR cs.LG
On Differentially Private U Statistics
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究差分隐私下U统计量的估计问题，提出基于局部Hájek投影的阈值化方法以改进现有私有均值估计算法的次优误差，并在非退化与退化情形下取得近乎最优的私有误差。
2024-07-06 cs.CR cs.LG math.ST
Private Covariance Approximation and Eigenvalue-Gap Bounds for Complex Gaussian Perturbations
Worcester Polytechnic Institute（伍斯特理工学院）；Yale University（耶鲁大学）
本文研究差分隐私下的协方差矩阵低秩逼近问题，提出一种复高斯机制变体，利用复矩阵布朗运动特征值更强的排斥性，在仅需第k与k+1特征值存在适当间隙的条件下，将逼近误差界改进至大致为$\tilde{O}(\sqrt{kd})$。
2023-06-29 cs.CR cs.DS cs.LG
FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA
KAIST（韩国科学技术院）；Technische Hochschule Nürnberg Georg Simon Ohm（图林根应用技术大学 Georg Simon Ohm 研究所）
FedSVD通过SVD全局重参数化，仅优化B矩阵并自适应更新A，避免LoRA在DP-SGD下的噪声放大，提升私有联邦学习性能。
2025-10-25 cs.AI cs.LG
Scaling Private Deep Learning with Low-Rank and Sparse Gradients
Osaka University（大阪大学）；LINE Corporation（LINE公司）
将差分私有随机梯度下降（DPSGD）应用于训练现代大规模神经网络（例如基于变换器的模型）是一项具有挑战性的任务，因为在每次迭代时添加到梯度的噪声的大小随模型维度而缩放，从而显著地阻碍了学习能力。我们提出了一个统一的框架，$\textsf{LSG}$，充分利用低秩和稀疏结构的神经网络，以减少梯度更新的维数，从而减轻DPSGD的负面影响。首先用一对低秩矩阵近似梯度更新。然后，一种新的策略被用来稀疏的梯度，导致低维，噪声较小的更新，但仍能够保持神经网络的性能。对自然语言处理和计算机视觉任务的实证评估表明，我们的方法优于其他国家的最先进的基线。
2022-07-06 cs.CR cs.LG
Differentially Private Generalized Linear Models Revisited
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
该研究重新审视差分隐私广义线性模型，针对两类凸损失线性预测器的隐私学习问题，推导了紧的上下界与最优速率，提出无需先验知识的私有模型选择方法实现最优性能。
2024-03-06 cs.LG stat.ML
ORDERS: An Empirical Study of Norm-Rank Aggregation for Personalized Federated Learning
The University of the West Indies（西印度群岛大学）
本研究实证评估了ORDERS配置，该配置结合共享主干、私有适配器、范数排名加权、特征对齐和扰动，在CIFAR-10和Sent140上相比基线略有提升，但消融显示范数排名和扰动收益有限。
2026-10-08 cs.LG
Re-Analyze Gauss: Bounds for Private Matrix Approximation via Dyson Brownian Motion
Worcester Polytechnic Institute（伍斯特理工学院）；Yale University（耶鲁大学）
给定一个对称矩阵$M$和一个向量$λ$，在$(\varepsilon,δ)$ -差分隐私下，我们给出了用一个谱为$λ$的矩阵近似$M$的高斯机制的Frobenius距离效用的新界.我们的边界依赖于$λ$和$M$的特征值的间隙，并且只要$M$的顶部$k+1$特征值具有足够大的间隙就成立。当应用到私人秩- $k$协方差矩阵逼近和子空间恢复的问题时，我们的界限比以前的界限产生改进。我们的界限是通过观察高斯噪声作为一个连续时间矩阵布朗运动。这种观点使我们能够跟踪矩阵的特征值和特征向量的演化，这些特征值和特征向量由Dyson发现的随机微分方程控制。这些方程使我们能够将效用约束为特征向量扰动平方和的平方根，而不是通过Davis-Kahan型定理获得的扰动界的总和。
2022-11-11 cs.CR cs.DS cs.LG
Private and Robust Contribution Evaluation in Federated Learning
University of La Laguna（拉拉加大学）；HUN-REN Hungarian Research Network（HUN-REN匈牙利研究网络）；Chalmers University（查尔姆斯大学）；Budapest University of Technology and Economics（布达佩斯技术经济大学）
本文提出两种与安全聚合兼容的边际差异贡献评分，兼顾公平性、隐私和鲁棒性，提升联邦学习中的贡献评估效果。
2026-02-25 cs.CR cs.GT cs.LG
Differentially Private Graph Diffusion with Applications in Personalized PageRanks
Georgia Institute of Technology（佐治亚理工学院）
针对图扩散发布可能泄露敏感链接信息的问题，提出带边级差分隐私的图扩散框架，通过迭代注入拉普拉斯噪声、基于度的阈值函数及无穷瓦瑟斯坦距离跟踪优化隐私分析，在真实数据上验证了其在个性化PageRank任务中的隐私-效用优势。
2025-02-18 cs.CR cs.IR cs.LG
DP-FedSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix
Department of Mechanical Engineering, Indian Institute of Technology Delhi（印度理工学院德里机械工程系）；SQC & OR Unit, Indian Statistical Institute Kolkata（印度统计研究院科钦SQC与OR单位）；Department of Artificial Intelligence, Indian Institute of Technology Hyderabad（印度理工学院海得拉巴人工智能系）；Operations Management & Quantitative Techniques Area, Indian Institute of Management, Indore（印度管理学院印地尔运营管理和定量技术领域）
针对差分隐私联邦学习在严格隐私预算下收敛慢的问题，提出DP-FedSOFIM方法，利用正则化Fisher信息矩阵的代理进行二阶优化，无需完整Hessian计算，在CIFAR-10和PathMNIST上实现更快收敛和更高精度。
2026-06-23 cs.CR cs.DC cs.LG
Spectral Perturbation Bounds for Low-Rank Approximation with Applications to Privacy
Yale University（耶鲁大学）
该研究针对低秩近似的谱范数扰动估计问题，提出基于围道自助法的新对称矩阵谱扰动界，改进了经典定理，可提升差分隐私PCA的效用保证，且实验验证了界的准确性。
2025-10-29 cs.CR cs.DS cs.LG
ScoreShield: Differentially Private Release of Similarity Scores
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；School of Engineering, École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院工程学院）
研究生物识别等应用中相似度分数隐私保护问题，提出ScoreShield先扰动后投影机制，添加校准高斯噪声并投影到可行性集，满足（ε，δ）-DP，给出效用保证，在多任务中评估，改进了风险的n依赖性。
2026-07-29 cs.CR cs.CV cs.IR
Faking feature importance: A cautionary tale on the use of differentially-private synthetic data
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）；University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Glasgow（格拉斯哥大学）；University of Leeds（利兹大学）；DFKI（德国人工智能研究中心）
合成数据集通常被视为隐私保护数据发布问题的银弹解决方案。然而，对于许多应用，合成数据已被证明在用于训练预测模型时具有有限的效用。这些数据的一个有希望的潜在应用是在机器学习工作流程的探索阶段，其中涉及理解，工程和选择功能。这一阶段往往需要相当长的时间，并取决于数据的可用性。如果合成数据能够在谈判数据访问或减少信息治理限制的同时执行这些步骤，则将具有重大价值。本文提出了一个实证分析的原始和合成数据中获得的特征重要性之间的协议，在一系列人工生成的和真实世界的数据集（其中特征重要性表示如何有用的每个功能时，预测的结果）。我们采用两种不同的私人方法来产生合成数据，并应用各种实用措施来量化协议的特征重要性，因为这与隐私的水平。我们的研究结果表明，合成数据有时可以保留几个表示的功能重要性的排名在简单的设置，但他们的表现是不一致的，并取决于一些因素。在更微妙的现实环境中应特别谨慎，因为合成数据可能导致特征重要性排名的差异，从而可能改变关键的建模决策。这项工作对于开发金融和医疗保健等领域高度敏感数据集的合成版本具有重要意义。
2022-03-02 cs.LG stat.AP
On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning
University of Toronto（多伦多大学）
虽然差分隐私和梯度压缩分别是机器学习中研究得很好的主题，但这两个主题之间的交互研究仍然相对较新。我们对差分隐私的高斯机制和梯度压缩如何共同影响深度学习中的测试准确性进行了详细的实证研究。现有的文献中的梯度压缩大多数评估压缩的差分隐私保证的情况下，并证明，足够高的压缩率降低准确性。类似地，现有的文献在差分隐私评估隐私机制的压缩的情况下，并证明，足够强大的隐私保证降低准确性。在这项工作中，我们观察到，虽然梯度压缩通常对非私有训练中的测试准确性有负面影响，但它有时可以提高差异私有训练中的测试准确性。具体来说，我们观察到，当采用积极的稀疏化或降秩梯度，测试精度是受高斯噪声添加的差分隐私。这些意见解释通过分析如何差分隐私和压缩的影响，估计平均梯度的偏差和方差。我们遵循这项研究，并就如何在差分私有深度学习和梯度压缩的背景下提高测试准确性提出了建议。我们评估了这个建议，发现它可以减少噪音添加的差分隐私机制对测试精度的负面影响高达24.6%，并减少梯度稀疏化对测试精度的负面影响高达15.1%。
2022-11-01 cs.CR cs.LG
Differentially Private Semantic Plans for Aggregate Insight Generation
Harvard University（哈佛大学）
DP-SPIN是一个可信策展人框架，通过将记录映射为语义草图并发布差分隐私语义计划，实现独立于受保护数据的语义概念的聚合测量与摘要生成。
2026-09-16 cs.LG
SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients
Zhejiang University（浙江大学）；Tsinghua University（清华大学）
提出SDFLoRA，通过将LoRA更新解耦为共享和私有组件，仅聚合共享部分并注入差分隐私噪声，解决联邦微调中的秩异构和数据异构问题，提升隐私-效用权衡。
2026-06-16 cs.AI cs.LG
Differentially private and decentralized randomized power method
INSA Lyon and McGill University（里昂高等工业学院和麦吉尔大学）
针对随机幂方法应用于含个人信息的大规模数据集时的隐私问题，提出降低差分隐私所需噪声的改进变体，并适配去中心化框架，给出更紧收敛界且经真实数据集验证有效。
2025-06-12 cs.CR cs.LG cs.NA
Clients Collaborate: Flexible Differentially Private Federated Learning with Guaranteed Improvement of Utility-Privacy Trade-off
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出联邦学习框架 FedCEO，通过服务器端张量低秩近端优化让客户端协作平滑全局语义空间，在严格差分隐私保证下恢复模型语义并改进效用-隐私权衡界。
2025-05-05 cs.AI cs.CR cs.LG
Rate-Optimal Rank Aggregation with Private Pairwise Rankings
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Purdue University（普渡大学）
本文解决私有成对排名聚合中的隐私与效用平衡问题，提出自适应去偏方法纠正随机响应机制引入的偏差，实现真实偏好的一致估计，并建立极小化极大速率以确定最优隐私保证。
2025-04-02 cs.CR cs.LG stat.ML
Faster Rates of Convergence to Stationary Points in Differentially Private Optimization
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文研究差分隐私下Lipschitz光滑函数平稳点的逼近问题，提出新算法将有限和情形的平稳点速率从O((√d/(nε))^{1/2})改进为O((√d/(nε))^{2/3})，并在随机优化、凸性与广义线性模型等设定下给出更优或最优的总体平稳性速率。
2023-05-30 cs.CR cs.LG math.OC
The pretraining domain outweighs the training objective in setting the privacy-utility trade-off of differentially private medical image analysis
RWTH Aachen University（亚琛工业大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；Stanford University（斯坦福大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文研究了自监督预训练在差分隐私医疗图像分析中的作用，发现DINOv3初始化在DP下优于ImageNet初始化，但不如领域特定监督预训练。
2026-11-10 cs.AI cs.CV cs.LG
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Federated Survival Analysis with Node-Level Differential Privacy: Private Kaplan-Meier Curves
Cancer Registry of Norway（挪威癌症登记处）；Norwegian Institute of Public Health（挪威公共卫生研究院）；The Arctic University of Norway（北极大学）
该研究提出一种节点级差分隐私下的联邦Kaplan-Meier曲线计算方法，通过单轮加噪平均与多种平滑技术验证，在隐私预算≥0.5时可在低误差下共享临床有用的生存信息。
2025-08-30 cs.AI cs.CR cs.DC
FRL: Federated Rank Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
联邦学习（FL）允许相互不信任的客户端协作地训练公共机器学习模型，而无需在彼此之间共享它们的私有/专有训练数据。不幸的是，FL容易受到恶意客户端的毒害，这些客户端的目的是通过在FL的训练过程中发送恶意模型更新来妨碍通常训练模型的准确性。我们认为，针对现有FL系统的中毒攻击成功的关键因素是客户端可用的模型更新空间很大，允许恶意客户端搜索最有毒的模型更新，例如，解决一个优化问题。为了解决这个问题，我们提出了联邦秩学习（FRL）。FRL将客户端更新的空间从标准FL中的模型参数更新（浮点数的连续空间）减少到参数排名的空间（整数值的离散空间）。为了能够使用参数秩（而不是参数权重）训练全局模型，FRL利用了最近的超级掩码训练机制的思想。具体地，FRL客户端基于其本地训练数据对随机初始化的神经网络（由服务器提供）的参数进行排名。FRL服务器使用投票机制来聚合客户端在每个训练时期中提交的参数排名，以生成下一个训练时期的全局排名。直观地说，我们基于投票的聚合机制可以防止中毒客户端对全局模型进行重大的对抗性修改，因为每个客户端都有一次投票！通过分析和实验证明了FRL对中毒的鲁棒性。我们还展示了FRL的高通信效率。我们的实验证明了FRL在真实世界FL设置中的优越性。
2022-08-16 cs.LG
FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates
Graduate School of AI, KAIST（韩国科学技术院人工智能学院）
FedRand框架通过让客户端仅随机公开部分LoRA子参数参与联邦聚合、保留其余参数为私有，从而在保持与完整LoRA通信方法相当准确率的同时，显著提升视觉-语言模型联邦学习对成员推断攻击的鲁棒性。
2025-03-11 cs.LG
Gap-Free Streaming PCA Beyond Rank-One Updates: Near-Optimal Rates and Applications to Differential Privacy
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无特征间隙假设下流式PCA的Oja算法新分析，仅需二阶矩界实现近最优速率，并扩展至差分隐私应用，解决开放猜想。
2026-09-23 cs.DS cs.LG stat.ML
Re-examining low-rank adaptation for private LLM fine-tuning
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）
研究差分隐私SGD中噪声导致的梯度奇异值膨胀问题，提出通过部分恢复原始奇异值分布来提升DP-SGD的样本效率。
2026-11-04 cs.LG
DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately
Zhejiang Laboratory（浙江实验室）
本文针对FedLLM微调中的信息泄露问题，提出DR-Encoder两阶段差分隐私方案，通过带高斯随机先验的梯度自编码器加噪微调，在多个模型与基准上验证了性能提升并完成隐私分析。
2024-12-22 cs.AI cs.CR cs.LG
A Framework for Private Matrix Analysis
Johns Hopkins University（约翰霍普金斯大学）；Fujitsu Laboratories of America（富士通美国研究院）
我们研究了滑动窗口模型中的私有矩阵分析，其中只有最后的$W$更新矩阵被认为是有用的分析。我们给第一个有效的$o(W)$空间差分私有算法的频谱近似，主成分分析，线性回归。我们还启动和显示有效的差异私有算法的两个重要的主成分分析：稀疏主成分分析和非负主成分分析。在我们的工作之前，即使在静态数据设置中，稀疏和非负差分私有主成分分析也没有这样的结果。这些算法是通过确定由流矩阵构成半正定矩阵的充分条件而得到的。我们还显示了计算低秩近似所需的空间上的下界，即使该算法给出了乘法近似，并引起附加误差。这通过减少到某个通信复杂性问题而实现。
2020-09-06 cs.CR cs.DS cs.LG
Edge Private Graph Neural Networks with Singular Value Perturbation
University of Southern California（南加利福尼亚大学）
针对GNN训练中的边隐私泄露问题，提出Eclipse算法，利用奇异值分解的低秩图表示并添加扰动，在保证差分隐私的同时提升模型效用，实验显示效用最高提升46%，攻击AUC降低5%。
2024-03-16 cs.AI cs.CR cs.LG
PD-ML-Lite: Private Distributed Machine Learning from Lighweight Cryptography
Bloomberg LP（彭博有限合伙企业）；University of Edinburgh（爱丁堡大学）
隐私是从分布式数据中学习的一个主要问题。最近，密码学文献为这项任务提供了几种工具。然而，这些工具或者降低了学习算法的质量/准确性--例如，通过增加噪音-或者它们招致高性能惩罚和/或涉及信任外部权威。我们提出了一种方法{ \sl私有分布式机器学习从轻量级密码}（简称PD-ML-Lite）。我们将我们的方法应用于两个主要的ML算法，即非负矩阵分解（NMF）和奇异值分解（SVD）。我们由此产生的协议是通信最佳的，实现了与非私有对应方相同的准确性，并满足了隐私的概念-我们定义的-这是直观和可测量的。我们的方法是使用轻量级密码协议（安全和和规范化安全和）来构建学习算法，而不是将复杂的学习算法包装在高成本的MPC框架中。我们展示了我们的算法的实用性和隐私的几个应用程序：NMF，我们认为主题建模和推荐系统，SVD，主成分回归，和低秩近似。
2019-04-10 cs.CR cs.LG stat.ML
Fed-SB: A Silver Bullet for Extreme Communication Efficiency and Performance in (Private) Federated LoRA Fine-Tuning
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Duke University（杜克大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
针对联邦LoRA微调中传统方法通信成本高或性能下降的问题，提出Fed-SB方法，通过对LoRA-SB中的小方阵R直接平均实现与客户端数无关的低通信成本，在多任务上达SOTA且通信成本最高降230倍，同时适配私有联邦场景。
2025-10-04 cs.AI cs.CL cs.DC
Deep Private-Feature Extraction
Sharif University of Technology（谢里夫理工大学）；Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（伦敦帝国理工学院）
我们提出并评估了深度私有特征提取器（DPFE），这是一种基于信息论约束进行训练和评估的深度模型。通过在用户设备和服务提供商之间选择性地交换信息，DPFE使用户能够防止某些敏感信息与服务提供商共享，同时允许他们使用自己的模型提取经批准的信息。我们引入并利用对数秩隐私，一种新的措施来评估DPFE在删除敏感信息的有效性，并比较不同的模型的基础上，他们的准确性和隐私的权衡。然后，我们在智能手机上实现和评估DPFE的性能，以了解其复杂性，资源需求和效率权衡。我们在基准图像数据集上的结果表明，在适度的资源利用率下，DPFE可以实现高精度的主要任务，同时保护敏感特征的隐私。
2018-02-28 cs.CR cs.CV cs.IT
The Gradient Does Not See Rank: Rank-Indifference in Matrix-CODI on ProsQA
Pebble ML
该研究发现Matrix-CODI模型在ProsQA任务中秩k投影消融曲线平坦，梯度对Z的秩不敏感，排除读出方式影响后仍存在该现象，普通GPT-2 SFT也有类似表现，揭示秩盲与位置无关性的混淆问题。
2026-09-04 cs.LG
Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices
University of Maryland, College Park（马里兰大学帕克分校）；University of California, Irvine（加利福尼亚大学欧文分校）；Cisco Research（思科研究院）
针对边缘设备LLM适配的隐私与算力限制问题，提出Prada系统，通过本地LoRA微调代理模型、利用logits偏移优化黑盒LLM输出并结合投机解码，在保障隐私的同时实现与集中式微调相当的性能，大幅降低计算与通信成本。
2025-03-19 cs.CR cs.DC cs.LG
Privacy-Preserving Low-Rank Adaptation against Membership Inference Attacks for Latent Diffusion Models
The University of Auckland（奥克兰大学）；The National University of Singapore（新加坡国立大学）；The University of Melbourne（墨尔本大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对LoRA适配的潜在扩散模型易受成员推理攻击的问题，提出SMP-LoRA，通过最小化适配损失与MI增益的比率实现隐私保护，并理论证明其收敛性，实验验证能防御攻击并生成高质量图像。
2024-12-16 cs.CR cs.CV cs.LG
Stable-Plastic Subspace Construction for Differentially Private Continual LoRA
Xidian University（西安电子科技大学）；Tianjin University（天津大学）
针对差分隐私持续LoRA的稳定-塑性子空间构建方法DP-SPA，通过分离稳定与塑性子空间优化LoRA因子，在多数据集实验中提升了平均准确率并减少了遗忘。
2026-10-14 cs.LG
