Differentially-Private Clustering of Easy Instances
Google Research（谷歌研究院）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Ben-Gurion University（本-古里安大学）
聚类是数据分析中的一个基本问题。在差异私有集群中，目标是在不公开单个数据点信息的情况下识别$k$集群中心。尽管在研究方面取得了重大进展，但这一问题迄今仍没有切实的解决办法。在这项工作中，我们的目标是提供简单的可实现的差异私有聚类算法，当数据是"容易"，例如，当簇之间存在显著的分离时。我们提出了一个框架，允许我们应用非私有聚类算法的简单的实例和私人结合的结果。在高斯混合和$k$-均值的某些情况下，我们能够得到改进的样本复杂度界。我们补充我们的理论分析与实证评估的合成数据。
2021-12-29 cs.CR cs.DS cs.LG
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University（克莱姆森大学）
本文提出一种局部差分隐私分布式在线学习方法，利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算，并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Instance-Optimal Private Density Estimation in the Wasserstein Distance
Apple（苹果公司）；Boston University（波士顿大学）
本文研究 Wasserstein 距离下差分隐私密度估计的实例最优算法，针对一维和二维分布分别刻画实例最优估计速率并证明其可均匀达到，方法可推广至任意度量空间及离散分布的 TV 距离私有学习。
2024-06-27 cs.CR cs.DS cs.LG
Privately Estimating Black-Box Statistics
University of Canterbury（坎特伯雷大学）；Google DeepMind（谷歌DeepMind）
本文提出一种在黑盒函数上实现差分隐私的方案，平衡统计效率与 oracle 效率，并展示其近最优性。
2026-05-08 cs.CC cs.CR cs.DS
Differentially Private Covariate Balancing Causal Inference
Yale School of Public Health（耶鲁公共卫生学院）；University of Pittsburgh（匹兹堡大学）
本文针对隐私敏感场景下观测数据因果推断中协变量平衡与隐私保护难以兼顾的问题，提出一种差分隐私两阶段协变量平衡加权估计量，在给定隐私预算下同时提供具有一致性和速率最优性保证的点估计与区间估计。
2026-10-30 cs.CR cs.LG stat.ME
An Optimal Private Stochastic-MAB Algorithm Based on an Optimal Private Stopping Rule
University of Alberta（阿尔伯塔大学）
我们为随机多臂强盗问题提出了一个可证明的最优差分私有算法，而不是UCB算法的私有模拟[Mishra和Thakurta，2015; Tossou和Dimitrakakis，2016]，它不符合最近发现的$Ω\left(\frac{K\log(T)}ε \right)$的下限[Shariff和Sheffet，2018]。我们的构建基于不同的算法，逐次消除[Even-Dar et al. 2002]，重复拉动所有剩余的手臂，直到发现一个手臂是次优的，然后被消除。为了设计一个私人的模拟连续消除，我们访问的问题的私人停止规则，需要作为输入流的i.i.d样本从一个未知的分布，并返回一个乘法$(1 \pm α)$ -近似的分布的平均值，并证明我们的私人停止规则的最优性。然后，我们提出了私人连续消除算法，它满足非私人下界[Lai和Robbins，1985]和上述私人下界。我们还比较经验，我们的算法与私人UCB算法的性能。
2019-05-22 cs.LG stat.ML
Score Attack: A Lower Bound Technique for Optimal Differentially Private Learning
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）；Rutgers University（罗格斯大学）
该研究提出score attack方法，基于追踪攻击概念为差分隐私约束的参数估计极小极大风险提供下界，经多类模型验证其有效性与最优性。
2026-08-18 cs.CR cs.LG math.ST
A Central Limit Theorem for Differentially Private Query Answering
Apple（苹果公司）
也许差分隐私最重要的一个用例是私下回答数值查询，这通常是通过向答案向量添加噪声来实现的。因此，核心问题是了解哪种噪声分布优化了隐私-准确性权衡，特别是当答案向量的维度很高时。因此，大量文献致力于该问题，并且上限和下限已与常数因子相匹配[BUV 18，SU 17]。在本文中，我们采取了一种新的方法来解决这个重要的最优性问题。我们首先证明了一个有趣的中心极限定理现象在高维制度。更确切地说，我们证明了一个机制是近似高斯差分私有[DRS 21]，如果添加的噪声满足一定的条件。特别地，与$\mathrm{e}^{-\|x\|_p^α}$成比例的密度满足条件，其中$\|x\|_p$是标准$\ell_p$范数。从这个角度来看，我们利用Cramer-Rao不等式，并显示“不确定性原理”风格的结果：隐私参数和$\ell_2$ -损失的机制的产品是由维数下界。此外，高斯机制实现了所有此类噪声之间的恒定尖锐的最佳隐私准确性权衡。我们的研究结果得到了数值实验的证实。
2021-03-15 cs.CR cs.IT cs.LG
General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation
University of Toronto（多伦多大学）
本文研究差分隐私下无偏高维均值估计，提出计算高斯噪声最优协方差的算法，并证明高斯噪声机制在强意义下达到近乎最优误差，扩展至局部和近似差分隐私。
2023-12-20 cs.CR cs.DS cs.LG
Differentially Private Algorithms for Clustering with Stability Assumptions
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文研究了在输入稳定性假设下的差分私有聚类问题。尽管关于差分隐私的研究越来越多，特别是关于差异隐私聚类的研究，但只有三项研究（Nissim et al. 2007，Wang et al. 2015，Huang et al. 2018）研究了私下聚类“好”k均值实例的问题，这三个都依赖于样本，聚合框架和所有三个测量实用程序在真正的集群中心和返回的中心之间的Wasserstein距离私有算法在这项工作中，我们改进了这一系列的多轴工作。我们提出了一个简单得多的算法聚类稳定的输入（不依赖于样本和聚合框架），并分析其效用的Wasserstein距离和k-means成本。此外，我们的算法有直接的类似物“好”的k-中位数的实例和本地模型的差分隐私。
2021-06-11 cs.DS cs.LG
Differentially Private Analysis of Outliers
University of Tsukuba（筑波大学）
本文研究了基于距离的离群值的差异私有分析。离群点检测的问题是找到一小部分明显远离其余实例的实例。另一方面，差异隐私的目的是隐藏任何特定实例的存在（或不存在）。因此，异常值检测和隐私保护本质上是相互冲突的任务。在本文中，而不是报告检测到的离群值，我们提出了两种类型的差异私人查询，有助于了解离群值的行为。一个是计数离群值的查询，它报告出现在给定子空间中的离群值的数量。我们对离群点计数的精确全局灵敏度的形式化分析表明，常规的基于全局灵敏度的方法会使输出过于嘈杂，特别是当给定子空间的维数很高时。注意到异常值的计数通常预计是相对较小的数据的数量相比，我们引入了一个机制的基础上的本地灵敏度的平滑上限。另一个是用于发现包含大量离群值的顶级$h$子空间的查询。这个任务可以通过依次向每个子空间发出计数查询来简单地实现。然而，子空间的变化可以在数据维度上呈指数增长。这可能会严重消耗隐私预算。对于这项任务，我们提出了一个指数机制与自定义的得分函数的子空间发现。据我们所知，这项研究是第一次尝试，以确保差异隐私的距离为基础的离群值分析。我们用合成数据集和真实数据集演示了我们的方法。实验结果表明，与基于全局灵敏度的方法相比，该方法具有更好的实用性。
2015-07-27 cs.CR cs.LG stat.ML
Near-Optimal Algorithms for Differentially Private Online Learning in a Stochastic Environment
University of British Columbia（不列颠哥伦比亚大学）；University of Victoria（维多利亚大学）；University of Alberta（阿尔伯塔大学）
研究随机环境下差分隐私在线学习，提出基于UCB和Thompson Sampling的bandit算法及全信息算法，实现了匹配下界的近最优遗憾界。
2024-05-30 cs.LG
On Privately Estimating a Single Parameter
Apple（苹果公司）；Stanford University（斯坦福大学）
本研究针对大参数模型中的单参数隐私估计问题，基于新型估计量局部稳定性概念提出带隐私证书的高效差分隐私估计器，达到实例最优界，并在模拟与真实普查数据中验证了实用性。
2025-03-21 cs.CR cs.LG math.ST
Large Scale Private Learning via Low-rank Reparametrization
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个重新参数化方案，以解决在大型神经网络上应用差分私有SGD的挑战，这是1）存储单个梯度的巨大内存成本，2）遭受臭名昭著的维度依赖性的增加的噪声。具体来说，我们重新参数化每个权重矩阵与两个小尺寸的\emph{gradient-carrier}矩阵和一个\emph{residual weight}矩阵。我们认为，这种重新参数化保持向前/向后的过程不变，同时使我们能够计算投影梯度，而无需计算梯度本身。为了学习差分隐私，我们设计了\emph{reparametrized gradient perturbation (RGP)}，它扰动梯度载体矩阵上的梯度，并从噪声梯度中重建原始权重的更新。重要的是，我们使用历史更新来找到梯度载体矩阵，其最优性在线性回归下得到严格证明，并通过深度学习任务进行了经验验证。RGP大大降低了内存成本，提高了实用性。例如，我们是第一个能够在BERT模型上应用差分隐私的人，并且使用$ε=8$在四个下游任务上实现了$83.9\%$的平均准确度，与非隐私基线相比，这在$5\%$损失范围内，但隐私泄露风险要低得多。
2021-11-04 cs.CR cs.LG
Differentially Private Quantiles
Google New York（谷歌纽约）
分位数通常用于总结和理解数据。如果该数据是敏感的，则可能需要以差异私有的方式计算分位数，从而提供理论上的保证，即结果不会泄露私有信息。然而，当需要多个分位数时，现有的差分隐私算法表现不佳：它们要么单独计算分位数，分割隐私预算，要么汇总整个分布，浪费精力。在任何一种情况下，结果都是精度降低。在这项工作中，我们提出了一个实例的指数机制，同时估计准确的$m$分位数从$n$数据点，同时保证差分隐私。该效用函数经过精心构造，以允许高效实现返回时间上所有$m$分位数的估计值$O(mn\log(n) + m^2n)$。实验表明，我们的方法显着优于目前的最先进的真实和合成数据，同时保持足够的效率是实用的。
2021-09-20 cs.CR cs.LG
Asymptotically optimal private estimation under mean square loss
University of Maryland（马里兰大学）
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$度量私有化方案的隐私级别。在我们以前的工作（arXiv：1702.00610），我们提出了一个家庭的新的私有化计划和相应的估计。我们还证明了在$\ell_2^2$和$\ell_1$损失下，我们的方案和估计器在$e^ε \ll k$机制中是阶最优的。换句话说，对于大量的样本样本个数，我们的方案的最坏情况下的估计损失被证明与最佳值相差最多一个常数因子。在本文中，我们消除了这个差距，所提出的计划和估计下的$\ell_2^2$（均方）损失的渐近最优性。更准确地说，我们表明，对于任何$k$和$ε,$的最坏情况下的估计损失之间的比率，我们的计划和最佳值接近$1$的样本个数趋于无穷大。
2017-07-31 cs.IT cs.LG math.IT
Private Estimation when Data and Privacy Demands are Correlated
UC Berkeley, USA（加州大学伯克利分校）
针对数据与隐私需求相关时的私有估计问题，提出算法并在PAC误差和均方误差下建立理论保证，实现极小极大最优，实验验证优于基线。
2025-04-19 cs.CR cs.LG stat.ML
On Differentially Private U Statistics
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Cambridge（剑桥大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究差分隐私下U统计量的估计问题，提出基于局部Hájek投影的阈值化方法以改进现有私有均值估计算法的次优误差，并在非退化与退化情形下取得近乎最优的私有误差。
2024-07-06 cs.CR cs.LG math.ST
Optimality of Matrix Mechanism on $\ell_p^p$-metric
Nanjing University（南京大学）；Rutgers University（罗格斯大学）
本文在差分隐私下引入 $\ell_p^p$-误差度量，刻画了 $(ε,δ)$-差分隐私下回答线性查询的误差紧致界限，推广了前缀和与奇偶校验查询在 $p=2$ 时的已知结果。
2024-06-04 cs.CR cs.LG
Private Federated Frequency Estimation: Adapting to the Hardness of the Instance
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Rice University（莱斯大学）
本文针对多轮联邦频率估计提出可证明更优的混合草图算法，并设计两阶段方法根据实例难度自适应设置草图大小，同时支持差分隐私，在大规模数据上验证了性能优势。
2023-12-02 cs.DS cs.LG
On Differentially Private Subspace Estimation in a Distribution-Free Setting
Georgetown University（乔治城大学）
本文研究差分隐私子空间估计的样本复杂度，提出以乘性奇异值间隙刻画实例“容易程度”的新度量，给出与维度无关估计的充分必要间隙类型及上下界，并用实用算法验证高维优势。
2024-10-25 cs.CR cs.DS cs.LG
Shuffling-Aware Optimization for Private Vector Mean Estimation
LY Corporation（LY公司）
研究单消息洗牌模型下d维无偏均值估计，提出洗牌指数优化方法，建立均方误差下界，构造近最优机制实现隐私与效用的平衡。
2026-04-30 cs.LG
Private Learning and Sanitization: Pure vs. Approximate Differential Privacy
Harvard University（哈佛大学）
我们比较了纯$ε$ -差分隐私[Dwork et al. TCC 2006]和近似$(ε,δ)$-差分隐私[Dwork et al. Eurocrypt 2006]下私人学习[Kasiviswanathan et al. 2008]和消毒[Blum et al. 2008]的样本复杂度。我们表明，这些任务的样本复杂度下近似差分隐私可以显着低于纯差分隐私。我们定义了一个家庭的优化问题，我们称之为准凹承诺问题，概括了我们考虑的一些任务。我们观察到，一个准凹的承诺问题可以私下近似使用一个较小的实例的一个准凹的承诺问题的解决方案。这使我们能够构建一个有效的递归算法解决这些问题的私人。具体来说，我们构造私人学习点函数，阈值函数，和轴对齐的矩形在高维。类似地，我们构造点函数和阈值函数的消毒器。我们还研究了标签私人学习者的样本复杂性，这是一种放松的私人学习，学习者只需要保护样本中标签的隐私。我们表明，VC维度完全表征了这样的学习者的样本复杂性，即，学习的样本复杂性与标签隐私是平等的（常数）学习没有隐私。
2014-07-10 cs.CR cs.LG stat.ML
Differentially Private Set Union
Microsoft（微软）；Stanford University（斯坦福大学）
研究了差分隐私全局模型中集合并的基本运算。在这个问题中，我们给出了一个可能无限大的项目集$U$和一个用户数据库$D$。每个用户$i$贡献项目的子集$W_i \subseteq U$。我们需要一个（$ε$，$δ$）-差分私有算法，它输出一个子集$S \subset \cup_i W_i$，使得$S$的大小尽可能大。这个问题出现在无数现实世界的应用程序中;它在自然语言处理（NLP）应用程序中尤其普遍，如词汇提取。例如，发现单词、句子、$n$ -grams等，从属于用户的私有文本数据中提取数据是集合并问题的一个实例。用于该问题的已知算法通过从每个用户收集项目的子集、取这样的子集的并集并且公开噪声计数落在特定阈值以上的项目来进行。至关重要的是，在上述过程中，每个用户的贡献总是独立于其他用户持有的项目，这导致了一个浪费的聚合过程，其中一些项目计数恰好超过阈值。我们通过允许用户在$\textit{policy}$的引导下在$\textit{dependent fashion}$中贡献他们的项目来偏离上述范例。在这种新的环境下，确保隐私是非常微妙的。我们证明，任何政策，具有一定的$\textit{contractive}$属性将导致在一个不同的私人算法。我们设计了两个新的算法，一个使用拉普拉斯噪声和其他高斯噪声，作为满足压缩特性的政策的具体实例。我们的实验表明，新的算法显着优于以前已知的机制的问…
2022-04-06 cs.CR cs.DS cs.LG
From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
该研究将差分隐私机器学习建模为噪声不动点迭代，并据此为集中式、联邦式和完全去中心化学习提出隐私 ADMM 算法，证明其隐私放大与线性收敛效用保证。
2023-07-12 cs.CR cs.DC cs.LG
Aggregating Data for Optimal and Private Learning
Google DeepMind（谷歌DeepMind）；Northeastern University（东北大学）
本文针对多实例回归（MIR）和比例标签学习（LLP）框架，研究数据集最优分袋策略以最大化下游任务效用，理论证明其可简化为k-means等聚类问题，还可实现标签差分隐私并推广至广义线性模型，实验验证了理论结果。
2024-11-28 cs.LG
Private Federated Learning with Autotuned Compression
The Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
该研究提出无需手动调优压缩率的私有联邦学习通信优化技术，可自适应调整压缩率并保障隐私，在均值估计上实例最优，真实数据集上效果良好。
2023-07-20 cs.LG stat.ML
Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning
Department of Statistics（统计系）
本文研究了差分隐私联邦学习中估计精度、隐私约束和通信成本之间的权衡，提出了FedHybrid和FedNewton两种高效算法，通过减少通信成本提升准确性，并建立了均方误差的上界和下界以评估算法性能。
2026-05-18 cs.AI cs.LG stat.ME
Is Private Learning Possible with Instance Encoding?
Google（谷歌）
私有机器学习算法尽可能多地隐藏其训练数据，同时仍然保持准确性。在这项工作中，我们研究了一个非私有的学习算法是否可以通过依赖于一个实例编码机制，修改训练输入，然后再将它们喂给一个正常的学习者。我们形式化的概念，实例编码和它的隐私提供两种攻击模型。我们首先证明不可能的结果实现（更强）的模型。接下来，我们在InstaHide上的第二个（较弱的）攻击模型中演示了实际攻击，这是Huang，Song，Li和Arora最近提出的一项建议[ICML'20]，旨在使用实例编码来保护隐私。
2021-04-28 cs.CR cs.CV cs.LG
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California（南加州大学）；The Chinese University of Hong Kong（香港中文大学）
在这项工作中，我们开发的线性强盗算法，自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中，我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾，而且还在损坏的环境中工作，额外的遗憾是损坏的量，而现有技术（Li et al.，2019）既没有实现实例最优性，也没有实现对腐败量的最优依赖性。此外，通过为该算法配备对抗组件和精心设计的测试，我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾，这是我们所知的第一个此类算法。最后，我们所有的保证都具有很高的概率，而现有的实例最优保证仅在预期中有效。
2021-06-14 cs.LG
Private Stochastic Convex Optimization with Heavy Tails: Near-Optimality from Simple Reductions
Apple Inc.（苹果公司）；University of Washington（华盛顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对重尾梯度下的差分隐私随机凸优化问题，提出基于归约的新方法，首次获得匹配已知下界的最优误差速率，并给出多种改进算法。
2024-06-04 cs.CR cs.DS cs.LG
Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation
Paul G Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
本文改进分析了线性回归中差分隐私梯度下降的迭代分布，证明在适当超参数下样本复杂度仅线性依赖数据维度，并构造了能自适应特定数据集方差的置信区间。
2024-02-21 cs.CR cs.LG
Optimality of Approximate Inference Algorithms on Stable Instances
MIT（麻省理工学院）；Northwestern University（西北大学）
结构化预测问题的近似算法-如LP松弛和流行的α-扩展算法（Boykov et al. 2001）-通常远远超过其在现实世界实例中的理论性能保证。这些算法通常会找到非常接近最优的解决方案。本文的目的是部分解释的性能的α-展开和LP松弛算法的MAP推理铁磁Potts模型（FPMS）。我们的主要结果给出了稳定性条件下，这两个算法可证明恢复最优MAP解决方案。这些理论结果补充了许多经验观察良好的性能。
2018-04-23 cs.AI cs.DS cs.LG
Open Problem: Best Arm Identification: Almost Instance-Wise Optimality and the Gap Entropy Conjecture
Tsinghua University（清华大学）
最佳手臂识别问题（BEST-1-ARM）是随机多臂强盗中最基本的纯探索问题。这个问题由来已久，在过去十年中引起了极大的关注。然而，我们还没有一个完整的理解的最佳样本复杂性的问题：国家的最先进的算法实现了样本复杂性$O(\sum_{i=2}^{n} Δ_{i}^{-2}(\lnδ^{-1} + \ln\lnΔ_i^{-1}))$（$Δ_{i}$是最大的平均值和$i^{th}$平均值之间的差异），而最知名的下限是$Ω(\sum_{i=2}^{n} Δ_{i}^{-2}\lnδ^{-1})$的一般情况和$Ω(Δ^{-2} \ln\ln Δ^{-1})$的双臂实例。我们建议研究最佳1臂问题的实例最优性。以往的工作已经证明，这是不可能有一个实例优化算法的2臂问题。然而，我们猜想，模的加法项$Ω(Δ_2^{-2} \ln\ln Δ_2^{-1})$（这是一个上限和最坏情况下的2-arm问题的下限），有一个实例优化算法的最佳-1-ARM。此外，我们引入了一个新的量，称为间隙熵的最佳-arm问题的实例，并推测它是实例的下限。因此，解决这个猜想将为这个古老而基本的问题提供最终答案。
2016-05-27 cs.LG
Towards Instance-Optimality in Online PAC Reinforcement Learning
UMPA, ENS Lyon（里昂高等师范学校 UMPA）；Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 - CRIStAL（里尔大学，国家科学研究中心，国家信息与自动化研究所，中央里尔，UMR 9189 - CRIStAL）
本文提出首个适用于表格情节式MDP的PAC识别近最优策略的实例相关样本复杂度下界，并证明PEDEL算法接近该下界，同时提出计算高效算法能否达到此下界的开放问题。
2023-10-31 cs.LG stat.ML
Instance-Optimality in Interactive Decision Making: Toward a Non-Asymptotic Theory
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文研究交互式决策的非渐近实例最优性，提出 AEC 复杂度度量与 AE² 算法，在老虎机和表格强化学习中获得多项式依赖的实例最优遗憾界，并给出匹配下界。
2023-04-24 cs.LG stat.ML
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning
UC Berkeley（加州大学伯克利分校）
强化学习中的各种算法在其收敛速度和最终精度方面表现出显着的变化，作为问题结构的函数。这种特定于实例的行为不会被现有的全局极大极小边界捕获，这些边界本质上是最坏情况。我们分析的问题，估计最佳的$Q$ -值函数的折扣马尔可夫决策过程的离散状态和行动，并确定一个依赖于实例的功能，控制估计的难度在$\ell_\infty$ -范数。使用一个局部极小极大框架，我们表明，这一功能出现在任何估计过程的准确性的下界。在另一个方向，我们建立我们的下界的锐度，在状态和动作空间的对数因子，通过分析方差减少版本的$Q$学习。我们的理论提供了一个精确的方式区分“容易”的问题，从“硬”的背景下，$Q$ -学习，如所示的合奏与连续的难度。
2021-06-28 cs.LG stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学应用统计中心）；Department of Statistics, University of Warwick（华威大学统计系）
针对敏感数据序贯决策中的隐私问题，本文提出统一置信界型估计器及跳跃启动方案，解决LDP下非参数化上下文MAB的极小化极大最优性，并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Optimal Rates of (Locally) Differentially Private Heavy-tailed Multi-Armed Bandits
Shandong University（山东大学）；KAUST（阿卜杜拉国王科技大学）；Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文研究了（局部）差分隐私（DP/LDP）模型下的随机多臂强盗（MAB）问题。与以前的结果，假设有界/亚高斯奖励分布，我们专注于设置每个手臂的奖励分布只有$(1+v)$ -th时刻与一些$v\in (0, 1]$。在第一部分中，我们研究了中心$ε$ -DP模型中的问题。我们首先提供了一个接近最优的结果，通过开发一个私人和强大的置信上限（UCB）算法。然后，我们通过一个私人的和强大的版本的连续消除（SE）算法改进的结果。最后，我们建立了下界，表明我们的改进算法的实例相关的遗憾是最优的。第二部分研究了$ε$ -LDP模型中的问题。我们提出了一个算法，可以被看作是本地私有和强大的版本SE算法，可证明实现（近）最优率的实例相关和实例独立的遗憾。我们的研究结果揭示了私人MAB问题与有界/次高斯奖励和重尾奖励之间的差异。为了实现这些（近）最优速率，我们开发了几个新的硬实例和私有鲁棒估计器作为副产品，这可能会被用于其他相关问题。最后，实验也支持我们的理论研究结果，并显示我们的算法的有效性。
2022-03-24 cs.LG
InstaHide: Instance-hiding Schemes for Private Distributed Learning
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
多个分布式实体如何在保护隐私的同时，在其私有数据上协作训练共享的深网？本文介绍了InstaHide，这是一种简单的训练图像加密，可以插入现有的分布式深度学习管道。加密是有效的，在训练过程中应用它对测试准确性的影响很小。InstaHide使用“一次性秘密密钥“对每个训练图像进行加密，该密钥包括混合许多随机选择的图像并应用随机像素掩码。本文的其他贡献包括：（a）在加密过程中使用大型公共数据集（例如ImageNet）进行混合，这提高了安全性。(b)实验结果表明，在保护隐私对已知的攻击只有轻微的影响，准确性的有效性。(c)理论分析表明，成功攻击隐私需要攻击者解决一个困难的计算问题。(d)证明使用像素掩码对安全性很重要，因为Mixup单独被证明对一些有效的攻击是不安全的。(e)发布挑战数据集https://github.com/Hazelsuko07/InstaHide_Challenge我们的代码可以在https：//github.com/Hazelsuko07/InstaHide上找到
2021-02-24 cs.CC cs.CR cs.DS
Understanding Private Evolution as Learning-Augmented Clustering
Apple（苹果公司）；Yale University（耶鲁大学）
本文重新诠释私有进化算法为生成模型增强的Wasserstein学习，理论证明其性能界限可依赖内在维度，并提出几何感知版本以解决标准变体在良好聚类实例上的收敛问题，实验表明新算法具有竞争力且能提高召回率。
2026-09-30 cs.CR cs.LG stat.ML
Accelerated and instance-optimal policy evaluation with linear function approximation
Georgia Institute of Technology（佐治亚理工学院）
我们研究了线性函数逼近的政策评估问题，并提出了有效和实用的算法，具有较强的最优性保证。我们首先证明了在这个问题中确定性误差和随机误差的下限。特别是，我们证明了一个甲骨文复杂性下界的确定性错误的实例相关的规范与平稳分布的过渡内核，并使用本地渐近极大极小机器证明了一个实例相关的下界的随机错误的独立同分布。观测模型现有的算法无法匹配这些下限中的至少一个：为了说明，我们分析了时间差异学习的方差减少的变体，特别是它未能实现预言复杂度下限。为了解决这个问题，我们开发了一个加速的，方差减少的快速时间差算法（VRTD），同时匹配两个下界，并达到一个强有力的概念的实例最优。最后，我们将VRFTD算法推广到马尔可夫观测的情况，并给出了依赖于实例的收敛结果。我们的最优性的理论保证是由数值实验证实。
2022-08-14 cs.LG math.OC stat.ML
Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality
The University of Arizona（亚利桑那大学）
我们研究随机结构土匪最小化遗憾。近年来，研究人员发现，流行的乐观算法不能实现渐进的实例依赖后悔最优性（简称渐近最优性）。另一方面，众所周知，人们可以实现有限的遗憾（即，不会随着$n$无限增长）。不幸的是，现有的渐近最优算法依赖于引入$ω(1)$项w.r.t.时间的地平线$n$在他们的遗憾，未能适应“容易”的实例。在本文中，我们专注于有限假设的情况下，并询问是否可以达到渐近最优，同时尽可能享受有限的遗憾。我们通过引入一种名为CRush Optimism with Pessimism（CROP）的新算法来提供一个积极的答案，该算法通过拉动悲观假设所指示的信息臂来消除乐观假设。我们的有限时间分析表明，作物$(i)$实现了一个常数因子的渐近最优性，由于强制探索的设计，$(ii)$适应有界遗憾，和$(iii)$的遗憾界规模不与$K$，但与我们介绍的有效数量的武器$K_ψ$。我们还讨论了一类问题，其中作物可以指数优于现有的算法在\textit{nonasymptotic}制度。这个问题类还揭示了一个令人惊讶的事实，即使是一个千里眼的先知谁发挥根据渐近最优的手臂拉方案可能会遭受线性最坏情况下的遗憾。
2020-10-23 cs.LG stat.ML
On Consensus-Optimality Trade-offs in Collaborative Deep Learning
Iowa State University（爱荷华州立大学）
在分布式机器学习中，智能体从不同的私有数据集协作学习，共识和最优性之间存在根本的紧张关系。在本文中，我们基于分布式深度学习的最新算法进展，探索固定通信拓扑上的各种共识-最优性权衡。首先，我们提出了增量共识为基础的分布式SGD（i-CDSGD）算法，它涉及多个共识步骤（每个代理与其邻居的信息通信）在每个SGD迭代。其次，我们提出了广义共识为基础的分布式SGD（g-CDSGD）算法，使我们能够浏览完整的频谱从完全一致（所有代理同意），以完成分歧（每个代理收敛到个别模型参数）。我们分析建立强凸和非凸目标函数的算法的收敛性，我们还分析了强凸情况下的算法的动量变量。我们通过数值实验来支持我们的算法，并展示了对现有协作深度学习方法的显着改进。
2018-05-30 cs.CV cs.DC cs.LG
Towards Optimality in Active Preference Learning
University of Arizona（亚利桑那大学）；Department of Computer Science（计算机科学系）
本文提出两种主动学习算法，通过实例依赖标签复杂性保证和贪心方法提升大语言模型对齐的样本效率。
2026-10-14 cs.LG
Test without Trust: Optimal Locally Private Distribution Testing
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
我们研究的问题，分布测试时，样本只能使用本地差分私有机制访问，并专注于两个代表性的测试问题的身份（拟合优度）和独立性测试离散分布。我们关注两个设置：第一，当我们坚持使用一个已经部署的，通用的本地差异私有机制，如流行的RAPPOR或最近引入的Hadamard响应收集数据，并且必须基于通过此机制收集的数据构建我们的测试时;第二，当没有这样的限制时，我们可以设计一个专门用于测试的定制机制。对于后一个目的，我们引入了随机聚合私有测试最优响应（RAPTOR）机制，该机制非常简单，每个样本只需要一位通信。我们提出了基于这些机制的测试，并分析其样本的复杂性。每个测试都可以有效地执行。在每一种情况下（除一个），我们补充我们的性能界限的算法与信息理论的下限，并建立样本最优性，我们提出的算法。出现的一个特殊特征是，我们基于RAPTOR的样本优化算法使用公共硬币，而任何基于RAPPOR或Hadamard Response的测试，这两种都是私人硬币机制，需要更多的样本。
2018-08-07 cs.CR cs.DM cs.DS
Instance-Optimality in the Noisy Value-and Comparison-Model --- Accept, Accept, Strong Accept: Which Papers get in?
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；MIT（麻省理工学院）
受众包计算，同行评分和推荐系统的启发，Braverman，Mao和Weinberg [STOC'16]研究了基本问题的\emph{query}和\emph{round}复杂性，例如找到最大值（\textsc{max}），找到高于某个值的所有元素（\textsc{threshold-$v$}）或在嘈杂环境中计算顶级$-k$元素（\textsc{Top} - $k$）。例如，考虑为会议选择论文的任务。这项任务具有挑战性，因为同行审评具有众包性质：审评结果嘈杂，必须尽可能使审评进程并行化。我们研究了噪声值模型和噪声比较模型：在\emph{noisy value model}中，评审员被要求评估一个单一的元素：“论文$i$的价值是什么？“（PDMATHAMV接受）。在\emph{noisy comparison model}（在Feige，Peleg，Raghavan和Upfal的开创性工作[SICOMP'94]中介绍）中，要求评审员进行成对比较：“论文$i$优于论文$j$吗？“在本文中，我们展示了\textsc{max}、\textsc{threshold-$v$}和\textsc{Top} - $k$问题的最优最坏情况查询复杂度。对于\textsc{max}和\textsc{Top} - $k$，我们得到了最优的最坏情况下的上界和下界的轮与查询复杂度在这两个模型。对于\textsc{t…
2018-11-05 cs.DB cs.DS cs.LG
Self-Supervised Primal-Dual Learning for Constrained Optimization
Georgia Institute of Technology（佐治亚理工学院）
本文研究如何训练机器学习模型，直接逼近约束优化问题的最优解。这是在约束条件下的经验风险最小化，这是具有挑战性的，因为训练必须平衡最优性和可行性条件。监督学习方法通常通过在大量预先解决的实例上训练模型来应对这一挑战。本文采取了不同的路线，提出了原始-对偶学习（PDL）的思想，这是一种自我监督的训练方法，不需要一组预先解决的实例或优化求解器来进行训练和推理。相反，PDL模仿增广拉格朗日方法（ALM）的轨迹，并联合训练原始和对偶神经网络。作为一种原始-对偶方法，PDL在用于训练原始网络的损失函数中使用约束项的实例特定惩罚。实验表明，在一组非线性优化基准，PDL通常表现出可忽略不计的约束违反和最优性差距，是非常接近的ALM优化。与现有方法相比，PDL在最优性差距、约束违反和训练时间方面也表现出改进或类似的性能。
2022-11-22 cs.LG math.OC
Private Geometric Median
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Google DeepMind（谷歌DeepMind）
针对私有几何中位数计算，本文提出超额误差随数据有效直径扩展的多项式时间差分隐私算法，并给出纯 DP 方案与样本复杂度最优下界。
2024-06-11 cs.LG
Instance-Adaptive Hypothesis Tests with Heterogeneous Agents
Massachusetts Institute of Technology（麻省理工学院）
本研究针对异构策略性智能体群体，提出通过分离式统计契约菜单实现实例自适应假设检验，使委托人无需知晓类型即可匹配预言机性能，并揭示信息 elicitation 近乎零成本，连接统计决策理论与机制设计。
2025-10-24 cs.GT cs.LG econ.EM
