Towards Optimal Differentially Private Regret Bounds in Linear MDPs
Department of Statistics and Data Science（统计与数据科学系）
本文研究线性MDP中隐私约束下的遗憾最小化问题，通过对LSVI-UCB++算法进行私有化并引入方差感知分析技术，设计出一种新的差分隐私算法，实现了优于以往私有方法的遗憾界且保持接近最优的效用。
2025-04-25 cs.DS cs.LG stat.ML
Improved Regret for Differentially Private Exploration in Linear MDP
University of Minnesota（明尼苏达大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了依赖于敏感数据（如医疗记录）的环境中顺序决策的隐私保护探索。特别是，我们专注于解决的问题，强化学习（RL）的约束（联合）差分隐私在线性MDP设置，其中动力学和奖励的线性函数。由于Luyo等人（2021）对该问题的先前工作，实现了$O(K^{3/5})$对发作次数$K$的依赖性的后悔率。我们提供了一个私人的算法与改进的遗憾率与最佳的依赖$O(\sqrt{K})$的情节的数量。我们更强的后悔保证的关键配方是策略更新计划的自适应性，其中只有在检测到数据中的足够变化时才会发生更新。因此，我们的算法受益于低切换成本，只执行$O(\log(K))$更新，这大大减少了隐私噪声的量。最后，在隐私参数$ε$是一个常数的最流行的隐私制度，我们的算法产生的隐私成本可以忽略不计-与现有的非私人遗憾的界限相比，由于隐私的额外遗憾出现在低阶条款。
2022-06-22 cs.LG
Differentially Private Multi-Armed Bandits in the Shuffle Model
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本文给出了一个$(\varepsilon,δ)$ -差分私有算法，用于解决具有分布相关后悔$O\left(\left(\sum_{a\in [k]:Δ_a>0}\frac{\log T}{Δ_a}\right)+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon}\right)$和分布无关后悔$O\left(\sqrt{kT\log T}+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon}\right)$的洗牌模型中的多臂强盗（MAB）问题，其中$T$是轮数，$Δ_a$是臂的次优间隙$a$，$k$是臂的总数.我们的上限几乎匹配的遗憾，最知名的算法集中式模型，并显着优于最知名的算法在本地模型。
2021-10-28 cs.CR cs.LG
Differentially Private Contextual Linear Bandits
University of Alberta（阿尔伯塔大学）
我们研究的上下文线性土匪问题，一个版本的标准随机多臂土匪（MAB）的问题，学习者顺序选择的行动，以最大限度地提高奖励，这也取决于用户提供的每轮上下文。虽然上下文是任意选择的，但奖励被假设为对上下文和所选动作进行编码的特征向量的随机函数。我们的目标是为上下文线性强盗问题设计私人学习器。我们首先表明，使用标准定义的差分隐私的结果在线性遗憾。因此，我们采用了联合差分隐私的概念，其中我们假设在$t$日选择的操作仅向用户$t$公开，因此不需要在当天保持隐私，仅在随后的几天保持隐私。我们给出了一个通用的方案，将经典的线性UCB算法转换为一个联合差分隐私算法，使用基于树的算法。然后，我们应用高斯噪声或Wishart噪声来实现联合差分隐私算法，并绑定所得到的算法的遗憾。此外，我们给出了第一个下界的额外遗憾的任何私人算法的MAB问题必须招致。
2018-09-28 cs.LG stat.ML
Private Online Prediction from Experts: Separations and Faster Rates
Apple（苹果公司）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）
提出隐私约束下的在线专家预测的新算法，改进非自适应对手的遗憾界，证明自适应与非自适应对手及纯与与近似差分隐私间的存在分离性。
2023-06-29 cs.CR cs.LG math.OC
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Faster Rates for Private Adversarial Bandits
Apple（苹果公司）；University of Michigan（密歇根大学）
本文为对抗性老虎机及带有专家建议的老虎机设计了新的差分隐私算法，通过简单转换非私有算法显著降低了遗憾上界，并首次确立了中心与局部差分隐私的分离。
2025-05-27 cs.LG stat.ML
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington（华盛顿大学）；MIT（麻省理工学院）
强化学习的理论集中在两个基本问题上：实现低后悔，并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策，并实现最坏情况下的最优率，它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机，我们提出了一个新的措施，PAC表强化学习，明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后，我们提出并分析了一种新的，基于规划的算法，达到这个样本的复杂性-产生的复杂性，规模与次优差距和“可达性”的状态。我们表明，我们的算法是近极大极小最优的，并在几个例子中，我们的实例相关的样本复杂性提供了显着的改善，在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
On Private and Robust Bandits
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Wayne State University（韦恩州立大学）；Shandong University（山东大学）
我们研究私人和强大的多武装土匪（MABs），代理人收到Huber的污染重尾奖励，同时需要确保差分隐私。我们首先提出了它的极大极小下界，表征信息论的隐私预算，污染水平和重尾性方面的遗憾的限制。然后，我们提出了一个元算法，建立在一个私人和强大的均值估计子例程\texttt{PRM}，基本上依赖于奖励截断和拉普拉斯机制。对于两个不同的重尾设置，我们给出了具体的计划，\texttt{PRM}，使我们能够实现接近最优的遗憾。作为我们主要结果的副产品，我们还给出了私有重尾MAB的第一个极大极小下界（即，无污染）。此外，我们提出的两个基于截断的\texttt{PRM}实现了估计精度，隐私和鲁棒性之间的最佳权衡。最后，我们支持我们的理论结果与实验研究。
2023-03-04 cs.AI cs.CR cs.LG
Optimal Gap-Dependent Regret for Private Stochastic Decision-Theoretic Online Learning
School of Electrical Engineering and Computer Science University of Ottawa（电气工程与计算机科学学院，渥太华大学）；School of Mathematics University of Bristol（数学学院，布里斯托尔大学）
针对完全信息、事件级纯差分隐私的随机决策理论在线学习，提出一种无水平线的纯差分隐私算法，并证明遗憾界为O(log K / Δ_min + log K / ε)。
2026-05-27 cs.LG stat.ML
Thompson Sampling Itself is Differentially Private
Columbia University（哥伦比亚大学）
本文证明经典汤普森采样算法天然具备差分隐私性，并引入简单修改（如预拉臂、增大采样方差）以提升隐私保证，同时分析其对遗憾的影响，实证表明可优化隐私与性能的权衡。
2024-07-20 cs.DS cs.LG stat.ML
Federated Online Prediction from Experts with Differential Privacy: Separations and Regret Speed-ups
School of EECS, The Pennsylvania State University（宾夕法尼亚州立大学电机工程与计算机科学学院）
本文首次研究联邦场景下具有差分隐私的在线专家预测问题，提出 Fed-DP-OPE-Stoch 和 Fed-SVT 两种算法，分别在随机对手和低损失遗忘对手情形下实现遗憾加速，并证明遗忘对手一般情形下协作无法带来加速。
2024-09-27 cs.CR cs.LG stat.ML
Differentially Private Reinforcement Learning with Linear Function Approximation
Wayne State University（韦恩州立大学）
基于强化学习（RL）在个性化服务中的广泛应用，研究了差分隐私（DP）约束下有限时域马尔可夫决策过程（MDP）的后悔最小化问题.与现有的仅在表格有限状态，有限动作MDP上工作的私有RL算法相比，我们在具有大状态和动作空间的MDP中迈出了隐私保护学习的第一步。具体而言，我们认为MDP与线性函数近似（特别是线性混合MDP）的概念下的联合差分隐私（JDP），其中RL代理负责保护用户的敏感数据。我们设计了两种分别基于值迭代和策略优化的私有强化学习算法，并证明了它们在保证隐私保护的同时具有次线性后悔性能.此外，遗憾界与状态数无关，且最大程度上与行为数成比例，适用于大规模个性化服务中的隐私保护.我们的研究结果是通过一个一般的过程中学习线性混合MDP下不断变化的正则化，这不仅推广了以前的结果，非私人学习，但也作为一般的私人强化学习的积木。
2022-03-21 cs.LG
D3p -- A Python Package for Differentially-Private Probabilistic Programming
Aalto University（阿尔托大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
我们提出了d3 p，一个软件包，旨在帮助现场运行时有效的广泛适用的贝叶斯推理下差分隐私的保证。d3 p通过实现差分私有变分推理算法实现了对广泛的概率建模问题的普遍适用性，允许用户用可微密度函数拟合任何参数概率模型。D3 P采用概率编程范例作为用户灵活定义这种模型的有力方式。我们演示了使用我们的软件上的分层逻辑回归的例子，表现出的建模方法，以及易于运行的参数推断。我们还对复杂模型上私有推理的运行时间进行了实证评估，发现与使用TensorFlow Privacy的实现相比，$\sim$的速度提高了$\sim$ 10倍。
2021-09-15 cs.CR cs.LG stat.ML
Differentially Private Exploration in Reinforcement Learning with Linear Representation
Ecole Polytechnique（巴黎综合理工学院）；Facebook AI Research（Facebook人工智能研究院）；CREST, ENSAE（国立统计与经济行政学院经济研究与应用中心）
研究了线性表示的马尔可夫决策过程中的隐私保护探索问题。我们首先考虑线性混合MDP的设置（Ayoub等人，2020年）（又名\基于模型的设置），并提供了一个统一的框架，用于分析联合和局部差异私人（DP）勘探。通过这个框架，我们证明了一个$\widetilde{O}(K^{3/4}/\sqrtε)$遗憾界$(ε,δ)$ -本地DP探索和$\widetilde{O}(\sqrt{K/ε})$遗憾界$(ε,δ)$ -联合DP。我们进一步研究了线性MDP中的隐私保护探索（Jin等人，2020年）（又名\无模型设置），其中我们提供了一个$\widetilde{O}\left(K^{\frac{3}{5}}/ε^{\frac{2}{5}}\right)$遗憾界为$(ε,δ)$ -联合DP，一个新的算法的基础上低开关。最后，我们提供的见解，在这个无模型的设置设计本地DP算法的问题。
2021-12-07 cs.LG
DPpack: An R Package for Differentially Private Statistical Analysis and Machine Learning
University of Notre Dame（圣母大学）
本文开发了开源R包DPpack，集成Laplace、Gaussian和指数机制，提供差分隐私描述性统计、逻辑回归、SVM、线性回归及超参数调优工具，使差分隐私在常规统计分析中易于使用。
2023-09-19 cs.CR cs.LG stat.ML
Private Online Learning via Lazy Algorithms
Apple（苹果公司）；Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；University of Washington（华盛顿大学）
该研究针对私有在线学习中的OPE和OCO问题，提出将懒在线学习算法转换为私有算法的新方法，在高隐私场景下显著提升遗憾值，并证明对应速率对一类低切换私有算法最优。
2025-02-21 cs.CR cs.DS cs.LG
Differentially Private Online Submodular Optimization
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们开发了第一个算法在线子模最小化，保持差分隐私下的完全信息反馈和强盗反馈。$n$元素集合上的$T$子模块函数序列在线到达，并且在每个时间步，算法必须在看到函数之前选择$[n]$的子集。该算法产生的成本等于在所选集合上评估的函数，并试图选择一个序列的集合，实现低预期的遗憾。我们的第一个结果是在全信息设置中，算法可以在每个时间步做出决策后观察整个函数。我们给出了一个算法，在这种情况下，是$ε$ -差分隐私，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}\sqrt{T}}ε\right)$。该算法利用Lovasz扩张将次模函数松弛为凸函数，并模拟了一个差分私有在线凸优化算法。我们的第二个结果是在bandit设置中，算法只能看到其选择的集合所产生的成本，并且不能访问整个函数。该设置明显更具挑战性，因为算法没有接收到足够的信息来计算Lovasz扩展或其子梯度。相反，我们使用单点估计构建无偏估计，然后使用此估计模拟私人在线凸优化。我们的算法使用强盗反馈是$ε$ -差分私有的，并达到预期的遗憾$\tilde{O}\left(\frac{n^{3/2}T^{3/4}}ε\right)$。
2018-07-06 cs.DS cs.LG stat.ML
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University（波士顿大学）
本文提出差分隐私算法，用于在PAC和在线模型中高效学习决策列表和半空间，实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Towards Differentially Private Reinforcement Learning with General Function Approximation
Wayne State University（韦恩州立大学）
本文提出首个针对差分隐私在线强化学习与通用函数逼近的理论保证，结合批量策略更新与指数机制，证明在通用函数逼近下，模型自由设置的后悔与线性情况一致，达到O~(K^{3/5})，并揭示线性函数逼近隐私RL结果中的根本差距。
2026-05-07 cs.AI cs.LG
Dynamic Global Sensitivity for Differentially Private Contextual Bandits
Oregon State University（俄勒冈州立大学）；University of Virginia（弗吉尼亚大学）
Bandit算法已经成为交互式推荐的参考解决方案。然而，由于这些算法直接与用户交互以改进推荐，因此其实际使用引起了严重的隐私问题。在这项工作中，我们提出了一个差分私人线性上下文的强盗算法，通过基于树的机制添加拉普拉斯或高斯噪声的模型参数。我们的主要观点是，随着模型在在线更新过程中收敛，其参数的全局灵敏度会随着时间的推移而缩小（因此称为动态全局灵敏度）。与现有的解决方案相比，我们的动态全局敏感性分析，使我们能够注入更少的噪声，以获得$(ε, δ)$ -差分隐私增加的遗憾所造成的噪声注入$\tilde O(\log{T}\sqrt{T}/ε)$。我们提供了一个严格的理论分析，通过动态全局灵敏度和相应的上界的遗憾，我们所提出的算法增加的噪声量。在合成数据集和真实数据集上的实验结果证实了该算法相对于现有解决方案的优势。
2022-08-30 cs.LG stat.ML
Differentially Private Federated Combinatorial Bandits with Constraints
International Institute of Information Technology (IIIT)（国际信息技术学院）
本文针对带质量约束的联邦组合赌博机问题，提出隐私保护算法P-FCB，通过决策通信时机与共享数据，在差分隐私保护下实现遗憾改善并维持质量阈值。
2023-05-28 cs.LG stat.ML
Smoothed Analysis of Online and Differentially Private Learning
Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）
对算法的鲁棒性和隐私性的实际和普遍需求激发了在线对抗和差异隐私学习算法的设计。在这些设置中表征可学习性的主要数量是假设类的Littlestone维度[Ben-David等人，2009年，Alon等人，2019年]。这种特征通常被解释为不可能的结果，因为线性阈值和神经网络等类具有无限的Littlestone维数。在本文中，我们应用平滑分析的框架[Spielman和Teng，2004]，其中逆向选择的输入被自然稍微扰动。我们表明，从根本上更强的遗憾和错误的保证是可能的平滑的对手比最坏情况下的对手。特别是，我们得到的遗憾和隐私的误差范围，只依赖于VC维和括号数的假设类，和扰动的大小。
2020-06-17 cs.DS cs.LG stat.ML
On Differentially Private Federated Linear Contextual Bandits
Wayne State University（韦恩州立大学）；Microsoft Research（微软研究院）
本文针对差分隐私下联邦线性情境老虎机中隐私保护失效、遗憾界错误等问题，提出通用算法框架，并在本地差分隐私和shuffle模型下实现近乎最优遗憾。
2023-05-31 cs.CR cs.LG
Shuffle Private Linear Contextual Bandits
Boston University（波士顿大学）；Wayne State University（韦恩州立大学）
差分隐私（DP）最近被引入到线性上下文强盗中，以正式地解决其相关联的个性化服务中对参与用户的隐私关注（例如，建议）。以前的工作主要集中在DP的两个信任模型：中央模型，其中中央服务器负责保护用户的敏感数据，以及（更强）本地模型，其中信息需要直接在用户端保护。然而，在这两种隐私模型下，学习算法所实现的效用仍然存在根本性的差距，例如，如果所有用户在学习范围$T$内是唯一的，则与局部模型中的$\tilde{O}(T^{3/4})$遗憾相比，中央模型中的$\tilde{O}(\sqrt{T})$遗憾。在这项工作中，我们的目标是实现一个更强的模型的信任比中央模型，而遭受较小的遗憾比本地模型考虑最近流行的洗牌模型的隐私。我们提出了一个通用的算法框架下的洗牌信任模型，其中存在一个值得信赖的洗牌机之间的用户和中央服务器，随机置换一批用户的数据发送到服务器之前，线性上下文土匪。然后，我们实例化这个框架与两个特定的洗牌协议：一个依赖于本地机制的隐私放大，另一个结合了一个协议，用于求和向量和矩阵的有界规范。我们证明，这两个实例导致遗憾的保证，显着提高本地模型，并可能是$\tilde{O}(T^{3/5})$的顺序，如果所有用户是唯一的。我们还验证了这种后悔行为与模拟的合成数据。最后，在非唯一用户的实际场景下，我们证明了我们的shuffle私有算法的遗憾扩展为$\tilde{O}(T^{2/3})$，这与中…
2022-02-11 cs.LG
Truthful mechanisms for linear bandit games with private contexts
Singapore University of Technology and Design（新加坡科技设计大学）
本文首次研究随机上下文老虎机博弈中智能体虚报私有上下文的问题，证明传统低遗憾算法无法保证真实性，并提出一种基于线性规划的真实机制，在保证真实报告的同时实现$O(\ln T)$遗憾。
2025-05-04 cs.GT cs.LG
Shuffle and Joint Differential Privacy for Generalized Linear Contextual Bandits
Stanford University（斯坦福大学）
本文提出在洗牌差分隐私和联合差分隐私下，针对广义线性上下文老虎机的首个算法，解决了无闭式估计器、多变化设计矩阵隐私追踪及优化误差分析等挑战。
2026-04-27 cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute（马克斯·普朗克研究所）；Université Laval（拉瓦尔大学）；University College London（伦敦大学学院）；University of Leoben（莱奥本大学）
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理，使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具，以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法，应用PAC贝叶斯分析的情况下，有限的反馈。我们结合新的工具，以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密，但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围，并为强化学习和许多其他领域引入了一种新的分析工具，其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
Differentially Private Reinforcement Learning with Self-Play
UC Santa Barbara（加州大学圣巴巴拉分校）
该研究将联合与本地差分隐私定义扩展到两人零和马尔可夫博弈，提出基于乐观纳什值迭代的高效隐私强化学习算法，其遗憾界覆盖单智能体最优结果且无隐私时退化为多智能体最优水平，填补了多智能体轨迹级隐私研究空白。
2024-04-11 cs.AI cs.CR cs.LG
(Locally) Differentially Private Combinatorial Semi-Bandits
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了组合半强盗（CSB），这是一个经典的多臂强盗（MAB）在差分隐私（DP）和更强的局部差分隐私（LDP）设置的扩展。由于服务器在CSB中从用户接收更多的信息，这通常会导致对数据维度的额外依赖，这是隐私保护学习的一个众所周知的副作用。然而，CSB下两个常见的平滑假设\cite{kveton2015tight,chen2016combinatorial}，我们表明，它是可能的，以消除这种副作用。详细地，对于$B_{\infty}$有界光滑CSB，在$\varepsilon$或$\varepsilon$下，通过提出新的算法和匹配下界，我们证明了最优后悔界分别为$Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$或$\tildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$，其中$T$为时间段，$Δ$为奖励间隔，$m$为基臂数.对于$\varepsilon$ -DP下的$B_1$ -有界光滑CSB，我们还证明了最优后悔界是$\tildeΘ(\frac{mKB^2_1\ln T} {Δε})$，同时具有上界和下界，其中$K$是每轮反馈的最大数目。所有上述结果几乎匹配相应的非私有最优费率，这意味着在上述公共设置中，（局部）差异私有CSB没有额外的价格。
2020-07-03 cs.LG stat.ML
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Multi-Armed Bandits with Local Differential Privacy
The Ohio State University（俄亥俄州立大学）；Iowa State University（爱荷华州立大学）
研究了具有局部差分隐私（LDP）保证的多臂强盗（MAB）问题的后悔最小化问题。在随机强盗系统中，奖励可能涉及用户的活动，这可能涉及私人信息，用户可能不希望代理知道。然而，在许多情况下，代理需要知道这些活动，以提供更好的服务，如推荐和新闻提要。为了解决这个问题，我们采用了差分隐私和研究遗憾的上限和下限的MAB算法与给定的LDP保证。在本文中，我们证明了一个下限，并提出算法的遗憾上限匹配的下限常数因素。数值实验也证实了我们的结论。
2020-07-06 cs.CR cs.LG stat.ML
Efficient, Noise-Tolerant, and Private Learning via Boosting
Boston University（波士顿大学）；Simon Fraser University（西蒙弗雷泽大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们介绍了一个简单的框架设计私人助推算法。我们给自然条件下，这些算法是不同的私人，高效，和噪声容忍PAC学习者。为了证明我们的框架，我们用它来构建噪声容忍和私人PAC学习者的大利润率的半空间，其样本的复杂性不依赖于尺寸。我们给出了两个样本的复杂性界限，我们的大利润率半空间学习。一个界限仅基于差分隐私，并使用此保证作为确保泛化的资产。这第一个界限说明了一个一般的方法，从隐私，这可能是独立的利益获得PAC学习者。第二个界限使用标准的技术，从理论的大利润分类（脂肪粉碎维度），以匹配最知名的样本复杂度的差异私人学习的大利润半空间，同时还容忍随机标签噪声。
2020-02-04 cs.LG stat.ML
Vanilla Policy Optimization Is Both Optimal and Differentially Private for Stochastic Contextual Bandits
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Tel Aviv University（特拉维夫大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
本文证明香草策略优化在随机上下文赌博机中无需探索奖励即可实现接近最优遗憾，并扩展出差分隐私版本，通过隐式探索机制和批量更新降低计算成本，实验验证其有效性。
2026-09-29 cs.LG
The Price of Differential Privacy For Online Learning
Princeton University（普林斯顿大学）
针对完全信息和强盗环境下的在线线性优化问题，设计了具有最优$\tilde{O}(\sqrt{T})$遗憾界的差分隐私算法.在完全信息设置中，我们的研究结果表明，$ε$ -差分隐私可以确保免费的-特别是，遗憾的范围尺度为$O(\sqrt{T})+\tilde{O}\left(\frac{1}ε\right)$。对于强盗线性优化，作为一个特殊情况，对于非随机多臂强盗，所提出的算法实现了$\tilde{O}\left(\frac{1}ε\sqrt{T}\right)$的遗憾，而以前已知的最佳遗憾界是$\tilde{O}\left(\frac{1}εT^{\frac{2}{3}}\right)$。
2017-06-13 cs.LG stat.ML
Differentially Private Episodic Reinforcement Learning with Heavy-tailed Rewards
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Wayne State University（韦恩州立大学）；Microsoft Research（微软研究院）
针对仅具有限(1+v)阶矩的重尾奖励MDP，提出基于稳健均值估计的JDP与LDP价值迭代及策略优化框架，给出遗憾上下界并揭示其与次高斯隐私RL的本质差异。
2023-06-05 cs.AI cs.LG
Robust and differentially private stochastic linear bandits
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
针对随机线性老虎机，本文在批量观测、奖励被任意污染及两种隐私模型下，提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法，并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
Online Second Price Auction with Semi-bandit Feedback Under the Non-Stationary Setting
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了非平稳在线第二价格拍卖问题。我们假设卖方在$T$轮中通过第二价格拍卖出售相同类型的物品，并且她可以在每轮中设置保留价。在每一轮中，投标人从卖方未知的联合分布中提取他们的私人价值。然后，卖家宣布了这一轮的底价。接下来，私人价值高于该轮宣布的保留价的投标人将向卖方报告他们的价值作为他们的出价。出价最高的投标人将赢得该项目大于保留价，她将支付给卖方的价格等于第二高的出价或保留价，以较大者为准。卖方希望在时间范围$T$内最大化其总收入，同时了解私人价值随时间的分布。这个问题比标准的在线学习场景更具挑战性，因为私有值分布是非平稳的，这意味着投标人的私有值分布可能会随着时间的推移而变化，我们需要使用\emph{non-stationary regret}来衡量我们算法的性能。据我们所知，本文是第一次对非平稳环境下的重复拍卖进行理论研究。该算法达到了非平稳遗憾上界$\tilde{\mathcal{O}}(\min\{\sqrt{\mathcal S T}, \bar{\mathcal{V}}^{\frac{1}{3}}T^{\frac{2}{3}}\})$，其中$\mathcal S$是分布中开关数，$\bar{\mathcal{V}}$是总变差之和，并且该算法不需要知道$\mathcal S$和$\bar{\mathcal{V}}$.我们还证明了遗憾下界$Ω(\sqrt{\mathc…
2019-11-14 cs.DS cs.GT cs.LG
When Privacy Meets Partial Information: A Refined Analysis of Differentially Private Bandits
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文利用$ε$ --全局差分隐私（DP）算法研究了多武装匪徒问题。首先，我们证明了极大极小和问题相关的遗憾下界的随机和线性土匪，量化的硬度土匪$ε$ -全球DP。这些界限表明存在两个硬度制度，这取决于隐私预算$ε$。在高隐私制度（小$ε$），硬度取决于隐私和部分信息的奖励分布的耦合效应。在低隐私机制（大$ε$）中，具有$ε$ -全局DP的强盗并不比没有隐私的强盗更难。对于随机强盗，我们进一步提出了一个通用的框架来设计一个接近最佳的$ε$全球DP扩展的索引为基础的乐观强盗算法。该框架由三个组成部分：拉普拉斯机制，手臂依赖的自适应情节，并使用的唯一奖励收集的最后一集计算私人统计。具体来说，我们实例化$ε$ -全球DP扩展的UCB和KL-UCB算法，即AdaP-UCB和AdaP-KLUCB。AdaP-KLUCB是第一个既满足$ε$ -全局DP又能产生与问题相关下界匹配的遗憾上界的算法。
2022-11-04 cs.CR cs.LG math.ST
Optimal No-regret Learning in Repeated First-price Auctions
Center for Data Science, New York University（纽约大学数据科学中心）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
针对重复第一价格拍卖中仅能观测中标价的审查式反馈问题，提出基于偏序上下文老虎机的框架及结合收益函数的样本高效算法，分别在随机和对抗私有估值场景下取得近似最优悔界。
2024-03-04 cs.GT cs.IT cs.LG
Autobidders with Budget and ROI Constraints: Efficiency, Regret, and Pacing Dynamics
Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Iowa（爱荷华大学）
针对在线广告平台中带预算和ROI约束的自动出价器博弈问题，提出基于梯度的学习算法，仅用bandit反馈且适配多种拍卖形式，保证约束满足和零遗憾，同时证明相互竞争时期望液体福利至少达最优的一半。
2024-12-02 cs.GT cs.LG
Optimal Rates of (Locally) Differentially Private Heavy-tailed Multi-Armed Bandits
Shandong University（山东大学）；KAUST（阿卜杜拉国王科技大学）；Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文研究了（局部）差分隐私（DP/LDP）模型下的随机多臂强盗（MAB）问题。与以前的结果，假设有界/亚高斯奖励分布，我们专注于设置每个手臂的奖励分布只有$(1+v)$ -th时刻与一些$v\in (0, 1]$。在第一部分中，我们研究了中心$ε$ -DP模型中的问题。我们首先提供了一个接近最优的结果，通过开发一个私人和强大的置信上限（UCB）算法。然后，我们通过一个私人的和强大的版本的连续消除（SE）算法改进的结果。最后，我们建立了下界，表明我们的改进算法的实例相关的遗憾是最优的。第二部分研究了$ε$ -LDP模型中的问题。我们提出了一个算法，可以被看作是本地私有和强大的版本SE算法，可证明实现（近）最优率的实例相关和实例独立的遗憾。我们的研究结果揭示了私人MAB问题与有界/次高斯奖励和重尾奖励之间的差异。为了实现这些（近）最优速率，我们开发了几个新的硬实例和私有鲁棒估计器作为副产品，这可能会被用于其他相关问题。最后，实验也支持我们的理论研究结果，并显示我们的算法的有效性。
2022-03-24 cs.LG
Locally Differentially Private (Contextual) Bandits Learning
Peking University（北京大学）；Haihua Institute for Frontier Information Technology（海华前沿信息技术研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了局部差分私有（LDP）强盗学习。首先，我们提出了简单的黑盒约简框架，可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架，我们可以改进以前的最佳结果为私人强盗学习与一点反馈，如私人强盗凸优化，并获得第一个结果为强盗凸优化（BCO）与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比，以前专门设计的和相对较弱的差分私有（DP）上下文无关的强盗算法。进一步地，我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits，它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$，并被证明是近最优的。请注意，鉴于DP上下文线性强盗的现有$Ω(T)$下限（Shariff & Sheffe，2018），我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML
Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles（加州大学洛杉矶分校）
研究了线性函数逼近的强化学习（RL）。现有的算法只具有高概率后悔和/或可能近似正确（PAC）样本复杂度保证，不能保证收敛到最优策略。为了克服现有算法的局限性，本文提出了一种新的算法FLUTE，该算法具有一致PAC收敛性，并以较高的概率收敛到最优策略。一致PAC保证是文献中强化学习最强的可能保证，它可以直接隐含PAC和高概率后悔界，使我们的算法优于所有现有的线性函数逼近算法。该算法的核心是一种新的极小极大价值函数估计器和一种从历史观测值中选择训练样本的多级划分方案。这两种技术都是新的，具有独立的意义。
2021-12-31 cs.LG math.OC stat.ML
Uniform-PAC Guarantees for Model-Based RL with Bounded Eluder Dimension
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对有界 Eluder 维度的通用函数类，提出非线性赌博机和模型强化学习算法，实现 Uniform-PAC 保证，兼具次线性遗憾与多项式样本复杂度，首次超越线性情形。
2023-05-15 cs.LG math.OC stat.ML
No-Regret Algorithms for Private Gaussian Process Bandit Optimization
数据驱动决策的广泛扩散引发了最近对隐私保护算法设计的兴趣。本文从隐私保护统计的角度研究了高斯过程（GP）的强盗优化问题。我们提出了一个解决方案，差分私有GP强盗优化，结合了均匀核近似随机扰动，提供了一个通用的框架，以创建差分私有（DP）高斯过程强盗算法。对于两个特定的DP设置-联合和局部差分隐私，我们提供了基于高效的正交傅立叶特征近似器的算法，这是计算效率高，可证明没有遗憾流行的固定核函数。我们的算法在整个优化过程中保持差分隐私，并且严格地不依赖于样本路径进行预测，从而使参数也可以直接发布。
2021-02-24 cs.CR cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Private and Byzantine-Proof Cooperative Decision-Making
Massachusetts Institute of Technology（麻省理工学院）
合作强盗问题是一个多智能体决策问题，涉及一组智能体，同时与多臂强盗进行交互，同时在网络上进行延迟通信。这个问题的中心思想是设计算法，可以有效地利用通信来获得改进，而不是孤立地行动。在本文中，我们研究了两种情况下的随机强盗问题-（a）当代理人希望使他们的通信相对于行动序列的私人，和（b）当代理人可以拜占庭，即，他们提供（随机）不正确的信息。对于这两个问题的设置，我们提供了置信上限算法，获得最佳的遗憾，同时（a）差分私人和（b）容忍拜占庭代理。我们的分散式算法不需要关于代理之间的连接网络的信息，使其可扩展到大型动态系统。我们测试我们的算法的竞争力的基准随机图，并证明其优越的性能与现有的强大的算法。我们希望我们的工作能够成为创建维护隐私的分布式决策系统的重要一步。
2022-05-27 cs.CR cs.LG cs.MA
Learning Algorithms for Minimizing Queue Length Regret
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；MIT Laboratory for Information and Decision Systems（麻省理工学院信息与决策系统实验室）
我们考虑一个系统组成的一个单一的发射机/接收机对和$N$通道，他们可以进行通信。数据包随机到达发送方的队列，等待成功发送到接收方。发射机可以一次在一个信道上尝试帧传输，其中每个帧包括一个分组（如果一个分组在队列中）。对于每个通道，尝试传输成功的概率未知。发射机的目标是快速识别最佳信道，以最小化队列中$T$时隙上的分组数量。为了分析系统性能，我们引入了队列长度遗憾，这是一个学习策略和控制器，知道率，先验的总队列长度之间的预期差异。设计传输策略的一种方法是应用文献中的算法来解决密切相关的随机多臂强盗问题。这些策略将集中于随着时间的推移最大化成功帧传输的数量。然而，我们发现，这些方法有$Ω(\log{T})$队列长度遗憾。另一方面，我们证明了存在一组基于队列长度的策略，可以获得顺序最优的$O(1)$队列长度遗憾。我们使用我们的理论分析，设计探试法，表现良好的模拟。
2020-05-14 cs.IT cs.LG cs.PF
Locally Differentially Private Reinforcement Learning for Linear Mixture Markov Decision Processes
Tsinghua University（清华大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
强化学习（RL）算法可以用于提供个性化服务，这些服务依赖于用户的隐私和敏感数据。为了保护用户的隐私，需要保护隐私的强化学习算法。本文研究了具有线性函数逼近和局部差分隐私（LDP）保证的强化学习.提出了一种新的$(\varepsilon, δ)$算法来学习一类称为线性混合MDP的马尔可夫决策过程，并得到了一个$\tilde{\mathcal{O}}( d^{5/4}H^{7/4}T^{3/4}\left(\log(1/δ)\right)^{1/4}\sqrt{1/\varepsilon})$遗憾，其中$d$是特征映射的维数，$H$是规划视野的长度，$T$是与环境的交互次数.我们还证明了一个下界$Ω(dH\sqrt{T}/\left(e^{\varepsilon}(e^{\varepsilon}-1)\right))$学习线性混合MDP下$\varepsilon$ -LDP约束。在人工数据集上的实验验证了算法的有效性。据我们所知，这是第一个具有线性函数近似的可证明的隐私保护RL算法。
2021-10-19 cs.CR cs.LG math.OC
Differentially Private Learning of Geometric Concepts
Tel Aviv University（特拉维夫大学）；Google（谷歌）；Ben-Gurion University（本-古里安大学）
我们提出了差分私人有效的算法学习联盟的多边形在平面上（这不一定是凸的）。我们的算法实现$(α,β)$ -PAC学习和$(ε,δ)$ -差分隐私使用大小为$\tilde{O}\left(\frac{1}{αε}k\log d\right)$的样本，其中域是$[d]\times[d]$和$k$是多边形的并集中的边的数目。
2019-02-13 cs.LG stat.ML
Locally Differentially Private Online Federated Learning With Correlated Noise
KTH Royal Institute of Technology（KTH皇家理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种利用时间相关噪声的本地差分隐私在线联邦学习算法，通过扰动迭代分析和漂移误差管理，在非凸损失下建立动态遗憾界，并验证了其有效性。
2025-03-12 cs.DC cs.LG stat.ML
Differentially Private Stochastic Linear Bandits: (Almost) for Free
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了不同的隐私算法的问题的随机线性土匪在中央，本地和洗牌模型。在中心模型中，我们实现了与最优非私有算法几乎相同的遗憾，这意味着我们免费获得隐私。特别是，我们实现了一个遗憾的$\tilde{O}(\sqrt{T}+\frac{1}ε)$匹配的私人线性土匪的已知下限，而以前最好的已知算法实现$\tilde{O}(\frac{1}ε\sqrt{T})$。在本地情况下，我们实现了$\tilde{O}(\frac{1}ε{\sqrt{T}})$的遗憾，它与常数$ε$的非私有遗憾相匹配，但当$ε$很小时，会遭受遗憾惩罚。在洗牌模型中，我们也实现了$\tilde{O}(\sqrt{T}+\frac{1}ε)$ %的遗憾小$ε$在中央的情况下，而最好的以前已知的算法遭受的遗憾$\tilde{O}(\frac{1}ε{T^{3/5}})$。我们的数值计算验证了我们的理论结果。
2022-07-07 cs.CR cs.LG
Regret analysis of the Piyavskii-Shubert algorithm for global Lipschitz optimization
AURA AERO（光环航空）；Toulouse School of Economics（图卢兹经济学院）
我们考虑的问题，最大化的非凹Lipschitz多元函数在紧域通过顺序查询其（可能扰动）的值。我们研究了一个自然的算法，最初设计的Piyavskii和舒伯特在1972年，我们证明了新的界限的功能需要达到或证明一个给定的优化精度的评估数量。我们的分析使用了带宽优化的观点，并解决了Hansen等人的一个开放问题。（1991）通过限定评估的数量来证明具有接近最优的填充数和的给定精度。
2022-07-04 cs.LG math.OC stat.ML
