Minimax Optimal Fair Classification with Bounded Demographic Disparity
University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究有限样本下具有人口统计差异约束的公平二分类问题，提出公平性感知超额风险度量并推导其最小最大下界，进而设计达到该下界的 FairBayes-DDP+ 方法，实验验证其能有效控制差异并具有更优的公平性-准确性权衡。
2024-03-27 cs.CY cs.LG math.ST
Minimax AUC Fairness: Efficient Algorithm with Provable Convergence
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
在重大决策中使用机器学习模型往往加剧社会不平等，特别是对按种族和性别界定的边缘化群体成员产生不同的影响。ROC曲线下面积（AUC）被广泛用于评估机器学习中评分函数的性能，但在算法公平性方面的研究少于其他性能指标。由于AUC的成对性质，定义基于AUC的组公平性度量是成对依赖的，并且可以涉及\emph{intra-group}和\emph{inter-group} AUC两者。重要的是，仅考虑一类AUC不足以减轻AUC优化中的不公平性。在本文中，我们提出了一个极大极小学习和偏见缓解框架，结合了组内和组间AUC，同时保持效用。基于这个罗尔斯框架，我们设计了一个有效的随机优化算法，并证明了其收敛到最小的组级AUC。我们在合成数据集和真实数据集上进行了数值实验，以验证极大极小框架和所提出的优化算法的有效性。
2022-11-28 cs.CY cs.LG stat.ML
Lexicographically Fair Learning: Algorithms and Generalization
University of Pennsylvania（宾夕法尼亚大学）
我们将监督学习问题中的极大极小公平性的概念扩展到它的自然结论：字典式极大极小公平性（或简称lexifairness）。非正式地，给定一组感兴趣的人口统计组，极小极大公平要求具有最高误差的组的误差最小化。Lexifairness更进一步，要求在所有极小极大公平解中，第二高误差组的误差应最小化，在所有这些解中，第三高误差组的误差应最小化，等等。尽管它很自然，但正确定义lexifairness比极小极大公平要微妙得多，因为它对近似误差的固有敏感性。我们给出了一个近似lexifairness的概念，避免了这个问题，然后推导出甲骨文高效的算法，找到近似lexifair的解决方案，在一个非常一般的设置。当缺乏公平约束的基本经验风险最小化问题是凸的（例如，线性回归和逻辑回归），我们的算法即使在最坏的情况下也是有效的。最后，我们展示了推广的界限--训练样本上的近似lexifairness意味着真实分布上的近似lexifairness具有高概率。我们证明推广界的能力取决于我们选择的定义，避免了天真定义的不稳定性。
2021-02-16 cs.DS cs.LG stat.ML
Meta Optimality for Demographic Parity Constrained Regression via Post-Processing
University of Tsukuba（筑波大学）；RIKEN AIP（日本理化学研究所人工智能项目）
针对人口统计奇偶约束下的回归问题，提出可验证公平极小极大最优回归算法的元定理，并证明该最优回归可通过后处理实现，便于传统回归技术适配公平场景。
2025-06-16 cs.LG stat.ML
Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Computing and Software, McMaster University（麦斯特大学计算机与软件系）
本文提出了一种在局部差分隐私下精确最优的采样机制，通过f-散度度量效用，实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
Attack-Resistant Uniform Fairness for Linear and Smooth Contextual Bandits
National University of Singapore（新加坡国立大学）
本文提出了一种对抗鲁棒的均匀公平性算法，以在保证公平性的同时实现线性和平滑奖励函数的最小最大最优后悔。
2026-09-22 cs.LG stat.ME stat.ML
Fairness-aware Regression Robust to Adversarial Attacks
University of California, Davis（加州大学戴维斯分校）
在本文中，我们朝着回答如何设计对对抗攻击具有鲁棒性的公平机器学习算法的问题迈出了第一步。使用极大极小框架，我们的目标是设计一个对抗性鲁棒的公平回归模型，该模型在攻击者能够向数据集添加精心设计的对抗性数据点或对数据集执行一级攻击的情况下实现最佳性能。通过求解提出的非光滑非凸-非凹Minimax问题，得到了最优敌手和鲁棒公平性回归模型。对于合成数据和真实世界数据集，数值结果表明，与其他公平机器学习模型相比，本文提出的对抗鲁棒公平模型在中毒数据集上具有更好的预测精度和基于组的公平性度量.
2022-11-04 cs.CR cs.LG
Minimax-Optimality of Posterior Sampling for Reinforcement Learning
本文证明未经修改的后验采样PSRL在任意相关先验下实现极小极大贝叶斯遗憾最优，通过共同经验转移参考和贝尔曼方差论证，获得表格型MDP的$\tilde{O}(\sqrt{SAH^3K})$率及线性混合MDP的$\tilde{O}(d\sqrt{H^3K})$率。
2026-09-29 cs.LG stat.ML
MOTS: Minimax Optimal Thompson Sampling
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
汤普森抽样是许多在线决策问题中最广泛使用的算法之一，由于其实现简单和优于其他国家的最先进的方法的经验性能。尽管它的流行和经验的成功，它仍然是一个悬而未决的问题，汤普森采样是否可以匹配的极小极大下限$Ω(\sqrt{KT})$的$K$武装土匪问题，其中$T$是总的时间范围。在本文中，我们解决了这个长期开放的问题，提出了一个变种的汤普森采样称为MOTS，自适应剪辑的采样实例所选择的手臂在每个时间步。我们证明了这种简单的汤普森采样的变体实现了有限时间范围$T$的极小极大最优后悔界$O(\sqrt{KT})$，以及高斯奖励时的渐近最优后悔界$T$接近无穷大。据我们所知，MOTS是第一个汤普森采样类型的算法，实现了极大极小最优多臂强盗问题。
2020-10-01 cs.LG math.ST stat.ML
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University（纽约大学）
Meta强化学习（meta RL）是元学习思想和强化学习（RL）的结合，它使智能体能够使用少量样本适应不同的任务。然而，这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈，攻击者可以误导Agent从训练经验中构建错误的知识，这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础，了解这种类型的安全风险。特别是，我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理，这产生了极大极小制定。它导致了两种在线攻击方案：间歇攻击和持续攻击，使攻击者能够学习最佳的采样攻击，定义的$ε$ -一阶平稳点，在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果，我们观察到攻击者的微小努力可以显着降低学习性能，并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)（Numberly（1000mercis 集团））；Otto-von-Guericke University（奥托·冯·格里克大学）；Potsdam University（波茨坦大学）
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样，该概率密度函数可以在任何给定点精确地进行评估，尽管计算成本很高。然而，如果没有适当的调整，这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题，基于通过一个简单的函数，使用以前的样本的信息，自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设，要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限，并引入了一个新的算法，保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents
University of California, Irvine（加州大学欧文分校）
FairDiffuseVQVAE是将保真度与公平性解耦的两阶段表格扩散模型，在多个数据集上实现了显著的公平性提升，同时保持了优异的样本质量。
2026-08-03 cs.LG
Online Learning of Network Bottlenecks via Minimax Paths
Volvo Car Corporation（沃尔沃汽车公司）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究了通过提取极大极小路径来识别网络瓶颈的问题。许多现实世界的网络具有随机权重，事先无法获得全部知识。因此，我们将此任务建模为组合半强盗问题，我们应用组合版本的汤普森采样，并建立相应的贝叶斯后悔的上限。由于计算棘手的问题，我们然后设计了一个替代的问题配方，近似原来的目标。最后，我们在真实世界的有向和无向网络上实验评估了近似公式的Thompson采样的性能。
2023-02-14 cs.LG stat.ML
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度，并表明，对于许多这样的算法，采样的数据点没有更换导致更快的收敛速度相比，放回抽样更换。对于光滑和强凸-强凹的设置，我们考虑梯度下降上升和近点方法，并提出了一个统一的分析两个流行的无替换采样策略，即随机重排（RR），洗牌的数据，每一个时代，和单洗牌或洗牌一次（SO），洗牌只在开始。我们获得了紧收敛速度RR和SO，并证明这些策略导致更快的收敛速度比均匀采样。超越凸性，我们得到了类似的结果，光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后，我们证明了我们的技术是足够一般的数据排序攻击，其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率，其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
Locally Private Sampling with Public Data
McMaster University（麦克马斯特大学）；Vector Institue（向量研究所）；IIMAS（墨西哥国家自治大学）；Universidad Nacional Autónoma de México（墨西哥国家自治大学）
针对现有本地差分隐私方法仅假设用户拥有单条数据记录的局限，提出一种同时利用用户私有和公共数据集的本地私有采样框架，将其构建为基于$f$-散度的极小极大优化问题，并证明了所得最优机制在所有$f$-散度上均通用。
2025-05-02 cs.LG
Minimax Mixing Time of the Metropolis-Adjusted Langevin Algorithm for Log-Concave Sampling
Duke University（杜克大学）
研究了对数光滑和强对数凹分布下的Metropolis调整Langevin算法（MALA）的混合时间。我们建立了它的最佳minimax混合时间下的一个温暖的启动。我们的主要贡献是双重的。首先，对于$d$维对数凹密度与条件数$κ$，我们表明，MALA与热启动混合在$\tilde O(κ\sqrt{d})$迭代对数因子。这改进了先前对条件数$κ$或维度$d$的依赖性的工作。我们的证明依赖于比较蛙跳积分与连续哈密顿动力学，在那里我们建立了一个新的浓度范围的接受率。其次，我们证明了一般状态空间上可逆MCMC算法的一个基于谱间隙的混合时间下界。我们应用这个下限结果来构造一个硬分布，MALA至少需要$\tilde Ω(κ\sqrt{d})$步骤来混合。MALA的下限在条件数和维数方面与我们的上限相匹配。最后，数值实验验证了我们的理论结果。
2022-10-02 cs.LG stat.CO stat.ML
Locally Optimal Private Sampling: Beyond the Global Minimax
Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）；Department of Mathematical Sciences（数学科学系）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
本研究提出局部最优私有采样方法，在局部差分隐私下，通过函数LDP框架证明局部极小极大风险由全局决定，并给出不依赖f-散度的闭式最优采样器，实证优于全局方法。
2025-10-10 cs.CR cs.CY cs.IT
Minimax and Bayes Optimal Best-Arm Identification
本文提出了一种同时具有极小极大和贝叶斯最优性质的最佳臂识别策略，通过两阶段采样和决策规则实现高效识别。
2026-07-20 cs.LG econ.EM math.ST
Minimax experimental design: Bridging the gap between statistical and worst-case approaches to least squares regression
UC Berkeley（加州大学伯克利分校）；IBM Research – Almaden（IBM阿尔马登研究中心）；ICSI（国际计算机科学研究所）；Google Inc. Zürich（苏黎世谷歌公司）；UC Santa Cruz（加州大学圣克鲁兹分校）
在实验设计中，我们给出了大量的向量，每个向量都有一个隐藏的响应值，我们假设这些值来自一个底层线性模型，我们希望选择一个小的向量子集，这样查询相应的响应将导致模型的良好估计。统计学中的经典方法是假设响应是线性的，加上零均值i.i.d.。高斯噪声，在这种情况下，目标是提供具有最小均方误差的无偏估计量（A-最优设计）。在计算机科学中更常见的一种相关方法是假设响应是任意但固定的，在这种情况下，目标是尽可能快地使用最坏情况输入的少量响应来估计最小二乘解。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一个框架，实验设计的反应是由一个任意的未知分布。我们发现，有一个有效的随机实验设计程序，实现强方差界的无偏估计，在这个一般模型中使用很少的响应。几乎紧的古典A-最优性准则的界限，以及最坏情况下的响应的改进的界限，出现作为这个结果的特殊情况。在这个过程中，我们开发了一个新的算法的联合抽样分布称为体积抽样，我们提出了一个新的独立同分布。重要性采样方法：反分数抽样。我们的分析的一个关键新颖性是通过控制i.i.d.的尾部行为来开发新的最坏情况回归的预期误差范围。通过体积取样的联合进行取样。我们的结果激发了一个新的极小极大最优性准则的实验设计，它可以被看作是一个扩展的A-最优设计和抽样的最坏情况回归。
2019-02-04 cs.LG stat.ML
Batched Thompson Sampling
Stanford University（斯坦福大学）
我们引入了一种新的随时批量汤普森抽样政策的多武装土匪代理观察她的行动的回报，并调整她的政策，只有在年底的一小部分批次。我们表明，该政策同时实现了一个问题相关的遗憾顺序$O(\log(T))$和一个极大极小遗憾顺序$O(\sqrt{T\log(T)})$，而批次的数量可以有界的$O(\log(T))$独立的问题实例在一个时间范围$T$。我们还表明，在预期中，我们的政策所使用的批次的数量可以由一个实例依赖的顺序$O(\log\log(T))$的界限。这些结果表明，汤普森采样保持相同的性能，在这种批量设置的情况下，当瞬时反馈后，每个动作，同时需要最小的反馈。这些结果还表明，汤普森采样执行竞争力最近提出的算法定制的批量设置。这些算法优化了给定时间范围$T$的批处理结构，并在实验开始时优先考虑探索，以消除次优操作。我们表明，汤普森采样与自适应的自适应策略相结合，可以实现类似的性能，而不知道的时间范围$T$的问题，而不必仔细优化批处理结构，以实现一个目标的遗憾界（即问题相关与极小极大遗憾）为一个给定的$T$。
2021-10-01 cs.LG
Price of Fairness in Bandits: A Tight Minimax Characterization
Indian Institute of Technology Kharagpur（印度理工学院卡拉格浦尔分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indian Institute of Technology Kanpur（印度理工学院坎浦尔分校）
带反馈问题中，标准算法或使早期参与者面临不公平损失。此前\(p \geq 0\)时结果已知，\(q = -p > 0\)的严格公平机制待解决。本文用大海捞针构造证明下界，引入\textsf{UCB - HARE}算法，其遗憾与下界匹配，实验证实该算法优于均匀探索基线。
2026-07-16 cs.AI cs.LG stat.ML
Fair Sampling in Diffusion Models through Switching Mechanism
Seoul National University（首尔国立大学）；Ulsan National Institute of Science and Technology (UNIST)（蔚山国立科学技术院（UNIST））
本文提出一种无需额外训练的扩散模型属性切换采样机制，在不依赖分类器的情况下混淆敏感属性，实现公平数据生成并保持数据效用。
2024-10-03 cs.CY cs.LG
Minimax Lower Bounds for $\mathcal{H}_\infty$-Norm Estimation
University of California, Berkeley（加州大学伯克利分校）
在鲁棒控制中，从有噪声的输入/输出测量中估计LTI系统的$\mathcal{H}_\infty$范数作为参数辨识的一种替代方法，已引起人们的关注。在本文中，我们研究了查询模型下的$\mathcal{H}_\infty$ -范数估计的下界，其中在每次迭代中，算法选择一个有界的输入信号，并接收被白噪声破坏的所选信号的响应。我们证明，当底层系统是一个FIR滤波器，$\mathcal{H}_\infty$范数估计是没有更有效的被动采样模型识别。对于主动采样，我们表明，范数估计是最多的一个因素，$\log{r}$更有效的样本比模型识别，其中$r$是过滤器的长度。我们补充我们的理论结果与实验表明，一个简单的非自适应估计的范数是有竞争力的最先进的自适应范数估计算法。
2018-09-28 cs.LG math.OC
Maillard Sampling: Boltzmann Exploration Done Optimally
University of Arizona（亚利桑那大学）
Maillard（2013）的博士论文提出了一个相当模糊的算法来解决$K$ -armed bandit问题。这种不太为人所知的算法，我们称之为美拉德采样（MS），计算在\textit{closed form}中选择每个手臂的概率，这对于汤普森采样是不正确的，汤普森采样是业界广泛采用的强盗算法。这意味着，与汤普森抽样不同，来自运行MS的强盗记录数据可以很容易地用于反事实评估。出于这样的优点，我们重新审视MS，并进行了改进的分析，以表明它实现了渐近最优性和$\sqrt{KT\log{T}}$极大极小遗憾界，其中$T$是时间范围，这符合已知的界限渐近最优UCB。%的业绩。然后，我们提出了一个变种的MS称为MS $^+$，提高其极大极小绑定到$\sqrt{KT\log{K}}$。MS $^+$也可以被调整为积极的（即，较少的探索），而不会失去渐近最优性，这是现有的Bandit算法无法获得的独特特征。数值计算结果表明了MS $^+$的有效性。
2022-03-04 cs.LG stat.ML
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
Minimax Optimality of the Probability Flow ODE for Diffusion Models
University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）
本文为基于概率流ODE的扩散模型采样器建立了首个端到端理论框架，针对次高斯且密度β-Hölder光滑的目标分布提出光滑正则化分数估计器，证明其在总变差距离上达到近最小最大最优速率。
2025-03-12 cs.IT cs.LG math.IT
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah（犹他大学）；University of Science and Technology of China（中国科学技术大学）；Ant Group（蚂蚁集团）；JD company（京东公司）
梯度下降-上升（GDA）算法是一种广泛使用的极小极大优化算法。然而，GDA已被证明收敛到非凸极大极小优化的稳定点，这是次优的局部极大极小点相比。在这项工作中，我们开发了三次正则化（CR）型算法，全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后，受经典的三次正则化算法的启发，提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax，并利用其内在的势函数给出了一个全面的收敛性分析.具体地说，我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度，并描述其迭代复杂性。此外，我们提出了一个基于GDA的求解器，用于解决Cubic-LocalMinimax算法中涉及的立方子问题，达到一定的预定义精度，并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外，我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化，并在随机子采样下的样本复杂性。实验结果表明，我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Fairness for Robust Log Loss Classification
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Carnegie Mellon University（卡内基梅隆大学）
开发具有高准确性的分类方法，同时避免对不同群体的不公平对待，对于社交应用中的数据驱动决策变得越来越重要。许多现有方法对所选分类器（例如，逻辑回归）通过直接形成约束优化。相反，我们重新推导出一个新的分类器的分布鲁棒性的第一原则，将公平性标准纳入最坏情况下的对数损失最小化。这种构造采用极大极小博弈的形式，并产生类似于截断逻辑回归的参数指数族条件分布。我们提出了我们的方法在其凸性和渐近收敛的理论优势。然后，我们证明了我们的方法在三个基准公平数据集的实际优势。
2020-10-14 cs.LG stat.ML
Solving a Class of Non-Convex Minimax Optimization in Federated Learning
University of Pittsburgh（匹兹堡大学）；University of Virginia（弗吉尼亚大学）；University of Maryland（马里兰大学）
针对联邦学习场景下非凸极小极大优化研究不足的问题，提出FedSGDA+和FedSGDA-M算法，降低了不同设置下的通信与样本复杂度，经实验验证了算法效率。
2023-10-05 cs.AI cs.LG
Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
University of Arizona（亚利桑那大学）
本文提出Exp-KL-MS算法，同时满足渐近最优性、带对数因子极小极大最优性、Sub-UCB及方差自适应遗憾界，解决多臂老虎机多标准优化问题。
2026-11-05 cs.DS cs.LG
Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本研究将推理奖励建模为层次函数，证明基于 Transformer 的演员-评论家算法在 RL 后训练中实现极小极大最优速率，优于离线采样。
2026-10-07 cs.LG stat.ML
Fairness Without Harm: An Influence-Guided Active Sampling Approach
UC Santa Cruz（加州大学圣克鲁兹分校）；Meta GenAI（元通用人工智能部门）
提出一种不依赖训练组标注、仅需验证集组标注的影响力引导主动采样算法，在不损害准确性的前提下改善群体公平性，理论分析与实验验证其有效性。
2024-11-08 cs.AI cs.LG
Finite-Time Regret of Thompson Sampling Algorithms for Exponential Family Multi-Armed Bandits
National University of Singapore（新加坡国立大学）；California Institute of Technology（加州理工学院）
研究了指数家族强盗的Thompson抽样算法的后悔性，其中奖励分布来自一维指数家族，包括Bernoulli，Gaussian，Gamma，Exponential等常见的奖励分布，提出了一种Thompson抽样算法ExpTS，它使用了一种新的抽样分布，以避免低估的最佳手臂。我们提供了一个严格的遗憾分析ExpTS，这同时产生有限时间后悔界以及渐近后悔界。特别地，对于具有指数族奖励的$K$ -武装强盗，在地平线上的ExpTS $T$是子UCB（问题依赖的有限时间后悔的强准则），极大极小最优直到因子$\sqrt{\log K}$，并且对于指数族奖励是渐近最优的。此外，我们提出了ExpTS $^+$，通过增加一个贪婪的开发步骤，除了在ExpTS中使用的抽样分布，以避免过度估计的次优武器。ExpTS $^+$是一个任意时刻的强盗算法，并且对于指数族报酬分布同时达到极大极小最优性和渐近最优性。我们的证明技术是一般的，概念上简单，可以很容易地应用于分析标准的汤普森抽样与特定的奖励分布。
2022-06-07 cs.LG stat.ML
Generalization Bounds of Nonconvex-(Strongly)-Concave Stochastic Minimax Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文首次系统地研究了非凸-（强）-凹（NC-SC/NC-C）随机极大极小优化算法的推广界，该推广界由原函数的平稳性度量.我们首先通过经验极大极小问题和总体极大极小问题之间的一致收敛性建立算法无关的推广界。对于NC-SC和NC-C设置，实现$ε$-泛化的示例复杂度分别为$\tilde{\mathcal{O}}(dκ^2ε^{-2})$和$\tilde{\mathcal{O}}(dε^{-4})$，其中$d$是维度，$κ$是条件数。通过算法的稳定性论证，我们进一步研究了算法依赖的推广界。特别是，我们引入了一个新的稳定性的概念，极大极小问题，并建立一个连接之间的推广界和稳定性的概念。因此，我们建立了随机梯度下降上升（SGDA）算法和更一般的采样确定算法的算法依赖的泛化界。
2023-02-06 cs.LG math.OC stat.ML
Null-sampling for Interpretable and Fair Representations
University of Sussex（萨塞克斯大学）
我们建议在数据域中学习不变表示，以实现算法公平性的可解释性。不变性意味着高水平的选择性，相关的相关性w.r.t.类别标签注释，以及对与受保护特征（诸如种族或性别）的不相关相关性的鲁棒性。我们引入了一个非平凡的设置，其中训练集表现出很强的偏见，使类标签注释是不相关的，虚假的相关性无法区分。为了解决这个问题，我们引入了一个逆向训练的模型与零采样过程中产生不变的表示在数据域。为了能够解开纠缠，使用部分标记的代表集。通过将表示放置到数据域中，模型所做的更改可以很容易地被人工审计员检查。我们展示了我们的方法在图像和表格数据集上的有效性：彩色MNIST，CelebA和成人数据集。
2020-08-12 cs.LG stat.ML
Sampling Ex-Post Group-Fair Rankings
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）
本文提出随机化群体公平排名的公理化定义，并设计两种采样算法，在保证事后群体公平约束的同时提升采样效率和排名效用。
2023-05-29 cs.DS cs.LG
Minimax Sample Complexity for Turn-based Stochastic Game
Peking University（北京大学）；University of California, Los Angles（加州大学洛杉矶分校）
多智能体强化学习的经验成功是令人鼓舞的，而很少有理论保证已经揭示。在这项工作中，我们证明了插件求解器的方法，可能是最自然的强化学习算法，实现最小化最大样本复杂度的回合制随机游戏（TBSG）。具体来说，我们计划在一个经验TBSG利用“模拟器”，允许从任意状态动作对采样。我们证明了经验纳什均衡策略是真实TBSG中的近似纳什均衡策略，并给出了问题相关和问题无关的界。我们开发了吸收TBSG和奖励扰动技术来解决复杂的统计依赖性。其核心思想是人为地在TBSG中引入一个次优间隙，然后纳什均衡策略位于一个有限集合中。
2020-11-29 cs.GT cs.LG stat.ML
Learning Fair Representations via an Adversarial Framework
Zhejiang University（浙江大学）；PPDAI GROUP Inc.（拍拍贷集团）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California, Los Angeles（加州大学洛杉矶分校）
公平性已经成为我们研究界的一个核心问题，因为分类算法被应用于社会关键领域，如累犯预测和贷款审批。在这项工作中，我们考虑了基于受保护属性的潜在偏见（例如，种族和性别），并通过学习在受保护群体之间在统计上无法区分的个体的潜在表示来解决这个问题，同时充分保留用于分类的其他信息。为此，我们开发了一个极大极小对抗框架，其中包含一个生成器来捕获数据分布并生成潜在表示，以及一个评论家来确保不同保护组之间的分布是相似的。我们的框架提供了一个理论上的保证，统计平价和个人的公平。在四个真实世界数据集上的实证结果也表明，学习的表示可以有效地用于分类任务，如信用风险预测，同时阻碍与受保护群体相关的信息，特别是当删除受保护的属性不足以进行公平分类时。
2019-04-30 cs.LG stat.ML
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
Functional linear regression from sparse to dense designs: a pooling-ridge method and minimax optimality
Tsinghua University（清华大学）；Peking University（北京大学）
针对离散观测数据的函数线性回归最优估计难题，提出池化-岭方法，实现从稀疏到密集设计下两类回归模型的极小极大最优性，经模拟与实际数据验证。
2026-08-27 cs.LG math.ST stat.ME
Bipartite Graph Variational Auto-Encoder with Fair Latent Representation to Account for Sampling Bias in Ecological Networks
agroparistech（巴黎农业学院）；MNHN, CNRS, SU（法国国家自然博物馆、国家科学研究中心、苏弗尔（SU））；Sorbonne Université, CNRS, IRD, INRAE, Université Paris Est Créteil, Université Paris Cité, Institute of Ecology and Environmental Sciences (iEES-Paris)（索邦大学、国家科学研究中心、国际发展研究所、法国国家农业食品研究咨询中心、巴黎东部大学、巴黎城市大学、生态与环境科学研究所（iEES-巴黎））
本文提出了一种双图变分自编码器，通过引入HSIC来处理生态网络中的采样偏差，以获得公平的潜在表示。
2025-11-20 cs.LG cs.SI stat.ML
Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling
Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究院）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；Pohang University of Science and Technology (POSTECH)（浦项科技大学）
本文提出FICS两步策略，通过公平干预强调少数样本生成，并用校正采样过滤样本以符合潜在属性分布，从而消除条件生成模型中的虚假因果关系。
2023-07-04 cs.AI cs.CV cs.LG
Minimax Rates and Efficient Algorithms for Noisy Sorting
Massachusetts Institute of Technology（麻省理工学院）
最近，人们对研究基于排列的模型的兴趣激增，用于从成对比较数据中进行排名。尽管基于置换的模型在结构上比参数排名模型更丰富和更鲁棒，但在统计学上理解得不太好，并且通常缺乏有效的学习算法。在这项工作中，我们研究了一个原型的置换为基础的排名模型，即噪声排序模型。我们建立了两种抽样程序下模型的最优学习率。此外，我们提供了一个快速算法，以达到接近最佳的利率，如果观察独立采样。一路上，我们发现了对称群的性质，这是理论上的兴趣。
2017-10-28 cs.LG math.ST stat.ML
AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
利用统一的自适应矩阵，提出了一类求解非凸-强-凹Minimax问题的快速自适应梯度下降上升（GDA）算法，该算法包含了几乎所有的坐标方向和全局自适应学习率.特别是，我们提供了一个有效的收敛性分析框架，我们的自适应GDA方法。具体地说，我们提出了一种快速自适应梯度下降上升（AdaGDA）方法的基础上的基本动量技术，它达到了较低的梯度复杂度$\tilde{O}(κ^4ε^{-4})$寻找$ε$-平稳点没有大批量，这改善了$O(\sqrtκ)$因子的自适应GDA方法的现有结果。此外，我们提出了一个加速版本的AdaGDA（VR-AdaGDA）方法的基础上的动量为基础的方差减少技术，实现了较低的梯度复杂度$\tilde{O}(κ^{4.5}ε^{-3})$寻找$ε$-平稳点没有大批量，这改善了现有的自适应GDA方法的结果的一个因素$O(ε^{-1})$。此外，我们证明了我们的VR-AdaGDA方法可以达到最好的梯度复杂度的$\tilde{O}(κ^{3}ε^{-3})$与小批量大小$O(κ^3)$。通过策略评估和公平分类器学习任务的实验，验证了新算法的有效性。
2023-02-21 cs.LG math.OC
Bandit Convex Optimization: sqrt{T} Regret in One Dimension
Microsoft Research（微软研究院）；Technion（以色列理工学院）
我们分析了对抗性强盗凸优化问题的极小极大后悔问题。针对一维情形，证明了极小极大后悔是$\widetildeΘ(\sqrt{T})$，部分解决了一个已有十年之久的公开问题.我们的分析是非建设性的，因为我们没有提出一个具体的算法，达到这个遗憾率。相反，我们使用极大极小对偶将问题简化为贝叶斯设置，其中凸损失函数是从最坏情况分布中提取的，然后我们使用汤普森抽样的变体解决贝叶斯版本的问题。我们的分析功能的凸性，形式化为一个“局部到全局”的凸函数的属性，这可能是独立的利益的一种新的使用。
2015-02-23 cs.LG math.OC
First-Order Softmax Weighted Switching Gradient Method for Distributed Stochastic Minimax Optimization with Stochastic Constraints
Purdue University（普渡大学）
本文提出了一种适用于分布式随机博弈优化的Softmax加权切换梯度方法，通过统一的收敛保证和高效的算法设计，提高了联邦学习中的优化性能。
2026-07-14 cs.DC cs.LG
Sampling Individually-Fair Rankings that are Always Group Fair
IISc（印度科学学院）；Yale University（耶鲁大学）；MSR India（微软研究院印度分院）
针对排名中的公平性问题，提出一种高效算法，从个体公平分布中采样排名，确保每个输出排名满足群体公平，且期望效用接近最优公平解，实验证明其优于现有基线。
2023-06-21 cs.CY cs.DS cs.IR
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
Can Active Learning Preemptively Mitigate Fairness Issues?
ServiceNow（ServiceNow公司）
数据集偏差是机器学习中不公平的主要原因之一。因此，在数据汇集和数据集准备阶段解决公平性问题成为训练更公平算法的重要组成部分。特别是，主动学习（AL）算法通过将重要性引入信息量最大的训练样本来显示任务的前景。然而，现有的AL算法和算法公平性之间的影响和相互作用仍然是不够的探索。在本文中，我们研究了使用基于不确定性的AL算法（如BALD）训练的模型是否比使用相同独立分布（i.i.d.）训练的模型在保护类的决策中更公平。取样.我们发现使用BALD时预测奇偶性有显著改善，同时与i.i.d.相比也提高了准确性。取样.我们还探讨了算法公平性方法，如梯度反转（GRAD）和BALD的相互作用。我们发现，在解决不同的公平性问题的同时，它们的相互作用进一步改善了我们探索的大多数基准和指标的结果。
2021-04-14 cs.CY cs.LG
Feel-Good Thompson Sampling for Contextual Bandits and Reinforcement Learning
Google Research（谷歌研究院）；Hong Kong University of Science and Technology（香港科技大学）
汤普森采样由于其建模能力的灵活性而被广泛用于上下文强盗问题。然而，这类方法在频率设置的一般理论仍然缺乏。在本文中，我们提出了一个理论分析的汤普森抽样，重点是频率主义的遗憾界。在这种情况下，我们表明，标准的汤普森采样是不够积极的探索新的行动，导致次优在一些悲观的情况下。一个简单的修改，称为感觉良好的汤普森采样，这有利于高奖励模型更积极地比标准的汤普森采样，提出了解决这个问题。我们表明，理论框架可以用来推导贝叶斯后悔界标准汤普森抽样，和频率论后悔界感觉良好的汤普森抽样。结果表明，在这两种情况下，我们可以减少强盗后悔问题的在线最小二乘回归估计。对于频率论分析，在线最小二乘回归界可以直接使用在线聚集技术，已经得到了很好的研究。由此产生的强盗后悔界匹配的最小最大下界在有限行动的情况下。此外，分析可以推广到处理一类线性可嵌入上下文强盗问题（推广流行的线性上下文强盗模型）。得到的结果再次匹配极小极大下界。最后，我们说明，分析可以扩展到处理一些MDP问题。
2021-10-02 cs.LG math.ST stat.ML
Sampling a Near Neighbor in High Dimensions -- Who is the Fairest of Them All?
IT University of Copenhagen（哥本哈根信息技术大学）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校（UIUC））；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田理工学院（TTIC））；University of Copenhagen（哥本哈根大学）；University of Padova（帕多瓦大学）
相似性搜索是一种基本的算法原语，广泛应用于计算机科学的许多学科。给定一组点$S$和半径参数$r>0$，$r$ -近邻（$r$ -NN）问题要求一个数据结构，该数据结构在给定任何查询点$q$的情况下，返回距离$q$至多$r$的点$p$。在本文中，我们研究了$r$ -NN问题的光个人的公平性和提供平等的机会：距离$r$从查询的所有点应该有相同的概率被返回。在低维情况下，这个问题首先由Hu，Qiao和Tao（PODS 2014）研究。局部敏感哈希（LSH），理论上最强的方法，在高维相似性搜索，不提供这样的公平性保证。在这项工作中，我们表明，基于LSH的算法可以做到公平，而没有显着的效率损失。我们提出了几个有效的数据结构的准确和近似的公平NN问题的变种。我们的方法更普遍地适用于从给定集合的集合的子集合中均匀采样，并且可以在其他一些应用中使用。我们还开发了一个数据结构公平的相似性搜索下的内积，需要近线性空间，并利用局部敏感的过滤器。最后，本文的实验评估，突出了固有的不公平的NN数据结构，并显示我们的算法在现实世界的数据集上的性能。
2021-01-26 cs.DB cs.DS cs.LG
Learning from Biased and Costly Data Sources: Minimax-optimal Data Collection under a Budget
Department of Statistics University of Wisconsin-Madison（统计学系威斯康星大学麦迪逊分校）；Department of Biostatistics University of Wisconsin-Madison（生物统计学系威斯康星大学麦迪逊分校）；Department of Computer Sciences University of Wisconsin-Madison（计算机科学系威斯康星大学麦迪逊分校）
针对预算固定的多源数据收集问题，提出最大化有效样本量的采样方案，结合事后分层估计器，实现极小极大最优风险。
2026-06-17 cs.LG math.ST stat.ML
Fair Near Neighbor Search: Independent Range Sampling in High Dimensions
IT University of Copenhagen（哥本哈根信息技术大学）；University of Padova（帕多瓦大学）
相似性搜索是一种基本的算法原语，广泛应用于计算机科学的许多学科。相似性搜索问题有几种变体，最相关的一种是$r$ -近邻（$r$-NN）问题：给定半径$r>0$和一组点$S$，构造一个数据结构，对于任何给定的查询点$q$，返回一个点$p$，该点距离$q$至多$r$。本文从公平性的角度研究了$r$ -NN问题。我们从机会均等的意义上考虑公平性：距离查询$r$以内的所有点都应该有相同的概率被返回。在低维情况下，这个问题首先由Hu，Qiao和Tao（PODS 2014）研究。局部敏感哈希（LSH），理论上最强的方法，在高维相似性搜索，不提供这样的公平性保证。为了解决这一问题，我们提出了有效的数据结构$r$ -NN在$S$中的所有点附近的$q$有相同的概率被选择和返回的查询。具体来说，我们首先提出了一个黑盒的方法，给定任何LSH方案，构造一个数据结构均匀采样点的查询附近。然后，我们开发了一个数据结构公平的相似性搜索下的内积，需要近线性空间，并利用局部敏感的过滤器。本文最后的实验评估，突出（不）公平的建议设置在现实世界的数据集，并讨论了固有的不公平引入解决其他变量的问题。
2020-06-15 cs.CG cs.DS cs.IR
Automatic Fairness Testing of Neural Classifiers through Adversarial Sampling
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte. Ltd.（华为国际私人有限公司）；National University of Singapore（新加坡国立大学）
尽管深度学习在许多应用中表现出惊人的性能，但人们仍然担心它的可靠性。具有社会影响的深度学习应用的一个期望属性是公平性（即，不歧视）。不幸的是，由于训练数据中的歧视，歧视可能固有地嵌入到模型中。作为一种对策，公平性测试系统地识别歧视性样本，可以用来重新训练模型，提高模型的公平性。然而，现有的公平性测试方法有两个主要的局限性。首先，它们只在传统的机器学习模型上工作得很好，性能很差（例如，深度学习模型的有效性和效率。其次，它们只适用于简单的结构化（例如，表格）数据，并且不适用于文本等域。在这项工作中，我们通过提出一种可扩展的有效方法来弥补这一差距，该方法用于系统地搜索歧视性样本，同时扩展现有的公平性测试方法以解决更具挑战性的领域，即，文本分类与最先进的方法相比，我们的方法只采用轻量级的过程，如梯度计算和聚类，这是显着更具可扩展性和有效性。实验结果表明，平均而言，我们的方法更有效地探索搜索空间（9.62和2.38倍以上的最先进的方法分别对表格和文本数据集），并产生更多的歧视性样本（24.95和2.68倍）在相同的合理时间。此外，重新训练的模型平均分别减少了57.2%和60.2%的歧视。
2021-07-29 cs.AI cs.CY cs.LG
