ConquerNet: Convolution-Smoothed Quantile ReLU Neural Networks with Minimax Guarantees
Department of Statistics and Data Science（统计与数据科学系）
ConquerNet通过卷积平滑技术解决分位数回归中非光滑损失函数的优化难题，提供非渐近风险界，并在多个分位数水平上提升估计精度和训练效率。
2026-05-07 cs.LG stat.ML
Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Fudan University（复旦大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
我们研究情节两个球员零和马尔可夫游戏（MG）在离线设置，其中的目标是找到一个近似的纳什均衡（NE）的政策对收集的先验数据集的基础上。当数据集在所有策略对上不具有均匀覆盖时，找到近似NE涉及三个方面的挑战：（i）行为策略和最优策略之间的分布转移，（ii）处理大状态空间的函数近似，以及（iii）用于均衡求解的极小极大优化。我们提出了一个基于悲观的算法，被称为悲观极小极大值迭代（PMVI），它克服了分布的变化，通过构建悲观估计的价值函数为双方球员和输出的政策对解决NE的基础上的两个价值函数。此外，我们建立了一个依赖于数据的上界的次优恢复一个次线性率，而无需假设均匀覆盖的数据集。我们还证明了一个信息理论的下限，这表明在上限的数据依赖项是内在的。我们的理论结果还强调了“相对不确定性”的概念，它表征了在离线MG中实现样本效率的充分必要条件。据我们所知，我们提供了第一个接近minimax最优结果离线MG函数逼近。
2022-12-30 cs.GT cs.LG stat.ML
MixMax: Distributional Robustness in Function Space via Optimal Data Mixtures
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
MixMax通过将群体DRO从参数空间重参数化到函数空间，利用极小极大定理和凸优化求解最优数据混合，从而提升最差情况性能，并在实验中优于或匹配现有基线。
2025-02-25 cs.LG stat.ML
Minimax Optimal Sequential Hypothesis Tests for Markov Processes
在较弱的Markov假设下，得到了分布不确定性下多假设序贯检验的严格Minimax最优性的充分条件。首先，简单假设的最优序贯检验的设计被重新审视，它表明，相应的成本函数的偏导数是密切相关的基本序贯检验的性能指标。第二，一个隐含的表征最不利的分布为一个给定的测试政策。结合最优序贯检验和最不利分布的结果，得到了一般分布不确定性下序贯检验为minimax最优的充分条件。最小最大最优检验的成本函数被进一步确定为广义$f$-相异度，最不利的分布是那些最相似的相对于这种相异度。不同不确定度下的极小极大最优序贯检验的数值例子说明了理论结果。
2020-10-22 math.ST stat.TH
Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal
Microsoft（微软）；University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作认为，在折扣马尔可夫决策过程（MDP）中获得一个$ε$ -最优策略的样本和计算复杂性，只提供一个生成模型。在这项工作中，我们研究了最自然的插件方法的有效性，以基于模型的规划：我们建立的最大似然估计的过渡模型中的MDP从观察，然后找到一个最佳的政策，在这个经验MDP。我们问可以说是最基本的和未解决的问题，在基于模型的规划：是天真的“插件”的方法，非渐近，极大极小最优的政策，它发现的质量，给定一个固定的样本量？这里，非渐近状态是指样本量在模型大小中是次线性的。通过访问生成模型，我们解决了这个问题，在最强的可能意义上：我们的主要结果表明，\emph{any}高精度的解决方案中的插件模型构建的$N$样本，提供了一个$ε$ -最优的政策，在真正的底层MDP（其中$ε$是极大极小的准确性与$N$样本在每个状态，动作对）。相比之下，所有先前的（非渐近）极大极小最优结果都使用无模型方法，例如方差降低Q值迭代算法（Sidford et al 2018），而最知名的基于模型的结果（例如Azar et al 2013）需要更大的样本量，因为它们依赖于规划范围或状态空间。值得注意的是，我们表明，基于模型的方法允许使用\emph{any}有效的规划算法的经验MDP，这简化了算法设计，因为这种方法不绑算法的采样过程。我们的分析的核心是avnovel“吸收MDP”建设，以解决统计依赖性问题，出现在基于模…
2020-04-05 cs.LG math.PR stat.ML
Minimax Optimal Estimation of Stability Under Distribution Shift
Decision, Risk, and Operations Division（决策、风险与运营部门）；Department of Industrial Engineering and Operations Research（工业工程与运筹学系）；Management Science and Engineering（管理科学与工程）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出了一种最小最大最优稳定性估计器，用于评估系统在分布偏移下的稳定性，通过分析收敛速率和实证验证，展示了其在鲁棒性问题中的应用价值。
2024-06-25 cs.LG stat.ML
Deciding When to Switch: E-Processes for Adaptive Minimax Training for Generative Adversarial Nets
Ewha Womans University（梨花女子大学）；Purdue University（普渡大学）
本研究将GAN训练的切换时机判定转化为序列假设检验问题，提出基于E-过程的自适应训练流程，在多模态合成分布与图像数据集上表现优于或匹配最优固定比例基线。
2026-08-12 cs.LG stat.ML
Efficient Online-Bandit Strategies for Minimax Learning Problems
Technische Universität Berlin（柏林工业大学）
一些学习问题涉及解决最小-最大问题，例如，经验分布鲁棒学习或具有非标准聚集损失的学习。更具体地说，这些问题是凸线性问题，其中最小化是在模型参数$w\in\mathcal{W}$和最大化的经验分布$p\in\mathcal{K}$的训练集indexs. To设计有效的方法，$\mathcal{K}$是单纯形或它的一个子集，我们让一个在线学习算法对（组合）强盗算法。我们认为，这种方法的效率关键取决于结构的$\mathcal{K}$，并提出了两个属性的$\mathcal{K}$，便于设计高效的算法。我们专注于一个特定的家庭的集合$\mathcal{S}_{n,k}$涵盖各种学习应用程序，并提供高概率收敛保证的极大极小值。
2021-06-04 cs.LG math.OC stat.ML
Statistical inference for generative adversarial networks and other minimax problems
本文从统计推断角度研究GAN，证明样本极小极大问题的解集是总体解集的一致估计，并提出构造具有期望覆盖概率的置信集的方法，结果适用于非凸非凹多解的一般极小极大问题。
2023-12-05 math.ST stat.ML stat.TH
Uniform Discrete Diffusion Models are Minimax Optimal for Estimating Distributions with Small Effective Support Size
University of Michigan（密歇根大学）
针对离散扩散模型统计界随环境空间大小退化的问题，本文证明均匀离散扩散的TV误差率由有效支持大小决定且极小极大最优，KL率仅多对数因子，从而避免维数灾难。
2026-10-07 cs.LG stat.ML
Minimax optimal density estimation using a shallow generative model with a one-dimensional latent variable
本文从非参数密度估计角度研究VAE类隐式密度估计器的统计性质，证明在真实密度属于局部Hölder类时，一维潜变量浅层生成模型能达到Hellinger度量下的近最小最大最优收敛速率。
2024-02-08 math.ST stat.TH
Minimax Rate for Optimal Transport Regression Between Distributions
分布上分布回归考虑的是在协变量和响应都是概率分布的情况下，制定和估计回归关系的问题。最优输运分布回归模型假定响应分布的条件Fréchet均值通过最优输运图与协变量分布相关联。我们建立这样一个回归函数的极大极小估计率，推导出一个下限，匹配的收敛速度达到的Fréchet最小二乘估计。
2022-06-03 math.ST stat.TH
Unified Framework of Distributional Regret in Multi-Armed Bandits and Reinforcement Learning
University of Washington（华盛顿大学）；Seoul National University（首尔国立大学）
本文提出一种统一框架，研究随机多臂老虎机和回合制强化学习中的分布后悔，通过简单的UCBVI型算法，推导出通用的分布后悔界，优化期望性能、尾风险和实例依赖行为的平衡。
2026-06-23 cs.LG stat.ML
Generative Neural Networks for Sinkhorn Distributionally Robust Hypothesis Testing
School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）；College of Business, City University of Hong Kong（香港城市大学商学院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文针对现有Sinkhorn分布鲁棒假设检验方法可扩展性不足的问题，提出基于超输入凸神经网络的生成式框架，实现了更优的检测精度与鲁棒性，且具备良好的可扩展性。
2026-08-25 cs.LG math.OC stat.ML
GAN Q-learning
McGill University（麦吉尔大学）
分布式强化学习（分布式RL）在非线性函数逼近的复杂马尔可夫决策过程（MDP）中取得了经验上的成功。然而，有许多不同的方法可以利用分布式方法来进行强化学习。在本文中，我们提出了GAN Q学习，这是一种基于生成对抗网络（GANs）的新型分布式RL方法，并分析了其在简单表格环境以及OpenAI Gym中的性能。我们的经验表明，我们的算法利用了深度学习模型的灵活性和黑盒方法，同时为传统方法提供了一种可行的替代方案。
2018-07-20 cs.LG stat.ML
Distributionally Robust Inverse Reinforcement Learning for Identifying Multi-Agent Coordinated Sensing
Cornell University（康奈尔大学）
本文提出一种极小极大分布鲁棒逆强化学习算法，通过在Wasserstein模糊集上最小化最坏预测误差来重构多智能体感知系统的效用函数，并证明了其与半无限优化的等价性且在认知雷达网络实验中验证了有效性。
2024-09-22 cs.LG cs.MA eess.SP
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Stone's theorem for distributional regression in Wasserstein distance
我们将著名的Stone定理推广到分布回归的框架中。更确切地说，我们证明了加权经验分布与当地的概率权重满足条件的石头定理提供普遍相合估计的条件分布，其中的误差是衡量的Wasserstein距离的顺序p $\ge$ 1。此外，对于p = 1，我们确定了特定类分布的极小极大收敛速度。最后给出了这些结果的一些应用，包括条件尾期望和概率加权矩的估计。
2023-02-02 math.ST stat.TH
Distributional Policy Optimization: An Alternative Approach for Continuous Control
Technion Institute of Technology（以色列理工学院）
我们确定了一个基本问题，在连续控制的策略梯度为基础的方法。由于策略梯度方法需要代理的潜在概率分布，它们将策略表示限制为参数分布类。我们表明，在这样的集合优化的结果在动作空间中的局部运动，从而收敛到次优解。我们提出了一种新的分布框架，能够表示任意分布函数的连续动作空间。使用这个框架，我们构建了一个生成方案，使用一个非政策的演员-评论家范式进行训练，我们称之为生成演员评论家（GAC）。与策略梯度方法相比，GAC不需要基本概率分布的知识，从而克服了这些限制。实证评估表明，我们的方法是可比的，往往超过目前的最先进的基线在连续域。
2019-11-25 cs.AI cs.LG stat.ML
Off-Policy Evaluation in Markov Decision Processes under Weak Distributional Overlap
针对MDP离策略评估中强分布重叠过强的问题，提出截断双重稳健TDR估计量，在弱重叠下保证一致性并给出极小极大收敛速度。
2025-09-28 cs.LG stat.ML
Linear Bandits with Limited Adaptivity and Learning Distributional Optimal Design
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
出于实际需要，如大规模的学习，我们研究的影响，适应性约束的线性上下文强盗，在线主动学习的中心问题。我们考虑两个流行的有限适应性模型在文献中：批量学习和罕见的政策开关。我们发现，当上下文向量是adversarially选择$d$维线性上下文强盗，学习者需要$O(d \log d \log T)$政策开关，以实现最小最优的遗憾，这是最佳的$\mathrm{poly}(\log d, \log \log T)$因素;随机上下文向量，即使在更严格的批量学习模型，只有$O(\log \log T)$批次需要实现最佳的遗憾。结合文献中已有的结果，我们的研究结果给出了线性语境强盗中适应性约束的完整描述。一路上，我们提出了分布最优设计，最优实验设计的自然延伸，并提供了一个统计和计算效率高的学习算法的问题，这可能是独立的利益。
2021-04-23 cs.DS cs.LG stat.ML
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
Sample Complexity of Variance-reduced Distributionally Robust Q-learning
Stanford University（斯坦福大学）；New York University（纽约大学）
本文提出分布鲁棒Q学习及其方差缩减版本，用于在分布偏移下学习鲁棒策略，并首次证明其样本复杂度上界与模糊集大小无关，为鲁棒强化学习提供了新的理论保证。
2024-09-04 cs.LG math.OC stat.ML
From Asymptotic to Finite-Sample Minimax Robust Hypothesis Testing
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联合会（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学医学中心）
本文提出了一种基于渐近理论的有限样本最小最大稳健假设检验方法，通过总变差距离和带模型分析，推导了参数形式的最不利分布和稳健似然比函数，并通过模拟验证了理论结果。
2026-02-23 cs.IT math.IT math.ST
Survival Isotonic Distributional Regression
University of Copenhagen（哥本哈根大学）；Tsinghua University（清华大学）；ETH Zürich（苏黎世联邦理工学院）
本研究提出S-IDR，将IDR扩展至右删失场景，无调参且适配多类型协变量，在基准套件及肝移植MELD评分验证案例中表现良好，配套多语言包可用。
2026-08-05 math.ST stat.TH
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联盟（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学美因茨大学医学中心）
本文提出了一种统一框架，用于在分布不确定性下进行渐近最小最大稳健假设检验，通过非线性方程组计算，并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
Minimax optimal rates for Mondrian trees and forests
随机森林是Breiman提出的一种广泛使用的分类和回归算法。虽然最初被设计为批处理算法，但已经提出了几种变体来处理在线学习。这种森林的一个特定实例是\emph{Mondrian Forest}，其树是使用所谓的蒙德里安过程构建的，因此允许以流式方式轻松更新其构造。在本文中，我们提供了一个深入的理论研究的蒙德里安森林在一个批处理学习设置，基于新的结果蒙德里安分区。我们的结果包括Mondrian树和森林的一致性和收敛速度，这证明是极小极大最优的$s$ -Hölder函数与$s \in (0,1]$（树和森林）和$s \in (1,2]$（仅森林），假设在这两种情况下，他们的复杂性参数的适当调整。此外，我们证明了一个自适应的过程（未知的$s \in (0, 2]$）可以构建蒙德里安森林与标准的模型聚合算法相结合。这些结果是第一次证明，一些特定的随机森林实现极大极小率\textit{in arbitrary dimension}。由于其非常简单的分布特性，导致极大极小率，蒙德里安树是一个有前途的基础，更复杂的，但理论上健全的随机森林的变种。
2019-04-09 math.ST stat.ML stat.TH
Sufficiently Reduced Distributional Regression
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
提出充分降维分布回归（SRDR），结合条件分布估计与非线性充分降维，通过最小化能量分数联合训练降维映射和生成模型，证明估计分布收敛，并在多个任务上达到或超越现有方法。
2026-09-25 cs.LG stat.ME stat.ML
Nonparametric Density Estimation under Adversarial Losses
我们研究了非参数密度估计在一大类称为“对抗损失”的损失函数下的极小极大收敛速度，其中，除了经典的$\mathcal{L}^p$损失，还包括最大平均差异（MMD），Wasserstein距离和全变差距离。这些损失与生成对抗网络（GANs）中的RNN网络编码的损失密切相关。在一个一般的框架中，我们研究如何选择损失和假设的平滑度的基础密度一起决定的极大极小率。我们还讨论了基于深度ReLU网络训练GANs的意义，以及在极大极小统计意义上学习隐式生成模型的更一般的联系。
2018-10-28 cs.IT math.IT math.ST
Generative model for optimal density estimation on unknown manifold
提出一种生成模型，基于几何Whitney问题解法，在未知低维流形上实现极小极大最优密度估计，并对所有γ≥1的Hölder IPMs同时最优，实验验证优于或媲美WGAN和基于分数的模型。
2025-06-24 math.ST stat.TH
Minimax Rate of Distribution Estimation on Unknown Submanifold under Adversarial Losses
从高维低维结构数据中进行统计推断的研究近年来引起了人们的广泛关注。在机器学习中，深度生成建模方法通过从底层分布创建新样本来隐式地估计复杂对象的分布，并且在生成合成的逼真图像和文本方面取得了巨大成功。这些方法中的关键步骤是提取潜在特征或表示（编码），这些特征或表示可用于准确重建原始数据（解码）。换句话说，低维流形结构被隐含地假设并用于分布建模和估计。为了理解低维流形结构在生成建模中的好处，我们建立了一个通用的极小极大框架，用于在对抗损失下对未知子流形进行分布估计，并对目标分布和流形进行适当的平滑假设。所建立的极大极小率阐明了各种问题特征，包括数据的内在维数和目标分布和流形的平滑程度，如何影响高维分布估计的基本限制。为了证明极大极小上界，我们构建了一个估计的基础上的混合本地拟合生成模型，这是出于从微分几何的单位分解技术，是必要的，以涵盖的情况下，底层的数据流形不承认一个全球参数化。我们还提出了一个数据驱动的自适应估计，同时达到在一个对数因子的最佳速率在一个大的集合的分布类。
2022-02-18 math.ST stat.TH
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling
Computer Sciences Department（计算机科学系）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文提出DRATS算法，通过自适应优先采样未被解决的任务，提升多任务强化学习的数据效率和最差任务性能。
2026-05-14 cs.LG
ORVIT: Near-Optimal Online Distributionally Robust Reinforcement Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；University of Central Florida（中央佛罗里达大学）
针对训练部署分布失配问题，提出近最优在线分布鲁棒RL算法ORVIT，无需生成/离线数据，在f-散度模糊集下实现次线性regret并被证明近最优，实验提升最坏性能且符合理论保证。
2025-11-11 cs.LG
The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model
JHU Department of Electrical and Computer Engineering, Johns Hopkins University, MD, USA（约翰霍普金斯大学电气与计算机工程系）；CUHK Department of Statistics, The Chinese University of Hong Kong, Hong Kong（香港中文大学统计系）；UPenn Department of Statistics and Data Science, Wharton School, University of Pennsylvania, Philadelphia, PA 19104, USA（宾夕法尼亚大学统计与数据科学系）；ESP Earth Species Project（地球物种计划）；Yale Department of Statistics and Data Science, Yale University, CT, USA（耶鲁大学统计与数据科学系）
本文研究带生成模型的分布鲁棒强化学习，刻画了TV距离和卡方散度下RMDPs的样本复杂度，发现其与标准MDPs相比并非必然更难或更易，统计代价取决于不确定性集的形状与大小。
2025-09-08 cs.IT cs.LG math.IT
IGN : Implicit Generative Networks
Northwestern University（西北大学）
本研究结合GAN的生成器、判别器与分位数回归，提出基于IQN的先进分布式强化学习模型IGN，在57款Atari 2600游戏上实现性能提升，并验证了其在风险敏感策略训练中的先进表现。
2025-02-21 cs.AI cs.LG
Anticipatory Reinforcement Learning: From Generative Path-Laws to Distributional Value Functions
Quant Finance Ltd；College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；University of Paris 6（巴黎第六大学）；VinUniversity
本文提出前瞻性强化学习（ARL），通过生成路径法则和分布价值函数，解决非马尔可夫决策过程与传统强化学习架构在单观测轨迹约束下的衔接问题，提升在高波动连续时间环境中的风险管理和策略稳定性。
2026-04-06 cs.LG q-fin.MF q-fin.PR
Minimax Optimal Goodness-of-Fit Testing with Kernel Stein Discrepancy
本文提出基于谱正则化的核 Stein 散度检验，在一般域上实现极小极大最优拟合优度检验，并引入自适应检验，数值实验验证其优于未正则化方法。
2025-01-22 math.ST stat.ML stat.TH
Conditional Diffusion Models are Minimax-Optimal and Manifold-Adaptive for Conditional Distribution Estimation
本文研究条件前向-后向扩散模型在条件分布估计中的理论性质，证明其在总变差度量下达到极小极大最优收敛速度，并进一步证明当数据与协变量均具有低维流形结构时，模型能自适应两种流形，使误差界仅取决于内在维数。
2024-09-30 math.ST stat.TH
DRAGON: Distributional Rewards Optimize Diffusion Generative Models
University of California, Berkeley（加州大学伯克利分校）；Adobe Research（Adobe研究）
DRAGON是一种通用框架，通过分布奖励优化微调媒体生成模型，兼容多种奖励类型，在20种奖励函数上平均胜率81.45%，无需人类偏好标注即可实现60.95%的人类投票音乐质量胜率，提升生成效果。
2025-11-14 cs.AI cs.LG cs.MM
Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
论文研究生成模型下强化学习的样本效率，证明扰动和保守的基于模型算法及普通模型规划可突破既有样本量障碍并达到极小极大最优。
2023-04-17 cs.IT cs.LG math.IT
Minimax optimal adaptive structured transfer learning through semi-parametric domain-varying coefficient model
Department of Mathematics and Statistics, Boston University（波士顿大学数学与统计系）
本文提出了一种半参数域变化系数模型，用于解决多源单目标迁移学习中的域异质性问题，通过自适应估计器实现最小最大最优率的迁移学习性能。
2026-02-20 math.ST stat.ME stat.ML
Generative Modelling via Quantile Regression
本文将条件生成建模与分位数回归相联系，提出损失函数并推导极小极大收敛速率，通过非参数回归子问题建立下界，还讨论了多元分布数据生成扩展。
2024-09-06 math.ST stat.TH
Rates of convergence for nonparametric estimation of singular distributions using generative adversarial networks
本文针对奇异分布的非参数估计问题，利用生成对抗网络（GANs）获得基于$L^1$-Wasserstein度量的收敛速率，该速率仅依赖底层结构和噪声水平，且严格快于VAE，并给出了极小极大最优速率的下界。
2025-02-27 math.ST stat.TH
Distributional Causal Mediation via Conditional Generative Modeling
提出分布因果中介分析框架，通过条件生成模型学习中介变量和结果变量的条件分布，利用蒙特卡洛前向模拟重建干预结果分布，捕捉能量距离和Wasserstein距离等分布对比，并推导误差传播界限。
2026-06-28 cs.LG stat.ML
Generative models for decision-making under distributional shift
Department of Mathematics, Duke University（杜克大学数学系）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文提出基于流和分数生成模型的统一框架，通过传输映射、速度场等工具处理分布偏移下的决策问题，实现鲁棒性、条件分布生成及不确定性量化。
2026-06-18 cs.LG stat.ML
Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity
University of Victoria（维多利亚大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
研究提出$(λ, β)$-稀疏性新概念以超越群分布鲁棒优化（GDRO）的极小化速率，利用sleeping bandits算法将样本复杂度对群数$K$的线性依赖降至更小的$β$，并在合成与真实数据集上验证了有效性。
2025-01-31 cs.AI cs.LG math.OC
GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
生成对抗网络（GANs）通过两个机器玩家（发电机和机器人）之间的零和游戏来学习观察样本的分布。虽然GANs在学习图像、声音和文本数据的复杂分布方面取得了巨大成功，但它们在学习包括高斯混合模型（GAN）在内的多模态分布学习基准方面表现不佳。在本文中，我们提出了高斯混合模型的生成对抗训练（GAT-GMM），这是一个用于学习GMM的极小极大GAN框架。受最优传输理论的启发，我们设计了GAT-GMM中的零和博弈，使用一个随机线性生成器和一个基于softmax的二次规划结构，这导致了一个非凸凹minimax优化问题。我们证明了一个梯度下降上升（GDA）的方法收敛到一个近似平稳的极小极大点的GAT-GMM优化问题。在两个对称的，分离良好的高斯混合物的基准情况下，我们进一步证明了这个稳定点恢复的基础GMM的真实参数。我们进行了几个实验，这表明GAT-GMM可以执行以及期望最大化算法在学习两个高斯混合物的数值支持我们的理论研究结果。
2020-06-18 cs.LG stat.ML
Balanced Marginal and Joint Distributional Learning via Mixture Cramer-Wold Distance
University of Seoul（首尔大学）
针对 Cramer-Wold 距离偏重联合分布、忽视边缘模式的问题，本文提出混合 Cramer-Wold 距离并构建 CWDAE，以同时学习两类分布并实现高质量、隐私可调的表格合成数据生成。
2023-12-06 cs.LG stat.ML
Evaluating Aleatoric Uncertainty via Conditional Generative Models
Columbia University（哥伦比亚大学）
随机不确定性量化寻求随机响应的分布知识，这对于机器学习应用中的可靠性分析和鲁棒性改进是重要的。以往任意不确定性估计的研究主要是针对封闭形式的条件密度或方差，这需要对数据的分布或维数有很强的限制。为了克服这些限制，我们研究了任意不确定性估计的条件生成模型。我们引入了两个度量来衡量适合这些模型的两个条件分布之间的差异。这两个指标都可以通过条件生成模型的蒙特卡罗模拟轻松且无偏差地计算，从而促进其评估和训练。我们数值演示了我们的指标如何提供正确的测量条件分布的差异，并可用于训练条件模型对现有的基准竞争。
2022-06-09 cs.LG stat.ML
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research（VinAI研究院）；University of Texas, Austin（得克萨斯大学奥斯汀分校）
切片-瓦瑟斯坦距离（SW）及其变体，最大切片-瓦瑟斯坦距离（Max-SW），由于其快速计算和可扩展性，即使概率测度位于非常高维的空间中，近年来也得到了广泛的应用。然而，SW需要许多不必要的投影样本来近似它的值，而Max-SW只使用最重要的投影，这忽略了其他有用的方向的信息。为了解决这些问题，我们提出了一种新的距离，命名为分布切片-瓦瑟斯坦距离（DSW），它找到了一个最佳分布的投影，可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明，DSW是一个推广的Max-SW，它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束，有利于不同的方向。最后，我们用大规模数据集进行了大量的实验，以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
K-Beam Minimax: Efficient Optimization for Deep Adversarial Learning
The Ohio State University（俄亥俄州立大学）；Seoul National University（首尔国立大学）
极大极小优化在机器学习算法的对抗性训练中起着关键作用，例如学习生成模型，领域自适应，隐私保护和鲁棒学习。在本文中，我们证明了交替梯度下降在极大极小优化问题的失败，由于内部极大值的解的不连续性。为了解决这个问题，我们提出了一个新的ε-次梯度下降算法，通过同时跟踪K个候选解决方案来解决这个问题。实际上，该算法可以找到解决方案，以前的鞍点算法不能找到，只有一个次线性增加的复杂性K。我们详细分析了算法收敛到真解的条件。在简单的典型问题、GAN训练和领域自适应问题中，观察到算法的稳定性和收敛速度的显著改善。
2018-06-07 cs.LG stat.ML
IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Tianjin University（天津大学）；Birkbeck, University of London（伦敦大学伯贝克学院）
本文对信息检索建模中的两个思想流派进行了统一的阐述：生成式检索侧重于预测给定查询的相关文档，判别式检索侧重于预测给定查询-文档对的相关性。我们提出了一个博弈论的极大极小博弈迭代优化这两个模型。一方面，旨在从标记和未标记数据中挖掘信号的判别模型为训练生成模型提供指导，以在给定查询的文档上拟合潜在的相关性分布。另一方面，生成模型作为当前判别模型的攻击者，通过最小化其判别目标，以对抗的方式为判别模型生成困难的示例。随着这两个模型之间的竞争，我们表明，统一的框架利用了两个学派的思想：（i）生成模型学习通过来自判别模型的信号来拟合文档的相关性分布，以及（ii）判别模型能够利用生成模型选择的未标记数据来实现对文档排序的更好估计。我们的实验结果表明，在包括Web搜索、项目推荐和问答在内的各种应用中，与强基线相比，Precision@5和MAP的性能分别提高了23.96%和15.50%。
2018-02-22 cs.IR cs.LG
Distributional Multivariate Policy Evaluation and Exploration with the Bellman GAN
Technion - Israel Institute of Technology（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
最近提出的强化学习（DiRL）的分布式方法集中在学习奖励的分布上，通常被称为值分布。在这项工作中，我们证明了驱动DiRL方法的分布式Bellman方程等价于生成对抗网络（GAN）模型。在这个公式中，DiRL可以被视为学习价值分布的深度生成模型，由当前价值的分布与当前奖励和下一个价值之和的分布之间的差异驱动。我们利用这一见解提出了一种基于GAN的DiRL方法，该方法利用了GANs在学习高维数据分布方面的优势。特别是，我们表明，我们的GAN方法可以用于DiRL与多元奖励，一个重要的设置，不能处理与以前的方法。多变量设置还允许我们统一学习值和状态转换的分布，我们利用这一想法来设计一种新的探索方法，该方法由估计值和状态的差异驱动。
2018-08-06 cs.LG stat.ML
