Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Computing and Software, McMaster University（麦斯特大学计算机与软件系）
本文提出了一种在局部差分隐私下精确最优的采样机制，通过f-散度度量效用，实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度，并表明，对于许多这样的算法，采样的数据点没有更换导致更快的收敛速度相比，放回抽样更换。对于光滑和强凸-强凹的设置，我们考虑梯度下降上升和近点方法，并提出了一个统一的分析两个流行的无替换采样策略，即随机重排（RR），洗牌的数据，每一个时代，和单洗牌或洗牌一次（SO），洗牌只在开始。我们获得了紧收敛速度RR和SO，并证明这些策略导致更快的收敛速度比均匀采样。超越凸性，我们得到了类似的结果，光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后，我们证明了我们的技术是足够一般的数据排序攻击，其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率，其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
Minimax Mixing Time of the Metropolis-Adjusted Langevin Algorithm for Log-Concave Sampling
Duke University（杜克大学）
研究了对数光滑和强对数凹分布下的Metropolis调整Langevin算法（MALA）的混合时间。我们建立了它的最佳minimax混合时间下的一个温暖的启动。我们的主要贡献是双重的。首先，对于$d$维对数凹密度与条件数$κ$，我们表明，MALA与热启动混合在$\tilde O(κ\sqrt{d})$迭代对数因子。这改进了先前对条件数$κ$或维度$d$的依赖性的工作。我们的证明依赖于比较蛙跳积分与连续哈密顿动力学，在那里我们建立了一个新的浓度范围的接受率。其次，我们证明了一般状态空间上可逆MCMC算法的一个基于谱间隙的混合时间下界。我们应用这个下限结果来构造一个硬分布，MALA至少需要$\tilde Ω(κ\sqrt{d})$步骤来混合。MALA的下限在条件数和维数方面与我们的上限相匹配。最后，数值实验验证了我们的理论结果。
2022-10-02 cs.LG stat.CO stat.ML
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University（纽约大学）
Meta强化学习（meta RL）是元学习思想和强化学习（RL）的结合，它使智能体能够使用少量样本适应不同的任务。然而，这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈，攻击者可以误导Agent从训练经验中构建错误的知识，这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础，了解这种类型的安全风险。特别是，我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理，这产生了极大极小制定。它导致了两种在线攻击方案：间歇攻击和持续攻击，使攻击者能够学习最佳的采样攻击，定义的$ε$ -一阶平稳点，在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果，我们观察到攻击者的微小努力可以显着降低学习性能，并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
Minimax experimental design: Bridging the gap between statistical and worst-case approaches to least squares regression
UC Berkeley（加州大学伯克利分校）；IBM Research – Almaden（IBM阿尔马登研究中心）；ICSI（国际计算机科学研究所）；Google Inc. Zürich（苏黎世谷歌公司）；UC Santa Cruz（加州大学圣克鲁兹分校）
在实验设计中，我们给出了大量的向量，每个向量都有一个隐藏的响应值，我们假设这些值来自一个底层线性模型，我们希望选择一个小的向量子集，这样查询相应的响应将导致模型的良好估计。统计学中的经典方法是假设响应是线性的，加上零均值i.i.d.。高斯噪声，在这种情况下，目标是提供具有最小均方误差的无偏估计量（A-最优设计）。在计算机科学中更常见的一种相关方法是假设响应是任意但固定的，在这种情况下，目标是尽可能快地使用最坏情况输入的少量响应来估计最小二乘解。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一个框架，实验设计的反应是由一个任意的未知分布。我们发现，有一个有效的随机实验设计程序，实现强方差界的无偏估计，在这个一般模型中使用很少的响应。几乎紧的古典A-最优性准则的界限，以及最坏情况下的响应的改进的界限，出现作为这个结果的特殊情况。在这个过程中，我们开发了一个新的算法的联合抽样分布称为体积抽样，我们提出了一个新的独立同分布。重要性采样方法：反分数抽样。我们的分析的一个关键新颖性是通过控制i.i.d.的尾部行为来开发新的最坏情况回归的预期误差范围。通过体积取样的联合进行取样。我们的结果激发了一个新的极小极大最优性准则的实验设计，它可以被看作是一个扩展的A-最优设计和抽样的最坏情况回归。
2019-02-04 cs.LG stat.ML
Minimax and Bayes Optimal Best-Arm Identification
本文提出了一种同时具有极小极大和贝叶斯最优性质的最佳臂识别策略，通过两阶段采样和决策规则实现高效识别。
2026-07-20 cs.LG econ.EM math.ST
Locally Optimal Private Sampling: Beyond the Global Minimax
Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）；Department of Mathematical Sciences（数学科学系）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
本研究提出局部最优私有采样方法，在局部差分隐私下，通过函数LDP框架证明局部极小极大风险由全局决定，并给出不依赖f-散度的闭式最优采样器，实证优于全局方法。
2025-10-10 cs.CR cs.CY cs.IT
Entry-Specific Matrix Estimation under Arbitrary Sampling Patterns through the Lens of Network Flows
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
本文提出基于二分图网络流的矩阵补全估计框架，用有效电阻刻画任意采样模式下逐条目的极小极大误差，并应用于因果推断与秩-1矩阵。
2024-09-06 cs.LG stat.ML
Minimax Optimality of the Probability Flow ODE for Diffusion Models
University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）
本文为基于概率流ODE的扩散模型采样器建立了首个端到端理论框架，针对次高斯且密度β-Hölder光滑的目标分布提出光滑正则化分数估计器，证明其在总变差距离上达到近最小最大最优速率。
2025-03-12 cs.IT cs.LG math.IT
Functional linear regression from sparse to dense designs: a pooling-ridge method and minimax optimality
Tsinghua University（清华大学）；Peking University（北京大学）
针对离散观测数据的函数线性回归最优估计难题，提出池化-岭方法，实现从稀疏到密集设计下两类回归模型的极小极大最优性，经模拟与实际数据验证。
2026-08-27 cs.LG math.ST stat.ME
Locally Private Sampling with Public Data
McMaster University（麦克马斯特大学）；Vector Institue（向量研究所）；IIMAS（墨西哥国家自治大学）；Universidad Nacional Autónoma de México（墨西哥国家自治大学）
针对现有本地差分隐私方法仅假设用户拥有单条数据记录的局限，提出一种同时利用用户私有和公共数据集的本地私有采样框架，将其构建为基于$f$-散度的极小极大优化问题，并证明了所得最优机制在所有$f$-散度上均通用。
2025-05-02 cs.LG
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
From optimal score matching to optimal sampling
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
该研究针对基于得分的扩散模型的得分估计最优统计速率问题，推导了光滑紧支撑密度下得分估计的精确极小极大速率，证明扩散模型生成样本分布可达无对数项、无需提前停止的最优密度估计速率。
2024-09-11 cs.LG stat.ML
Sharp Minimax Regret for Infinite-Memory Logistic Prediction
Purdue University（普渡大学）
本文确定了无限记忆逻辑预测的极小极大遗憾尺度，提出坐标局部化贝叶斯混合达到最优界，并证明指数与多项式包络下的匹配逆界，无需局部渐近正态性。
2026-11-09 cs.IT cs.LG math.IT
Learning from Biased and Costly Data Sources: Minimax-optimal Data Collection under a Budget
Department of Statistics University of Wisconsin-Madison（统计学系威斯康星大学麦迪逊分校）；Department of Biostatistics University of Wisconsin-Madison（生物统计学系威斯康星大学麦迪逊分校）；Department of Computer Sciences University of Wisconsin-Madison（计算机科学系威斯康星大学麦迪逊分校）
针对预算固定的多源数据收集问题，提出最大化有效样本量的采样方案，结合事后分层估计器，实现极小极大最优风险。
2026-06-17 cs.LG math.ST stat.ML
Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge
NVIDIA Research, Efficient AI Team & Singapore Lab（NVIDIA Research，高效AI团队与新加坡实验室）
针对MiniMax-H3视频扩散模型在云与边缘设备的推理瓶颈，提出全栈优化流水线，含跨分辨率调度与递归自我改进内核搜索，实现30倍加速和20%显存降低。
2026-09-29 cs.AI cs.CV cs.LG
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta（阿尔伯塔大学）；Tsinghua University（清华大学）
情景记忆是一个心理学术语，指的是回忆过去特定事件的能力。我们认为，这种特殊类型的记忆的一个优点是，当记忆的信息被发现是有用的时，能够很容易地将信用分配给特定的状态。受这一想法的启发，以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及，我们提出了一种新的算法，该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习，优先记住那些被发现是有用的回忆later on.Critical状态，这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此，与用于外部存储器的大多数现有机制不同，在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Differentially Private Sampling from Distributions via Wasserstein Projection
LY Corporation（LY公司）
本文提出基于瓦瑟斯坦距离的差分隐私采样框架，解决传统密度比度量在支持集几何结构和不同分布支持集适用性上的局限。
2026-05-11 cs.CR cs.LG stat.ML
Non-Uniform Memory Sampling in Experience Replay
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文质疑经验回放默认均匀采样记忆样本的最优性，通过随机生成50种非均匀采样权重并跨缓冲区、模型和数据集比较，证明始终存在显著优于均匀基线的分布。
2025-02-16 cs.LG
FAST: A Holistic Framework for Optimizing Memory-I/O, Computation, and Sampling in Temporal GNN Training
Xidian University（西安电子科技大学）；Hunan University（湖南大学）
研究针对时间图神经网络训练中内存I/O、不规则计算和时间邻居采样瓶颈，提出FAST框架，通过联合优化采样、内存I/O和计算加速训练，介绍了相关技术并经实验验证其有效性。
2026-07-07 cs.LG
Memory-Bounded Continuation of Greedy Sampling for Continual Anomaly Detection
Northeastern University（东北大学）；AIVEX Inc.（AIVEX公司）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
该研究针对持续异常检测提出ContCore方法，通过延续贪心采样构建固定内存的核心集，在MVTecAD、VisA数据集的11种任务调度及在线设置下实现最优性能。
2026-08-18 cs.CV cs.LG
Memory Sequence Length of Data Sampling Impacts the Adaptation of Meta-Reinforcement Learning Agents
Southern University of Science and Technology（南方科技大学）
该研究探究数据采样的记忆序列长度对元强化学习智能体适应性的影响，通过MuJoCo环境下的实验对比两类异策略算法，发现贝叶斯最优算法适应性更优，证实采样策略对未知环境表征的重要性。
2024-06-18 cs.AI cs.LG
MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Shanghai Jiao Tong University（上海交通大学）
MISA通过模块级重要性采样优化LLM，减少内存需求并提高收敛效率。
2026-01-14 cs.AI cs.LG
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology（国防科技大学）；Information Support Force Engineering University（信息支援部队工程大学）
GRASS提出一种基于梯度的自适应层级重要性采样方法，通过动态调整层采样概率和优化器状态卸载机制，在降低内存使用的同时提升微调性能，实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
Efficient All-Pairs Correlation Volume Sampling for Optical Flow Estimation
DisneyResearch|Studios（迪士尼研究与工作室）；ETH Zürich（苏黎世联邦理工学院）
提出一种内存和计算高效的算法，实现全对相关性体素采样的精确数学运算，在保持低内存占用的同时显著提升速度，并应用于高分辨率光流估计达到最优性能。
2026-05-26 cs.CV cs.LG
