One-Sided Quantile Coupling for Flow Matching
提出用于流匹配的单侧分位数耦合（QC-FM），无需小批量传输，在 CIFAR-10 等四组数据集上降低 FID 最多 12.9%，性能优于基线及 OT-CFM。
2026-08-04 cs.AI cs.CV cs.LG
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回，因为（1）它是在没有共同作者知情或同意的情况下上传的，（2）有剽窃的指控。
2017-08-03 cs.LG
Batch Bayesian optimisation via density-ratio estimation with guarantees
the University of Sydney（悉尼大学）；NVIDIA（英伟达）
贝叶斯优化（BO）算法在涉及昂贵的黑盒函数的应用中取得了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过获取函数和先验函数（如高斯过程）来估计查询点的效用。然而，最近，通过密度比估计（BORE）重新制定BO允许重新解释的采集功能作为一个概率的二元分类器，消除了需要一个明确的先验函数和增加可扩展性。在本文中，我们提出了一个理论分析孔的遗憾和改进的不确定性估计算法的扩展。我们还表明，孔可以自然地扩展到一个批量优化设置，通过重铸的问题近似贝叶斯推理。由此产生的算法配备了理论性能保证，并在一系列实验中对其他批次和顺序BO基线进行评估。
2022-10-22 cs.AI cs.LG stat.ML
Gaussian Process Bandit Optimization with Few Batches
National University of Singapore（新加坡国立大学）
本文研究了小批量的高斯过程（GP）强盗优化的黑箱优化问题。假设未知函数在再生核希尔伯特空间（RKHS）中具有低范数，我们引入了一个批处理有限臂强盗算法的启发，并表明它实现了累积遗憾上限$O^\ast(\sqrt{Tγ_T})$使用$O(\log\log T)$批次在时间范围$T$，其中$O^\ast(\cdot)$符号隐藏维数无关的对数因子和$γ_T$是与内核相关的最大信息增益。这个界限是接近最佳的几个内核的利益和改善典型的$O^\ast(\sqrt{T}γ_T)$界，我们的方法可以说是最简单的算法实现这一改进。此外，在批次数恒定的情况下（不依赖于$T$），我们提出了一种改进的算法，并分析了批次数对遗憾的影响，重点研究了平方指数核和Matérn核.算法的上限被证明是通过类似的算法独立的下限接近极大极小最优。
2022-02-22 cs.IT cs.LG math.IT
Flow Matching with Semidiscrete Couplings
Apple（苹果公司）
本文提出半离散流匹配方法，通过半离散化方法解决最优传输流匹配的计算瓶颈，提升流模型的训练和推理效率。
2026-01-23 cs.LG stat.ML
Differentiable Multi-Target Causal Bayesian Experimental Design
KTH（瑞典皇家理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）；University of Oxford（牛津大学）；Microsoft Research（微软研究院）；TU Munich（慕尼黑工业大学）
针对批量因果干预设计，本文提出端到端可微梯度优化方法，可直接优化多目标-状态干预批次，并在合成数据上超越现有策略。
2023-06-02 cs.AI cs.LG stat.ME
Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning
Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Tsinghua University（清华大学）；Webank（微众银行）；Shandong University（山东大学）；Hong Kong University of Science and Technology（香港科技大学）
在垂直联邦学习（VFL）场景中，特征和模型被分成不同的部分，样本特定更新的通信对于正确的梯度计算是必需的，但可以用于推断重要的样本级标签信息。一个直接的防御策略是保护与同态加密（HE）通信的样本级消息，并且以这种方式，只有批量平均的局部梯度被暴露给每一方（称为黑盒VFL）。在本文中，我们首先探讨了在具有HE保护通信的垂直联邦学习设置中恢复标签的可能性，并通过训练梯度反转模型来高精度地重建私有标签。此外，我们表明，标签替换后门攻击可以在黑盒VFL直接更换加密的通信消息（称为梯度替换攻击）。由于批量平均信息共享是安全的，批量标签推理和替换攻击是VFL面临的严峻挑战。为了抵御批量标签推理攻击，我们进一步评估了几种防御策略，包括混淆自动编码器（CoAE），我们提出了一种基于自动编码器和熵正则化的技术。我们证明，标签推理和替换攻击可以成功地阻止这种技术，而不会损害尽可能多的主要任务的准确性相比，现有的方法。
2022-02-11 cs.LG
Black-Box Batch Active Learning for Regression
University of Oxford（牛津大学）
本文提出仅依赖模型预测的黑盒批量主动学习方法，将BADGE、BAIT、LCMD等白盒方法扩展到随机森林等不可微模型，并在回归任务上取得优于白盒方法的性能。
2023-07-07 cs.LG stat.ML
MMD GAN: Towards Deeper Understanding of Moment Matching Network
Carnegie Mellon University（卡内基梅隆大学）；AI Foundations, IBM Research（IBM研究院人工智能基础部）
生成矩匹配网络（Generative Moment Matching Network，GMMN）是一种深度生成模型，它与生成对抗网络（Generative Adversarial Network，GAN）的不同之处在于将生成对抗网络（Generative Adversarial Network，GAN）中的随机性检验替换为基于核最大均值差异（MMD）的双样本检验。虽然已经研究了MMD的一些理论保证，但在具有挑战性的大型基准数据集上，GMMN的经验性能仍然不如GAN具有竞争力。与GAN相比，GMMN的计算效率也不太理想，部分原因是其在训练期间需要相当大的批量大小。在本文中，我们建议通过引入对抗核学习技术来提高GMMN的模型表达能力和计算效率，作为原始GMMN中固定高斯核的替代。新方法结合了GMMN和GAN的核心思想，因此我们称之为MMD GAN。MMD GAN中的新距离度量是一种有意义的损失，具有弱拓扑的优点，并且可以通过梯度下降以相对较小的批量大小进行优化。在MNIST、CIFAR- 10、CelebA和LSUN等多个基准数据集上的评测结果表明，MMD-GAN的性能明显优于GMMN，与其他代表性的GAN作品相比具有竞争力。
2017-11-27 cs.AI cs.LG stat.ML
COT-FM: Cluster-wise Optimal Transport Flow Matching
National Taiwan University（台湾大学）
COT-FM通过分簇策略优化流匹配框架，提升生成速度与可靠性，适用于图像生成和机器人任务。
2026-03-11 cs.CV cs.LG cs.RO
Efficient Batch Black-box Optimization with Deterministic Regret Bounds
Centre for Artificial Intelligence（人工智能中心）；University of Technology Sydney（悉尼科技大学）；CSAIL（麻省理工学院计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们调查黑箱优化的角度来看，频率核方法。我们提出了一种新的批量优化算法，它联合最大化的采集功能和选择点从整个批次在一个整体的方式。从理论上讲，我们得到的遗憾界的无噪声和扰动设置，无论选择的内核。此外，我们分析了贝叶斯优化（BO）的鲁棒初始化所需的对抗性遗憾的属性。我们证明了对抗性后悔界随着覆盖半径的减小而减小，这为生成最小化界的点集提供了一个判据。然后，我们提出了快速搜索算法，以产生一个点集的覆盖半径小的鲁棒初始化。合成基准问题和实际问题的实验结果表明，所提出的算法的有效性。
2020-03-27 cs.LG stat.ML
Every Batch Is Its Own Validation Set: Leave-One-Out Gradient Matching for Online Data Selection in LLM Fine-Tuning
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对在线批次选择中样本内梯度匹配的偏差问题，提出留一法梯度匹配（LOOM），通过移除Gram矩阵对角线实现无偏估计，在多个微调任务上显著优于全批次训练及其他选择器。
2026-10-02 cs.LG
Budgeted Batch Bayesian Optimization With Unknown Batch Sizes
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
参数设置深刻地影响机器学习算法和实验室实验的性能。经典的网格搜索或试错法在大参数空间中的代价是指数级的，贝叶斯优化（BO）为黑箱函数的全局优化提供了一个优雅的选择。在可以同时在多个点评估黑盒函数的情况下，使用批贝叶斯优化。当前的批量BO方法是限制性的，因为它们固定每个批量的评估数量，并且当指定评估的数量大于底层采集函数中的实际最大值的数量时，这可能是浪费的。我们提出了用于超参数调整和实验设计的批量贝叶斯优化（B3O）-我们以优雅的方式为每次迭代确定适当的批量大小。为了灵活设置批量大小，我们使用无限高斯混合模型（IGMM）自动识别底层采集函数中的峰数。我们解决了难以估计的IGMM直接从采集功能制定批量广义切片采样，有效地从采集功能中提取样本。我们进行了广泛的实验，合成功能和两个现实世界的应用-机器学习超参数调整和合金硬化的实验设计。我们的经验表明，拟议的B3O优于现有的固定批量BO的方法，同时需要更少的评估，从而节省成本和时间，找到最佳的。
2017-04-15 cs.LG
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide（阿德莱德大学）；University of Technology, Sydney（悉尼科技大学）；Brown University（布朗大学）
匹配追踪LASS在第一部分\cite{TanPMLPart1}中，我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO（{MPL}）算法。在本文中，我们提出了一个子空间搜索，以进一步提高MPL的性能，然后继续解决SR的另一个主要挑战-批量SR与许多信号，一个考虑，这是从大多数以前的$\ell_1$范数方法缺席。因此，一个批处理模式{MPL}的开发，大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地，BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分：批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Batch Active Learning via Coordinated Matching
Oregon State University（俄勒冈州立大学）；Williams College（威廉姆斯学院）
大多数关于分类器的主动学习的先前工作都集中在每次顺序地选择一个未标记的示例进行标记，以减少整体标记工作。然而，在许多情况下，希望一次标记整个批次的示例，例如，当可以并行获取标签时。这促使我们研究批量主动学习，它迭代地选择要标记的$k>1$示例的批次。我们提出了一种新的批处理主动学习方法，该方法利用高质量和高效的顺序主动学习策略的可用性，通过尝试近似它们的行为时，适用于$k$步骤。具体来说，我们的算法首先使用蒙特卡罗模拟来估计分布的顺序策略选择的未标记的例子在$k$步骤执行。然后，该算法试图选择一组$k$的例子，最好的匹配这个分布，导致一个组合优化问题，我们称之为“有界协调匹配”。虽然我们表明这个问题是NP-困难的一般情况下，我们给出了一个有效的贪婪的解决方案，它继承了近似界的超模最小化理论。在八个基准数据集上的实验结果表明，该方法是非常有效的
2012-06-27 cs.LG stat.ML
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
RelationMatch: Matching In-batch Relationships for Semi-supervised Learning
IIIS, Tsinghua University（清华大学智能产业研究院（注：IIIS为Institute for Interdisciplinary Information Sciences的缩写，常见译名为交叉信息研究院））；Department of Math, Tsinghua University（清华大学数学系）
本文提出RelationMatch框架，通过矩阵交叉熵损失显式建模小批量样本间关系一致性，在半监督学习中取得领先性能，并在STL-10上比FlexMatch准确率提升15.21%。
2025-03-12 cs.CV cs.LG
Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在本文中，我们提出了一种新的领域自适应方法的无源设置。在这种情况下，我们无法在自适应过程中访问源数据，而给出了未标记的目标数据和用源数据预训练的模型。由于缺乏源数据，我们不能像典型的领域自适应算法那样直接匹配域之间的数据分布。为了解决这个问题，我们建议利用存储在预训练模型中的批量归一化统计数据来近似未观察到的源数据的分布。具体来说，我们在自适应过程中固定模型的分类器部分，只微调剩余的特征编码器部分，以便编码器提取的特征的批量归一化统计数据与存储在固定分类器中的特征相匹配。此外，我们还最大化特征和分类器输出之间的互信息，以进一步提高分类性能。实验结果表明，我们的方法实现了竞争力的性能与国家的最先进的领域自适应方法，即使它不需要访问源数据。
2021-01-19 cs.CV cs.LG
Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes
ETH Zurich（苏黎世联邦理工学院）
在贝叶斯优化（BO）中，我们研究了带有噪声点评估和贝叶斯先验的黑盒函数优化。BO的收敛速度可以大大加快，其中黑盒函数的多个评估在单轮中执行。在这种情况下，主要困难是同时提出各种各样的、内容丰富的评价要点。在这项工作中，我们介绍了DPP-Batch Bayesian Optimization（DPP-BBO），一个通用的框架，用于通过利用行列式点过程（DPP）的排斥特性来诱导基于BO的抽样中的批次多样性，从而自然地使批次抽样过程多样化。通过将DPP-Thompson Sampling（DPP-TS）算法作为Thompson Sampling（TS）算法的一种变体，引入Markov Chain Monte Carlo方法进行抽样，证明了经典批量TS和DPP-TS算法的贝叶斯简单遗憾界，后者的界更紧.我们的真实世界，以及合成，实验表明，改进的性能DPP-BBO在经典的高斯过程和Cox过程模型的方法。
2022-02-08 cs.LG stat.ML
Strictly Batch Imitation Learning by Energy-based Distribution Matching
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
考虑纯粹基于表现出的行为来学习策略，也就是说，没有强化信号，没有过渡动态知识，也没有与环境的进一步互动。这种“严格批量模仿学习”的问题出现在现场实验成本高昂的地方，比如医疗保健领域。一种解决方案是简单地改造现有的算法，使其在离线环境中工作。但这种方法严重依赖于政策外评估或离线模型估计，并且可能是间接和低效的。我们认为，一个好的解决方案应该能够明确参数化的政策（即尊重行动条件），隐式地学习推出动态（即利用状态边际），并-至关重要的-在一个完全离线的方式操作。为了解决这一挑战，我们提出了一种新的技术 * 基于能量的分布匹配 *（EDM）：通过识别参数化的（判别）模型的政策与（生成）的能量函数的状态分布，EDM产生一个简单而有效的解决方案，等效地最大限度地减少了占用测量的演示者和模型的模仿者之间的分歧。通过应用于控制和医疗保健设置的实验，我们说明了严格批量模仿学习的现有算法的一致性能增益。
2021-01-14 cs.LG stat.ML
Learning How to Optimize Black-Box Functions With Extreme Limits on the Number of Function Evaluations
Universitat de Lledia（莱里达大学）；General Electric（通用电气）；Bielefeld University（比勒费尔德大学）
我们考虑黑盒优化，其中只有一个非常有限的数量的功能评价，在100左右的顺序，是负担得起的，功能评价必须在更少的批次的有限数量的并行试验。这是优化变量设置时的典型场景，这些变量设置的评估成本非常高，例如在基于仿真的优化或机器学习超参数化的上下文中。我们提出了一个原始的方法，使用已建立的方法，提出一组点，为每一批，然后向下选择这些候选点的数量，可以并行运行的试验。我们的方法的关键新颖性在于引入了一种超参数化方法，用于将候选人的数量减少到允许的批量大小，该批量大小使用自动算法配置进行离线优化。我们调整这种方法的黑盒优化，然后在经典的黑盒优化基准进行评估。我们的研究结果表明，它是可以学习如何结合高度多样化的黑盒优化方法的优化进度的条件下建议的评价点。与黑盒最小化和专门针对Few-Shot最小化的各种其他方法的最新技术水平相比，我们实现了归一化成本平均降低50%，这是性能上的非常显著的改进。
2021-03-18 cs.AI cs.LG
Batched Energy-Entropy acquisition for Bayesian Optimization
Novo Nordisk A/S（诺和诺德公司）；University of Copenhagen（哥本哈根大学）
针对批量贝叶斯优化中高维采集函数难以处理的问题，提出受统计物理启发、可原生处理批次并控制探索-利用权衡的BEEBO采集函数，在异方差黑盒问题上表现优异。
2024-10-11 cs.LG stat.ML
Batch and match: black-box variational inference with a score-based divergence
Flatiron Institute（弗莱堡研究所）；Columbia University（哥伦比亚大学）
本文提出批量匹配（BaM）方法，用基于分数的散度替代 ELBO 优化进行黑盒变分推断，并证明其在高斯情形下具有指数收敛性，实验表明其收敛所需梯度评估次数通常显著少于主流 BBVI 方法。
2024-06-12 cs.AI cs.LG stat.CO
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界，证明任意非自适应批次选择规则下 SGD 经典上界依然成立，表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Adaptive Hyper-box Matching for Interpretable Individualized Treatment Effect Estimation
Duke University（杜克大学）
我们提出了一种匹配方法的观测数据，匹配单位与其他单位特定的，超盒形区域的协变量空间。这些区域足够大，使得为每个单元创建许多匹配，并且足够小，使得处理效应在整个过程中大致恒定。该区域被发现作为混合整数规划的解决方案，或使用（快速）近似算法。结果是对每个单元的因果效应的可解释和定制的估计。
2020-08-08 cs.LG stat.ME
Black-Box Generalization: Stability of Zeroth-Order Learning
我们提供了第一个泛化误差分析黑盒学习通过导数自由优化。在Lipschitz和平滑未知损失的假设下，我们考虑零阶随机搜索（ZoSS）算法，该算法通过用每个数据集（示例）查询的$K+1$扰动损失评估的随机差异替换随机梯度方向来更新$d$维模型。对于无界和有界的可能非凸损失，我们提出了ZoSS算法的第一个广义界。这些界限与SGD的界限一致，并且令人惊讶的是，在适当选择略微降低的学习率的情况下，这些界限独立于$d$、$K$和批量大小$m$。对于有界的非凸损失和批量大小$m=1$，我们还表明，泛化误差和学习率是独立的$d$和$K$，并保持基本相同的SGD，即使是两个功能的评价。我们的研究结果广泛地扩展和一贯恢复既定的结果SGD在以前的工作中，在两个推广界和相应的学习率。如果另外有$m=n$，其中$n$是数据集大小，我们也可以得到全批GD的泛化保证。
2023-02-09 cs.LG math.OC stat.ML
Population-Based Black-Box Optimization for Biological Sequence Design
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
使用黑盒优化设计新的生物序列是一个新兴的研究领域，具有潜在的革命性影响。湿实验室实验的成本和延迟需要在大批量序列的几轮实验中找到好的序列的方法-现成的黑盒优化方法无法处理的设置。我们发现，现有方法的性能在优化任务中变化很大，对现实世界的应用构成了重大障碍。为了提高鲁棒性，我们提出了基于种群的黑盒优化（P3 BO），它通过从一系列方法中采样来生成批量序列。从任何方法中采样的序列数量都与其先前提出的序列质量成正比，这使得P3 BO能够结合各个方法的优势，同时避免其固有的脆弱性。使用进化优化在线调整每个方法的超参数进一步提高了性能。通过对计算机优化任务的广泛实验，我们表明P3 BO在其种群中优于任何单一方法，提出了更高质量的序列以及更多样化的批次。因此，P3 BO和Adaptive-P3 BO是将ML部署到现实世界序列设计的关键一步。
2020-07-11 cs.LG cs.NE stat.ML
Batched High-dimensional Bayesian Optimization via Structural Kernel Learning
Massachusetts Institute of Technology（麻省理工学院）；DeepMind（深度思考公司）
高维黑箱函数的优化是一个极具挑战性的问题。虽然贝叶斯优化已经成为一种流行的方法来优化黑盒函数，其适用性已被限制在低维问题，由于其计算和统计的挑战，从高维设置。在本文中，我们建议通过以下方式来应对这些挑战：（1）假设函数中存在潜在的加法结构，并正确推断它，以实现更高效和更有效的BO，以及（2）并行执行多个评估，以减少该方法所需的迭代次数。我们的新方法学习的潜在结构与吉布斯抽样和构造批查询使用行列式点过程。在合成函数和真实函数上的实验验证表明，该方法优于现有的最先进的方法。
2018-01-06 cs.LG math.OC stat.ML
p-Spin Glass Network Efficient Single-Batch Continual Learning
本研究提出p-自旋玻璃网络架构，通过三元量化等技术实现内存与样本效率，支持单批次稳定收敛，消除深度学习对大批次的需求，为持续学习和边缘AI奠定基础。
2026-08-18 cs.LG
Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions
University of Cambridge（剑桥大学）
我们开发了并行预测熵搜索（PPES），昂贵的黑箱目标函数的贝叶斯优化的一种新算法。在每次迭代中，PPES的目标是选择一批点，这将最大化关于目标的全局最大化者的信息增益。众所周知的策略存在于基于先前的观察来建议单个评估点，而已知的用于选择多批点来并行评估的策略少得多。已经研究的几个批次选择方案都采用贪婪方法来计算最优批次。据我们所知，PPES是第一个非贪婪批量贝叶斯优化策略。我们证明了这种方法在优化性能的合成和现实世界的应用，包括在机器学习，火箭科学和机器人技术的问题的好处。
2015-11-23 cs.LG stat.ML
Adapting to Online Distribution Shifts in Deep Learning: A Black-Box Approach
Amazon（亚马逊）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文针对在线分布偏移问题提出一种黑盒元算法，通过多分辨率实例和跨时间交叉验证自动选择最佳历史注意力长度，仅需维护 O(log(T)) 个在线学习器实例即可提升任意在线学习算法在非平稳环境下的分类性能。
2025-04-09 cs.LG
Batch-iFDD for Representation Expansion in Large MDPs
Massachusetts Institute of Technology（麻省理工学院）
匹配追踪（MP）方法是一类很有前途的价值函数逼近特征构造算法。然而，现有的MP方法需要创建一个潜在的功能池，强制专家知识或枚举一个大的功能池，这两个都阻碍了可扩展性。本文介绍了批量增量特征依赖发现（Batch-iFDD）作为MP方法，继承了可证明的收敛性。此外，Batch-iFDD不需要大量特征，从而降低了计算复杂性。在三个域中，多达一百万个状态的经验策略评估结果突出了Batch-iFDD相对于先前最先进的MP算法的可扩展性。
2013-09-26 cs.LG stat.ML
$ε$-shotgun: $ε$-greedy Batch Bayesian Optimisation
University of Exeter（埃克塞特大学）；Swansea University（斯旺西大学）
贝叶斯优化是一种流行的，基于代理模型的方法，用于优化昂贵的黑盒函数。给定一个代理模型，通过最大化廉价查询获取函数来选择下一个要昂贵评估的位置。我们提出了一个$ε$ -贪婪的贝叶斯优化过程中的黑盒函数可以并行评估多次设置。我们的$ε$ -鸟枪算法利用模型的预测、不确定性和景观的近似变化率来确定要分布在假定位置周围的批处理解决方案的分布。初始目标位置或者以利用的方式在平均预测上选择，或者以概率$ε$从设计空间中的其他地方选择。这导致在函数快速变化的区域中以及在预测为良好的位置（即，接近预测的最优值）中更密集地采样的位置，在函数更平坦和/或质量更差的区域中具有更分散的样本。我们经验性地评估了$ε$ -鸟枪法在一系列合成函数和两个现实世界的问题，发现它们的性能至少与最先进的批处理方法一样好，并且在许多情况下超过了它们的性能。
2020-03-29 cs.LG cs.NE stat.ML
SOMP: Scalable Gradient Inversion for Large Language Models via Subspace-Guided Orthogonal Matching Pursuit
Politecnico di Milano（米兰理工学院）；Aalborg University（奥胡斯大学）
本文提出SOMP框架，通过子空间引导的正交匹配追踪解决大规模语言模型在大批次和长序列下的梯度反向问题，实现更高的重建保真度和计算效率。
2026-03-17 cs.CL cs.LG
Building Trust in Black-box Optimization: A Comprehensive Framework for Explainability
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
提出一套模型无关的指标IEMSO，通过采样核心、批次属性、优化过程和特征重要性四类指标，增强代理优化方法的透明性和可解释性。
2026-06-01 cs.AI cs.LG
The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University（康奈尔大学）
在黑盒优化的许多应用中，可以同时评估多个点，例如，当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造，该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点，我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时，实际机器学习算法，特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
Practical Batch Bayesian Optimization for Less Expensive Functions
Deakin University（迪肯大学）
贝叶斯优化（BO）及其批处理扩展成功地优化了昂贵的黑盒函数。然而，当BO的计算成本可以支配评估黑盒函数的成本时，这些传统的BO方法对于优化不太昂贵的函数还不是理想的。这些不太昂贵的功能的例子是廉价的机器学习模型，通过模拟器进行廉价的物理实验，以及贝叶斯优化中的采集功能优化。在本文中，我们考虑一个批量BO设置的情况下，功能评估是不太昂贵的。我们的模型是基于一种新的探索策略，使用几何距离，提供了一种替代的方式进行探索，选择一个点远离观察到的位置。利用这种直觉，我们建议使用Sobol序列来指导探索，这将摆脱在以前的作品中使用的多个全局优化步骤。基于提出的距离探索，我们提出了一个有效的批量BO方法。我们证明了我们的方法优于其他基线和全局优化方法时，函数的评估是不太昂贵的。
2018-11-05 cs.LG stat.ML
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London（伦敦帝国理工学院）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
贝叶斯优化（BO）方法试图找到目标函数的全局最优解，这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型，通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而，由于采集函数的非凸性，特别是在每一步都选择多个点的批量贝叶斯优化的情况下，这个辅助优化问题可能是非常不容易解决的。在这项工作中，我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进，这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性，并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
Learning Surrogates for Offline Black-Box Optimization via Gradient Matching
Princeton University（普林斯顿大学）；Lewis-Sigler Institute of Integrative Genomics, Princeton University（普林斯顿大学刘易斯-西格勒整合基因组学研究所）；Washington State University（华盛顿州立大学）；School of Electrical Engineering and Computer Science, Washington State University（华盛顿州立大学电气与计算机工程学院）
针对离线黑盒优化中代理模型不完美导致的性能差距问题，提出理论框架显式界定优化质量，并设计黑盒梯度匹配算法构建有效代理模型，在多个真实基准上优于先前方法。
2025-02-26 cs.AI cs.LG
Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference
University of Pennsylvania（宾夕法尼亚大学）；North Carolina State University（北卡罗来纳州立大学）
本文证明黑盒变分推断在光滑二次增长对数似然下满足对应 SGD 的 $ABC$ 条件的匹配梯度方差界，并推广至非线性协方差参数化，揭示均值场参数化更优的维度依赖。
2023-06-04 cs.LG math.OC stat.CO
Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems
Elmore School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（电子工程学院，普渡大学，西拉法叶，美国）；Weldon School of Biomedical Engineering, Purdue University, West Lafayette, USA（生物医学工程学院，普渡大学，西拉法叶，美国）
针对黑盒设置下非对数凹分布采样中梯度不可访问且经典零阶估计器方差大的问题，提出方差缩减的零阶朗之万采样方法，首次建立非渐近收敛保证，并应用于逆问题后验采样。
2026-05-28 cs.LG
Online Matching: A Real-time Bandit System for Large-scale Recommendations
Google Deepmind（谷歌DeepMind）；Google Inc（谷歌公司）
本文提出Online Matching，一个可扩展的闭环Bandit系统，通过混合“离线+在线”方法和Diag-LinUCB算法实现实时分布式参数更新，在YouTube实验中有效提升了新内容发现与物品探索能力。
2023-07-29 cs.LG
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
基于信息的贝叶斯优化（BO）算法在优化黑箱目标函数方面取得了最先进的性能。然而，它们通常需要几个近似或简化假设（没有清楚地理解它们对BO性能的影响）和/或它们对批量BO的概括在计算上是不实用的，特别是随着批量大小的增加。为了缓解这些问题，本文提出了一种新的可信最大化者熵搜索（TES）获取函数：它测量输入查询在有限的可信最大化者集合上对最大化者的信息增益的贡献，即，输入优化从目标函数的高斯过程后验置信度采样的函数。评估TES仅需要具有采样的随机近似或具有期望传播的确定性近似，这两者都使用合成基准目标函数和现实世界的优化问题进行研究和经验评估，例如，卷积神经网络的超参数调整和合成“物理上可实现的”人脸来欺骗黑盒人脸识别系统。尽管TES可以自然地推广到任何一种近似的批量变体，但在我们的实验中，后者可以扩展到更大的批量。
2021-07-30 cs.AI cs.LG stat.ML
DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation
VILA Lab, MBZUAI（VILA实验室，MBZUAI）
针对批次到全局数据集蒸馏中同类合成图像多样性不足的问题，本文提出 DELT，通过划分子任务并进行分阶段局部优化，以更低计算成本提升多样性、精度和合成效率。
2025-06-06 cs.AI cs.CV cs.LG
Introducing Hybrid Modeling with Time-series-Transformers: A Comparative Study of Series and Parallel Approach in Batch Crystallization
Texas A&M University（德克萨斯农工大学）
本文首次将基于时间序列Transformer的混合建模框架应用于批结晶过程，通过比较串联与并联两种配置，实现了NMSE低至10⁻³量级、R²超过0.99的高精度预测，为化学制造数字孪生提供了更准确且可解释的方案。
2023-07-25 cs.LG cs.SY eess.SY
Linear Embedding-based High-dimensional Batch Bayesian Optimization without Reconstruction Mappings
Graduate School of Information Science and Technology（信息科学技术研究生院）；The University of Tokyo（东京大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；Epistra Inc.（Epistra公司）
高维黑箱函数的优化是一个具有挑战性的问题。现有的贝叶斯优化（BO）方法在假设低维线性嵌入结构时，往往将原问题转化为低维空间的优化问题。他们利用低维结构，减少计算负担。然而，我们发现，这种方法可能是有限的或效率低下，在探索高维空间，主要是由于偏见重建的高维查询从低维查询。在本文中，我们研究了一种简单的替代方法：使用来自学习的低维结构的信息在原始高维空间中解决问题。我们提供了一个理论分析的探索能力。此外，我们表明，我们的方法是适用于批量优化问题的数千维没有任何计算困难。我们证明了我们的方法在高维基准和现实世界的功能的有效性。
2022-11-02 cs.LG stat.ML
An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）；School of ECE, College of Engineering, University of Tehran（德黑兰大学工程学院电子与计算机工程系）
本文研究高斯混合模型的极大似然估计。这个任务几乎总是通过期望最大化（EM）算法来解决（在理论和实践中）。EM的成功得益于多方面的因素，其中以封闭形式满足正定性约束的能力至关重要。我们提出了一种替代EM呼吁丰富的黎曼几何正定矩阵，使用它，我们铸造Gmm参数估计作为一个黎曼优化问题。令人惊讶的是，这样一个开箱即用的黎曼公式完全失败，并证明比EM差得多。这促使我们更仔细地研究问题的几何形状，并推导出更适合黎曼优化的更好的公式。然后，我们开发（黎曼）批处理和随机梯度算法，优于EM，往往大幅。我们提供了一个非渐近收敛分析我们的随机方法，这也是第一个（据我们所知）这样的整体分析黎曼随机梯度。大量的实证结果证明了我们的方法的有效性。
2017-06-10 cs.LG stat.ML
Sample-Then-Optimize Batch Neural Thompson Sampling
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
贝叶斯优化（BO），它使用高斯过程（GP）作为替代模型来模拟其目标函数，是黑盒优化的流行。然而，由于GP的限制，BO在某些问题上表现不佳，例如那些分类，高维或图像输入的问题。为此，最近的工作已经使用了高度表达的神经网络（NN）作为代理模型，并使用神经切线核（NTK）理论推导出理论保证。然而，这些作品遭受的限制，要求反转一个非常大的参数矩阵和顺序（而不是批量）设置的限制。为了克服这些局限性，我们介绍了两种算法的基础上汤普森采样（TS）的政策命名为采样然后优化批量神经TS（STO-BNTS）和STO-BNTS-线性。为了选择输入查询，我们只需要训练一个NN（分别是线性模型），然后通过最大化训练的NN（分别为线性模型），其从具有NTK作为核函数的GP后验等效地采样。其结果是，我们的算法回避了需要反转的大参数矩阵，但仍然保持TS政策的有效性。接下来，我们推导出我们的算法与批量评估的遗憾上界，并使用批BO和NTK的见解，以表明它们在某些条件下是渐近无遗憾的。最后，我们使用实际的AutoML和强化学习实验来验证它们的经验有效性。
2022-10-13 cs.AI cs.LG
Pareto Front-Diverse Batch Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）；Stanford University（斯坦福大学）
针对昂贵黑箱函数的批量多目标优化，提出PDBO，结合多臂老虎机自动选择采集函数并用DPPs选取多样化批次，显著提升Pareto解质量与多样性。
2024-06-13 cs.AI cs.LG
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
Technion, Israel Institute of Technology（以色列理工学院）
研究了报酬函数为非线性的组合多臂强盗（CMAB）问题。在此设置中，智能体在每轮中选择一批手臂，并从该批手臂中的每个手臂接收反馈。智能体旨在最大化的奖励是所选武器及其期望的函数。在许多应用中，奖励函数是高度非线性的，现有算法的性能依赖于全局Lipschitz常数来封装函数的非线性。这可能会导致后悔界限松散，因为大的梯度本身并不一定会导致大的后悔，而只是在奖励参数的不确定性很高的区域。为了克服这个问题，我们引入了一个新的平滑度标准，我们的术语\emph{Gini-weighted smoothness}，考虑到非线性的奖励和浓度属性的武器。我们表明，在现有的算法中的批量大小的遗憾的线性依赖，可以取代这个平滑参数。这反过来又导致更严格的遗憾边界时，平滑参数是批量大小无关的。例如，在概率最大覆盖（PMC）问题，有许多应用，包括影响力最大化，多样化的建议和更多，我们实现了显着的改进的上限。我们还证明了匹配的PMC问题的下界，并表明我们的算法是紧的，在问题的参数的对数因子。
2020-06-07 cs.LG stat.ML
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对LLM预训练中批大小调度的理论缺失，提出广义BG-$a$噪声模型并推导复杂度界限，设计自适应批调度器，在OLMo2预训练中以更少迭代取得更低验证损失。
2026-10-05 cs.LG math.OC
VOPy: A Framework for Black-box Vector Optimization
Bilkent University（毕尔肯大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究推出开源Python库VOPy，用于解决凸锥偏序下的黑盒向量优化问题，支持灵活锥排序与多场景适配，模块化架构便于方法集成与算法开发，可推动该领域研究与应用。
2024-12-09 cs.LG stat.AP stat.ML
