Hyp-RL : Hyperparameter Optimization by Reinforcement Learning
University of Hildesheim（希尔德斯海姆大学）
超参数整定是机器学习中一个无所不在的问题，因为它是获得任何模型的最新性能的一个不可或缺的方面。大多数情况下，超参数只是通过在可能的超参数值网格上训练模型并在验证样本上（网格搜索）表现最好的一个来优化。最近，已经引入了构建所谓的代理模型的方法，该代理模型预测特定超参数设置、模型和数据集的验证损失，然后基于期望值的启发式函数和称为获取函数的代理模型的不确定性来顺序地选择下一个超参数进行测试（基于顺序模型的贝叶斯优化，SMBO）。本文将超参数优化问题建模为一个序贯决策问题，即下一步测试哪个超参数，并利用强化学习解决该问题。这样，我们的模型就不必依赖于像SMBO这样的启发式获取函数，而是可以根据它们最终导致的验证损失的后续减少来学习接下来要测试哪些超参数，或者是因为它们本身产生好的模型，或者是因为它们允许超参数选择策略构建更好的代理模型，该代理模型稍后能够选择更好的超参数。50个数据集表明，我们的方法优于最先进的超参数学习方法。
2019-06-27 cs.LG stat.ML
A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models
University of Würzburg（维尔茨堡大学）
目前，顺序项目推荐模型通过计算小项目子集（目标集）上的度量来进行比较，以加快计算速度。目标集包含相关项和从完整项集中采样的一组负项。两种众所周知的对负项进行抽样的策略是均匀随机抽样和按流行度抽样，以更好地逼近数据集中的项频率分布。最近发表的论文顺序项目推荐依赖于抽样的流行程度比较评估模型。然而，最近的工作已经表明，均匀随机抽样的评估可能与完整排名不一致，即，通过使用完整的项目集作为目标集评估度量获得的模型排名，这就提出了通过流行度抽样获得的排名是否等于完整排名的问题。在这项工作中，我们重新评估当前国家的最先进的顺序推荐模型的角度来看，这些采样策略是否有影响的模型的最终排名。因此，我们训练四个最近提出的顺序推荐模型在五个众所周知的数据集。对于每个数据集和模型，我们采用三种评估策略。首先，我们计算完整的模型排名。然后，我们评估所有的模型在两个不同的抽样策略，均匀随机抽样和流行度抽样的目标集上，常用的目标集大小为100，计算每个策略的模型排名，并相互比较。此外，我们改变采样目标集的大小。总体而言，我们发现，这两种抽样策略可以产生不一致的排名相比，完整的排名模型。此外，受欢迎程度抽样和均匀随机抽样并不总是产生相同的排名。
2021-07-27 cs.IR cs.LG
Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning
University of Bristol（布里斯托尔大学）
本文提出“序贯分组”超参数优化策略，利用超参数重要性评估指导分组优化，在六个图像分类数据集上验证可在不降低性能的情况下将优化时间平均缩短31.9%。
2025-03-07 cs.AI cs.LG
CDS4RAG: Cyclic Dual-Sequential Hyperparameter Optimization for RAG
School of Computer Science and Engineering, UESTC, Chengdu, China（电子科技大学计算机科学与工程学院，成都，中国）；IDEAS Lab, University of Birmingham, Birmingham, UK（伯明翰大学IDEAS实验室，英国布里斯托尔）
本文提出CDS4RAG框架，通过循环双序列方法优化RAG的全部超参数，提升检索生成性能，实验显示在24种情况下均优于现有算法。
2026-05-08 cs.AI cs.CL cs.LG
Sequential Policy Gradient for Adaptive Hyperparameter Optimization
Department of Computer Science（计算机科学系）；New York Institute of Technology（纽约理工学院）
本文提出序列策略梯度（SPG）方法，受DeepSeek-V3启发，通过单次前向生成轨迹实现轻量级在线超参数优化，在五个数据集上提升性能0.2~7%，计算成本低。
2025-06-18 cs.AI cs.LG
Open Loop Hyperparameter Optimization and Determinantal Point Processes
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
驱动的需要，可并行的超参数优化方法，本文研究了\emph{open loop}搜索方法：序列是预先确定的，可以产生之前，一个单一的配置进行评估。示例包括网格搜索、均匀随机搜索、低差异序列和其他采样分布。特别是，我们提出了使用$k$ -行列式点过程的超参数优化通过随机搜索。与超参数设置被独立采样的常规均匀随机搜索相比，$k$ -DPP促进多样性。我们描述了一种方法，转换超参数搜索空间的有效利用与$k$ -DPP。此外，我们引入了一种新的梅特罗波利斯-黑斯廷斯算法，它可以从$k$ -DPP定义的任何空间，从均匀的样本可以绘制，包括空间的混合离散和连续的尺寸或树结构的样本。我们的实验表明，无论是串行还是并行，在训练监督学习者的预算有限的情况下，在现实场景中都有显着的好处。
2019-05-09 cs.LG stat.ML
Sequential Model-Based Ensemble Optimization
Université Laval（拉瓦尔大学）；Université de Sherbrooke（舍布鲁克大学）
机器学习应用中最繁琐的任务之一是模型选择，即超参数选择。幸运的是，最近通过使用顺序基于模型的优化（SMBO）方法，在此过程的自动化方面取得了进展。这可以用于优化学习算法在其超参数值上的交叉验证性能。然而，众所周知，学习模型的集合几乎始终优于单个模型，即使选择得当。因此，在本文中，我们提出了一个扩展的SMBO方法，自动构建这样的合奏。这种方法建立在最近提出的集成建设范式称为不可知贝叶斯学习。在22个回归和39个分类数据集上的实验中，我们证实了所提出的方法是成功的，它能够优于SMBO的模型选择。
2014-02-04 cs.LG stat.ML
Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications
Technical University of Munich（慕尼黑工业大学）
高斯过程已经成为各种安全关键设置的有前途的工具，因为后验方差可以用来直接估计模型误差和量化风险。然而，用于安全关键设置的最新技术取决于内核超参数已知的假设，这通常不适用。为了缓解这一问题，我们在未知超参数的设置中引入了鲁棒高斯过程均匀误差界。我们的方法在超参数空间中计算置信区域，这使我们能够获得具有任意超参数的高斯过程的模型误差的概率上界。我们不需要先验地知道超参数的任何界限，这是相关工作中常见的假设。相反，我们能够以直观的方式从数据中推导出边界。我们还采用所提出的技术来获得性能保证一类基于学习的控制问题。实验表明，该边界的性能显着优于香草和完全贝叶斯高斯过程。
2022-07-20 cs.LG cs.RO cs.SY
Multi-level Training and Bayesian Optimization for Economical Hyperparameter Optimization
Tsinghua University（清华大学）；Purdue University（普渡大学）
超参数在许多机器学习方法的性能中起着至关重要的作用。确定它们的最佳设置或超参数优化（HPO）面临着大量超参数以及过多训练时间所带来的困难。在本文中，我们开发了一种有效的方法来减少所需的培训时间的总量HPO。在初始化中，使用嵌套拉丁超立方体设计来选择两种类型的训练的超参数配置，这两种类型的训练分别是重训练和轻训练。我们提出了一个截断的加性高斯过程模型来校准由轻训练产生的近似性能测量，使用由重训练产生的准确性能测量。在此基础上，提出了一种基于模型的序贯算法来生成配置空间的性能剖面，并找到最优的性能剖面。我们提出的方法在应用于优化合成示例、支持向量机、全连接网络和卷积神经网络时表现出具有竞争力的性能。
2020-07-20 cs.LG stat.ML
Enhancing Performance and Calibration in Quantile Hyperparameter Optimization
London, United Kingdom（英国伦敦）
本文针对高斯过程在类别型超参数及分布假设受挑战时的不足，提出结合保形分位数回归的超参数优化方法，并验证其在性能和校准上优于GP、TPE和SMAC。
2025-09-21 cs.LG stat.ML
Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives
Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对多目标超参数优化中的尺度差异、失败与异常值问题，提出带统一归一化、随机权重标量化、目标约束及并行化的 MoBO 算法，16 倍工作节点下获得 5 倍加速。
2023-09-26 cs.DC cs.LG
Multi-armed bandits for resource efficient, online optimization of language model pre-training: the use case of dynamic masking
Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE - Basque Foundation for Science（伊克巴斯克-巴斯克科学基金会）；Columbia University（哥伦比亚大学）；Walmart Global Tech（沃尔玛全球技术）；eBay Inc.（易贝公司）
本文提出基于高斯过程汤普森采样的多臂老虎机框架GP-TS，通过顺序选择动态掩码超参数加速Transformer语言模型预训练，在更少轮数下降低MLM损失并保持下游性能，避免昂贵网格搜索，实现资源高效优化。
2023-05-30 cs.CL cs.LG stat.ML
Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior
Nanyang Technological University（南洋理工大学）
卷积神经网络被称为ConvNet，已被广泛应用于许多复杂的机器学习任务中。然而，超参数优化是开发ConvNet架构的关键步骤之一，因为准确性和性能依赖于超参数。这种多层架构通过一组超参数进行参数化，例如卷积层的数量，完全连接的密集层和神经元的数量，辍学实现的概率，学习率。因此，在超参数空间上搜索超参数是非常困难的，以建立这样复杂的层次结构。在过去的十年中，已经提出了许多方法来探索超参数空间并找到超参数值的最佳集合。据报道，由于架构的大量超参数，网格搜索和随机搜索被认为是低效且极其昂贵的。因此，基于序贯模型的贝叶斯优化是一种很有前途的替代技术，以解决未知的成本函数的极端。Snoek最近在9个卷积网络参数中进行的贝叶斯优化研究在CIFAR-10基准测试中获得了最低误差报告。本文旨在概述高斯先验贝叶斯优化背后的数学概念。
2017-12-19 cs.CV cs.LG stat.ML
HyperQ-Opt: Q-learning for Hyperparameter Optimization
United International University（联合国际大学）
本文将超参数优化表述为顺序决策问题，利用 Q-learning 迭代细化超参数设置，在有限试验内找到最优配置，并指出离散搜索空间等局限，推动基于策略的可扩展优化。
2024-12-23 cs.LG
Experimental Investigation and Evaluation of Model-based Hyperparameter Optimization
Bartz & Bartz GmbH（Bartz & Bartz有限公司）；TH Köln（科隆应用技术大学）
随机森林或xgboost等机器学习算法正变得越来越重要，并越来越多地被纳入生产流程，以实现全面的数字化，并在可能的情况下实现流程自动化。所使用的这些算法的超参数必须被适当地设置，这可以被称为超参数调整或优化。基于可调性的概念，本文介绍了流行的机器学习算法的理论和实践结果的概述。这一概述伴随着来自六个相关机器学习算法的30个超参数的实验分析。特别是，它提供了（i）重要的超参数的调查，（ii）两个参数调整研究，和（iii）一个广泛的全球参数调整研究，以及（iv）一种新的方式，基于共识排名，从多个算法的结果进行分析。R包mlr用作机器学习模型的统一接口。R包SPOT用于执行实际的调优（优化）。所有附加代码都与本文一起提供。
2021-07-19 cs.LG stat.ML
Hyperparameter Optimization: A Spectral Approach
Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
我们从布尔函数的分析中得到启发，给出了一个简单、快速的超参数优化算法。我们专注于高维制度，其中的典型例子是训练一个神经网络与大量的超参数。该算法-正交多项式的压缩感知技术的迭代应用-只需要均匀采样的超参数，因此很容易并行化。在Cifar-10上训练深度神经网络的实验表明，与最先进的工具（例如，Hyperband和Spearmint），我们的算法发现显着改进的解决方案，在某些情况下比手动调整所能达到的效果更好。在总运行时间方面（即，采样各种超参数设置所需的时间加上额外的计算时间），我们至少比Hyperband和Bayesian Optimization快一个数量级。我们也优于随机搜索8x。此外，我们的方法具有可证明的保证，并在二十多年来首次改进了学习决策树的样本复杂性。特别地，我们得到了第一个准多项式时间算法学习噪声决策树多项式样本复杂度。
2018-01-20 cs.AI cs.LG math.OC
Adaptive Hyperparameter Optimization for Continual Learning Scenarios
University of Pisa（比萨大学）
针对持续学习中超参数选择研究不足、传统方法不适用的问题，提出利用序列任务学习特性结合方差泛函分析技术识别关键超参数，实现跨任务持续加速优化且鲁棒性强，推动持续学习方法发展。
2024-06-19 cs.LG
Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits
University of California, Davis（加利福尼亚大学戴维斯分校）；Google（谷歌公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对上下文赌博机超参数难以实时调优的问题，提出首个在线连续超参数调优框架 CDT，将超参数优化建模为非平稳连续臂赌博机，并设计 Zooming TS 算法，在理论和实验上均取得优于现有方法的效果。
2024-04-08 cs.LG stat.ML
Speeding up the Hyperparameter Optimization of Deep Convolutional Neural Networks
大多数学习算法要求从业者在学习过程开始之前手动设置许多超参数的值。然而，使用现代算法，给定超参数设置的评估可能花费相当多的时间，并且搜索空间通常是非常高维的。我们建议使用原始数据的低维表示来快速识别超参数空间中有希望的区域。然后，该信息可以用于初始化原始高维数据的优化算法。我们将这种方法与仅在原始输入上优化超参数的标准过程进行了比较。我们进行实验与各种国家的最先进的超参数优化算法，如随机搜索，树parzen估计（TPE），顺序模型为基础的算法配置（SMAC），和一个遗传算法（GA）。我们的实验表明，它是可能的，以加快优化过程中使用低维的数据表示在开始时，而在优化过程的后期增加输入的维数。这是独立的底层优化过程，使许多现有的超参数优化算法的方法有前途。
2018-07-19 cs.LG cs.NE
Multi-Objective Optimization and Hyperparameter Tuning With Desirability Functions
Bartz & Bartz GmbH（巴茨与巴茨公司）
本文介绍了一种基于Python的可欲性函数方法，用于多目标优化和超参数调节，并展示了其在经典优化、代理模型优化和探索-利用权衡中的应用。
2025-12-25 cs.LG math.OC stat.AP
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University（山东大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Huawei（华为）
（基于梯度的）双层规划框架被广泛用于超参数优化，并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能，而离开的分析，在很大程度上开放的推广。本文试图解决这个问题，提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中，例如，过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明，基于梯度的算法可以比交叉验证在一定条件下，在理论上的角度。此外，我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中，我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
Feature Selection as Deep Sequential Generative Learning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；NEC Laboratories America Inc（美国NEC实验室）
本研究将特征选择重构为深度序列生成学习任务，通过深度变分Transformer模型提炼特征知识、学习嵌入空间，结合效用评估器梯度指导与自回归解码生成最优特征子集，兼具有效性与通用性。
2024-03-06 cs.LG
Sequential Randomized Matrix Factorization for Gaussian Processes: Efficient Predictions and Hyper-parameter Optimization
United Technologies Research Center（联合技术研究中心）
本文提出了一种序列随机低秩矩阵分解方法，使用高斯过程框架增量预测未知函数在测试点处的值。众所周知，在高斯过程框架中，计算瓶颈是（正则化）核矩阵的求逆和定义核的超参数的计算。本文的主要贡献是双重的。首先，我们形式化了一种在流媒体场景中使用随机矩阵分解算法计算核矩阵逆的方法，即，数据是随着时间递增地生成的。所提出的方法的准确性和计算效率的指标进行比较，对一个批处理方法的基础上使用的随机矩阵分解和现有的流方法的基础上近似高斯过程的一组有限的基向量。其次，我们扩展的顺序因式分解方法的一类核函数的超参数可以有效地优化。所有结果都在两个公开的数据集上得到了证明。
2017-11-19 cs.LG stat.ML
BINOCULARS for Efficient, Nonmyopic Sequential Experimental Design
Washington University in Saint Louis（圣路易斯华盛顿大学）；Amazon Research Cambridge（亚马逊剑桥研究院）
多水平序贯实验设计（SED）在许多情况下自然出现，包括机器学习中更传统的设置中的超参数调整。计算这些问题的最优策略需要求解贝尔曼方程，这通常是棘手的。大多数现有的工作诉诸严重近视的近似，限制决策范围只有一个单一的时间步，这可能会低估勘探有利于开发。我们提出的Binoculars：批量通知非近视的选择，使用长期的自适应，快速SED，一个通用的框架，用于获得有效的，非近视的近似最佳实验政策。我们的关键思想很简单，而且非常有效：我们首先计算一个一步优化的实验批次，然后从这个批次中选择一个点进行评估。我们实现了贝叶斯优化和贝叶斯正交-两个显着的SED问题，从根本上不同的目标-BINOCULARS和证明，BINOCULARS显着优于近视的替代品在现实世界中的场景。
2020-02-09 cs.LG stat.ML
Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation
University of Edinburgh（爱丁堡大学）；AWS AI Labs（AWS人工智能实验室）
本文提出有序迁移超参数优化（OTHPO），假设任务按顺序且与前一任务最相关，提出基本方法并在十个基准上验证其优于现有迁移HPO，同时开源基准以促进研究。
2023-06-29 cs.LG
PyTorch Hyperparameter Tuning - A Tutorial for spotPython
本教程介绍如何将 spotPython 集成到 PyTorch 训练流程，并基于 CIFAR10 与 Ray Tune 比较，展示其相近或更优的调优效果及更高的灵活性和透明度。
2023-06-07 cs.AI cs.LG cs.NA
DA-LSTM: A Long Short-Term Memory with Depth Adaptive to Non-uniform Information Flow in Sequential Data
Hong Kong University of Science and Technology（香港科技大学）
许多序列数据表现出高度非均匀的信息分布。传统的长短期记忆（LSTM）无法正确建模。为了解决这个问题，最近的工作通过在相邻输入之间添加更多的激活来扩展LSTM。然而，这些方法通常使用固定的深度，这是在最大信息量的步骤。这种一刀切的最坏情况的方法是不令人满意的，因为当很少的信息被分配到一些步骤，浅层结构可以实现更快的收敛和消耗更少的计算资源。在本文中，我们开发了一种深度自适应长短期记忆（DA-LSTM）架构，它可以在没有先验知识的情况下根据信息分布动态调整结构。真实世界数据集上的实验结果表明，与Stacked LSTM和Deep Transition LSTM相比，DA-LSTM分别消耗更少的计算资源，并大幅缩短$41.78\%$和$46.01 \%$的收敛时间。
2019-01-18 cs.LG cs.NE stat.ML
Continuation Path with Linear Convergence Rate
Georgia Institute of Technology（佐治亚理工学院）；Riken AIP（理化学研究所革新智能统合研究中心）；Nagoya Institute of Technology（名古屋工业大学）
路径跟踪算法经常用于复合最优化问题，其中一系列子问题，具有不同的正则化超参数，顺序求解。通过重用以前的解决方案作为初始化，更好的收敛速度已被观察到数值。这使得它成为一个非常有用的启发式算法，以加快机器学习中优化算法的执行。我们提出了一个原始的对偶分析的路径跟踪算法，并探讨如何设计其超参数，以及如何确定每个子问题应解决的准确性，以保证目标问题的线性收敛速率。此外，考虑稀疏诱导惩罚优化，我们分析了相对于正则化参数的活动集的变化。然后，后者可以自适应地校准，以精细地确定将沿着解决方案路径选择的特征的数量。这导致了用于校准活动集方法的超参数的简单算法，以降低其复杂性并改善其执行时间。
2021-12-09 cs.LG math.OC
Asynchronous Decentralized Bayesian Optimization for Large Scale Hyperparameter Optimization
Université Paris-Saclay（巴黎萨克雷大学）；Argonne National Laboratory（阿贡国家实验室）；Google（谷歌）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对集中式并行贝叶斯优化难以扩展的问题，提出异步去中心化 BO，使各工作者独立运行顺序 BO 并经共享存储同步结果，在 1,920 个工作者上保持 95% 以上利用率并提升 CANDLE 基准性能。
2023-09-26 cs.LG
DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework
University of Pennsylvania（宾夕法尼亚大学）；Meta Platforms, Inc.（Meta平台公司）
针对隐私模型训练中超参数优化被忽视的隐私风险，本文提出DP-HyPO框架，通过全面的差分隐私分析实现自适应的隐私超参数优化，弥合了隐私与非隐私设置的差距，并在真实数据集上验证了其有效性。
2023-11-27 cs.CR cs.DS cs.LG
Default Machine Learning Hyperparameters Do Not Provide Informative Initialization for Bayesian Optimization
Department of Telematics and Computing, Universidad Pontificia Comillas（电信与计算系，Pontificia Comillas大学）；Institute for Research in Technology (IIT), Universidad Pontificia Comillas（技术研究 institute，Pontificia Comillas大学）
研究发现默认超参数未提供对贝叶斯优化的有用初始化，建议采用数据驱动的搜索策略。
2026-02-09 cs.AI cs.LG
Non-uniformity is All You Need: Efficient and Timely Encrypted Traffic Classification With ECHO
The Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）；Princeton University（普林斯顿大学）
针对加密流量分类的效率与延迟问题，本文提出包含非均匀分箱超参数优化和级联早期分类的ECHO框架，在公开数据集上实现延迟最高降90%，同时维持甚至提升准确率。
2024-07-09 cs.CR cs.LG cs.NI
Uniform regret bounds over $R^d$ for the sequential linear regression problem with the square loss
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Institut de mathématiques de Toulouse（图卢兹数学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎第十一大学）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文考虑了任意确定性序列的在线线性回归的设定问题，并考虑了平方损失。我们对Bartlett等人（2015）设定的目标感兴趣：获得在所有竞争者向量上一致保持的遗憾界。当特征序列在游戏开始时已知时，他们提供了$2d B^2 \ln T + \mathcal{O}_T(1)$的封闭形式的后悔界限，其中$T$是回合数，$B$是观察结果的界限。相反，我们推导出的界限与最佳常数$1$在前面的$d B^2 \ln T$长期。在顺序显示的功能的情况下，我们还得到了一个渐进的遗憾界的$d B^2 \ln T$的任何个人序列的功能和有界的意见。我们所有的算法都是在线非线性岭回归预测器的变体，或者具有依赖于数据的正则化，或者几乎没有正则化。
2019-02-25 cs.LG math.ST stat.ML
Importance-Aware Scheduling for High-Dimensional Hyperparameter Optimization
University of Bristol, Bristol, United Kingdom（布里斯托大学）
提出GIF方法，通过小样本预热估计超参数重要性，按重要性分组并比例分配试验，保留全空间回退，在高维基准上优于TPE等方法，提升采样效率。
2026-06-08 cs.AI cs.LG
Deep Gaussian Covariance Network
相关长度尺度是高斯过程中最常用的超参数。通常，使用静态协方差函数，其仅取决于输入点之间的距离，因此对输入空间中的平移不变。超参数的优化通常通过最大化对数边际似然来完成。如果距离是均匀分布的，这就很有效。在局部自适应或甚至稀疏输入空间的情况下，测试点的预测可能更差地依赖于其位置。对此的一种可能的解决方案是使用非平稳协方差函数，其中超参数由深度神经网络计算。因此，相关长度尺度和可能的噪声方差取决于测试点。此外，同时训练不同类型的协方差函数，使得高斯过程预测是不同协方差矩阵的加性叠加。深度神经网络学习正确的协方差函数组合及其超参数。此外，高斯过程将能够批量或在线训练，因此它可以处理任意大的数据集。我们称之为深度高斯协方差网络（Deep Gaussian Covariance Network，DGCP）。也有进一步的扩展，这个框架可能，例如顺序相关的问题，如时间序列或本地混合专家模型。基本框架和一些扩展的可能性将在这项工作中。此外，还将针对时间依赖性问题，与一些最新的最先进的代理模型方法进行比较。
2017-10-27 cs.LG stat.ML
Time-uniform conformal and PAC prediction
Department of Statistics and Data Science, Carnegie Mellon University（统计与数据科学系，卡内基梅隆大学）
本文提出了一种时间一致的共形与PAC预测方法，适用于数据点数量不确定的序列设置，确保预测集在任意时间点的覆盖率符合要求。
2026-02-06 cs.LG stat.ML
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation
eBay Inc.（eBay公司）；University of Amsterdam（阿姆斯特丹大学）
Unilogit提出一种基于均匀目标自蒸馏的机器遗忘方法，通过动态调整目标logits使目标token概率均匀化，无需额外超参数即可在遗忘与保留之间取得更优平衡，并在多个基准上优于NPO和UnDIAL。
2025-05-09 cs.CL cs.LG
Constrained Bayesian Optimization with Max-Value Entropy Search
Amazon（亚马逊）
贝叶斯优化（BO）是一种基于模型的方法，用于顺序优化昂贵的黑盒函数，例如深度神经网络关于其超参数的验证误差。在许多现实世界的情况下，优化进一步受到先验未知的约束。例如，当模型太大时，训练深度网络配置可能会失败，并出现内存不足错误。在这项工作中，我们专注于一个一般的配方高斯过程为基础的BO连续或二进制的约束。我们提出了约束最大值熵搜索（cMES），一种新的信息理论为基础的采集功能，实现这一配方。我们还重新审视的有效性，采用快速计算的MES采集功能的因式分解近似，经验表明，这会导致不准确的结果。在一组广泛的现实世界的约束超参数优化问题，我们表明，cMES相比有利的先前的工作，同时更简单的实现和速度比其他约束扩展熵搜索。
2019-10-15 cs.LG stat.ML
Uniform Sequence Better: Time Interval Aware Data Augmentation for Sequential Recommendation
Northeastern University（东北大学）；Alibaba Group（阿里巴巴集团）
针对序列推荐中时间间隔不均导致的偏好漂移问题，提出五种时间间隔感知增强算子及长度控制策略，将非均匀序列转化为均匀序列，并在四个真实数据集上显著优于11种对比方法。
2023-12-17 cs.IR cs.LG
Sequential QCQP for Bilevel Optimization with Line Search
Department of Electrical and Computer Engineering at Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）；Department of Systems and Industrial Engineering, The University of Arizona（亚利桑那大学系统与工业工程系）
提出一种单循环免调参的双层优化算法，通过闭式解QCQP和回溯线搜索保证任意时刻可行性与目标下降，具有O(1/k)遍历收敛速率。
2025-08-13 cs.LG cs.SY eess.SY
Fuzzing Large Language Models to Elicit Hidden Behaviours
School of Computing and Information Science（计算与信息科学学院）
研究通过向模型权重或残差流注入高斯噪声的模糊测试方法，揭示后门模型中的隐藏行为，并提出基于代理任务的超参数选择策略，显著提升触发率。
2026-06-28 cs.AI cs.LG
Intelligent sampling for surrogate modeling, hyperparameter optimization, and data analysis
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出智能采样概念，通过新建或跨领域改造算法来满足非矩形域、增量采样等需求，并证明简单算法经定制后可在代理建模等任务中优于复杂方法。
2023-06-06 cs.LG stat.CO
Complexity-Regularized Proximal Policy Optimization
本文提出复杂度正则化的近端策略优化（CR-PPO），通过引入自调节复杂度项替代标准熵项，提升策略优化的鲁棒性和稳定性。
2026-03-05 cs.AI cs.LG
Generic Bounds on the Maximum Deviations in Sequential Prediction: An Information-Theoretic Analysis
NYU（纽约大学）
在本文中，我们通过信息论的方法推导出一般的最大偏差的顺序预测的预测误差的界限。的基本界限只取决于条件熵的数据点被预测给定以前的数据点。在渐近的情况下，当且仅当预测误差是白色的，均匀分布的边界实现。
2021-05-11 cs.IT cs.LG eess.SP
Bandits in Prod: Hyperparameter Optimization at Inference Time
Tiime
该研究针对生产系统推理时超参数优化的问题，提出IMABO框架，结合IMOSS策略与三类神谕，在多类OHPO场景中实现了更低的累积遗憾。
2026-09-03 cs.AI cs.LG
Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning
University of São Paulo（圣保罗大学）
本文通过实验证明，统一损失在多任务学习中表现优异，固定权重可与专用优化器竞争，揭示了统一损失与专用优化器在某些情况下表现相似的原因。
2026-03-20 cs.AI cs.LG
