Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中：从自动机器学习，机器人，强化学习，实验设计，仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式，高斯过程，由于其灵活性，以代表一个先验函数。然而，许多算法和设置依赖于高斯过程的平稳性假设。在本文中，我们提出了一种新的非平稳贝叶斯优化策略，能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Bayesian Optimization for Multi-objective Optimization and Multi-point Search
Kobe Steel, Ltd.（神户制钢所）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所AIP）
贝叶斯优化是一种有效的方法，以有效地优化未知的目标函数，高评价成本。传统的贝叶斯优化算法对单目标函数每次迭代选择一个点，而近年来，人们提出了多目标优化的贝叶斯优化或每次迭代多点搜索。然而，目前还没有一种非启发式的贝叶斯优化方法能够同时处理这两种问题。提出了一种能够同时处理多目标优化和多点搜索的贝叶斯优化算法。首先，我们定义了一个采集功能，同时考虑多目标和多点搜索问题。这是很难解析最大化的采集功能的计算成本是禁止的，即使当近似计算，如采样近似进行，因此，我们提出了一个准确的和计算效率高的方法估计梯度的采集功能，并开发了一个算法贝叶斯优化与多目标和多点搜索。数值实验表明，该方法的性能与启发式方法相当或优于启发式方法。
2019-05-07 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Oxford-Man Institute of Quantitative Finance（牛津曼量化金融研究所）
我们开发了第一个贝叶斯优化算法，BLOSSOM，它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性，有效地利用函数求值，同时在选择优化问题时获得全局最小值的卓越收敛，并且一旦满足原则性和直观的停止条件，就停止优化。
2018-05-22 cs.LG stat.ML
Bayesian task embedding for few-shot Bayesian optimization
GE Research（通用电气研究院）
我们描述了一种贝叶斯优化的方法，其中一个可以将数据从多个系统的定量相互关系是未知的先验。系统的所有一般（非实值）特征都与连续潜变量相关联，这些变量作为输入进入一个元模型，该元模型同时学习所有系统的响应曲面。贝叶斯推理用于确定关于潜在变量的适当信念。我们解释了如何得到的概率元模型可用于贝叶斯优化任务，并展示了它的实现在各种合成和现实世界的例子，比较其性能下零，一，和Few-Shot设置对传统的贝叶斯优化，这通常需要更多的数据从系统的利益。
2020-01-02 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights
CyberAgent（赛博艾坚特）；National Institute of Informatics（国立信息学研究所）；RIKEN（理化学研究所）
针对固定未知线性效用的在线逆线性优化问题，提出基于多尺度矩阵权重的随机算法，实现期望遗憾 $O(\sqrt d)$，在常数因子内最优，且无需预知时间范围。
2026-09-24 cs.DS cs.LG stat.ML
On Batch Bayesian Optimization
Indian Institute of Science（印度科学学院）
我们提出了两种算法的贝叶斯优化在批量反馈设置，高斯过程的置信上限和汤普森采样方法的基础上，随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
A Simple Heuristic for Bayesian Optimization with A Low Budget
CyberAgent, Inc.（赛博艾坚特公司）
黑盒优化的目的是在给定的评估预算的约束下优化目标函数。在这个问题中，通常假设评估点的计算成本很大;因此，重要的是以尽可能低的预算有效地搜索。贝叶斯优化是一种有效的黑箱优化方法，它通过构造一个考虑目标函数不确定性的代理模型来实现探索-开发的权衡。然而，因为贝叶斯优化应该为整个搜索空间构造代理模型，所以当点没有被充分采样时，它不会表现出良好的性能。在这项研究中，我们开发了一种启发式方法细化搜索空间的贝叶斯优化时，可用的评估预算低。该方法通过对原始区域的划分来细化期望区域，以期望区域为初始搜索空间进行贝叶斯优化。通过对标准函数和机器学习算法的超参数优化的实验，我们证实了该方法的贝叶斯优化性能优于单独的贝叶斯优化，并表现出与两种搜索空间划分算法相当或更好的性能。
2019-11-30 cs.LG stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University（康奈尔大学）；Caltech（加州理工学院）
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联，将Gittins指数作为采集函数，实验证明其在中高维场景表现优异，且可迁移至经典贝叶斯优化，为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
Non-Myopic Multifidelity Bayesian Optimization
Politecnico di Torino（都灵理工大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出非短视多保真贝叶斯优化框架，通过两步前瞻采集函数最大化长期累积奖励，在基准优化问题上优于标准多保真贝叶斯方法。
2024-07-04 cs.LG math.OC
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的，并且贝叶斯优化算法被广泛用于该目的。然而，现有的贝叶斯优化算法大多只能处理向量数据，不能处理复杂的结构化数据。在本文中，我们提出了拓扑贝叶斯优化，它可以有效地找到一个最佳的解决方案，从结构化数据使用\emph{topological information}。更具体地说，为了将贝叶斯优化应用于结构化数据，我们从结构中提取有用的拓扑信息，并测量结构之间的适当相似性。为此，我们利用持久同源性，这是一个拓扑数据分析方法，最近被应用在机器学习。此外，我们提出了贝叶斯优化算法，可以处理多种类型的拓扑信息，通过使用一个线性组合的内核持久图。通过实验，我们表明，拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比，随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Practical Bayesian Optimization with Threshold-Guided Marginal Likelihood Maximization
Pohang University of Science and Technology（浦项科技大学）；BARO AI
我们提出了一个实用的贝叶斯优化方法，使用高斯过程回归，其边际似然最大化的模型选择步骤的数量是由一个预先定义的阈值。由于贝叶斯优化在寻找高斯过程回归的最佳自由参数时消耗了很大一部分执行时间，我们简单而直接的方法能够减轻时间复杂度并加快整个贝叶斯优化过程。实验结果表明，该方法在大多数情况下都能有效地减少执行时间，且优化质量损失较小。
2020-10-16 cs.LG stat.ML
A Stratified Analysis of Bayesian Optimization Methods
SigOpt
实证分析是理论分析的重要补充，是研究贝叶斯优化问题的重要手段。经验主义的见解往往暴露出理论分析无法触及的优点和缺点。我们定义了两个指标比较贝叶斯优化方法的性能，并提出了一个排名机制，总结性能在各种流派或层次的测试功能。这些测试函数用于模拟超参数优化问题的复杂性，这是贝叶斯优化的最突出应用，但具有封闭形式，允许快速评估和更可预测的行为。这提供了一种灵活有效的方法来研究具有特定属性的函数，例如振荡行为或域边界上的最佳值。
2016-03-31 cs.LG stat.ML
Optimizing High-Dimensional Physics Simulations via Composite Bayesian Optimization
New York University（纽约大学）；Facebook
基于物理模拟的优化是科学和工程领域的一项常见任务。许多这样的模拟产生基于图像或张量的输出，其中期望的目标是这些输出的函数，并且在高维参数空间上执行优化。我们开发了一种贝叶斯优化方法，利用基于张量的高斯过程代理和信赖域贝叶斯优化来有效地模拟图像输出，并有效地优化这些类型的模拟，包括射频塔配置问题和光学设计问题。
2021-11-29 cs.AI cs.LG
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University（兰卡斯特大学）
贝叶斯优化（BO）用于具有随机评估的函数的部署，例如通过交叉验证和仿真优化的参数调整，通常优化目标函数的固定噪声实现集合的平均值。然而，以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题，我们提出了贝叶斯优化分层采样（BOSH），一种新的BO例程配对的分层高斯过程与信息理论框架，以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology（美国国家标准与技术研究院）
优化在科学和工程领域变得越来越普遍。通常，这些问题涉及各种程度的随机性或不确定性，在产生建议的解决方案。因此，在这些情况下的优化必须考虑这种随机性，以正确指导未来实验的设计。在这里，我们适应贝叶斯优化来处理不确定的结果，提出了一个新的框架，称为随机抽样贝叶斯优化（SSBO）。我们发现，在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法，由于随机生成的输入增加了处罚。此外，我们适应现有的批处理优化技术，以适当地限制近视决策时，可能会出现选择多个实例反馈之前。最后，我们表明，SSBO技术适当地优化了一组标准的优化问题，以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland（马里兰大学）
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下，设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法，只需要指定一个初始搜索空间，不一定包括全局最优值，并扩大搜索空间时，必要的。然而，在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明，所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Pre-training of Bayesian Optimization Algorithm through Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用高斯过程样本路径估计累积遗憾，并通过外部贝叶斯优化自动选择内部BO算法的参数配置，以提升黑盒优化性能。
2026-10-08 cs.LG stat.ML
Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
Texas A&M University（德州农工大学）
贝叶斯优化是一种优化黑盒目标函数的技术。贝叶斯优化的核心是一个代理模型，它预测目标函数在以前看不见的输入下的输出，以便于选择有希望的输入值。高斯过程（GP）通常用作代理模型，但已知其与观测数量的比例关系很差。我们适应Vecchia近似，一个流行的GP近似空间统计，使可扩展的高维贝叶斯优化。我们开发了几个改进和扩展，包括训练翘曲的GP使用小批量梯度下降，近似邻居搜索，并选择多个输入值并行。我们专注于使用我们的翘曲Vecchia GP在信任区域贝叶斯优化通过汤普森采样。在几个测试函数和两个并行学习问题上，我们的方法与最先进的方法相比毫不逊色。
2022-03-02 cs.LG stat.ML
MUMBO: MUlti-task Max-value Bayesian Optimization
Lancaster University（兰卡斯特大学）
我们提出了MUMBO，第一个高性能但计算效率高的多任务贝叶斯优化采集功能。在这里，挑战是通过评估与我们真正的目标函数相关的低成本函数来执行有效的优化。这是一个广泛的问题，包括多保真度优化的流行任务。然而，虽然已知信息理论获取函数提供最先进的贝叶斯优化，但用于多任务场景的现有实现具有过高的计算要求。因此，以前的采集功能只适用于低维参数空间和函数查询成本足够大，掩盖非常显着的优化开销的问题。在这项工作中，我们得到了一个新的多任务版本的熵搜索，提供强大的性能与低计算开销在经典的优化挑战和多任务超参数调整。MUMBO具有可扩展性和高效性，允许在具有丰富参数和保真度空间的问题中部署多任务贝叶斯优化。
2020-06-22 cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Stratified Bayesian Optimization
Cornell University（康奈尔大学）
我们考虑昂贵的噪声函数的无导数黑箱全局优化，当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法，称为分层贝叶斯优化（SBO），它使用这种强依赖性，以提高性能。我们的算法在精神上类似于分层，分层是一种来自模拟的技术，它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明，SBO优于最先进的贝叶斯优化基准，不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
超参数优化和神经架构搜索对于常规的黑盒贝叶斯优化来说可能变得过于昂贵，因为单个模型的训练和评估可能很容易花费几个小时。为了克服这一点，我们引入了一个全面的工具套件，用于有效的多保真度贝叶斯优化及其运行分析。该套件使用Python编写，提供了一种简单的方法来指定复杂的设计空间，将贝叶斯优化和HyperBand进行了强大而有效的组合，并对优化过程及其结果进行了全面的分析。
2019-08-16 cs.AI cs.LG stat.ML
A Bayesian Multiscale Deep Learning Framework for Flows in Random Media
University of Notre Dame（圣母大学）
由多尺度偏微分方程（PDE）控制的复杂系统的细尺度模拟计算量很大，已经开发了各种多尺度方法来解决这些问题。此外，它是具有挑战性的开发精确的代理和不确定性量化模型的随机多尺度偏微分方程使用有限的训练数据的高维问题。在这项工作中，为了解决这些挑战，我们引入了一种新的混合深度学习和多尺度方法，用于训练数据有限的随机多尺度偏微分方程。为了演示的目的，我们专注于多孔介质流动问题。我们使用图像到图像的监督深度学习模型来学习输入渗透率场和多尺度基函数之间的映射。我们引入贝叶斯方法，这个混合框架，使我们能够执行不确定性量化和传播任务。这种混合方法的性能进行了评估与不同的固有维数的渗透率场。数值结果表明，混合网络可以有效地预测高维输入。
2021-06-22 cs.LG physics.comp-ph
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法，用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的，一个昂贵，一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型，允许复杂的，非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量，一个家庭的合成玩具问题，以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
A Tutorial on Bayesian Optimization
贝叶斯优化是一种优化需要很长时间（几分钟或几小时）才能评估的目标函数的方法。它最适合于在小于20维的连续域上进行优化，并容忍函数求值中的随机噪声。它为目标构建一个替代品，并使用贝叶斯机器学习技术（高斯过程回归）量化该替代品中的不确定性，然后使用从该替代品定义的采集函数来决定在何处采样。在本教程中，我们将介绍贝叶斯优化的工作原理，包括高斯过程回归和三个常见的获取函数：预期改进、熵搜索和知识梯度。然后，我们讨论更先进的技术，包括运行多个功能的评估并行，多保真度和多信息源优化，昂贵的评估约束，随机环境条件，多任务贝叶斯优化，并包括衍生信息。最后，我们讨论了贝叶斯优化软件和未来的研究方向在该领域。在我们的教程材料中，我们提供了对噪声评估的预期改进的概括，超出了更常用的无噪声设置。这种概括是合理的正式决策理论的论点，站在前面的临时修改。
2018-07-08 cs.LG math.OC stat.ML
Warm Starting Bayesian Optimization
Cornell University（康奈尔大学）
我们开发了一个框架，热启动贝叶斯优化，减少了解决优化问题，这是一个相关的问题序列所需的解决时间。当优化无法提供衍生信息的随机模拟器的输出时，这是有用的，贝叶斯优化方法非常适合于此。当使用一个优化模型和在不同时间段或市场收集的输入数据做出多个业务决策时，会出现解决相关优化问题的序列。虽然许多基于梯度的方法可以通过在前一个问题的解处启动优化来热启动，但是这种热启动方法不适用于贝叶斯优化方法，贝叶斯优化方法从迭代到迭代携带目标函数的完整元模型。我们的方法建立了一个联合的统计模型的整个收集相关的目标函数，并使用一个价值的信息计算推荐点进行评估。
2016-08-11 cs.LG stat.AP stat.ML
Bayesian optimization with local search
Shanghai Jiao Tong University（上海交通大学）；University of Birmingham（伯明翰大学）
全局优化在广泛的现实世界问题中得到应用。多起点方法是一类流行的全局优化技术，它基于在多个起点进行局部搜索的思想。在这项工作中，我们提出了一个新的多启动算法的起点是在贝叶斯优化框架。具体地，该方法可以被理解为通过对原始目标函数进行局部搜索来构造新函数，其中新函数获得与原始函数相同的全局最优解。然后应用贝叶斯优化来找到新的局部搜索定义函数的全局最优解。
2020-06-30 cs.LG math.OC stat.ML
Recent Advances in Bayesian Optimization
University of Surrey（萨里大学）；Bielefeld University（比勒费尔德大学）；Honda Research Institute Europe GmbH（本田欧洲研究所有限公司）
贝叶斯优化由于其数据效率而出现在昂贵的黑盒优化的最前沿。近年来，人们对贝叶斯优化算法及其应用的发展进行了大量的研究。因此，本文试图提供一个全面的和更新的调查贝叶斯优化的最新进展，并确定有趣的开放问题。我们将现有的工作贝叶斯优化分为九个主要群体，根据所提出的算法的动机和重点。对于每一个类别，我们提出的主要进展方面的建设代理模型和适应的收购功能。最后，我们讨论了开放的问题，并提出了有前途的未来研究方向，特别是在分布式和联邦优化系统的异构性，隐私保护和公平性。
2022-11-11 cs.DC cs.LG cs.NE
Fully Distributed Bayesian Optimization with Stochastic Policies
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究院）；University of Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已经成为高通量计算的流行方法，如计算机实验设计或昂贵模型的超参数调整，其中样本效率是强制性的。在这些应用程序中，分布式和可扩展的架构是必要的。然而，贝叶斯优化主要是顺序的。即使是并行变体也需要在样本之间进行某些计算，从而限制了并行化带宽。汤普森抽样以前已被应用于分布式贝叶斯优化。但是，当与顺序设置中的其他采集功能相比时，已知汤普森采样的性能次优。在本文中，我们提出了一种新的方法，完全分布式贝叶斯优化，它可以结合任何采集功能。我们的方法认为贝叶斯优化作为一个部分可观察的马尔可夫决策过程。在这种情况下，随机政策，如玻尔兹曼政策，有一些有趣的性质，也可以研究贝叶斯优化。此外，玻尔兹曼政策平凡地允许分布式贝叶斯优化实现具有高水平的并行性和可扩展性。我们目前的结果在几个基准和应用程序，显示我们的方法的性能。
2019-07-05 cs.AI cs.DC cs.LG
Bayesian Optimization for Selecting Efficient Machine Learning Models
Adobe Research（Adobe 研究院）
许多机器学习模型的性能取决于它们的超参数设置。贝叶斯优化已经成为机器学习算法超参数优化的成功工具，其目的是在迭代序列过程中识别最优超参数。然而，大多数贝叶斯优化算法的设计，选择模型的有效性，而忽略了重要的问题，模型的训练效率。考虑到模型有效性和训练时间对于实际应用都很重要，因此为有效性选择的模型可能无法满足在生产环境中部署所需的严格训练时间要求。在这项工作中，我们提出了一个统一的贝叶斯优化框架，用于联合优化模型的预测有效性和训练效率。我们提出了一个目标，捕捉这两个指标之间的权衡，并展示了我们如何可以共同优化它们在一个原则贝叶斯优化框架。推荐任务的模型选择实验表明，与最先进的贝叶斯优化算法相比，这种方式选择的模型显着提高了模型训练效率，同时保持了较强的有效性。
2020-08-02 cs.CL cs.LG cs.NE
Bayesian Learning in a Nonlinear Multiscale State-Space Model
School of Complex Systems（复杂系统学院）；Arizona State University（亚利桑那州立大学）
本文提出一种非线性多尺度状态空间模型及贝叶斯学习框架，通过学习过程噪声协方差并利用PGAS算法推断未知状态，仿真验证了方法有效性。
2024-09-03 cs.LG eess.SP stat.ML
Multiscale Invertible Generative Networks for High-Dimensional Bayesian Inference
Caltech（加州理工学院）；MSR AI Lab（微软研究院人工智能实验室）
我们提出了一个多尺度可逆生成网络（MsIGN）和相关的训练算法，利用多尺度结构来解决高维贝叶斯推断。为了解决维数灾难，MsIGN利用后验的低维性质，并通过迭代上采样和细化样本来生成从粗到细（低到高维）的样本。MsIGN以多阶段的方式进行训练，以最大限度地减少Jeffreys发散，从而避免在高维情况下的模式下降。在两个高维贝叶斯逆问题上，我们在后验近似和多模式捕获方面表现出了比以前方法更好的性能。在自然图像合成任务中，MsIGN在每维比特数方面优于基线模型，并在中间层产生了很好的神经元解释能力。
2021-05-12 cs.CV cs.LG stat.CO
A Bayesian multiscale CNN framework to predict local stress fields in structures with microscale features
Cardiff University（卡迪夫大学）；Synopsys Northern Europe Ltd（新思科技北欧有限公司）；University of Luxembourg（卢森堡大学）；University of Exeter（埃克塞特大学）；Mines ParisTech / PSL University（巴黎高科矿业学院 / 巴黎科学与文学大学）
多尺度计算建模是具有挑战性的，由于直接数值模拟有限元计算成本高。为了解决这个问题，并行多尺度方法使用更便宜的宏观尺度替代品的解决方案作为边界条件，以微尺度滑动窗口。微尺度问题在实施和成本方面仍然是一个数字上具有挑战性的操作。在这项工作中，我们建议用编码器-解码器卷积神经网络取代局部微尺度解，该网络将对未解决的微尺度特征周围的粗预测产生细尺度应力校正，而无需事先对局部微尺度问题进行参数化。我们部署了一个贝叶斯方法，提供可信的区间来评估预测的不确定性，然后使用它来研究选择性学习框架的优点。我们将证明的能力的方法来预测等效应力场的多孔结构，使用线性化和有限应变弹性理论。
2022-01-19 cs.CE cs.LG
A Generalized Framework for Multiscale State-Space Modeling with Nested Nonlinear Dynamics: An Application to Bayesian Learning under Switching Regimes
School of Complex Adaptive Systems（复杂适应系统学院）；Arizona State University（亚利桑那州立大学）
本研究提出含嵌套非线性动力学的多尺度状态空间建模通用框架，开发贝叶斯学习方法结合粒子滤波估计潜状态与切换指示变量，可有效跟踪多尺度系统状态转移并识别切换动力学。
2024-10-30 cs.CE cs.LG eess.SP
Bayesian multiscale deep generative model for the solution of high-dimensional inverse problems
ShanghaiTech University（上海科技大学）；University of Notre Dame（圣母大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文讨论了偏微分方程正演模型空间变化参数的估计问题。提出了一种基于深度概率生成模型的多尺度贝叶斯推断方法。这样的生成模型通过在每个尺度上推断低维潜在编码同时允许从粗尺度到细尺度的分层参数生成来提供灵活的表示。将多尺度生成模型与马尔可夫链蒙特卡罗（MCMC）相结合，实现了跨尺度的推理，使我们能够有效地获得不同尺度下的后验参数样本。使用低维潜在嵌入的粗尺度参数的估计使用廉价但不准确的求解器捕获全局和显著的参数特征。MCMC采样的精细尺度参数是通过利用后验信息在即时的粗尺度。通过这种方式，在粗尺度上通过低维变量的推断和廉价的前向计算来识别全局特征，并且在细尺度上对局部特征进行细化和校正。所开发的方法被证明与两种类型的渗透率估计在非均质介质中流动。一个是具有不确定长度尺度的高斯随机场（GRF），另一个是由不同GRF定义的两个区域的通道化渗透率。结果表明，该方法可以进行高维参数估计，同时具有稳定性、高效性和准确性。
2021-02-11 cs.LG stat.ML
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University（南京大学）
我们提出了一种基于多尺度自动编码器（MSAE）的极端图像压缩框架，以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率，并采用具有多尺度鉴别器的生成对抗网络（GAN）来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法，使用高效视频编码（HEVC）的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集，展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Efficient Time Series Clustering from Multiscale Reservoir Dynamics with Granular-Ball Anchoring Graph Optimization
Chongqing Key Laboratory of Computational Intelligence, Key Laboratory of Cyberspace Big Data Intelligent Security, Ministry of Education, Sichuan-Chongqing Co-construction Key Laboratory of Digital Economy Intelligence and Key Laboratory of Big Data Intelligent Computing, College of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院，计算智能重庆市重点实验室，网络空间大数据智能安全教育部重点实验室，川渝共建数字经济智能重点实验室，大数据智能计算重点实验室）；Chongqing Ant Consumer Finance Co,. Ltd , Ant Group（蚂蚁集团，重庆蚂蚁消费金融有限公司）
提出MSRGC-Net框架，结合无训练储层计算、粒球锚定图构建和共识学习，实现高效且准确的时间序列聚类。
2026-06-11 cs.LG
GM-TOuNN: Graded Multiscale Topology Optimization using Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
多尺度拓扑优化（M-TO）需要生成一个最佳的全局拓扑结构，并在一个较小的尺度上的一组最佳的微观结构，物理约束的问题。随着增材制造的出现，M-TO获得了显著的突出地位。然而，在各种位置处产生最佳微结构在计算上可能非常昂贵。作为替代，分级多尺度拓扑优化（GM-TO）已被提出，其中一个或多个预选和分级（参数化）的微观结构拓扑结构被用来最佳地填充域。这导致计算量的显著减少，同时保留了M-TO的许多优点。一个成功的GM-TO框架必须：（1）能够有效地处理许多预先选择的微结构，（2）能够在优化过程中连续地在这些微结构之间切换，（3）确保满足统一性的划分，以及（4）阻止终止时的微结构混合。在本文中，我们提出，以满足这些要求，利用独特的分类能力的神经网络。具体而言，我们提出了一个分级的多尺度拓扑优化使用神经网络（GM-TOuNN）框架具有以下特点：（1）设计变量的数量只是弱依赖于预选的微结构的数量，（2）它保证了统一的分区，同时阻止微结构混合，（3）它支持自动微分，从而消除手动灵敏度分析。通过几个例子说明了拟议的框架。
2022-04-14 cs.CE cs.LG
A Multiscale Framework for Challenging Discrete Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
当涉及到具有挑战性的对比度增强离散能量（即，有利于相邻变量的不同标签）。这项工作提出了一个多尺度的方法，这些具有挑战性的问题。导出代数表示允许我们以原则性代数方式使用任何插值来粗化任何成对能量。此外，我们提出了一个能量感知插值算子，有效地暴露了多尺度景观的能量产生一个有效的粗到细的优化方案。对具有挑战性的对比度增强能量的结果显示出比最先进的方法有显着的改善。
2012-11-02 cs.CV cs.LG math.OC
Microstructure-Conditioned Surrogate Models for Graded Multiscale Optimization of Mycelium Composites
研究针对优化含可控微观结构的可持续材料需多尺度模拟及数据量大的问题，提出用超网络对混合物理-数据替代模型依微观结构变量条件设定的方法，实现多尺度模拟，优化圆盘降低应力，还能依制造变量设定网络，加速可持续材料和结构开发。
2026-10-20 cond-mat.mtrl-sci cs.LG cs.NA
FluTO: Graded Multiscale Fluid Topology Optimization using Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
具有低耗散但高接触面积的流体流动装置在许多应用中是重要的。一个众所周知的策略来设计这样的设备是多尺度拓扑优化（MTO），其中最佳的微结构被设计在每个单元内的离散域。不幸的是，MTO在计算上是非常昂贵的，因为必须在均匀化过程的每个步骤期间执行演变的微结构的均匀化。作为替代，我们在这里提出了一个分级多尺度拓扑优化（GMTO）设计流体流动装置。在所提出的方法中，几个预先选择的，但尺寸参数化和定向的微结构被用来最佳地填充域。GMTO大大减少了计算量，同时保留了MTO的许多优点。特别地，GMTO在这里使用神经网络（NN）来实现，因为：（1）均匀化可以离线执行，并且在优化期间由NN使用，（2）它使得能够在优化期间在微结构之间连续切换，（3）设计变量和计算工作量的数量与所使用的微结构的数量无关，以及（4）它支持自动微分，从而消除了手动灵敏度分析。几个数值结果来说明所提出的框架。
2022-09-16 cs.LG cs.NA math.NA
Residual Multiplicative Filter Networks for Multiscale Reconstruction
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；York University（约克大学）
像乘法滤波器网络（MFN）和BACON这样的坐标网络提供了对用于表示连续信号（如图像或3D体积）的频谱的一些控制。然而，它们不容易适用于需要粗到细估计的问题，包括各种逆问题，其中粗到细优化在避免不良局部极小值方面起着关键作用。我们引入了一种新的坐标网络架构和训练方案，该方案可以通过对学习重建的频率支持进行细粒度控制来实现粗到细的优化。这是通过两项关键创新实现的。首先，我们将跳过连接，以便在一个规模的结构被保存时，拟合精细规模的结构。其次，我们提出了一种新的初始化方案，以提供控制模型的频谱在每个阶段的优化。我们演示了这些修改如何实现多尺度优化，从粗到精拟合自然图像。然后，我们评估我们的模型综合生成的数据集的问题，单粒子cryo-EM重建。我们学习高分辨率的多尺度结构，与最先进的。
2022-10-26 cs.CV cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Data-Driven Multiscale Design of Cellular Composites with Multiclass Microstructures for Natural Frequency Maximization
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）
对于工程结构的固有频率优化，蜂窝复合材料已被证明具有优于固体的优势。然而，现有的蜂窝复合材料的多尺度设计方法要么计算详尽或仅限于一类微结构。在本文中，我们提出了一个数据驱动的拓扑优化（TO）的方法，使多尺度设计的细胞结构与各种选择的微结构类。关键部分是一个新提出的潜在变量高斯过程（LVGP）模型，通过该模型，不同类别的微观结构被映射到一个低维连续的潜在空间。它提供了一个可解释的类之间的距离度量，并捕捉它们对均匀化刚度张量的影响。通过引入特征向量作为设计变量，刚度矩阵在类间的可微转换可以很容易地用解析梯度实现。在将LVGP与基于密度的TO集成后，开发了一种有效的数据驱动的蜂窝复合材料优化过程，以实现对用于固有频率优化的微结构概念和相关体积分数的并行探索。算例表明，所提出的多类微结构的蜂窝设计比单尺度和单类设计实现了更高的固有频率。该框架可以很容易地扩展到其他多尺度TO问题，如热顺应性和动态响应优化。
2021-06-11 cs.CE cs.LG stat.ML
Multiscale Dictionary Learning for Estimating Conditional Distributions
Icahn School of Medicine at Mt Sinai（西奈山伊坎医学院）；Child Mind Institute（儿童心理研究所）；Duke University（杜克大学）
给定高维特征的响应的条件分布的非参数估计是一个具有挑战性的问题。重要的是，不仅要允许响应密度的平均值，而且还要允许响应密度的方差和形状随特征灵活变化，这些特征是多维的。我们提出了一个多尺度字典学习模型，它表示的条件响应密度作为字典密度的凸组合，使用的密度和它们的权重依赖于通过树分解的特征空间的路径。一个快速的图划分算法被应用到获得的树分解，贝叶斯方法，然后使用自适应修剪和平均在不同的子树在一个软概率的方式。该算法可以有效地扩展到大约一百万个特征。最先进的预测性能展示了玩具的例子和两个神经科学应用程序，包括多达一百万的功能。
2013-12-04 cs.LG stat.ML
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
Data-Driven Topology Optimization with Multiclass Microstructures using Latent Variable Gaussian Process
School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械工程学院）；Northwestern University（西北大学）
数据驱动的方法正在成为一个有前途的方法，多尺度结构的拓扑设计，具有更高的效率。然而，现有的数据驱动的方法主要集中在一个单一的类的微结构，而不考虑多个类，以适应空间变化的期望属性。关键的挑战是在满足一系列性能时，不同类别的微结构之间缺乏固有的有序性或距离度量。为了克服这一障碍，我们扩展了新开发的潜变量高斯过程（LVGP）模型，为超材料的微结构库创建多响应LVGP（MR-LVGP）模型，同时采用定性微结构概念和定量微结构设计变量作为混合变量输入。MR-LVGP模型基于混合变量对响应的集体影响将其嵌入到连续的设计空间中，从而为不同几何类别和微结构材料参数之间的相互作用提供了实质性的见解。利用该模型，我们可以很容易地获得不同微观结构概念之间的连续和可微的过渡，从而可以为多尺度拓扑优化提供梯度信息。我们证明了它的好处，通过多尺度拓扑优化与非周期性微结构。设计实例表明，考虑多类微结构可以导致性能的改善，由于一致的负载传递路径的微观和宏观结构。
2020-09-16 cs.CE cs.LG stat.ML
Scalarizing Functions in Bayesian Multiobjective Optimization
University of Exeter（埃克塞特大学）
标量化函数被广泛用于将多目标优化问题转化为单目标优化问题。然而，在贝叶斯多目标优化中，它们在解决（计算上）昂贵的多目标和多目标优化问题中的使用是稀缺的。在进行优化时，标量化函数对所需的评估质量和数量起着至关重要的作用。在这篇文章中，我们研究和审查15个不同的标量化函数的框架下贝叶斯多目标优化和建立高斯过程模型（作为代理人，元模型或仿真器）。我们使用期望改进作为填充准则（或获取函数）来更新模型。特别是，我们比较不同的标量化函数，并分析其性能的几个基准问题与不同数量的目标进行优化。在使用贝叶斯多目标优化方法时，对不同函数的回顾和实验提供了有用的见解。
2019-04-11 cs.LG cs.NE stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
Bayesian Variational Optimization for Combinatorial Spaces
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文主要研究组合空间中的贝叶斯优化问题。在自然科学的许多应用中。广泛的应用包括分子，蛋白质，DNA，器件结构和量子电路设计的研究，需要在组合分类空间上进行优化以找到最优或帕累托最优解。然而，只有有限数量的方法被提出来解决这个问题。其中许多算法依赖于高斯过程的组合贝叶斯优化。高斯过程遭受大数据大小的可扩展性问题，因为它们的缩放相对于数据点的数量是立方的。这对于优化大的搜索空间通常是不切实际的。在这里，我们介绍了变分贝叶斯优化方法，结合变分优化和连续松弛的贝叶斯优化的采集功能的优化。重要的是，该方法允许基于梯度的优化，并具有优化大数据大小和数据维度的问题的能力。我们已经表明，我们的方法的性能是最先进的方法相媲美，同时保持其可扩展性的优势。我们还将我们的方法应用于分子优化。
2020-11-03 cs.LG math.OC stat.ML
Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
贝叶斯优化是一种广泛应用的优化昂贵的黑箱函数的方法。尽管它取得了成功，但仍然面临着来自高维搜索空间的挑战。为了缓解这个问题，我们提出了一种新的贝叶斯优化框架（称为SILBO），它找到一个低维空间进行贝叶斯优化迭代通过半监督降维。SILBO结合了从获取函数中获取的标记点和未标记点，以指导嵌入空间学习。为了加快学习过程，我们提出了一种随机的方法来生成投影矩阵。此外，针对低维空间到高维原始空间的映射，根据目标函数的求值开销，提出了两种映射策略：$\text{SILBO}_{FZ}$和$\text{SILBO}_{FX}$.在合成函数和超参数优化任务上的实验结果表明，SILBO优于现有的最先进的高维贝叶斯优化方法。
2020-10-19 cs.AI cs.LG stat.ML
