Safe Real-Time Optimization using Multi-Fidelity Gaussian Processes
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
提出了一类新的实时的【形】优化方案，以克服不确定过程的系统-模型失配。这项工作的新颖之处在于在贝叶斯优化框架内集成无导数优化方案和多保真度高斯过程。该方案使用两个高斯过程的随机系统，一个模拟（已知）的过程模型，另一个，通过测量的真实系统。以这种方式，可以经由模型获得低保真度样本，而通过系统的测量获得高保真度样本。该框架以非参数方式捕获系统的行为，同时通过采集功能驱动探索。使用高斯过程表示系统的好处是能够实时的【形】执行不确定性量化，并允许以高置信度满足机会约束。这导致在一个实际的方法，说明在数值案例研究，包括半批光生物反应器优化问题。
2021-11-10 cs.LG math.OC
Disentangled Multi-Fidelity Deep Bayesian Active Learning
University of California San Diego（加州大学圣地亚哥分校）；Northeastern University（东北大学）
针对多保真度主动学习中高维扩展性差及低保真度误差向高保真度传播的问题，提出D-MFDAL框架，通过以多保真度函数分布为条件学习解耦代理模型，并在偏微分方程与流体模拟基准上提升了精度和样本效率。
2023-06-05 cs.LG
CHIMLE: Conditional Hierarchical IMLE for Multimodal Conditional Image Synthesis
School of Computing Science（计算科学学院）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
条件图像合成中的持续挑战是从相同的输入图像生成不同的输出图像，尽管每个输入图像仅观察到一个输出图像。基于GAN的方法容易发生模式坍塌，这导致低多样性。为了解决这个问题，我们利用隐式最大似然估计（IMLE），它可以从根本上克服模式坍塌。IMLE使用与GANs相同的生成器，但使用不同的非对抗性目标对其进行训练，以确保每个观察到的图像附近都有生成的样本。不幸的是，为了生成高保真图像，现有的基于IMLE的方法需要大量的样本，这是昂贵的。在本文中，我们提出了一种新的方法来绕过这一限制，我们称之为条件分层IMLE（CHIMLE），它可以生成高保真图像，而不需要很多样本。我们表明CHIMLE在四个任务（即夜间到白天，16倍单图像超分辨率，图像着色和图像解压缩）的图像保真度和模式覆盖方面显着优于先前最好的IMLE，GAN和基于扩散的方法。从定量上看，与之前最好的基于IMLE的方法相比，我们的方法将Fréchet Inception Distance（FID）平均提高了36.9%，与最好的非基于IMLE的通用方法相比，平均提高了27.5%。
2023-02-06 cs.CV cs.LG
Deep Gaussian Processes for Multi-fidelity Modeling
EURECOM；Amazon（亚马逊）
当廉价获得但可能有偏差和噪声的观测必须与有限或昂贵的真实数据有效结合以构建可靠的模型时，多保真度方法被突出地使用。这既出现在基本的机器学习过程中，如贝叶斯优化，也出现在更实际的科学和工程应用中。在本文中，我们开发了一种新的多保真度模型，它把一个深高斯过程的层的保真度水平，并使用变分推断计划传播不确定性。这允许捕获非线性相关性之间的过度拟合的风险比现有的方法利用组成结构，这反过来是由结构假设和约束的负担较低。我们表明，所提出的方法在量化和传播多保真度设置的不确定性，这反过来又提高了他们的决策管道的有效性作出了重大改进。
2019-03-18 cs.LG stat.ML
Is Hierarchical Quantization Essential for Optimal Reconstruction?
Institute for Neural Computation (INI), Faculty of Computer Science, Ruhr University Bochum, Germany（神经计算研究所（INI），计算机科学学院，博德姆鲁尔大学）
本文通过比较双层VQ-VAE和匹配容量的单层模型，探讨单层VQ-VAE在抑制代码书崩溃后能否达到层次结构模型的重建保真度。
2026-03-19 cs.CV cs.LG
Optimizing Photonic Nanostructures via Multi-fidelity Gaussian Processes
California Institute of Technology（加州理工学院）；Northrop Grumman Corporation（诺斯罗普·格鲁曼公司）
我们采用数值方法结合有限差分时域（FDTD）模拟，以优化传输性能的等离子体反射镜彩色滤光片使用一个多目标的品质因数在一个五维参数空间，利用新的多保真度高斯过程的方法。我们将这些结果与传统的无导数全局搜索算法，如（单保真度）高斯过程优化方案，和粒子群优化-一种在纳米光子学界常用的方法，这是在Lumerical商业光子学软件中实现的。我们展示了几个预先收集的真实世界的数据集上的各种数值优化方法的性能，并表明，通过适当地权衡昂贵的信息源与廉价的模拟，可以更有效地优化传输性能与固定的预算。
2018-11-15 cs.LG stat.ML
Conditional Deep Gaussian Processes: multi-fidelity kernel learning
Rutgers University（罗格斯大学）；Institute for Advanced Study（普林斯顿高等研究院）
深度高斯过程（DGPs）被提出作为一个表达贝叶斯模型能够数学接地估计的不确定性。DPG的表现力不仅来自于其组成特征，还来自于其在层次结构中的分布传播。最近，文献[1]指出DGP的层次结构非常适合于多保真度回归建模，其中一个模型提供了高精度的稀疏观测值和大量的低保真度观测值。我们提出了条件DGP模型，其中潜在的GP直接支持的固定的较低的保真度数据。然后利用文献[2]中的矩匹配方法，用一个GP来逼近条件DGP的边缘先验。所获得的有效核是较低保真度数据的隐函数，体现了层次结构内分布传播所带来的表现力。通过优化近似边缘似然来学习超参数。合成和高维数据的实验显示出与其他多保真度回归方法，变分推理和多输出GP相当的性能。我们得出结论，在低保真度数据和分层DGP结构的情况下，有效内核对真函数的归纳偏差进行编码，从而允许[3，4]中讨论的组合自由度。
2021-10-01 cond-mat.dis-nn cs.LG stat.ML
Hierarchical Gaussian Processes with Wasserstein-2 Kernels
Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
堆叠高斯过程严重削弱了模型检测离群值的能力，当与非零均值函数结合时，进一步将低非参数方差外推到低训练数据密度区域。我们提出了一个混合内核的灵感来自Varifold理论，在欧几里德和Wasserstein空间。我们认为，直接考虑到Wasserstein-2距离的计算中的方差是至关重要的保持离群值状态在整个层次结构。我们在中型和大型数据集上显示出更好的性能，并在玩具和真实数据上增强了分布检测。
2022-02-01 cs.LG stat.ML
A General Framework for Multi-fidelity Bayesian Optimization with Gaussian Processes
California Institute of Technology（加州理工学院）
当我们面对多个相互依赖的信息源时，如何有效地收集信息来优化未知函数？例如，当优化机器人系统时，智能地权衡计算机模拟和真实机器人测试可以导致显著的节省。现有的方法，如多保真度GP-UCB或基于熵搜索的方法，要么对不同属性之间的相互作用进行简单的假设，要么使用缺乏理论保证的简单的算法。在本文中，我们研究了多个输出之间的复杂结构依赖的多保真度贝叶斯优化，并提出了MF-MI-Greedy，一个原则性的算法框架来解决这个问题。特别是，我们使用加性高斯过程的基础上共享的潜在结构与目标函数不同的并行性建模。然后，我们使用成本敏感的互信息增益有效的贝叶斯全局优化。我们提出了一个简单的概念，后悔，其中包括成本的不同qualities，并证明MF-MI-Greedy实现低后悔。我们证明了我们的算法在合成和真实世界的数据集上的强大的经验性能。
2018-11-02 cs.LG stat.ML
Optimizing Hierarchical Image VAEs for Sample Quality
虽然分层变分自编码器（VAE）已经在图像建模任务上实现了很好的密度估计，但来自其先验的样本往往比具有类似对数似然的模型看起来不那么令人信服。我们将此归因于学习的表示，过度强调压缩图像的不可感知的细节。为了解决这个问题，我们引入了KL重新加权策略来控制每个潜在组中的信息量，并采用高斯输出层来降低学习目标的锐度。为了权衡图像的多样性和保真度，我们还引入了分层VAE的无分类器引导策略。我们在实验中证明了这些技术的有效性。代码可在https://github.com/tcl9876/visual-vae上获得。
2022-10-18 cs.CV cs.LG
Multi-fidelity classification using Gaussian processes: accelerating the prediction of large-scale computational models
Pontificia Universidad Católica de Chile（智利天主教大学）；University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
机器学习技术通常依赖于大型数据集来创建准确的分类器。然而，在有些情况下，数据稀缺，获取成本高昂。这是依赖于最先进的计算模型的研究的情况，这些模型通常需要几天的时间才能运行，从而阻碍了机器学习工具的潜力。在这项工作中，我们提出了一种新的分类器，利用较低的保真度模型和廉价的近似预测昂贵的计算机模拟的二进制输出。我们假设一个自回归模型之间的不同水平的保真度与高斯过程先验。我们采用完全贝叶斯处理的超参数和使用马尔可夫链蒙特卡罗采样器。我们利用分类器的概率性质来实现主动学习策略。我们还引入了一个稀疏近似，以提高多保真度分类器处理大数据集的能力。我们用合成数据测试了这些多保真度分类器与单保真度分类器的对比，结果显示，对于90%的目标准确度，计算成本的中位数降低了23%。在心脏电生理学的应用中，多保真度分类器实现了99.6%的F1分数，精确度和召回率的调和平均值，而单保真度分类器在使用50个样本进行训练时为74.1%。在一般情况下，我们的研究结果表明，多保真度分类器在所有情况下的准确性优于单保真度对应。我们设想，这种新工具将使研究人员能够研究分类问题，否则将是昂贵的。源代码可在www.example.com上获得。
2019-05-09 cs.LG stat.ML
Latent Variable Multi-output Gaussian Processes for Hierarchical Datasets
The University of Sheffield（谢菲尔德大学）；The University of Manchester（曼彻斯特大学）
本文提出一种潜变量多输出高斯过程扩展，通过定制核函数和潜变量处理层次数据集中的树状结构，捕获多级相关性并提升可扩展性，经合成及真实数据验证。
2023-08-31 cs.AI cs.LG
Multi-Fidelity High-Order Gaussian Processes for Physical Simulation
University of Utah（犹他大学）
物理仿真的关键任务是求解离散域上的偏微分方程，这是一个代价高昂的问题。特别是，高保真解决方案比低保真解决方案昂贵得多。为了降低成本，我们考虑新的高斯过程（GP）模型，利用不同的精度的模拟例子来预测高维PDE解决方案的输出。现有的GP方法要么不能扩展到高维输出，要么缺乏有效的策略来集成多保真度的例子。为了解决这些问题，我们提出了多保真度高阶高斯过程（MFHoGP），它可以捕获输出之间和精度之间的复杂相关性，以增强解估计，并扩展到大量的输出。基于一种新的非线性coregionalization模型，MFHoGP传播基地在所有的异质性融合信息，并放置一个深矩阵GP优先于基权重捕捉跨异质性的（非线性）关系。为了提高推理的效率和质量，我们使用基分解来大大减少模型参数，分层矩阵高斯后验来捕获后验依赖性并简化计算。我们的随机变分学习算法成功地处理了数百万个输出，而无需额外的稀疏近似。我们展示了我们的方法在几个典型应用中的优势。
2020-06-08 cs.LG physics.comp-ph stat.ML
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速，逼真的图像生成的高分辨率，多模态数据集使用分层变分自编码器（VAE）上训练的确定性自编码器的潜在空间。在这个两阶段的设置中，自动编码器将图像压缩为其语义特征，然后使用深度VAE对其进行建模。通过这种方法，VAE避免了对构成图像代码长度大部分的细粒度细节进行建模，从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性，在ImageNet-256数据集上实现了9.34的FID，与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
Hierarchical shrinkage Gaussian processes: applications to computer code emulation and dynamical system recovery
Duke University（杜克大学）
在科学和工程的许多领域，计算机模拟被广泛用作物理实验的替代品，这可能是不可行或不道德的。这种模拟通常在计算上是昂贵的，并且可以训练仿真器以有效地预测期望的响应表面。一个广泛使用的仿真器是高斯过程（GP），它提供了一个灵活的框架，有效的预测和不确定性量化。然而，标准GP不捕获底层响应表面上的结构化稀疏性，这在许多应用中存在，特别是在物理科学中。因此，我们提出了一个新的分层收缩GP（HierGP），它通过GP框架内的累积收缩先验，将这种结构。我们表明，HierGP隐式地嵌入了众所周知的原则的效果稀疏性，遗传性和层次分析的实验，这使得我们的模型，以确定结构化的稀疏功能，从响应面有限的数据。我们提出了有效的后验采样算法的模型训练和预测，并证明了理想的HierGP的一致性属性。最后，我们证明了HierGP在现有模型的改进性能，在一套数值实验和应用程序的动力系统恢复。
2023-02-01 cs.LG stat.ME stat.ML
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research（通用电气研究中心）
我们提出了一个贝叶斯方法来确定最佳的转换，映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成，该正交归一化矩阵被认为是先验未知的，并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法，分别从GP参数和投影矩阵的边缘后验样本，都使用马尔可夫链蒙特卡罗（MCMC）采样。为了考虑正交投影矩阵的正交性约束，采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型，包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处，说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机，在那里我们研究了85维翼型形状参数化对两个输出量的影响，特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
An Efficient Hierarchical Kriging Modeling Method for High-dimension Multi-fidelity Problems
University of South China（南华大学）
多保真度克里格模型是一种很有前途的替代设计技术，因为它可以通过融合低保真和高保真数据来平衡模型精度和样品制备成本。然而，随着问题维数的增加，建立多保真度Kriging模型的成本显着增加。针对这一问题，提出了一种高效的分层克里金建模方法。在建立低保真模型时，利用最大信息系数计算超参数的相对值。由此，将确定超参数的极大似然估计问题转化为一维优化问题，可以高效求解，从而显著提高建模效率。局部搜索进一步利用超参数的搜索空间来提高模型精度。高保真度模型以类似的方式建立，其中低保真度模型的超参数作为高保真度模型的超参数的相对值。所提出的方法的性能与传统的调整策略进行了比较，通过测试他们超过10个分析问题和工程问题的建模的压缩机转子的等熵效率。实验结果表明，该方法的建模时间显着减少，而不牺牲模型的精度。对于压气机转子等熵效率的建模，与传统的策略相比，所提出的方法的成本节省约90%。同时，该方法具有较高的精度。
2022-12-31 cs.LG
Source-Filter HiFi-GAN: Fast and Pitch Controllable High-Fidelity Neural Vocoder
Nagoya University（名古屋大学）；Meta Reality Labs Research（Meta现实实验室）
我们之前的工作，统一的源滤波器GAN（uSF GAN）声码器，引入了一种新的架构，基于源滤波器理论的并行波形生成对抗网络，以实现高的语音质量和音高可控性。然而，高时间分辨率输入导致高计算成本。虽然HiFi-GAN声码器由于高效的基于上采样的生成器架构而实现了快速高保真语音生成，但音高可控性受到严重限制。为了实现一个快速和音高可控的高保真神经声码器，我们引入了源滤波器理论HiFi-GAN的分层条件下的谐振滤波网络的源激励信息估计。根据实验结果，我们所提出的方法优于HiFi-GAN和uSFGAN在单个CPU上的声音质量和合成速度的歌唱声音生成。此外，与uSFGAN声码器不同，所提出的方法可以容易地在实时应用和端到端系统中采用/集成。
2023-02-27 cs.LG cs.SD eess.AS
Efficient Controller Learning from Human Preferences and Numerical Data Via Multi-Modal Surrogate Models
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德累斯顿技术大学）；Volkswagen AG（大众汽车集团）
本文提出一种多保真度、多模态贝叶斯优化框架，结合低保真度数值数据与高保真度人类偏好，提升控制器学习效率。
2026-03-25 cs.LG cs.SY eess.SY
Generating Diverse High-Fidelity Images with VQ-VAE-2
DeepMind（深度思维）
我们探讨使用矢量量化变分自编码器（VQ-VAE）模型的大规模图像生成。为此，我们缩放和增强VQ-VAE中使用的自回归先验，以生成比以前更高的相干性和保真度的合成样本。我们使用简单的前馈编码器和解码器网络，使我们的模型的应用程序的编码和/或解码速度是至关重要的有吸引力的候选人。此外，VQ-VAE要求仅在压缩的潜在空间中对自回归模型进行采样，这比像素空间中的采样快一个数量级，特别是对于大图像。我们证明了VQ-VAE的多尺度层次组织，在潜在代码上增强了强大的先验知识，能够生成质量与ImageNet等多方面数据集上最先进的生成对抗网络相媲美的样本，同时不会遭受GAN的已知缺点，如模式坍塌和缺乏多样性。
2019-06-02 cs.CV cs.LG stat.ML
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University（卡内基梅隆大学）
提出多保真强化学习框架ALPHA，通过策略对齐自适应利用非分层异构低保真模型学习高保真策略，消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Hierarchical Multi-Fidelity Learning for Predicting Three-Dimensional Flame Wrinkling and Turbulent Burning Velocity
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, MA 02115, USA（机械与工业工程系，东北大学，波士顿，马萨诸塞州，02115，美国）；School of Mechanical Engineering, University of Leeds, Leeds, UK（机械工程学院，利兹大学，利兹，英国）
本文提出分层多保真神经网络框架MuFiNNs，通过整合稀疏高保真实验数据与结构化低保真表示，有效预测三维火焰褶皱和湍流燃烧速度，克服了高保真实验数据获取的限制。
2026-05-06 cs.LG physics.comp-ph physics.flu-dyn
A Latent Variable Approach for Non-Hierarchical Multi-Fidelity Adaptive Sampling
Northwestern University（西北大学）
提出基于潜变量高斯过程的非分层多保真自适应采样框架，利用预后验分析捕捉保真度间相关性，两步采样优化效益成本比，在全局拟合和贝叶斯优化中提升收敛速度与鲁棒性。
2024-01-22 cs.LG stat.ML
Multi-Fidelity Residual Neural Processes for Scalable Surrogate Modeling
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute（哈利乔格鲁数据科学研究所）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
针对现有多保真度代理建模方法跨保真度共享信息时未纳入解码器参数、分布外场景性能受限的问题，提出MFRNP框架，通过显式建模残差、在信息共享中引入解码器优化，在偏微分方程与真实气候建模任务上性能优于SOTA。
2024-06-24 cs.LG
BrainRVQ: A High-Fidelity EEG Foundation Model via Dual-Domain Residual Quantization and Hierarchical Autoregression
State Key Laboratory of Industrial Control Technology, Zhejiang University, Hangzhou, China（浙江大学工业控制技术状态重点实验室）；Department of Electronics, Information and Bioengineering, Politecnico di Milano, Milan, Italy（米兰理工学院电子、信息与生物工程系）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（中国科学院深圳先进技术研究所）
BrainRVQ通过双域残差量化和分层自回归方法，实现了对EEG信号的高保真基础模型，有效提升了细粒度神经表示的学习能力。
2026-02-18 cs.LG eess.SP
Multi-Fidelity Delayed Acceptance: hierarchical MCMC sampling for Bayesian inverse problems combining multiple solvers through deep neural networks
The Alan Turing Institute, London, NW1 2DB, UK（艾伦·图灵研究所）
本文提出多保真度延迟接受方法，通过深度神经网络结合多个求解器，提升贝叶斯反问题的计算效率和精度。
2025-12-18 cs.LG cs.NA math.NA
Analytical Results for Two Exponential Family Distributions in Hierarchical Dirichlet Processes
Tsinghua University（清华大学）
本文研究了HDP框架中泊松和正态分布的解析结果，推导了对应的共轭对的闭式表达式，扩展了HDP的应用范围。
2026-02-13 cs.LG
ReactDance: Hierarchical Representation for High-Fidelity and Coherent Long-Form Reactive Dance Generation
East China Normal University（东华师范大学）
ReactDance通过分层潜在空间和非自回归采样策略，提升长形式反应舞蹈生成的高保真度与时间一致性。
2026-03-05 cs.AI cs.CV cs.LG
Adaptive Multi-Fidelity Reinforcement Learning for Variance Reduction in Engineering Design Optimization
Carnegie Mellon University（卡内基梅隆大学）
针对传统层级式多保真强化学习在模型异质误差下策略学习方差大的问题，提出自适应非层级多保真RL框架，基于策略对齐度动态利用低保真模型，在八旋翼设计优化中有效降方差、提收敛，且无需手动调度保真度。
2025-03-23 cs.AI cs.LG
Hierarchical Representation Learning for Markov Decision Processes
Dept. Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）
在本文中，我们提出了一种新的方法来学习马尔可夫决策过程的层次表示。我们的方法通过将状态空间划分为子集，并定义子任务来执行分区之间的转换。我们制定的状态空间划分的问题作为一个优化问题，可以解决使用梯度下降给定的一组采样轨迹，使我们的方法适用于高维问题与大的状态空间。我们经验验证的方法，通过显示，它可以成功地学习一个有用的层次表示在导航域。一旦学会，分层表示可以用于解决给定领域中的不同任务，从而跨任务概括知识。
2021-12-19 cs.AI cs.LG
HiSE: A Lightweight Hierarchical Semantic Explainer for Heterogeneous Graph Neural Networks
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出HiSE，一种轻量级特征导向的可解释模型，通过层次语义建模（语义级LASSO稀疏特征学习和跨语义级KL散度自适应融合）实现高保真、低计算开销的异构图神经网络解释。
2026-06-02 cs.LG
Hierarchical Average-Reward Linearly-solvable Markov Decision Processes
Universitat Pompeu Fabra（庞培法布拉大学）
本研究针对无限时域平均奖赏下的LMDPs提出分层强化学习方法，通过状态空间划分子任务、利用划分等价性与低层任务组合性实现高效学习，性能较平面方法高一到数个数量级。
2024-07-09 cs.AI cs.LG
Cooperative Hierarchical Dirichlet Processes: Superposition vs. Maximization
University of Technology Sydney（悉尼科技大学）
协同层次结构是文本挖掘（作者-论文-词）和多标签分类（标签-实例-特征）等领域中常见的重要数据结构。著名的贝叶斯方法的合作层次结构建模大多是基于主题模型。然而，这些方法存在一个严重的问题，即隐藏主题/因子的数量需要预先确定，并且不适当的数量可能导致过拟合或欠拟合。解决这个问题的一个优雅的方法是贝叶斯非参数学习，但在这方面的现有工作仍然不能适用于合作的层次结构建模。在本文中，我们提出了一个合作的层次狄利克雷过程（CHDP），以填补这一空白。在一个合作的层次结构中的每个节点被分配一个Dirichlet过程来模拟其权重的无限隐藏的因素/主题。结合层次Dirichlet过程的测度继承，讨论了两种测度合作，即，叠加和最大化被定义为捕获协作分层结构中的多对多关系。此外，两个建设性的表示CHDP，即，断棒和国际餐厅的过程中，旨在方便模型的推理。对具有协同层次结构的合成数据和真实数据的实验表明了CHDP的协同层次结构建模的特性和能力及其在实际应用中的潜力。
2017-07-18 cs.LG stat.ML
GSC-QEMit: A Telemetry-Driven Hierarchical Forecast-and-Bandit Framework for Adaptive Quantum Error Mitigation
1 Department of Software Engineering, Rochester Institute of Technology, Rochester, USA Emails；2 Institute for Quantum \& Information Sciences, Syracuse University, Syracuse, USA Emails
本文提出GSC-QEMit框架，通过遥测数据动态切换轻量级抑制与重干预策略，提升逻辑保真度9%并降低不必要的重干预。
2026-04-27 cs.LG quant-ph
Nested Hierarchical Dirichlet Processes
Columbia University（哥伦比亚大学）；Voleon Capital Management（Voleon资本管理）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
我们开发了一个嵌套的层次Dirichlet过程（nHDP）的层次主题建模。nHDP是嵌套中国餐馆过程（nCRP）的概括，它允许每个单词根据共享树上特定于文档的分布遵循自己的路径到达主题节点。这说明了nCRP的刚性，单一路径的制定，使文件更容易表达主题借款作为一个随机效应。我们推导出一个随机的变分推断算法的模型，除了贪婪的子树选择方法为每个文件，它允许使用大量的文本文档集合进行有效的推理。我们在《纽约时报》的180万份文档和维基百科的330万份文档上展示了我们的算法。
2014-05-02 cs.LG stat.ML
Nonparametric Bayesian Topic Modelling with the Hierarchical Pitman-Yor Processes
The Australian National University（澳大利亚国立大学）；Data61/NICTA；Monash University（莫纳什大学）；Duke University（杜克大学）
Dirichlet过程及其扩展Pitman-Yor过程是以概率分布为参数的随机过程。这些过程可以堆叠起来形成分层非参数贝叶斯模型。在这篇文章中，我们提出了有效的方法来使用这些过程在这个层次的背景下，并将其应用到文本分析的潜变量模型。特别是，我们提出了一个通用的框架来设计这些贝叶斯模型，这被称为主题模型在计算机科学界。然后，我们提出了一个特定的非参数贝叶斯主题模型从社交媒体的文本建模。我们在这篇文章中关注tweets（Twitter上的帖子），因为它们易于访问。我们发现，我们的非参数模型比现有的参数模型在拟合优度和现实世界中的应用。
2016-09-22 cs.CL cs.LG stat.ML
Dependent Hierarchical Normalized Random Measures for Dynamic Topic Modeling
Research School of Computer Science, The Australian National University（澳大利亚国立大学计算机科学研究院）；Department of Computer Science, Purdue University（普渡大学计算机科学系）；National ICT（国家信息通信技术研究院）
我们开发了相关的层次归一化随机测度，并将其应用于动态主题建模。通过叠加，二次采样和点转移这些措施的潜在泊松过程的依赖性。所使用的措施，包括规范化的广义伽马过程，表现出幂律性质，不像狄利克雷过程中使用的动态主题建模。该模型的推论包括适应最近开发的切片采样器直接操纵底层泊松过程。在新闻、博客、学术和Twitter集合上进行的实验表明，该技术比以前的一些模型具有更好的困惑度。
2012-06-18 cs.LG stat.ML
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹机器学习实验室）
神经过程（NP）是一类随机过程的变分近似模型，在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而，普通NP的表达能力是有限的，因为它们仅使用全局潜在变量，而目标特定的局部变化有时可能是至关重要的。为了解决这个问题，我们系统地研究了NP问题，并提出了一种新的NP模型，我们称之为双随机变分神经过程（DSVNP）。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型，我们的结果表明，在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Nonparametric Sparse Tensor Factorization with Hierarchical Gamma Processes
University of Utah（犹他大学）
我们提出了一个稀疏观测张量的非参数因子分解方法。稀疏性并不意味着零值条目是大量的或占优势的。相反，它意味着观察到的条目非常少，随着张量的增长甚至更少;这在实践中是普遍存在的。与已有的工作相比，我们的模型不仅利用了观察到的入口指数的结构信息，而且提供了额外的可解释性和灵活性-它可以同时估计一组关于张量节点内在属性的位置因子，以及另一组反映其与他人互动时的外向活动的社交性因子;用户可以自由选择这两类因素之间的折衷。具体来说，我们使用分层Gamma过程和泊松随机测度来构造一个张量值过程，该过程可以自由地对两种类型的因子进行采样以生成张量，并且始终保证渐近稀疏性。然后，我们规范化张量过程，以获得分层Dirichlet过程采样每个观察到的条目索引，并使用一个高斯过程采样的条目值作为一个非线性函数的因素，以便捕获的稀疏结构属性和复杂的节点关系。为了有效的推理，我们使用Dirichlet过程的有限样本分区，密度变换和随机功能，开发一个随机变分估计算法。我们证明了我们的方法在几个基准数据集的优势。
2021-11-03 cs.LG stat.ML
Globally Optimal Hierarchical Reinforcement Learning for Linearly-Solvable Markov Decision Processes
Universitat Pompeu Fabra（庞培法布拉大学）
针对线性可解马尔可夫决策过程，提出一种基于状态空间划分与子任务组合性的分层强化学习方法，通过隐式策略学习全局最优策略，有效避免高层决策非平稳性并显著降低样本复杂度。
2022-04-28 cs.AI cs.LG
Orbis 2: A Hierarchical World Model for Driving
University of Freiburg（弗莱堡大学）
研究针对当前世界模型不足提出分层驾驶世界模型，跨两层分解预测，结合扩散强制预训练和教师强制微调，在长距离生成保真度等多方面取得领先成果。
2026-07-20 cs.AI cs.CV cs.LG
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University（莫纳什大学）
本文介绍了一种新的贝叶斯网络分类器（BNC）的概率表的参数估计方法，使用分层Dirichlet过程（HDPs）。本文的主要结果是表明，改进的参数估计允许BNC优于领先的学习方法，如随机森林的0-1损失和RMSE，尽管只是在分类数据集。随着数据资产变得越来越大，进入被大肆宣传的“大”世界，高效准确的分类需要三个主要元素：（1）具有低偏差的分类器，可以捕获大型数据集的细节;（2）可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;（3）可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器（BNC）满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而，由于偏差被降低以准确地建模分类任务，因此其参数估计的准确性也降低，因为每个参数都是从不断减少的数据量中估计的。在本文中，我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验，并证明了我们得到的分类器在预测方面与随机森林非常有竞争力，同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Conditional deep surrogate models for stochastic, high-dimensional, and multi-fidelity systems
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种概率深度学习方法，可以为随机系统构建预测数据驱动的代理。利用隐式分布的变分推断的最新进展，我们提出了一个统计推断框架，该框架能够在成对的输入-输出观测上进行代理模型的端到端训练，这些观测可能是随机的，源于可变保真度的不同信息源，或者被复杂的噪声过程破坏。由此产生的代理可以容纳高维输入和输出，并能够返回具有量化不确定性的预测。我们的方法的有效性证明了通过一系列的规范研究，包括回归噪声数据，随机过程的多保真度建模，在高维动力系统中的不确定性传播。
2019-01-15 cs.LG stat.ML
Modelling financial volume curves with hierarchical Poisson processes
Hong Kong University of Science and Technology（香港科技大学）
本文提出基于分层狄利克雷过程的分层泊松过程模型，对股票日内成交量曲线进行非参数贝叶斯建模，并推导高效MCMC算法，在NASDAQ高流动性股票数据上验证了方法的可扩展性。
2024-06-01 cs.LG q-fin.ST stat.ML
Single- to multi-fidelity history-dependent learning with uncertainty quantification and disentanglement: application to data-driven constitutive modeling
Faculty of Mechanical Engineering Delft University of Technology（代尔夫特理工大学机械工程学院）；School of Engineering Brown University（布朗大学工程学院）
本研究提出带层级结构的多保真历史依赖数据驱动学习方法，可量化认知不确定性并解耦数据噪声，在数据驱动本构建模场景中验证了有效性，为科学工程领域不确定性下的设计分析提供了新途径。
2025-07-17 cs.AI cs.LG
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程（HDP）及其相关混合模型的精确切片采样器（Teh等人，2006年）。虽然有现有的MCMC算法的采样从HDP，切片采样器已失踪的文献。切片采样以其理想的特性而闻名，包括其快速混合和其自然的并行化潜力。另一方面，HDPs的分层性质对采用成熟的切片采样器提出了挑战，该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中，我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量，我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点，如（1）快速混合;（2）保持精确，同时允许自然截断的基础无限维措施，如（Kalli等人，2011），导致在每次迭代中仅更新有限数量的必要原子和权重;以及（3）自然地适合于并行实现。全似然联合因子分解的基本原理很简单，可以应用于许多其他设置，例如为一般相关Dirichlet过程（DDP）模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
RefineNet: Enhancing Text-to-Image Conversion with High-Resolution and Detail Accuracy through Hierarchical Transformers and Progressive Refinement
Southern Illinois University（南伊利诺伊大学）
RefineNet通过层次化Transformer与渐进式细化技术，在文本到图像转换中实现高分辨率与细节精度提升，优于现有模型，尤其在复杂图像类别中表现突出。
2023-12-27 cs.AI cs.CV cs.LG
Intrinsically Motivated Hierarchical Policy Learning in Multi-objective Markov Decision Processes
针对非平稳多目标马尔可夫决策过程，提出双阶段内在动机强化学习方法，先学习通用技能，再快速引导各环境动态下的策略覆盖集演化，并在动态机器人任务中优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
When Does Cheap Physics Help? Gated Multi-Fidelity Physics-Informed Networks with Provable Sample Savings and Conformal Guarantees
Department of Applied Mathematics and Computer Science (DTU Compute)（应用数学与计算机科学系（DTU Compute））；Technical University of Denmark（丹麦技术大学）
本文提出MF-BPINN，通过结合贝叶斯不确定性量化和自适应残差学习，高效求解参数偏微分方程。
2026-10-27 cs.LG cs.NA math.NA
