PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
PEAR提出一种两阶段方法,先对少量专家演示进行自适应重标记生成子目标监督,再联合强化学习与模仿学习优化分层智能体,在稀疏机器人控制等复杂任务中显著超越基线。
2025-02-09 cs.LG
Adaptive Hierarchical Hyper-gradient Descent
The University of Sydney(悉尼大学)
在这项研究中,我们研究学习率自适应在不同级别的超梯度下降框架的基础上,提出了一种方法,自适应学习优化器参数相结合的多层次的学习率与层次结构。同时,我们展示了正则化过参数化学习率和在不同层次上建立自适应学习率组合之间的关系。在前馈网络、LeNet-5和ResNet-18/34等多种网络架构上的实验表明,所提出的多级自适应方法在各种情况下都能优于基线自适应方法。
2021-05-11 cs.LG cs.NE
Streaming Hierarchical Inference with Tabular Foundation Models
Polytechnic of Porto(波尔图理工学院)
针对表格基础模型在数据流中部署的通信与延迟问题,提出HINT分层推断框架,结合边缘检索与云端推断,通过卸载阈值和邻域策略平衡性能与成本,实验验证其有效性。
2026-09-09 cs.LG
Amortized Variational Inference for Simple Hierarchical Models
在分层模型中,由于局部潜变量的数量与数据集成比例,因此难以使用具有变分推理的子采样。因此,分层模型中的推理在大规模上仍然是一个挑战。使用具有与后验结构匹配的变分族是有帮助的,但是由于大量的局部分布,优化仍然是缓慢的。相反,本文提出了一个摊销的方法,共享参数同时代表所有的本地分布。这种方法与使用给定的联合分布(例如,满秩高斯),但在大几个数量级的数据集上是可行的。它也比使用结构化变分分布快得多。
2021-11-04 cs.LG stat.ML
Hierarchical Latent Structure Learning through Online Inference
Center for Theoretical Neuroscience and Zuckerman Institute(理论神经科学中心和Zuckerman研究所);Columbia University(哥伦比亚大学);Department of Psychiatry, Columbia University Irving Medical Center(精神病学系,哥伦比亚大学伊万杰琳医学中心);New York State Psychiatric Institute(纽约州精神医学研究所);Columbia Data Science Institute(哥伦比亚数据科学研究所)
本文提出HOLMES模型,通过在线推断学习层次化潜在结构,实现了在序列数据中发现层次结构的可行计算框架。
2026-11-20 cs.LG q-bio.NC
Hierarchical Adversarially Learned Inference
MILA, Université de Montréal(蒙特利尔大学MILA);Element AI;DeepMind
我们提出了一个新的层次生成模型与一个简单的马尔可夫结构和相应的推理模型。生成和推理模型都是使用对抗学习范式训练的。我们证明,层次结构支持学习的逐步更抽象的表示,以及提供语义上有意义的重建与不同程度的保真度。此外,我们证明了最小化生成网络和推理网络之间的Jensen-Shanon发散足以最小化重建误差。由此产生的语义上有意义的分层潜在结构的发现是例证CelebA数据集。在那里,我们证明了我们的模型以无监督的方式学习的特征优于最好的手工特征。此外,与最近在CelebA上进行属性预测任务的几种深度监督方法相比,提取的特征仍然具有竞争力。最后,我们利用该模型的推理网络,以实现最先进的性能的半监督变体的MNIST数字分类任务。
2018-02-04 cs.LG stat.ML
Adaptive Resonance Theory-based Topological Clustering with a Divisive Hierarchical Structure Capable of Continual Learning
Osaka Prefecture University(大阪府立大学);Southern University of Science and Technology(南方科技大学)
自适应共振理论(ART)因其能够处理可塑性-稳定性矛盾而被认为是实现持续学习的有效途径。然而,一般来说,基于ART的算法的聚类性能强烈依赖于相似性阈值的指定,即,警惕参数,取决于数据并手动指定。本文提出了一种基于ART的拓扑聚类算法,该算法具有根据数据点的分布自动估计相似性阈值的机制。此外,为了提高信息抽取的性能,通过引入层次结构,提出了一种具有持续学习能力的分层层次聚类算法.实验结果表明,该算法具有较高的聚类性能与最近提出的最先进的层次聚类算法。
2022-07-07 cs.LG cs.NE
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics(伦敦政治经济学院);JP Morgan Chase & Co.(摩根大通公司)
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置,既不能刻画潜变量间的相关结构,又由于普遍截断,不能推断真实的后验维数。为了克服这些局限性,我们提出了条件和自适应截断变分推断方法(CATVI),通过最大化的非参数证据下限,并集成蒙特卡罗到变分推断框架。与传统方法相比,CATVI具有几个优点,包括变分后验和真后验之间的偏差较小,欠拟合或过拟合的风险降低,以及预测精度提高。在三个大型数据集上的实证研究表明,CATVI应用于贝叶斯非参数主题模型大大优于竞争模型,提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow(三星莫斯科人工智能中心);National Research University Higher School of Economics(国立研究型高等经济学院);NRU HSE(国立研究型高等经济学院)
变分推断是贝叶斯建模工具包中的一个强有力的工具,然而,它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来,变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍,我们引入了一个新的家庭的边际对数密度的情况下,分层模型(也称为潜变量模型)的变分上界。然后,我们给出了一个上界的库尔贝克-莱布勒散度,并推导出一个家庭越来越紧密的变分下界,否则难以处理的标准证据下界分层变分分布,使使用更有表现力的近似后验。我们表明,以前已知的方法,如分层变分模型,半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下,并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
George Mason University(乔治梅森大学)
本文提出针对非凸-强凹极小极大和非凸-强凸双层优化的自适应算法,无需噪声先验知识即可达到尖锐收敛速率,并首次为随机分层优化提供自适应收敛保证。
2025-10-24 cs.LG math.OC
ARGENT: Adaptive Hierarchical Image-Text Representations
University of Maryland, College Park(马里兰大学 College Park分校);Samsung Research America, AI Center(三星美国研究院人工智能中心)
ARGENT通过自适应蕴含损失和规范正则化解决超几何VLM的层级结构问题,引入角度基于的概率蕴含协议评估层次理解,提升图像分类、文本到图像检索及层次指标性能。
2026-03-24 cs.CV cs.LG
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong(香港科技大学)
针对传统变异模糊测试在处理器验证中效率低的问题,提出HiFuzz框架,采用分层强化学习及结构化生成过程,集成自适应机制与编码器,经实验验证,该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
The Hierarchical Adaptive Forgetting Variational Filter
COSY, Institute of Neuroscience, Université Catholique de Louvain(比利时布鲁塞尔天主教鲁汶大学神经科学研究所COSY(需注意:COSY为缩写,此处保留原文))
机器学习和统计学中的一个常见问题是检测数据流中的当前样本是否属于与先前样本相同的分布,是孤立的离群值还是开创了一个新的数据分布。我们提出了一个分层贝叶斯算法,旨在学习一个特定时间的近似后验分布的参数描述的分布观察到的数据。我们推导了指数族模型在每个时间步的近似后验变分参数的更新方程,并表明这些更新在强化学习(RL)中找到了有趣的对应关系。从这个角度来看,我们的模型可以被看作是一个分层的RL算法,它根据一定的稳定性置信度学习后验分布,反过来,根据自己的稳定性置信度学习。最后,我们展示了我们的通用模型的一些应用,首先是在RL背景下,其次是自适应贝叶斯自回归模型,最后是在随机梯度下降优化的背景下。
2018-05-15 cs.LG stat.ML
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China(中国海洋大学)
本文提出HCAL分类器,通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题,并引入HVR指标评估层次一致性,在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
Tokenised Flow Matching for Hierarchical Simulation Based Inference
Imperial College London(帝国理工学院伦敦分校);University of Oxford(牛津大学)
本文提出基于似然因子分解的令牌化流匹配方法,通过单站点模拟训练以提升分层模拟推理效率,并在真实传染病和计算流体动力学模型中验证其效果。
2026-04-22 cs.AI cs.LG
The Adaptive Mean-Linkage Algorithm: A Bottom-Up Hierarchical Cluster Technique
Universidade Federal de Pernambuco(伯南布哥联邦大学)
本文报道了经典的层次聚类分析的一种变体。这种凝聚(自下而上)聚类技术被称为自适应均值链接算法。它可以被解释为一种链接算法,其中阈值的值在每次交互时方便地更新。自适应聚类相对于平均链接算法的优越性如下,因为它在阈值上实现了良好的折衷:基于截止距离的阈值足够小以确保同质性,并且也足够大以保证至少一对合并集。这种方法适用于化学系列中一组可能的取代基。
2015-02-09 cs.LG stat.AP stat.ME
Variational Inference with Locally Enhanced Bounds for Hierarchical Models
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
层次模型是推理算法的一个挑战。MCMC方法很难扩展到具有许多局部变量和观测值的大型模型,并且由于使用简单的变分族,变分推理(VI)可能无法提供准确的近似。一些变分方法(例如重要性加权VI)集成了蒙特卡洛方法以提供更好的精度,但这些方法往往不适合分层模型,因为它们不允许子采样,并且它们的性能往往会降低高维模型。我们提出了一个新的家庭的变分界限分层模型,分别为每组局部随机变量的应用收紧方法(如重要性加权)的基础上。我们表明,我们的方法自然允许使用子采样来获得无偏梯度,并且它充分利用了通过在低维空间中独立应用它们来构建更严格的下限的方法的能力,从而获得比相关基线更好的结果和更准确的后验近似。
2022-07-25 cs.LG stat.ML
Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data
Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种结合贝叶斯不确定性加权与置信校准的混合框架,用于提升医疗数据中的不确定性量化精度与覆盖保证。
2026-01-03 cs.LG stat.ML
HiDP: Hierarchical DNN Partitioning for Distributed Inference on Heterogeneous Edge Platforms
University of Turku(图尔库大学);Politecnico di Milano(米兰理工大学)
针对边缘推理未考虑节点核心级异构性、资源利用率低导致延迟高的问题,提出分层DNN划分策略HiDP,通过全局与局部分层划分利用异构资源,在商用设备上评估显示延迟降38%、能耗降46%、吞吐量升56%。
2024-11-25 cs.AI cs.DC cs.LG
Privacy-Preserving Hierarchical Model-Distributed Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Seagate Technology(希捷科技)
本文针对分层ML推理场景的数据与模型隐私保护需求,提出结合秘密共享、同态加密等技术的privateMDI方案,通过模型并行化和阶段优化降低通信开销,显著提升了隐私保护下的推理速度。
2024-09-15 cs.CR cs.LG
Adaptive Generation of Phantom Limbs Using Visible Hierarchical Autoencoders
University of Tennessee at Chattanooga(查塔努加田纳西大学)
根据异构运动传感器测量的人体功能部位的运动行为,提出了一种自适应幻肢生成中的分层可视自动编码器。提出的可视分层自动编码器由可解释的和多相关的自动编码器管道,这是直接从森林数据结构描述的分层网络派生。根据指定的动力学脚本(例如,跳舞、跑步等)和用户的身体状况,从人体肌肉骨骼网络中提取分层网络,该网络由多个身体部件(例如,肌肉、骨骼和关节等)它们在生物机械、功能或神经上相互关联,并且大多表现出非发散的动力学行为。多层感知器(MLP)回归模型,以及几种变化的自动编码器模型,研究了顺序生成的缺失或功能障碍的肢体。幻肢的运动学行为将使用虚拟现实和增强现实(VR/AR)、致动器和潜在的假肢控制器(一种替代缺失身体部位的人造设备)来构建。所述工作旨在开发实用的创新锻炼方法,其(1)使所有年龄段的个人,包括患有慢性健康状况和/或残疾的人,参与定期的身体活动,(2)加速患者的康复,以及(3)释放用户的幻肢疼痛。在今后的工作中,将严格评估所述工作的生理和心理影响。
2019-10-02 cs.HC cs.LG
Hierarchical Fallback Architecture for High Risk Online Machine Learning Inference
Trustly(特拉斯利公司)
本文提出一种分层回退架构,通过定义在线推理中的通用故障场景并详细说明应用方法,提升了金融领域高风险机器学习应用在极端压力下的鲁棒性,并给出工业界近实时交易欺诈风险评估的实际应用案例。
2025-01-29 cs.CE cs.LG cs.SE
Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression
本文提出一种针对PINNs的动态误差有界层次矩阵压缩方法,通过局部误差估计自适应细化近似,在降低计算复杂度与内存需求的同时保持NTK特性,优于传统压缩方法并提升推理速度。
2024-09-25 cs.LG cs.NA math.NA
Self-Adaptive Hierarchical Sentence Model
University of Waterloo(滑铁卢大学);Huawei Technologies(华为技术有限公司)
在不同阶段准确建模句子的能力(例如,词-短语-句子)在自然语言处理中起着中心作用。为了实现这一目标,我们提出了一个自适应层次句子模型(AdaSent)。AdaSent通过相邻段的递归门控局部组合有效地形成了从单词到短语再到句子的表示层次。我们设计了一个竞争机制(通过门控网络),允许同一个句子的表征参与特定的学习任务(例如,分类),因此有效地减轻了在其他递归模型中持续存在的梯度消失问题。定性和定量分析都表明,AdaSent可以在训练过程中自动形成和选择适合手头任务的表示,在5个基准数据集上产生优于竞争对手模型的分类性能。
2015-04-27 cs.CL cs.LG cs.NE
Revisiting Hierarchical Text Classification: Inference and Metrics
Institut Polytechnique de Paris(巴黎理工学院);Onepoint(Onepoint公司)
本文重新审视层级文本分类任务,提出使用专门的层级指标评估模型,引入新数据集对比复杂模型与简单基线,发现简单基线常具竞争力,强调评估方法的重要性。
2024-10-11 cs.CL cs.LG
Hierarchical deep learning-based adaptive time-stepping scheme for multiscale simulations
Islamic University of Science and Technology(伊斯兰科技大学);National Institute of Technology, Srinagar(斯利那加国家理工学院)
本文提出基于分层深度学习的自适应时间步进方案,通过神经网络时间步进器跨尺度逼近动力系统流映射,在更少计算时间内达到最先进性能,并已在多个非线性系统上验证。
2023-11-10 cs.LG math.DS
Learned Hierarchical B-frame Coding with Adaptive Feature Modulation for YUV 4:2:0 Content
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文介绍了一种学习的层次B帧编码方案,以响应ISCAS 2023上基于神经网络的视频编码的大挑战。我们具体解决三个问题,包括(1)B帧编码,(2)YUV 4:2:0编码,和(3)内容自适应可变速率编码只有一个单一的模型。大多数学习的视频编解码器在RGB域中内部操作以用于P帧编码。用于YUV 4:2:0内容的B帧编码在很大程度上未被探索。此外,虽然已经有关于具有条件卷积的可变速率编码的先前工作,但是它们中的大多数未能考虑内容信息。我们建立我们的计划上的条件增广规范化流(CANF)。它具有条件运动和帧间编解码器,可实现高效的B帧编码。为了处理YUV 4:2:0内容,使用两个条件帧间编解码器来分别处理Y和UV分量,其中UV分量的编码还取决于Y分量。此外,我们在每个卷积层引入自适应特征调制,同时考虑内容信息和B帧的编码水平,以实现内容自适应可变速率编码。实验结果表明,我们的模型在PSNR-YUV方面优于x265和去年的挑战赛冠军。
2022-12-29 cs.CV cs.LG
Adaptive Hierarchical Decomposition of Large Deep Networks
Rochester Institute of Technology(罗切斯特理工学院)
深度学习最近证明了它在视觉对象识别方面与人脑相媲美的能力。随着数据集变得越来越大,一个自然的问题是,现有的深度学习架构是否可以扩展到处理被认为是典型人类可感知的50 K以上的类。大多数深度学习架构专注于拆分不同的类别,而忽略了它们之间的相似性。本文介绍了一个框架,该框架可以自动分析和配置一系列较小的深度网络,以替代单一的大型网络。类的相似性指导创建一个家庭从课程到罚款分类器,解决分类问题更有效地比一个单一的大型分类器。由此产生的较小的网络是高度可扩展的,并行的,更实用的训练,并实现更高的分类精度。本文还提出了一种方法来自适应地选择配置的分层家庭的分类器使用链接统计从整体和子分类混淆矩阵。根据类的数量和问题的复杂度,选择深度学习模型并确定复杂度。大量的实验网络类,层和架构配置验证我们的结果。
2020-07-17 cs.CV cs.LG
AdaptDHM: Adaptive Distribution Hierarchical Model for Multi-Domain CTR Prediction
Cainiao Network(菜鸟网络)
大型商业平台通常涉及多个业务领域,以实现不同的业务策略,并期望其推荐系统同时提供多个领域的点击率(CTR)预测。现有的多领域模型通过显式地构建特定领域的网络来发现领域之间的关系,但随着领域的增加,计算量和内存会显著增加。为了降低计算复杂性,在工业应用中通常使用特定的业务策略手动地对域进行分组。然而,这种预定义的数据划分方式严重依赖于先验知识,它可能会忽略每个域的底层数据分布,从而限制了模型的表示能力。针对上述问题,我们提出了一种优雅而灵活的多分布建模范式,称为自适应分布层次模型(AdaptDHM),这是一个端到端的优化层次结构,包括聚类过程和分类过程。具体而言,我们设计了一个分布式适配模块与定制的动态路由机制。该路由算法不引入先验知识进行预定义的数据分配,而是自适应地为每个样本提供一个分布系数,以确定它属于哪个簇。每个聚类对应于一个特定的分布,以便模型可以充分捕捉这些不同聚类之间的共性和区别。在公开和大规模阿里巴巴工业数据集上进行的大量实验验证了AdaptDHM的有效性和效率:我们的模型取得了令人印象深刻的预测准确性,并且在训练阶段的时间成本比其他模型减少了50%以上。
2022-11-22 cs.IR cs.LG
AMANet: Advancing SAR Ship Detection with Adaptive Multi-Hierarchical Attention Network
Army Engineering University of PLA(中国人民解放军陆军工程大学);Northwestern Polytechnical University(西北工业大学)
针对SAR图像中小型与沿海船舶受特征不足和背景杂波影响的检测难题,本文提出自适应多层级注意力模块AMAM并构建AMANet,通过多尺度融合与通道自适应聚合提升性能,且在两个大规模数据集上优于现有方法。
2024-01-24 cs.AI cs.CV cs.LG
Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmhotz Center for Information Security(CISPA亥姆霍兹信息安全中心)
针对分割认证中因模型不确定性导致高弃权率的问题,提出多层级自适应分层认证算法,放宽不稳定组件至更粗层级,并引入CIG指标,有效降低弃权率并提升认证信息增益。
2024-06-03 cs.CV cs.LG
HASSOD: Hierarchical Adaptive Self-Supervised Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
HASSOD提出层次自适应聚类与均值教师框架,实现无监督目标检测及组成理解,在LVIS和SA-1B上显著提升Mask AR,推动自监督检测前沿。
2024-02-05 cs.AI cs.CV cs.LG
Hierarchical Variational Imitation Learning of Control Programs
University of California, Irvine(加州大学欧文分校);University of California, Berkeley(加州大学伯克利分校)
自主智能体可以通过模仿教师对预期行为的演示来学习。分层控制策略对于这种学习非常有用,有可能将结构化任务分解为更简单的子任务,从而提高数据效率和泛化能力。在本文中,我们提出了一个变分推理方法的模仿学习的控制策略表示的参数化层次程序(PHP),程序可以调用子程序来执行子任务的类似程序的结构。我们的方法发现了教师演示的观察-动作轨迹数据集中的层次结构,通过学习过程调用和终止的潜在序列的近似后验分布。然后,来自该学习分布的样本指导分层控制策略的训练。我们确定并证明了变分推理的分层模仿学习的背景下,一个新的好处:在分解成更简单的程序的政策,推理可以利用因果信息,是未使用的其他方法。用变分推理训练PHP在数据效率和泛化方面优于LSTM基线,在执行气泡排序算法时,只需要不到一半的数据就可以实现24%的出错率,并且在执行卡雷尔程序时实现无错误。
2019-12-29 cs.LG stat.ML
HireVAE: An Online and Adaptive Factor Model Based on Hierarchical and Regime-Switch VAE
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Shanghai AI Laboratory(上海人工智能实验室)
提出首个基于深度学习的在线自适应因子模型HireVAE,通过层次潜在空间嵌入市场状况与股票潜在因子的关系,仅利用历史信息即可预测股票收益,在四个真实基准上表现优于以往方法。
2023-06-05 cs.CV cs.LG q-fin.PM
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
Xidian University(西安电子科技大学);JD Finance American Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
深度度量学习(DML)在各种机器学习任务中起着至关重要的作用。然而,大多数现有的具有二进制相似性的深度度量学习方法对真实世界数据中广泛存在的噪声标签敏感。由于这些噪声标签往往会导致严重的性能下降,这是至关重要的,以提高DML的鲁棒性和泛化能力。在本文中,我们提出了一种自适应分层相似性度量学习方法。它考虑了两个噪声不敏感的信息,\textit{i.e.},类的分歧和样本的一致性。具体而言,类间分歧可以利用双曲度量学习在建模中有效地挖掘比二进制更丰富的相似性信息,而样本一致性可以利用对比增强进一步提高模型的泛化能力。更重要的是,我们设计了一个自适应的策略来整合这些信息在一个统一的视图。值得注意的是,新方法可以扩展到任何基于对的度量损失。在基准数据集上的大量实验结果表明,与当前的深度度量学习方法相比,我们的方法具有最先进的性能。
2021-10-29 cs.AI cs.CV cs.LG
Hierarchical Implicit Models and Likelihood-Free Variational Inference
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
隐式概率模型是由数据模拟过程定义的一类灵活的模型。它们构成了包含我们对物理世界理解的理论的基础。尽管有这种基本性质,隐式模型的使用仍然有限,这是由于在指定其中的复杂潜在结构以及在具有大数据集的此类模型中执行推断方面的挑战。在本文中,我们首先介绍层次隐式模型(HIMs)。HIM将隐式密度的思想与分层贝叶斯建模相结合,从而通过具有丰富隐藏结构的数据的模拟器来定义模型。接下来,我们开发了似然自由变分推断(LFVI),这是一种适用于HIM的可扩展变分推断算法。LFVI的关键是指定一个也是隐式的变分族。这与模型的灵活性相匹配,并允许后验的精确近似。我们展示了不同的应用:生态学中捕食者-猎物种群的大规模物理模拟器;离散数据的贝叶斯生成对抗网络;以及文本生成的深层隐式模型。
2017-11-05 cs.LG stat.CO stat.ME
Hierarchical Active Inference using Successor Representations
Paul G. Allen Center for Computer Science and Engineering, University of Washington(保罗·G·阿伦计算机科学与工程中心,华盛顿大学)
本文提出基于分层主动推断的行动规划模型,结合环境层次模型与成功表示实现高效规划,展示了如何通过低层表示学习高层抽象状态,并在多个规划和强化学习任务中验证了方法有效性。
2026-04-17 cs.AI cs.CV cs.LG
Semi-Separable Hamiltonian Monte Carlo for Inference in Bayesian Hierarchical Models
University of Edinburgh(爱丁堡大学)
由于模型参数和超参数之间的强相关性,MCMC方法通常难以从分层贝叶斯模型中进行采样。最近的黎曼流形哈密顿蒙特卡罗(RMHMC)方法在这种情况下有显着的潜在优势,但计算昂贵。我们介绍了一种新的RMHMC方法,我们称之为半可分的哈密顿蒙特卡罗,它使用一个专门设计的质量矩阵,允许联合哈密尔顿模型参数和超参数分解成两个更简单的哈密尔顿。这种结构是利用一个新的积分器,我们称之为交替块蛙跳算法。所得到的方法可以混合比简单的吉布斯抽样更快,而更简单,更有效地比以前的RMHMC的实例。
2014-06-15 cs.AI cs.LG stat.CO
Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making
Toyota Research Institute(丰田研究院);Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making(学习规划,规划学习:自适应分层RL-MPC用于样本高效决策)
本文提出了一种融合强化学习和MPC规划的分层方法,通过自适应聚合MPPI样本提升策略鲁棒性,实现在复杂规划问题中提高样本效率和任务成功率。
2026-04-16 cs.AI cs.LG cs.RO
EvoMesh: Adaptive Physical Simulation with Hierarchical Graph Evolutions
Huayu Deng(邓华宇);Xiangming Zhu(朱向明);Yunbo Wang(王云波);Xiaokang Yang(杨晓康)
针对现有固定分层图结构无法适应复杂物理系统演化动力学的问题,提出可联合学习图层级与物理动力学的EvoMesh框架,引入各向异性消息传递提升长程依赖捕捉能力,在五个基准数据集上性能显著优于现有固定层级方法。
2025-05-21 cs.AI cs.CE cs.LG
Deep ARTMAP: Generalized Hierarchical Learning with Adaptive Resonance Theory
Missouri University of Science and Technology(密苏里科技大学);Kummer Institute Center for Artificial Intelligence and Autonomous Systems(库默尔人工智能与自主系统中心)
本文提出Deep ARTMAP框架,将SMART架构推广为支持任意数据变换的分层学习机制,通过分裂式聚类和层间ART模块实现有监督与无监督学习,兼具可定制粒度并显著提升灵活性。
2025-03-05 cs.AI cs.LG cs.NE
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学计量经济研究所);Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学学院)
我们提出了一个新的分裂标准的元学习方法,多类分类器的设计,自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率,排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树(MST)的样本从每对类。此外,提出了一种元学习技术,用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明,所提出的分层方法通常可以比竞争方法更快地学习,同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
Hierarchical Neural Simulation-Based Inference Over Event Ensembles
Technical University of Munich(慕尼黑工业大学);MIT(麻省理工学院);Harvard University(哈佛大学);IAIFI;University of Warwick(华威大学);University of Chicago(芝加哥大学)
本文针对似然不可计算的分层模型,提出基于神经估计器的数据集级频率学派与贝叶斯推断方法,并通过粒子物理和宇宙学案例证明显式建模分层结构能显著收紧参数约束。
2024-02-21 astro-ph.IM cs.LG hep-ex
HINT: Hierarchical Invertible Neural Transport for Density Estimation and Bayesian Inference
Heidelberg University(海德堡大学)
许多最近的可逆神经架构是基于耦合块设计,其中变量被分成两个子集,作为一个容易可逆的(通常是仿射)三角变换的输入。虽然这样的变换是可逆的,但其雅可比矩阵非常稀疏,因此可能缺乏表达性。这项工作提出了一个简单的补救措施,注意到细分和(仿射)耦合可以在得到的子集内递归地重复,导致一个高效的可逆块与密集的三角形雅可比矩阵。通过经由分层架构制定我们的递归耦合方案,HINT允许从联合分布p(y,x)和对应的后验p(x)进行采样|y)使用单个可逆网络。我们评估我们的方法在一些标准的数据集和基准的密度估计和贝叶斯推断的一个新的数据集的二维形状的傅立叶参数化,这使得一致的可视化不同维度的样本的全部权力。
2021-05-25 cs.AI cs.LG stat.ML
CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models
Mistyoz AI Hyderabad, India(Mistyoz AI 德里, 印度)
提出一种紧凑语言模型CosmicFish-HRM,通过层次推理模块动态分配推理深度,在保持较小参数量的同时实现适应性推理。
2026-05-27 cs.AI cs.CL cs.LG
Hierarchical Adaptive Expert for Multimodal Sentiment Analysis
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Shanghai Jiao Tong University(上海交通大学)
本文提出HAEMSA框架,利用分层自适应专家结合进化优化与跨模态知识转移,有效区分整合模态信息,在多基准数据集上显著提升多模态情感分析性能。
2025-03-25 cs.CV cs.LG cs.MM
Reinforcement Control with Hierarchical Backpropagated Adaptive Critics
Jameson Robotics(詹姆森机器人公司)
本文提出分层反向传播自适应批评者架构,通过两级层次结构解决长期信用分配问题,引入响应诱导学习方法提升控制稳定性与鲁棒性。
2015-12-08 cs.LG cs.NE cs.SY
Doubly Robust Adaptive Conformal Inference for Causal Effects Under Temporal Dependence
Department of Computer Science University College London(计算机科学系伦敦大学学院)
提出双稳健自适应共形推断(DR-ACI),在时间依赖下为双稳健伪结果构建预测区间,结合共形预测与自适应加权,提供有限样本覆盖保证。
2026-06-29 cs.LG stat.CO stat.ML
DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
Tsinghua University(清华大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院);Instituto de Telecomunicações(电信研究院);Carnegie Mellon University(卡内基梅隆大学);Sapienza University of Rome(罗马萨皮恩扎大学);University of Edinburgh(爱丁堡大学);TransPerfect(TransPerfect公司);ELLIS Unit Lisbon(里斯本ELLIS单位)
本研究提出DashAttention,一种可微且自适应的稀疏分层注意力机制,通过自适应稀疏α-entmax变换选择可变数量的块,从而在保持整个层次结构可微的同时,提升长上下文建模能力,实验表明其在高稀疏度下优于现有方法。
2026-05-18 cs.AI cs.CL cs.LG
Data Structures & Algorithms for Exact Inference in Hierarchical Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National Institute of Standards and Technology(美国国家标准与技术研究院);New York University(纽约大学)
层次聚类是一项基本任务,通常用于发现数据中有意义的结构,如系统发育树,概念分类,癌症亚型和粒子物理学中的粒子衰变级联。由于可能的分层聚类的组合数量,通常使用近似算法进行推断。在现有的方法相比,我们提出了新的动态规划算法的\emph{exact}推理的层次聚类的基础上,一种新的网格数据结构,我们证明了我们可以准确地计算分区函数,最大似然层次,和边缘概率的子层次和集群。我们的算法在时间和空间上与$N$元素的幂集成比例地缩放,这比显式地考虑(2N-3)!!可能的等级。此外,对于更大的数据集,我们的精确算法变得不可行,我们引入了一个近似算法的基础上稀疏网格比较以及其他基准。精确的方法是相关的粒子物理学的数据分析和癌症基因组学中的基因表达之间的相关性,我们在这两个领域,我们的算法优于贪婪和束搜索基线的例子。此外,我们考虑Dasgupta的成本与合成数据。
2020-10-22 cs.DS cs.LG physics.data-an