Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis
National Taiwan University(台湾大学);College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
韵律建模是现代文语转换(TTS)框架的重要组成部分。通过显式地提供韵律特征的TTS模型,合成的话语的风格,从而可以控制。然而,在推理时预测自然和合理的韵律是具有挑战性的。在这项工作中,我们分析了非自回归TTS模型在不同的韵律建模设置下的行为,并提出了一个层次结构,其中音素级韵律特征的预测是以词级韵律特征为条件的。该方法优于其他竞争对手的音频质量和韵律自然度在我们的客观和主观评价。
2021-05-01 cs.LG cs.SD eess.AS
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
THD-BAR: Topology Hierarchical Derived Brain Autoregressive Modeling for EEG Generic Representations
Beihang University(北航大学)
针对现有自回归脑电模型未充分捕捉生理特征与动态空间拓扑的问题,提出THD-BAR,通过脑拓扑层次(BTH)实现多尺度时空建模,在17个数据集预训练后于10个下游任务上持续优于现有方法,提升通用表征能力。
2025-11-05 cs.LG eess.SP q-bio.NC
Modeling Hierarchical Spaces: A Review and Unified Framework for Surrogate-Based Architecture Design
IRIT(图卢兹计算机研究所);UT Capitole, Université de Toulouse(图卢兹大学图卢兹 Capitole 大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立理工学院);UT3(图卢兹第三大学);UT2J(图卢兹第二大学让·饶勒斯);GERAD(决策分析研究集团);Polytechnique Montréal(蒙特利尔高等理工学院);Institute of System Architectures in Aeronautics, German Aerospace Center (DLR)(德国航空航天中心(DLR)航空系统架构研究所);ONERA(法国航空航天实验室);Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse(图卢兹大学 ENAC ISAE-SUPAERO ONERA 联合会)
本文提出了一种统一框架,用于基于代理的架构设计,通过层次空间建模解决复杂系统设计问题。
2026-01-17 cs.LG math.OC stat.ML
Self-Supervised Hierarchical Metrical Structure Modeling
NYU Shanghai(上海纽约大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
我们提出了一种新的方法来模拟分层韵律结构的符号音乐和音频信号在一个自我监督的方式与最小的领域知识。该模型对节拍对齐的音乐信号进行训练和推理,并预测从节拍、小节到小节级别的8层分层韵律树。训练过程不需要任何层次的韵律标记,除了节拍,纯粹依靠韵律规律性和声音间一致性的本质作为归纳偏差。我们在实验中表明,该方法在符号音乐和音频信号的多个韵律结构分析任务上实现了与监督基线相当的性能。所有演示、源代码和预训练模型都可以在GitHub上公开获得。
2023-01-25 cs.LG cs.SD eess.AS
Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis
Google Brain(谷歌大脑)
本文在Tacotron 2文语转换模型的基础上,提出了一种层次化、细粒度、可解释的韵律潜变量模型。它实现了韵律的多分辨率建模,通过调节较细的水平表示的粗水平的。此外,它使用具有自回归结构的条件变分自动编码器(VAE)在所有潜在维度上施加分层条件。重建性能的评价表明,新的结构不会降低模型,同时允许更好的可解释性。韵律属性的解释提供了词级和音素级的韵律表征之间的比较。此外,定性和定量的评价被用来证明潜在的维度的解纠缠的改善。
2020-02-06 cs.LG cs.SD eess.AS
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
Ant Financial Services Group(蚂蚁金融服务集团);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
人类语言理解在多个粒度级别上操作(例如,单词、短语和句子),其中抽象级别增加,可以分层组合。然而,现有的具有堆叠层的深度模型没有明确地对任何类型的分层过程进行建模。本文提出了一种基于CKY型二叉树的递归Transformer模型来模拟合成过程。我们将双向语言模型预训练目标扩展到该架构,尝试预测每个单词的左和右抽象节点。为了扩大我们的方法,我们还引入了一个有效的修剪树归纳算法,使编码在一个线性数量的组成步骤。语言建模和无监督句法分析的实验结果表明了该方法的有效性。
2022-03-03 cs.CL cs.LG
Hierarchical ODE: Learning Continuous-Time Physical Prototypes for Early Link Failure Detection
University of Science and Technology of China(中国科学技术大学)
提出层次化常微分方程聚类网络,利用神经ODE建模连续潜状态演化,解耦随机噪声与动态趋势,自适应确定原型数量,在不规则采样时间序列的早期链路故障检测中有效提取物理原型。
2026-06-15 cs.AI cs.LG
Learning Dynamical Systems from Multiple Sparse Datasets: A Hierarchical Bayesian Modeling Approach
SUPSI, Dalle Molle Institute for Artificial Intelligence (IDSIA USI-SUPSI), Lugano, Switzerland(瑞士南方应用科技大学,达勒莫尔人工智能研究所(IDSIA USI-SUPSI),卢加诺,瑞士)
提出层次贝叶斯框架,通过共享种群分布建模多个稀疏、含噪、不规则采样数据集,结合ODE求解器和梯度MCMC实现高效后验推断,提升预测性能。
2026-06-25 cs.LG
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们提出了层次关系为基础的潜在狄利克雷分配(hrLDA),数据驱动的层次主题模型,从大量的异构文档中提取术语本体。与传统的主题模型相比,hrLDA依赖于名词短语而不是一元语法,考虑语法和文档结构,并通过主题关系丰富主题层次结构。通过一系列的实验,我们证明了hrLDA优于现有的主题模型,特别是在建立层次结构。此外,我们说明了鲁棒性的hrLDA在噪声数据集的设置,这是可能发生在许多实际情况下。我们的本体评价结果表明,从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化,找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术,在目标函数上设置先验,并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值,以便对目标函数进行观测,这必须考虑到勘探(从高度不确定性的区域取样)和开发(取样区域可能提供比当前最佳观测值更好的结果)。我们还提出了两个详细的扩展贝叶斯优化,与实验-主动用户建模与偏好,和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上,我们的经验。
2010-12-12 cs.LG
HELM: Hierarchical Encoding for mRNA Language Modeling
University of Central Florida(中佛罗里达大学);Johnson & Johnson Innovative Medicine(强生创新医药)
本文提出HELM预训练策略,通过将mRNA密码子分层结构纳入语言模型训练并基于同义性调节损失函数,在多个下游性质预测和抗体区域注释任务上平均提升约8%,同时改善了mRNA序列生成质量。
2025-03-12 cs.CE cs.LG
A Hierarchical Latent Structure for Variational Conversation Modeling
Seoul National University(首尔国立大学)
变分自编码器(VAE)结合层次RNN已经成为会话建模的强大框架。然而,它们遭受着臭名昭著的退化问题,解码器学会忽略潜在变量并简化为香草RNN。我们的经验表明,这种简并发生主要是由于两个原因。首先,分层RNN解码器的表达能力通常足够高,可以仅使用其解码分布来建模数据,而不依赖于潜在变量。其次,其生成过程以上下文为条件的条件VAE结构使得训练目标的范围非常稀疏;也就是说,RNN解码器可以很容易地过拟合到训练数据,而忽略潜在变量。为了解决退化问题,我们提出了一种名为变分层次会话RNN(VHCR)的新模型,涉及两个关键思想:(1)使用潜在变量的层次结构,以及(2)利用话语丢弃正则化。通过对Cornell Movie Dialog和Ubuntu Dialog语料库两个数据集的评估,我们表明我们的VHCR成功地利用了潜变量,并优于最先进的会话生成模型。此外,它可以执行几个新的话语控制任务,由于其分层的潜在结构。
2018-04-12 cs.AI cs.CL cs.LG
Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders
University of Oxford(牛津大学);DeepMind(深度思维);Microsoft Research(微软研究院)
变分自动编码器(VAE)是学习生成模型和数据嵌入的流行方法。许多真实的数据集是分层结构的。然而,传统的VAE映射数据在一个欧氏潜在空间,不能有效地嵌入树状结构。具有负曲率的双曲空间可以。因此,我们赋予VAE与庞加莱球模型的双曲几何作为一个潜在的空间,并严格推导出必要的方法,工作与两个主要的高斯概括该空间。我们的经验表明,更好的概括看不见的数据比欧几里德同行,可以定性和定量更好地恢复层次结构。
2019-11-25 cs.LG stat.ML
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合,实现多尺度时间建模,在能源数据集上预测精度提升15-40%,并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Capitalization Normalization for Language Modeling with an Accurate and Efficient Hierarchical RNN Model
Google Research(谷歌研究院)
大写规范化(truecasing)是恢复嘈杂文本的正确大小写(大写或小写)的任务。提出了一种快速、准确、紧凑的基于单词和字符的两级递阶递归神经网络模型。我们使用truecaser规范化用户生成的文本在一个联邦学习框架的语言建模。在这个规范化的文本上训练的一个区分大小写的语言模型与在具有黄金大写的文本上训练的模型实现了相同的困惑。在一个真实的用户A/B实验中,我们证明,改进转化为减少预测出错率在虚拟键盘应用程序。类似地,在ASR语言模型融合实验中,我们示出了字符出错率和单词出错率的降低。
2022-02-16 cs.CL cs.LG
Personalized Federated Hierarchical Gaussian Processes for Privacy-Preserving Modeling of Heterogeneous Distributed Systems
Arizona State University(亚利桑那州立大学)
提出个性化联邦分层高斯过程,通过共享全局组件与局部残差分解实现异构客户端隐私保护的概率建模,在故障分类和空气质量建模中取得高效结果。
2026-09-18 cs.LG
SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data
KAIST(韩国科学技术院)
集结构数据(如点云)的生成式建模需要在各种尺度上对局部和全局结构进行推理。然而,采用多尺度框架的普通顺序数据集结构化的数据是不平凡的,因为它应该是不变的,其元素的排列。在本文中,我们提出了SetVAE,一个分层的变分自编码器的集合。出于最近在集合编码的进展,我们建立SetVAE后,注意模块,第一次分区的集合和项目的分区回到原来的基数。利用这个模块,我们的分层VAE在多个尺度上学习潜在变量,捕获集合元素的粗到细依赖性,同时实现排列不变性。我们评估我们的模型上的点云生成任务,并实现具有竞争力的性能与现有技术的模型容量大大减小。我们定性地证明了我们的模型推广到看不见的集合大小,并在没有监督的情况下学习有趣的子集关系。我们的实现可以在https://github.com/jw9730/setvae上获得。
2021-03-29 cs.CV cs.LG
Generative Modeling via Hierarchical Tensor Sketching
Committee on Computational and Applied Mathematics, University of Chicago(计算与应用数学委员会,芝加哥大学);Center for Computational Quantum Physics, Flatiron Institute(计算量子物理中心,Flatiron研究所);Department of Statistics, University of Chicago(统计学系,芝加哥大学)
本文提出了一种基于分层张量网络的生成建模方法,通过随机SVD技术实现高维概率密度的近似,通过数值实验验证了其有效性。
2026-01-11 cs.LG cs.NA math.NA
HNP3: A Hierarchical Nonparametric Point Process for Modeling Content Diffusion over Social Media
Sharif University of Technology(谢里夫理工大学)
本文介绍了一种新的框架,用于建模的时间事件与复杂的纵向依赖,产生的依赖源。该框架利用多维点过程对事件时间进行建模。所提出的过程的强度函数是强度的混合,其复杂性随着数据的时间模式的复杂性而增长。此外,它利用了一个分层依赖的非参数方法来模型标记的事件。这些功能允许所提出的模型,以适应其时间和主题的复杂性,根据数据的复杂性,这使得它成为一个合适的候选人为现实世界的场景。一个在线推理算法也提出了,使该框架适用于广泛的应用。该框架被应用到一个现实世界的应用程序,模拟网络上的内容的扩散。大量的实验表明,与国家的最先进的方法相比,所提出的框架的有效性。
2016-10-02 cs.LG cs.SI stat.ML
A Hierarchical Dirichlet Process Model with Multiple Levels of Clustering for Human EEG Seizure Modeling
University of Pennsylvania(宾夕法尼亚大学)
根据人类颅内脑电图(iEEG)记录癫痫发作的多层次结构,我们引入了一种新的层次Dirichlet过程--多层聚类层次Dirichlet过程(MLC-HDP),它同时对多个层次上的数据集进行聚类。我们的癫痫发作数据集包含每个患者每次癫痫发作的大脑活动记录,通常超过100个单独的通道。MLC-HDP模型同时对通道类型、患者类型和患者类型进行聚类。我们详细描述了这个模型及其实现。我们还提出了一个模拟研究的结果比较MLC-HDP一个类似的模型,嵌套狄利克雷过程,并最终证明了MLC-HDP的使用在多个患者的癫痫发作建模。我们发现MLC-HDP的聚类与独立的人类医生聚类相当。据我们所知,MLC-HDP模型是癫痫文献中第一个能够在患者内和患者之间聚集癫痫发作的模型。
2012-06-18 cs.LG stat.AP stat.ML
Hyperbolic Continuous Structural Entropy for Hierarchical Clustering
本文提出HypCSE模型,通过双曲空间映射和结构增强图优化,实现更高效的层次聚类。
2025-11-29 cs.LG stat.ML
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine(加州大学欧文分校);California Institute of Technology(加州理工学院)
本研究建立分层自回归生成模型与有损视频压缩的关联,将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向,在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling
Peking University(北京大学);Bytedance Inc.(字节跳动公司);University of Oxford(牛津大学)
我们确定并克服了将BERT风格的预训练或掩码图像建模的成功扩展到卷积网络(convnets)的两个关键障碍:(i)卷积运算无法处理不规则的随机掩蔽输入图像;(ii)BERT预训练的单尺度性质与convnet的分层结构不一致。对于(i),我们将未掩蔽的像素视为3D点云的稀疏体素,并使用稀疏卷积进行编码。这是稀疏卷积首次用于2D掩码建模。对于(ii),我们开发了一个分层解码器来从多尺度编码特征重建图像。我们的方法称为Sparse masKed modeling(SparK),它是通用的:它可以直接用于任何卷积模型,而无需修改主干。我们在经典(ResNet)和现代(ConvNeXt)模型上验证了它:在三个下游任务上,它以类似的大幅度(约+1.0%)超过了最先进的对比学习和基于transformer的掩码建模。在目标检测和实例分割方面的改进更为显著(高达+3.5%),验证了所学习特征的强大可移植性。我们还通过在更大的模型上观察到更多的增益来发现其有利的缩放行为。所有这些证据都揭示了在convnets上进行生成式预训练的前景。代码和模型在https://github.com/keyu-tian/SparK上发布。
2023-01-10 cs.AI cs.CV cs.LG
Hierarchical Reinforcement Learning for Modeling User Novelty-Seeking Intent in Recommender Systems
New York University(纽约大学);Google Research(谷歌研究院)
本文提出基于分层强化学习的推荐方法,同时建模用户静态内在求新偏好与会话级动态倾向,并在奖励中引入多样性和新颖性度量,从而在多个公开数据集上优于现有基线。
2023-06-02 cs.IR cs.LG
Multiresolution Transformer Networks: Recurrence is Not Essential for Modeling Hierarchical Structure
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);University of Texas at Austin(得克萨斯大学奥斯汀分校);Amazon(亚马逊)
Transformer的架构完全基于自我注意力,并且已经被证明优于在序列转换任务(例如机器翻译)上采用递归的模型。与循环架构相比,Transformer的卓越性能归因于在输入和输出位置之间的较短距离上传播信号。我们在Transformer和循环网络中建立了动力学之间的联系,认为包括梯度流在内的几个因素在Transformer的成功中起着至关重要的作用。然后,我们利用动态引入{ \em多分辨率Transformer网络}作为第一个架构,利用层次结构的数据通过自我注意。我们的模型显着优于国家的最先进的经常性和层次经常性模型在两个现实世界的数据集查询建议,即\aol和\amazon。特别是,在AOL数据上,我们的模型在每个精度分数上至少有20%的改进,并且相对于性能最好的递归模型,BLEU分数的改进超过25%。因此,我们提供了强有力的证据,复发是不是必不可少的建模层次结构。
2019-08-27 cs.IR cs.LG stat.ML
Learning Cell-Aware Hierarchical Multi-Modal Representations for Robust Molecular Modeling
CHMR通过联合建模分子与细胞反应的层次依赖关系,提升分子建模的稳健性和生物学基础。
2025-11-26 cs.AI cs.LG
An Efficient Hierarchical Kriging Modeling Method for High-dimension Multi-fidelity Problems
University of South China(南华大学)
多保真度克里格模型是一种很有前途的替代设计技术,因为它可以通过融合低保真和高保真数据来平衡模型精度和样品制备成本。然而,随着问题维数的增加,建立多保真度Kriging模型的成本显着增加。针对这一问题,提出了一种高效的分层克里金建模方法。在建立低保真模型时,利用最大信息系数计算超参数的相对值。由此,将确定超参数的极大似然估计问题转化为一维优化问题,可以高效求解,从而显著提高建模效率。局部搜索进一步利用超参数的搜索空间来提高模型精度。高保真度模型以类似的方式建立,其中低保真度模型的超参数作为高保真度模型的超参数的相对值。所提出的方法的性能与传统的调整策略进行了比较,通过测试他们超过10个分析问题和工程问题的建模的压缩机转子的等熵效率。实验结果表明,该方法的建模时间显着减少,而不牺牲模型的精度。对于压气机转子等熵效率的建模,与传统的策略相比,所提出的方法的成本节省约90%。同时,该方法具有较高的精度。
2022-12-31 cs.LG
Modeling Hierarchical Structures with Continuous Recursive Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
递归神经网络(RvNN),根据其底层的层次句法结构组成序列,在几个自然语言处理任务中表现良好,与没有结构偏差的类似模型相比。然而,传统的RvNN无法自己在纯文本序列中诱导潜在结构。已经提出了几种扩展来克服这种限制。然而,这些扩展往往依赖于代理梯度或强化学习,代价是更高的偏差或方差。在这项工作中,我们提出了连续递归神经网络(CRvNN)作为一个反向传播友好的替代方案,以解决上述限制。这是通过将连续弛豫结合到诱导结构来完成的。我们证明了CRvNN在逻辑推理和ListOps等具有挑战性的合成任务中具有很强的性能。我们还表明,CRvNN在现实世界的任务,如情感分析和自然语言推理上的表现优于或优于先前的潜在结构模型。
2021-06-10 cs.AI cs.CL cs.LG
A Kernel for Hierarchical Parameter Spaces
我们定义了一个家庭的混合连续/离散的分层参数空间的核,并证明他们是正定的。
2013-10-21 cs.LG stat.ML
End-to-End Modeling Hierarchical Time Series Using Autoregressive Transformer and Conditional Normalizing Flow based Reconciliation
Ant Group(蚂蚁集团)
提出基于条件归一化流和自回归Transformer的端到端分层时间序列预测模型,无需后处理即可同时完成预测与协调,在四个真实数据集上验证了方法有效性。
2025-03-02 cs.LG
Hierarchical Bayesian Regression for Multi-Site Normative Modeling of Neuroimaging Data
Radboud University(拉德堡德大学);Radboud University Medical Centre(拉德堡德大学医学中心);University of Oslo(奥斯陆大学);Oslo University Hospital(奥斯陆大学医院);King’s College London(伦敦国王学院)
临床神经影像学最近见证了数据可用性的爆炸性增长,这使得研究临床队列中的异质性成为人们关注的焦点。规范建模是实现这一目标的一个新兴统计工具。然而,其应用在技术上仍然具有挑战性,这是由于在适当地处理干扰变化方面的困难,例如由于图像采集设备的可变性。在这里,在一个完全概率的框架,我们提出了一个应用程序的层次贝叶斯回归(HBR)多站点规范建模。我们的实验结果证实了HBR的优越性,在获得更准确的规范范围的大型多站点神经影像学数据相比,广泛使用的方法。这提供了以下可能性:i)在大型多站点数据上学习结构和功能大脑测量的规范范围; ii)在本地小数据上重新校准和重用学习的模型;因此,HBR关闭了将规范建模应用为精神障碍诊断和预后的医学工具的技术循环。
2020-05-25 cs.LG stat.AP stat.ML
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析,揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
Hierarchically Gated Recurrent Neural Network for Sequence Modeling
OpenNLPLab, Shanghai Artificial Intelligence Laboratory(上海人工智能实验室 OpenNLPLab);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对现有线性RNN忽略循环内遗忘门作用的问题,提出分层门控循环神经网络HGRN,通过随层数单调递增的可学习遗忘门下限实现长短依赖分层建模,在多项任务上验证了有效性与效率。
2023-11-08 cs.CL cs.LG
Cooperative Hierarchical Dirichlet Processes: Superposition vs. Maximization
University of Technology Sydney(悉尼科技大学)
协同层次结构是文本挖掘(作者-论文-词)和多标签分类(标签-实例-特征)等领域中常见的重要数据结构。著名的贝叶斯方法的合作层次结构建模大多是基于主题模型。然而,这些方法存在一个严重的问题,即隐藏主题/因子的数量需要预先确定,并且不适当的数量可能导致过拟合或欠拟合。解决这个问题的一个优雅的方法是贝叶斯非参数学习,但在这方面的现有工作仍然不能适用于合作的层次结构建模。在本文中,我们提出了一个合作的层次狄利克雷过程(CHDP),以填补这一空白。在一个合作的层次结构中的每个节点被分配一个Dirichlet过程来模拟其权重的无限隐藏的因素/主题。结合层次Dirichlet过程的测度继承,讨论了两种测度合作,即,叠加和最大化被定义为捕获协作分层结构中的多对多关系。此外,两个建设性的表示CHDP,即,断棒和国际餐厅的过程中,旨在方便模型的推理。对具有协同层次结构的合成数据和真实数据的实验表明了CHDP的协同层次结构建模的特性和能力及其在实际应用中的潜力。
2017-07-18 cs.LG stat.ML
Modeling Heterogeneous Hierarchies with Relation-specific Hyperbolic Cones
Tsinghua University(清华大学);Stanford University(斯坦福大学)
层次关系对于组织由知识图谱(KG)捕获的人类知识是普遍的和必不可少的。层次关系的关键属性是它们在实体上引入了偏序,这需要被建模以允许层次推理。然而,目前的KG嵌入只能对单个全局层次结构(单个全局偏序)进行建模,并且无法对单个KG中存在的多个异构层次结构进行建模。在这里,我们提出了锥(锥嵌入),KG嵌入模型,能够同时建模多个层次以及非层次关系的知识图谱。ConE将实体嵌入到双曲锥中,并将关系建模为锥之间的转换。特别地,锥E在双曲嵌入空间的不同子空间中使用锥包含约束来捕获多个异构层次。在标准知识图谱基准测试上的实验表明,ConE在层次推理任务和层次图上的知识图谱完成任务上均获得了最佳性能.特别是,我们的方法在WN18RR上产生了45.3%的新的最先进的命中率,在DDB14上产生了16.1%的命中率(0.231 MRR)。对于层次推理任务,我们的方法在三个数据集上的平均性能比以前的最佳结果高出20%。
2021-10-30 cs.LG cs.SI
Topic Modeling of Hierarchical Corpora
University of California, San Diego(加州大学圣地亚哥分校)
本文研究了多层次语料库中的主题建模问题。我们探索这个问题的参数方法,假设主题的数量是已知的,或者可以通过交叉验证来估计。我们考虑的模型可以被看作是特殊的(有限维)层次狄利克雷过程(HDPs)的实例。对于这些模型,我们表明,存在一个简单的变分近似概率推理。该近似依赖于一个以前未利用的不等式,该不等式处理模型层次结构中相邻级别的狄利克雷潜变量之间的条件依赖性。我们将我们的方法与现有的非参数HDP实现进行比较。在几个基准测试中,我们发现我们的方法比吉布斯抽样更快,并且能够比现有的变分方法学习更多的预测模型。最后,我们证明了大规模的可行性,我们的方法对两个新的可用语料库的研究人员在计算机安全-一个有350,000个文件和超过6,000个内部子类别,另一个有五个层次的深层结构。
2015-04-13 cs.IR cs.LG stat.ML
Hierarchical Latent Relation Modeling for Collaborative Metric Learning
Deezer Research(迪泽尔研究院);LIX, École Polytechnique(巴黎综合理工学院LIX实验室)
协作度量学习(CML)是近年来兴起的一种基于隐式反馈协同过滤的推荐方法。然而,标准的CML方法学习固定的用户和项目表示,这无法捕捉用户的复杂兴趣。CML的现有扩展也忽略了用户-项目关系的异质性,即用户可以同时喜欢非常不同的项目,或潜在的项目-项目关系,即用户对项目的偏好不仅取决于其内在特征,而且还取决于他们以前与之交互的项目。在本文中,我们提出了一个分层的CML模型,共同捕捉潜在的用户项目和项目项目之间的关系,从隐式数据。我们的方法受到来自知识图谱嵌入的翻译机制的启发,并利用基于记忆的注意力网络。我们通过在几个真实数据集上的推荐任务上优于现有的CML模型,实证地展示了这种联合关系建模的相关性。我们的实验还强调了当前CML关系模型在非常稀疏的数据集上的局限性。
2021-07-26 cs.IR cs.LG
Recursion Aware Modeling and Discovery For Hierarchical Software Event Log Analysis (Extended)
Eindhoven University of Technology(埃因霍温理工大学)
这篇扩展的论文提出了1)一个新的层次结构和递归扩展的过程树模型; 2)第一,递归感知的过程模型发现技术,利用事件日志中的层次信息,通常可用于软件系统。这种技术使我们能够分析在现实生活中的条件下,在多个层次的粒度的软件系统的操作过程。这项工作可以定位在逆向工程和流程挖掘之间。所提出的方法的实现可作为ProM插件。基于真实(软件)事件日志的实验结果证明了该方法的可行性和实用性,并显示了通过利用可用的层次结构来加速发现的巨大潜力。
2017-10-17 cs.LG cs.SE
Speech Modeling with a Hierarchical Transformer Dynamical VAE
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院)
本文提出层级Transformer动态变分自编码器(HiT-DVAE),用于语音建模,其优于其他DVAE且训练更简单,有望用于语音增强等下游任务。
2023-05-10 cs.LG cs.SD eess.AS
Green Hierarchical Vision Transformer for Masked Image Modeling
The University of Tokyo(东京大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学)
提出了一种基于层次化视觉Transformer的掩码图像建模方法,该方法允许层次化视觉变换器丢弃掩模图像块,只对可见图像块进行操作.我们的方法包括三个关键设计。首先,对于窗口注意力,我们提出了一个组窗口注意力计划以下的分治策略。为了减轻自我注意力的二次复杂性。块的数量、组注意力促进了均匀划分,即任意大小的每个局部窗口内的可见块可以以相等的大小被分组,其中然后在每个组内执行掩蔽的自注意力。其次,通过动态规划算法进一步改进分组策略,以最小化注意力在分组块上的总计算开销。第三,对于卷积层,我们将其转换为稀疏卷积,该稀疏卷积与稀疏数据无缝地工作,即,MIM中可见的补丁。因此,MIM现在可以以绿色和高效的方式处理大多数(如果不是全部)分层ViT。例如,我们可以训练分层ViT,例如,Swin Transformer和Twins Transformer,约快2.7 $\times$,并将GPU内存使用量减少70%,同时在ImageNet分类上仍具有竞争力的性能,并在下游COCO目标检测基准测试中具有优势。代码和预训练模型已在https://github.com/LayneH/GreenMIM上公开提供。
2022-10-14 cs.CV cs.LG
Fractal Flow: Hierarchical and Interpretable Normalizing Flow via Topic Modeling and Recursive Strategy
School of Mathematics Harbin Institute of Technology(哈尔滨工业大学数学学院);School of Mathematics and Institute for Artificial Intelligence Harbin Instiute of Technology(哈尔滨工业大学数学学院和人工智能研究院);School of Earth and Space Sciences and Institute for Artificial Intelligence Peking University(北京大学地球和空间科学学院和人工智能研究院)
本文提出分形流,通过结合Kolmogorov-Arnold网络、Latent Dirichlet Allocation和递归模块化设计,构建层次化可解释的归一化流,在多个数据集上实现潜在聚类、可控生成和更高估计精度。
2025-08-27 cs.LG stat.ML
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement
Harvard University(哈佛大学)
在表示学习中,最近人们对开发算法来解开数据集背后的地面真实生成因素以及量化这种情况如何充分发生的度量感兴趣。然而,这些算法和指标通常假设表示和地面实况因子都是平坦的,连续的和因式分解的,而许多现实世界的生成过程涉及丰富的层次结构,离散和连续变量的混合物,它们之间的依赖性,甚至变化的内在维度。在这项工作中,我们开发的基准,算法和学习这种层次表示的指标。
2022-04-08 cs.AI cs.LG
A Hierarchical Approach to Neural Context-Aware Modeling
Institute for Anthropomatics and Robotics(人类学与机器人研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们提出了一种新的递归神经网络拓扑结构,通过结合更广泛的背景来增强最先进的机器学习系统。我们的方法克服了最近的限制,通过多层计算方法来生成一个抽象的上下文表示扩展的叙述。因此,所开发的系统捕获的叙事词的水平,话语水平,和上下文水平。通过分层设置,我们提出的模型总结了每个级别上最显着的信息,并创建一个抽象的表示扩展的上下文。随后,我们使用这种表示来增强神经语言处理系统的语义错误检测的任务。为了展示新引入的拓扑结构的潜力,我们将该方法与包括标准神经语言模型和监督二进制分类网络的上下文无关设置进行比较。错误检测任务的性能指标显示了分层上下文感知拓扑的优势,无监督模型的基线相对提高了12.75%,有监督模型的基线相对提高了20.37%。
2018-08-06 cs.CL cs.LG stat.ML
Hierarchical Generative Modeling of Melodic Vocal Contours in Hindustani Classical Music
Mila, Quebec Artificial Intelligence Institute(魁北克人工智能研究所Mila);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind)
本文提出GaMaDHaNi,一种两级分层音频生成模型,通过精细量化的音高轮廓作为中间表示,解决了印度斯坦音乐中旋律细节捕捉不足的问题,并展示了其在人机协作交互中的潜力。
2024-08-26 cs.AI cs.LG cs.SD
Character-Level Language Modeling with Hierarchical Recurrent Neural Networks
Seoul National University(首尔国立大学)
基于递归神经网络(RNN)的字符级语言模型(CLM)对于建模词汇表外的单词非常有用。然而,它们的性能通常比单词级语言模型(WLM)差得多,因为CLM需要考虑更长的令牌历史来正确预测下一个。我们通过提出分层RNN架构来解决这个问题,该架构由具有不同时标的多个模块组成。尽管有多时标结构,但输入和输出层使用字符级时钟操作,这使得现有的RNN CLM训练方法可以直接应用而无需任何修改。我们的CLM模型显示出更好的困惑比Kneser-Ney(KN)5克WLM在十亿字基准只有2%的参数。此外,我们在华尔街日报(WSJ)语料库上提供了实时字符级端到端语音识别示例,其中用所提出的模型取代传统的单时钟RNN CLM,即使参数的数量减少到30%,也能获得更好的识别精度。
2017-02-02 cs.CL cs.LG cs.NE
ALaRM: Align Language Models via Hierarchical Rewards Modeling
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院);School of Data Science, Fudan University(复旦大学数据科学学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能与复杂系统研究院)
ALaRM框架通过整合整体与特定方面奖励并基于一致性过滤组合,在RLHF中建模分层奖励,提升LLM与人类偏好对齐,在长问答和机器翻译任务上优于现有基线。
2024-03-16 cs.AI cs.CL cs.LG
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi(德里印度理工学院);Adobe(Adobe公司);SUNY-Buffalo(纽约州立大学布法罗分校)
自动语音评分(Automatic Speech Scoring,ASS)是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战,如开放语法,可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而,大多数这些方法都集中在从单个音频中提取特征,这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术,称为说话者条件分层建模。在我们的技术中,我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量,并将它们作为额外的特定于说话者的上下文提供给我们的网络,以获得特定的响应。我们将我们的技术与强基线进行比较,发现这种建模将模型的平均性能提高了6.92%(最大值= 12.86%,最小值= 4.51%)。我们进一步展示了定量和定性的见解,这一额外的背景下,在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders
The Chinese University of Hong Kong(香港中文大学)
针对帧级AMT需手动阈值、LM方法难处理长序列的问题,提出结合预训练卷帘编码器与LM解码器的分层钢琴转录方法,显著提升F1并可作为通用增强插件。
2025-01-07 cs.AI cs.LG cs.SD