Tokenised Flow Matching for Hierarchical Simulation Based Inference
Imperial College London（帝国理工学院伦敦分校）；University of Oxford（牛津大学）
本文提出基于似然因子分解的令牌化流匹配方法，通过单站点模拟训练以提升分层模拟推理效率，并在真实传染病和计算流体动力学模型中验证其效果。
2026-04-22 cs.AI cs.LG
Hierarchical Discrete Flow Matching for Graph Generation
Department of Computer Science, University of Geneva, Switzerland（瑞士日内瓦大学计算机科学系）；DMML Group, Geneva School for Business administration HES-SO, Switzerland（瑞士日内瓦高等商学院DMML研究组）
本文提出分层生成框架，通过减少节点对评估数量和离散流匹配降低去噪迭代次数，提升图生成效率与效果。
2026-03-31 cs.LG
Global Optimization By Gradient From Hierarchical Score-Matching Spaces
本文提出一种基于分数匹配的梯度优化方法，统一处理各种复杂约束的优化问题，通过实验验证其有效性，并揭示了全局优化与扩散生成模型之间的深层联系。
2026-03-18 cs.LG
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
该博士论文围绕视频中的时空视觉注意力建模，提出层次化表示方法，包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Bridging the Physics-Data Gap with FNO-Guided Conditional Flow Matching: Designing Inductive Bias through Hierarchical Physical Constraints
Kyushu Institute of Technology Department of Artificial Intelligence（九州工业大学人工智能系）
提出分层物理约束与FNO引导的条件流匹配框架，嵌入物理定律层级，提升时间序列生成的物理一致性和预测性能。
2025-10-09 cs.LG
Hierarchical Rectified Flow Matching with Mini-Batch Couplings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出在分层整流流匹配中引入小批量耦合机制，以逐步调整不同层级速度分布的复杂度，并通过合成数据与图像数据实验验证了该方法的有效性。
2025-07-17 cs.CV cs.LG
From Orbit Matching to Docking: A Hierarchical Reinforcement-Learning Approach to Multiphase Rendezvous Trajectory Design
Massachusetts Institute of Technology（麻省理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本研究提出分层强化学习框架，训练五个阶段专用策略，由高层管理者策略切换，实现从轨道匹配到对接的完整自主RPO轨迹设计，性能优于固定顺序启发式方法。
2026-10-14 cs.LG cs.RO cs.SY
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research（谷歌研究院）
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵（H-Matrix）的矩阵结构，并且具有线性的运行时间和存储复杂度。我们进行了大量的实验，以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议，在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度，模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
HATSolver: Learning Groebner Bases with Hierarchical Attention Transformers
FAIR, Meta Superintelligence Labs（FAIR、Meta超智能实验室）；Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室）；EPITA, EPITA Research Lab (LRE)（EPITA、EPITA研究实验室）
HATSolver通过层次注意力变换器改进格式基计算方法，利用树状结构的归纳偏差实现计算效率提升，结合课程学习解决更大规模的多项式方程组问题。
2025-12-09 cs.AI cs.LG
ProHiFlo: Hierarchical Flow Matching with Functional Guidance for De Novo Protein Generation
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Tongji University（同济大学）
提出ProHiFlo，一种分层流匹配框架，通过粗到细生成、功能引导和自适应SE(3)等变架构，实现高效、准确的从头蛋白质生成，在酶活性位点支架任务中成功率58.9%。
2026-06-11 cs.CL cs.LG
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合，实现多尺度时间建模，在能源数据集上预测精度提升15-40%，并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Multi-Agent Actor-Critic with Hierarchical Graph Attention Network
KAIST（韩国科学技术院）
大多数以前的研究多智能体强化学习集中在推导分散和合作的政策，以最大限度地提高共同的奖励，很少考虑训练的政策，以新的任务的可移植性。这可以防止将此类策略应用于更复杂的多代理任务。为了解决这些局限性，我们提出了一个模型，进行表示学习的多个代理使用层次图注意力网络和策略学习使用多代理actor-critic。层次图注意力网络是专门设计来模拟多个代理之间的层次关系，要么相互合作或竞争，以获得更先进的战略政策。两个注意力网络，代理间和组间的注意力层，被用来有效地模拟个人和群体层次的相互作用，分别。这两个注意力网络已被证明有助于将学到的策略转移到具有不同代理成分的新任务中，并允许人们解释学到的策略。经验上，我们证明，该模型优于现有的方法在几个混合的合作和竞争的任务。
2019-11-27 cs.AI cs.LG cs.MA
Pruning and Sparsemax Methods for Hierarchical Attention Networks
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID
本文介绍并评价了两种新颖的层次注意力网络模型[Yang et al.，- i）分层修剪注意力网络，其从分类过程中去除不相关的单词和句子，以减少文档分类准确性中的潜在噪声，以及ii）分层Sparsemax注意力网络，其用Sparsemax代替注意力机制中使用的Softmax函数[Martins和Astudillo，2016]，能够更好地处理重要性分布，其中许多单词或句子具有非常低的概率。我们对IMDB Review的情感分析数据集的实证评估显示，这两种方法都能够匹配当前最先进的方法所获得的结果（但是没有任何显着的好处）。我们所有的源代码都可以在https：//www.example.com上找到。github.com/jmribeiro/dsl-project
2020-04-08 cs.CL cs.LG
Tree-structured Attention with Hierarchical Accumulation
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
类似选区树的分层结构已经被证明对于各种自然语言处理（NLP）任务是有效的。然而，很明显，像Transformer这样的基于序列的最新技术（SOTA）模型很难固有地编码这样的结构。另一方面，像Tree-LSTM这样的专用模型，虽然显式地对层次结构进行建模，但性能不如Transformer。在本文中，我们试图弥合这一差距与“分层积累”编码解析树结构到自注意在恒定的时间复杂度。我们的方法优于SOTA方法在四个IWITOS翻译任务和WMT'14英语-德语翻译任务。它还在三个文本分类任务上对Transformer和Tree-LSTM进行了改进。我们进一步证明，使用分层先验可以弥补数据短缺，我们的模型更喜欢短语级的注意力令牌级的注意力。
2020-02-19 cs.CL cs.LG
Hierarchical Global Attention (HGA)
BMW Group（宝马集团）
提出分层全局注意力（HGA），作为预训练长上下文Transformer中密集因果注意力的即插即用替代方案，通过分层路由实现高效长上下文处理，在单GPU上支持64K token上下文，近似误差极小。
2026-07-01 cs.AI cs.LG
Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs
ucsd（加州大学圣迭戈分校）；umich（密歇根大学）；qualcomm（高通AI研究）；nvidia
Double-P通过分层Top-P稀疏注意力机制，优化长上下文LLM的解码效率，实现更高的准确性和更快的处理速度。
2026-02-05 cs.AI cs.LG
HiCI: Hierarchical Construction-Integration for Long-Context Attention
School of Computer Science, University of Sydney（悉尼大学计算机科学学院）；Westlake University（西湖大学）
HiCI通过层次化构造-整合模块，提升长上下文注意力模型的性能，通过参数高效适应LLaMA-2，将上下文长度扩展至10万和6.4万token，并在多个基准测试中超越现有模型。
2026-07-21 cs.AI cs.CL cs.LG
Hierarchical Self-Attention: Generalizing Neural Attention Mechanics to Multi-Scale Problems
Microsoft Redmond, WA 98052（微软红mond分校）
本文提出一种基于熵最小化推导的层次化自注意力机制，用于处理多尺度、多模态数据，并设计动态规划高效算法，既能从头训练也能零样本注入预训练Transformer以提升效率。
2025-09-18 cs.AI cs.LG cs.NE
Learning Bi-typed Multi-relational Heterogeneous Graph via Dual Hierarchical Attention Networks
Southwestern University of Finance and Economics（西南财经大学）；Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）
双型多关系异构图（BMHG）是实际应用中最常见的图之一，如学术网络、电子商务用户行为图、企业知识图谱等。如何学习每个节点的数值表示来表征精细结构是一个关键而具有挑战性的问题。然而，以往的研究大多将BMHG中的所有节点关系视为同一类关系，而没有区分BMHG中两类节点的类内关系和类间关系的不同特征，导致重要结构信息的丢失。为了解决这个问题，我们提出了一种新的双层次注意力网络（Dual Hierarchical Attention Networks，DHAN）的基础上的双类型多关系异构图学习全面的节点表示与类内和类间的注意力为基础的编码器下的分层机制。具体来说，前者的编码器聚合来自相同类型的节点的信息，而后者聚合来自其不同类型的邻居的节点表示。此外，充分模型的节点多关系信息BMHG，我们采用了新提出的层次机制。通过这样做，提出的双层次注意力操作，使我们的模型，以充分捕捉的双类型多关系异构图的复杂结构。对国家的最先进的各种任务的实验结果充分证实了DHAN在学习节点表示的BMHG的能力。
2022-01-29 cs.AI cs.LG
Network Level Spatial Temporal Traffic State Forecasting with Hierarchical-Attention-LSTM (HierAttnLSTM)
University of Tennessee at Chattanooga（田纳西大学查塔努加分校）
针对网络级交通状态预测需求，本文提出分层注意力LSTM（HierAttnLSTM）模型，整合不同层级LSTM状态并引入注意力机制，在PeMS数据集上优于基线模型，提升预测精度且能识别异常拥堵，数据代码开源。
2025-02-14 cs.AI cs.LG
Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction
Alibaba Group（阿里巴巴集团）
深度兴趣网络（DIN）是一种使用注意力机制从历史行为中捕获用户兴趣的最新模型。用户兴趣直观地遵循分层模式，使得用户通常从较高级别然后到较低级别抽象示出兴趣。在注意力网络中对这种兴趣层次进行建模可以从根本上提高用户行为的表示。因此，我们提出了一种改进的DIN模型任意的兴趣层次：层次注意力网络（DHAN）的深度兴趣。在该模型中，第一个关注层上引入多维层次结构，关注单个项目，同一维度下的后续关注层关注在较低层之上的更高层次。为了支持多维层次结构的建模，引入了一种扩展机制来捕获一个到多个层次结构。为了验证该模型的有效性，将简化的DHAN应用于点击率（CTR）预测，并在三个公共数据集上进行了实验，实验结果表明，DHAN模型能够有效地捕捉用户在不同维度（如类别、价格或品牌）上的兴趣。与DIN相比，DHAN的AUC从12%显著提高到21%，显示出其优越性。DHAN还与另一种最先进的模型深度兴趣进化网络（DIEN）进行了比较，该模型对时间兴趣进行了建模。简化的DHAN的AUC也比DIEN略有提高，从1.0%提高到1.7%。一个潜在的未来的工作可以结合DHAN和DIEN模型的时间和层次的利益。
2020-05-22 cs.AI cs.IR cs.LG
Hierarchical Attention Generates Better Proofs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Qi Zhi Institute（上海启智研究院）；IIIS, Tsinghua University（清华大学智能技术学院长）
本文提出Hierarchical Attention正则化方法，通过建立五级层次结构对齐LLMs注意力机制与数学推理结构，在miniF2F和ProofNet上分别提升证明成功率2.05%和1.69%，并显著降低证明复杂度。
2025-04-27 cs.AI cs.CL cs.LG
HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification
Fudan University（复旦大学）
极端多标签文本分类（XMTC）解决了从极端尺度标签集中用最相关的标签标记每个文本的问题。传统的方法使用词袋（BOW）表示，没有上下文信息作为其特征。最先进的基于深度学习的方法AttentionXML使用递归神经网络（RNN）和多标签注意力，很难处理极端规模（数十万个标签）问题。为了解决这个问题，我们提出了我们的HAXMLNet，它使用了一个高效和有效的层次结构与多标签的注意。实验结果表明，HAXMLNet达到了竞争力的性能与其他国家的最先进的方法。
2019-03-24 cs.IR cs.LG stat.ML
Matching options to tasks using Option-Indexed Hierarchical Reinforcement Learning
Google Research India（谷歌印度研究院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
分层强化学习中的选项框架将总体目标分解为选项或更简单的任务和相关策略的组合，允许在动作空间中进行抽象。理想情况下，这些选项可以在不同的更高级别的目标中重用;事实上，这种重用对于实现持续学习代理的愿景是必要的，该代理可以有效地利用其先前的经验。以前的方法只提出了有限的形式转移的预先学习的选项，以新的任务设置。我们提出了一种新的选项索引方法分层学习（OI-HRL），在那里我们学习选项和环境中存在的项目之间的亲和力函数。这使我们能够有效地重用一个大型的预训练选项库，在测试时进行zero-shot泛化，将目标导向学习限制在与手头任务相关的选项上。我们开发了一个元训练循环，通过将有关检索到的选项与更高级别目标的相关性的反馈纳入HRL问题中，来学习选项和环境的表示。我们在两个模拟环境中评估了OI-HRL-CraftWorld和AI 2 THOR环境-并表明我们实现了与Oracle基线竞争的性能，并且在具有可用于学习分层策略的整个选项池的基线上获得了实质性收益。
2022-06-12 cs.LG
DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
Tsinghua University（清华大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院）；Instituto de Telecomunicações（电信研究院）；Carnegie Mellon University（卡内基梅隆大学）；Sapienza University of Rome（罗马萨皮恩扎大学）；University of Edinburgh（爱丁堡大学）；TransPerfect（TransPerfect公司）；ELLIS Unit Lisbon（里斯本ELLIS单位）
本研究提出DashAttention，一种可微且自适应的稀疏分层注意力机制，通过自适应稀疏α-entmax变换选择可变数量的块，从而在保持整个层次结构可微的同时，提升长上下文建模能力，实验表明其在高稀疏度下优于现有方法。
2026-05-18 cs.AI cs.CL cs.LG
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego（加州大学圣迭戈分校）；Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
我们提出了一种方法来创建文件表示，反映其内部结构。我们修改Tree-LSTM，将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此，我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明，结构感知编码器可以用来提高性能的文件分类。我们证明，我们的方法是弹性的变化的基本构建块，因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上，我们的模型实现了与最先进技术竞争的性能。这一结果表明，结构树-LSTM可以利用文本结构以外的依赖关系，例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Hierarchical Spatial-Temporal Graph-Enhanced Model for Map-Matching
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；Metasequoia Intelligence（元序智能）；The Ohio State University（俄亥俄州立大学）
本文提出HSTGMatch模型，通过层次自监督学习和时空监督学习提升地图匹配性能，引入层次轨迹表示和自适应轨迹邻接图，解决大规模数据标注困难和时空关系建模问题。
2026-03-25 cs.DB cs.IR cs.LG
Attention-Wrapped Hierarchical BLSTMs for DDI Extraction
Ege University（埃格大学）
药物相互作用（DDI）提取是指努力生成手工或自动工具，从生物医学领域的文本和文献中提取嵌入的信息。由于手工工作的限制和速度较低，机器学习或深度学习方法在提取DDI方面变得越来越流行。在这项研究中，我们提出了一种新的通用深度学习模型，该模型将分层双向LSTM与两个注意力机制包装在一起，该模型基于DDIExtraction-2013语料库，优于最先进的DDI提取模型。该模型的宏观F1值为0.785，精度为0.80。
2019-07-31 cs.IR cs.LG stat.ML
DiaNet: BERT and Hierarchical Attention Multi-Task Learning of Fine-Grained Dialect
University of British Columbia（不列颠哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
语言变体和方言预测是语言处理的一项重要任务，有着广泛的应用。对于阿拉伯语，约3亿人的母语，大多数变体仍然不受支持。为了缓解这一瓶颈，我们提出了一个非常大规模的数据集，涵盖了来自所有21个阿拉伯国家的319个城市。我们介绍了一个层次的注意力多任务学习（HA-MTL）的方言识别方法，利用我们的数据在城市，州和国家层面。我们还评估了使用BERT的三个任务，比较它的MTL方法。我们对数据和模型进行基准测试并发布。
2019-10-31 cs.CL cs.LG
Interpretable Hierarchical Attention Network for Medical Condition Identification
Elevance Health, Inc.（Elevance Health公司）
本文提出IHAN分层注意力网络，利用三年理赔与EMR病史预测3期慢性肾脏病，并通过三级注意力提供事件级可解释性。
2024-12-04 cs.LG
H-VECTORS: Utterance-level Speaker Embedding Using A Hierarchical Attention Model
University of Sheffield（谢菲尔德大学）
本文提出了一种用于说话人辨识的层次化注意力网络。由于话语的不同部分可能对说话人身份有不同的贡献，因此使用分层结构的目的是局部和全局地学习说话人相关信息。在所提出的方法中，帧级编码器和注意力被施加在输入话语的片段上，并生成单独的片段向量。然后，段级注意力被施加在段向量上以构建话语表示。为了评估所提出的方法的有效性，NIST SRE 2008第1部分数据集用于训练，和两个数据集，Switchboard蜂窝第1部分和CallHome美国英语语音，被用来评估质量提取的话语嵌入说话人辨识和验证任务。通过与两个基线X-vector、X-vector+Attention的比较，结果表明，H-vector可以获得更好的性能。此外，当使用t-SNE映射到2D空间中时，所提取的话语级嵌入比两个基线更具鉴别力。
2019-10-19 cs.CL cs.LG cs.SD
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden（电子工程系，林霍普大学）；RISE Research Institutes of Sweden, Linköping, Sweden（瑞典RISE研究机构）
层次化位移混合通过分布计算token交互，实现线性时间复杂度，同时在性能上接近或超越传统softmax注意力，且减少计算成本。
2026-01-30 cs.LG
Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
分层注意力网络（HAN）已经取得了很大的进步，但它有一个主要的局限性：在第一层，每个句子都是完全孤立地编码的。在这项工作中，我们提出并比较了几个修改的HAN中的句子编码器能够上下文感知的注意力决策（CAHAN）。此外，我们提出了一个双向的文件编码器，处理文件的前进和后退，使用前后的句子作为上下文。在三个大规模情感和主题分类数据集上的实验表明，CAHAN的双向版本在任何地方都优于HAN，而计算时间只有适度的增加。虽然结果是有希望的，但我们预计CAHAN的优越性在需要更深入理解输入文档的任务（如抽象摘要）上会更加明显。代码是公开的。
2019-08-16 cs.CL cs.LG
Open-Ended Long-Form Video Question Answering via Hierarchical Convolutional Self-Attention Networks
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
开放式视频问答的目标是根据给定的问题从参考的视频内容自动生成自然语言答案。目前，大多数现有的方法集中在短形式的视频问答与多模态递归编码器-解码器网络。虽然这些工作已经取得了可喜的成绩，他们可能仍然是无效的应用于长格式视频问答由于缺乏远程依赖建模和沉重的计算成本的痛苦。为了解决这些问题，我们提出了一个快速的分层卷积自注意编码器-解码器网络（HCSA）。具体地说，我们首先开发了一个分层卷积自注意编码器来有效地对长格式视频内容进行建模，该编码器为视频序列构建了分层结构，并从视频上下文中捕获了问题感知的长距离依赖关系。然后，我们设计了一个多尺度注意解码器，将多层视频表示的答案生成，这避免了顶部编码器层的信息丢失。大量的实验表明了该方法的有效性和效率。
2019-06-28 cs.CV cs.LG
Automatic Graphics Program Generation using Attention-Based Hierarchical Decoder
Xi’an Jiaotong University（西安交通大学）
深度学习的最新进展使得通过使用编码器-解码器框架将图形用户界面（GUI）的屏幕截图自动转换为代码成为可能。而通常采用的图像编码器（例如，CNN网络）可能能够将图像特征提取到期望的水平，将这些抽象图像特征解释为数百个代码令牌对基于RNN的代码生成器的解码能力提出了特定的挑战。考虑到用于描述GUI的代码通常是层次结构的，我们提出了一种新的基于注意力的层次代码生成模型，该模型可以在更精细的细节层次上描述GUI图像，同时也能够生成与GUI中图形元素的层次布局相一致的层次结构代码。我们的模型遵循编码器-解码器框架，其所有组件都可以以端到端的方式联合训练。实验结果表明，我们的方法优于其他当前国家的最先进的方法上公开可用的GUI代码数据集，以及由我们自己建立的数据集。
2018-10-26 cs.GR cs.LG stat.ML
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；New York University（纽约大学）
本文提出了MAST，一个新的模型，多模态抽象文本摘要，利用所有三种形式的信息-文本，音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战，从音频模态派生的信息，并提出了一个序列到序列的三模态分层注意力为基础的模型，克服了这些挑战，让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型（视频-文本）2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
A Hierarchical Attention Based Seq2seq Model for Chinese Lyrics Generation
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
本文对中文歌词的上下文感知生成进行了全面的研究。传统的文本生成模型是逐词生成序列或句子，没有考虑句子之间的上下文关系。针对歌词的特点，提出了一种基于层次注意力的Seq 2Seq（Sequence-to-Sequence）歌词生成模型。该模型通过对词级和句子级上下文信息的编码，提高了生成的主题相关性和一致性。一个大型的中文歌词语料库也被用于模型训练。最后，自动和人工评估的结果表明，我们的模型是能够组成完整的中文歌词与一个统一的主题约束。
2019-06-15 cs.CL cs.LG
Federated Multi-task Hierarchical Attention Model for Sensor Analytics
George Mason University（乔治梅森大学）；Stevens Institute of Technology（史蒂文斯理工学院）
传感器是现代物联网（IoT）应用不可或缺的一部分。有一个关键的需要，从这些系统的各个传感器获得的异构多变量时间数据的分析。在本文中，我们特别关注的问题，每个传感器的训练数据的稀缺量。我们提出了一种新的联邦多任务层次注意力模型（FATHOM），该模型联合训练来自多个传感器的分类/回归模型。所提出的模型的注意力机制试图从输入中提取特征表示，并学习跨多个传感器的时间维度上的共享表示。使用注意力机制和长短期记忆（LSTM）网络的组合来建模潜在的时间和非线性关系。我们发现，我们提出的方法在活动识别和环境监测数据集的分类和回归设置中优于广泛的竞争基线。我们进一步提供了我们的模型在输入传感器级别和中心时间级别上学习的特征表示的可视化。
2019-05-13 cs.LG stat.ML
Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification
Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）；Key Laboratory of Embedded System and Service Computing, Ministry of Education（教育部嵌入式系统与服务计算重点实验室）；Tongji University（同济大学）
跨领域情感分类是领域自适应和情感分类中的一项重要任务。由于域差异，在源域数据上训练的情感分类器可能不能很好地在目标域数据上工作。近年来，许多研究人员将深度神经网络模型用于跨领域情感分类任务，其中许多使用梯度反射层（GRL）来设计对抗性网络结构以训练域共享情感分类器。与这些方法不同的是，我们提出了分层注意力生成对抗网络（HAGAN），它交替地训练生成器和生成器，以产生一个文档表示，这是情感可区分的，但域不可区分。此外，HAGAN模型采用双向门控递归单元（Bi-GRU）将单词和句子的上下文信息编码到文档表示中。此外，HAGAN模型使用层次注意力机制来优化文档表示，并自动捕获主元和非主元。在Amazon评论数据集上的实验表明了HAGAN的有效性。
2019-03-27 cs.LG stat.ML
A Self-Attention Network for Hierarchical Data Structures with an Application to Claims Management
Allianz（安联集团）；University of Hamburg（汉堡大学）
保险公司每年必须处理数百万起索赔。虽然大多数索赔都是非欺诈性的，但欺诈检测是保险公司的核心。最终的目标是建立一个预测模型，挑出欺诈性索赔，并立即支付非欺诈性索赔。现代机器学习方法非常适合这类问题。医疗保健索赔通常具有分层且长度可变的数据结构。我们提出了一种基于分段前馈神经网络（深度学习）的模型和另一种基于自注意力神经网络的模型，用于索赔管理任务。我们表明，所提出的方法优于基于词袋的模型，手工设计的功能，以及基于卷积神经网络的模型，在200万医疗保健索赔的数据集。所提出的自注意力方法表现最好。
2018-08-30 cs.LG econ.EM stat.ML
Which Kind Is Better in Open-domain Multi-turn Dialog,Hierarchical or Non-hierarchical Models? An Empirical Study
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
目前，开放域生成式对话系统已经引起了学术界和工业界的广泛关注。尽管单轮对话生成取得了成功，但多轮对话生成仍然是一个很大的挑战。到目前为止，开放域多轮对话生成的模型主要有两种：层次模型和非层次模型。近年来，有研究表明，在实验条件下，分层模型优于非分层模型;同时，也有研究表明，分层模型优于非分层模型。由于缺乏充分的比较，目前还不清楚哪种模型在开放域多轮对话生成中更好。因此，在本文中，我们将在相同的实验设置下系统地测量几乎所有具有代表性的分层和非分层模型，以检查哪种模型更好。通过大量的实验，我们得到了以下三个重要结论：（1）除了HRAN模型外，几乎所有的层次模型在开域多轮对话生成方面都不如非层次模型。通过进一步分析，HRAN的优异性能主要取决于其词级注意力机制;（2）将词级注意力机制融入到其他层次模型中，这些模型的性能也会得到很大的提高。改进后的层次模型甚至显著优于非层次模型;（3）词级注意力机制之所以对层次模型如此强大，是因为它可以更有效地利用上下文信息，尤其是细粒度信息。此外，我们已经实现了所有的模型，并已经发布了代码。
2020-08-07 cs.CL cs.LG stat.ML
