Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
该博士论文围绕视频中的时空视觉注意力建模,提出层次化表示方法,包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
Hierarchical Industrial Demand Forecasting with Temporal and Uncertainty Explanations
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种用于分层工业需求预测的可解释性方法,通过分析时间序列和不确定性来提高预测的可解释性,帮助用户更好地理解预测结果并做出决策。
2026-03-06 cs.LG
Hierarchical Forecast Reconciliation for Urban Rail Transit Demand Prediction under Operational Disruptions
Technical University of Denmark (DTU)(丹麦技术大学)
针对城市轨道交通中站点与OD流预测不一致问题,提出首个层级协调框架,利用神经全连接协调器(FCR)学习非线性映射,确保结构一致性,在中断场景下OD预测误差降低达17.45%。
2026-09-30 cs.LG
Large Scale Hierarchical Industrial Demand Time-Series Forecasting incorporating Sparsity
Georgia Institute of Technology(佐治亚理工学院);The Dow Chemical Company(陶氏化学公司)
本文提出概率分层模型HAILS,通过自适应建模稀疏与密集时间序列并协调分层约束,解决了大规模工业需求预测中的稀疏性和可扩展性问题,在实际部署中显著提升了预测准确率。
2024-07-02 cs.LG stat.ME
Dynamic Graph Learning Based on Hierarchical Memory for Origin-Destination Demand Prediction
Beihang University(北京航空航天大学)
近年来,深度时空方法在交通预测中的应用迅速增长。然而,由于OD对的数量通常是站点数量的二次方,因此OD需求预测仍然是一个具有挑战性的问题。在这种情况下,大多数现有的时空方法无法处理这样一个大规模的空间关系。针对这一问题,提出了一种动态图表示学习框架,用于OD需求预测。特别是,首先提出了一个层次化的内存更新器,以维护每个节点的时间感知表示,并根据最近观察到的OD行程在连续时间和多个离散时间的方式更新的表示。其次,时空传播机制,提供了聚合表示的邻居节点沿随机时空路由,将起源和目的地作为两个不同的语义实体。最后,设计了一个目标函数,根据最新的节点表示来计算未来的OD需求,并解决了OD预测中的数据稀疏问题。在两个真实数据集上进行了大量的实验,实验结果证明了该方法的优越性。代码和数据可在https://github.com/Rising0321/HMOD上获得。
2022-05-29 cs.LG
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research(谷歌研究院)
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵(H-Matrix)的矩阵结构,并且具有线性的运行时间和存储复杂度。我们进行了大量的实验,以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议,在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度,模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
Pruning and Sparsemax Methods for Hierarchical Attention Networks
Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);INESC-ID
本文介绍并评价了两种新颖的层次注意力网络模型[Yang et al.,- i)分层修剪注意力网络,其从分类过程中去除不相关的单词和句子,以减少文档分类准确性中的潜在噪声,以及ii)分层Sparsemax注意力网络,其用Sparsemax代替注意力机制中使用的Softmax函数[Martins和Astudillo,2016],能够更好地处理重要性分布,其中许多单词或句子具有非常低的概率。我们对IMDB Review的情感分析数据集的实证评估显示,这两种方法都能够匹配当前最先进的方法所获得的结果(但是没有任何显着的好处)。我们所有的源代码都可以在https://www.example.com上找到。github.com/jmribeiro/dsl-project
2020-04-08 cs.CL cs.LG
Multi-Agent Actor-Critic with Hierarchical Graph Attention Network
KAIST(韩国科学技术院)
大多数以前的研究多智能体强化学习集中在推导分散和合作的政策,以最大限度地提高共同的奖励,很少考虑训练的政策,以新的任务的可移植性。这可以防止将此类策略应用于更复杂的多代理任务。为了解决这些局限性,我们提出了一个模型,进行表示学习的多个代理使用层次图注意力网络和策略学习使用多代理actor-critic。层次图注意力网络是专门设计来模拟多个代理之间的层次关系,要么相互合作或竞争,以获得更先进的战略政策。两个注意力网络,代理间和组间的注意力层,被用来有效地模拟个人和群体层次的相互作用,分别。这两个注意力网络已被证明有助于将学到的策略转移到具有不同代理成分的新任务中,并允许人们解释学到的策略。经验上,我们证明,该模型优于现有的方法在几个混合的合作和竞争的任务。
2019-11-27 cs.AI cs.LG cs.MA
HATSolver: Learning Groebner Bases with Hierarchical Attention Transformers
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);Sorbonne Université, CNRS, LIP6(索邦大学、国家科学研究中心、LIP6实验室);EPITA, EPITA Research Lab (LRE)(EPITA、EPITA研究实验室)
HATSolver通过层次注意力变换器改进格式基计算方法,利用树状结构的归纳偏差实现计算效率提升,结合课程学习解决更大规模的多项式方程组问题。
2025-12-09 cs.AI cs.LG
Automobile demand forecasting: Spatiotemporal and hierarchical modeling, life cycle dynamics, and user-generated online information
School of Management, Technical University of Munich(慕尼黑技术大学管理学院);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出了一种结合时空依赖性和用户生成在线信息的多层级汽车需求预测方法,利用LightGBM和混合整数线性规划提升预测精度,强调整数预测对运营的重要性。
2025-11-21 cs.LG stat.AP
Tree-structured Attention with Hierarchical Accumulation
Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
类似选区树的分层结构已经被证明对于各种自然语言处理(NLP)任务是有效的。然而,很明显,像Transformer这样的基于序列的最新技术(SOTA)模型很难固有地编码这样的结构。另一方面,像Tree-LSTM这样的专用模型,虽然显式地对层次结构进行建模,但性能不如Transformer。在本文中,我们试图弥合这一差距与“分层积累”编码解析树结构到自注意在恒定的时间复杂度。我们的方法优于SOTA方法在四个IWITOS翻译任务和WMT'14英语-德语翻译任务。它还在三个文本分类任务上对Transformer和Tree-LSTM进行了改进。我们进一步证明,使用分层先验可以弥补数据短缺,我们的模型更喜欢短语级的注意力令牌级的注意力。
2020-02-19 cs.CL cs.LG
HierCVAE: Hierarchical Attention-Driven Conditional Variational Autoencoders for Multi-Scale Temporal Modeling
HierCVAE通过层级注意力与条件变分自编码器结合,实现多尺度时间建模,在能源数据集上预测精度提升15-40%,并改善不确定性校准。
2025-08-26 cs.AI cs.LG
Hierarchical Self-Attention: Generalizing Neural Attention Mechanics to Multi-Scale Problems
Microsoft Redmond, WA 98052(微软红mond分校)
本文提出一种基于熵最小化推导的层次化自注意力机制,用于处理多尺度、多模态数据,并设计动态规划高效算法,既能从头训练也能零样本注入预训练Transformer以提升效率。
2025-09-18 cs.AI cs.LG cs.NE
HiCI: Hierarchical Construction-Integration for Long-Context Attention
School of Computer Science, University of Sydney(悉尼大学计算机科学学院);Westlake University(西湖大学)
HiCI通过层次化构造-整合模块,提升长上下文注意力模型的性能,通过参数高效适应LLaMA-2,将上下文长度扩展至10万和6.4万token,并在多个基准测试中超越现有模型。
2026-07-21 cs.AI cs.CL cs.LG
Hierarchical Evaluation Function: A Multi-Metric Approach for Optimizing Demand Forecasting Models
University of Santiago Chile(智利圣地亚哥大学)
分层评估函数通过整合多种指标优化需求预测模型,提升稳定性、泛化能力和鲁棒性,适用于复杂时间序列场景。
2025-12-20 cs.AI cs.LG cs.PF
Hierarchical Global Attention (HGA)
BMW Group(宝马集团)
提出分层全局注意力(HGA),作为预训练长上下文Transformer中密集因果注意力的即插即用替代方案,通过分层路由实现高效长上下文处理,在单GPU上支持64K token上下文,近似误差极小。
2026-07-01 cs.AI cs.LG
Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs
ucsd(加州大学圣迭戈分校);umich(密歇根大学);qualcomm(高通AI研究);nvidia
Double-P通过分层Top-P稀疏注意力机制,优化长上下文LLM的解码效率,实现更高的准确性和更快的处理速度。
2026-02-05 cs.AI cs.LG
Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction
Alibaba Group(阿里巴巴集团)
深度兴趣网络(DIN)是一种使用注意力机制从历史行为中捕获用户兴趣的最新模型。用户兴趣直观地遵循分层模式,使得用户通常从较高级别然后到较低级别抽象示出兴趣。在注意力网络中对这种兴趣层次进行建模可以从根本上提高用户行为的表示。因此,我们提出了一种改进的DIN模型任意的兴趣层次:层次注意力网络(DHAN)的深度兴趣。在该模型中,第一个关注层上引入多维层次结构,关注单个项目,同一维度下的后续关注层关注在较低层之上的更高层次。为了支持多维层次结构的建模,引入了一种扩展机制来捕获一个到多个层次结构。为了验证该模型的有效性,将简化的DHAN应用于点击率(CTR)预测,并在三个公共数据集上进行了实验,实验结果表明,DHAN模型能够有效地捕捉用户在不同维度(如类别、价格或品牌)上的兴趣。与DIN相比,DHAN的AUC从12%显著提高到21%,显示出其优越性。DHAN还与另一种最先进的模型深度兴趣进化网络(DIEN)进行了比较,该模型对时间兴趣进行了建模。简化的DHAN的AUC也比DIEN略有提高,从1.0%提高到1.7%。一个潜在的未来的工作可以结合DHAN和DIEN模型的时间和层次的利益。
2020-05-22 cs.AI cs.IR cs.LG
Hierarchical Attentional Hybrid Neural Networks for Document Classification
Universidade Federal de Pernambuco(伯南布哥联邦大学)
文档分类是一项具有挑战性的任务,具有重要的应用。解决这个问题的深度学习方法最近受到了广泛关注。尽管取得了进展,所提出的模型没有有效地将文档结构的知识纳入体系结构中,也没有考虑到单词和句子的上下文重要性。在本文中,我们提出了一种新的方法,结合卷积神经网络,门控递归单元,和注意力机制的文件分类任务。本文的主要贡献是通过卷积层的分层表示来提取更有意义的、可推广的和抽象的特征。本文提出的方法改进了目前基于注意力的文档分类方法的结果。
2019-06-28 cs.AI cs.CL cs.LG
HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification
Fudan University(复旦大学)
极端多标签文本分类(XMTC)解决了从极端尺度标签集中用最相关的标签标记每个文本的问题。传统的方法使用词袋(BOW)表示,没有上下文信息作为其特征。最先进的基于深度学习的方法AttentionXML使用递归神经网络(RNN)和多标签注意力,很难处理极端规模(数十万个标签)问题。为了解决这个问题,我们提出了我们的HAXMLNet,它使用了一个高效和有效的层次结构与多标签的注意。实验结果表明,HAXMLNet达到了竞争力的性能与其他国家的最先进的方法。
2019-03-24 cs.IR cs.LG stat.ML
Learning Bi-typed Multi-relational Heterogeneous Graph via Dual Hierarchical Attention Networks
Southwestern University of Finance and Economics(西南财经大学);Beihang University(北京航空航天大学);Kuaishou Technology(快手科技)
双型多关系异构图(BMHG)是实际应用中最常见的图之一,如学术网络、电子商务用户行为图、企业知识图谱等。如何学习每个节点的数值表示来表征精细结构是一个关键而具有挑战性的问题。然而,以往的研究大多将BMHG中的所有节点关系视为同一类关系,而没有区分BMHG中两类节点的类内关系和类间关系的不同特征,导致重要结构信息的丢失。为了解决这个问题,我们提出了一种新的双层次注意力网络(Dual Hierarchical Attention Networks,DHAN)的基础上的双类型多关系异构图学习全面的节点表示与类内和类间的注意力为基础的编码器下的分层机制。具体来说,前者的编码器聚合来自相同类型的节点的信息,而后者聚合来自其不同类型的邻居的节点表示。此外,充分模型的节点多关系信息BMHG,我们采用了新提出的层次机制。通过这样做,提出的双层次注意力操作,使我们的模型,以充分捕捉的双类型多关系异构图的复杂结构。对国家的最先进的各种任务的实验结果充分证实了DHAN在学习节点表示的BMHG的能力。
2022-01-29 cs.AI cs.LG
Hierarchical Neural Additive Models for Interpretable Demand Forecasts
Christian-Albrechts-University Kiel(基尔大学);Institute for Business(商务研究所)
本文提出面向时间序列的HNAM,通过用户指定的协变量交互层次增强NAM,在真实零售数据上兼顾有竞争力的预测精度与直观可解释性。
2024-04-05 cs.HC cs.LG
Hierarchical Attention Generates Better Proofs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Qi Zhi Institute(上海启智研究院);IIIS, Tsinghua University(清华大学智能技术学院长)
本文提出Hierarchical Attention正则化方法,通过建立五级层次结构对齐LLMs注意力机制与数学推理结构,在miniF2F和ProofNet上分别提升证明成功率2.05%和1.69%,并显著降低证明复杂度。
2025-04-27 cs.AI cs.CL cs.LG
Hierarchical Spatio-Temporal Transformer for Coherent Emergency Department Forecasting
Institute for Systems and Robotics(系统与机器人研究所);LARSyS;Instituto Superior Técnico(高等技术学院);NOVA School of Science and Technology(NOVA科学技术学院)
该研究针对现有急诊科预测方法忽略层级关联导致预测不连贯的问题,提出HierSTT分层时空Transformer框架,在葡萄牙ED数据集上实现多层面连贯预测,性能优于非分层基线及经典分层协调方法。
2026-09-17 cs.LG
Network Level Spatial Temporal Traffic State Forecasting with Hierarchical-Attention-LSTM (HierAttnLSTM)
University of Tennessee at Chattanooga(田纳西大学查塔努加分校)
针对网络级交通状态预测需求,本文提出分层注意力LSTM(HierAttnLSTM)模型,整合不同层级LSTM状态并引入注意力机制,在PeMS数据集上优于基线模型,提升预测精度且能识别异常拥堵,数据代码开源。
2025-02-14 cs.AI cs.LG
Spatial-Temporal Dynamic Graph Attention Networks for Ride-hailing Demand Prediction
Chongqing University(重庆大学);University of Notre Dame(圣母大学)
网约车需求预测是时空数据采掘中的一项重要任务。准确的网约车需求预测可以帮助预分配资源,提高车辆利用率和用户体验。图卷积网络(Graph Convolutional Network,GCN)是一种常用的非欧空间相关性建模方法。然而,现有的基于GCN的网约车需求预测方法在提取不规则的非欧空间相关性时,仅对不同的相邻区域赋予相同的重要性,并在整个时间轴上保持具有静态空间关系的固定图结构。在本文中,我们提出了时空动态图注意力网络(STDGAT),一种新的乘车需求预测方法。STDGAT基于GAT的注意力机制,提取不同的成对相关性,实现对不同邻域的自适应重要性分配。此外,在STDGAT中,我们设计了一个新的特定时间的基于图的注意力模式,构建一个动态的图形结构,捕捉整个时间轴的动态特定时间的空间关系。在真实网约车需求数据集上进行了广泛的实验,实验结果表明,我们的方法在三个评估指标RMSE、MAPE和MAE上比最先进的基线有显着改进。
2022-04-17 cs.AI cs.LG
Natively Trainable Sparse Attention for Hierarchical Point Cloud Datasets
University of Groningen(格罗宁根大学);University of Amsterdam(阿姆斯特丹大学)
本研究将Erwin架构与原生稀疏注意力(NSA)机制结合,提出Erwin NSA模型,克服了二次方注意力复杂度挑战,在宇宙学模拟等三个物理数据集上实现了与原始模型相当或更优的性能。
2025-08-14 cs.AI cs.LG
DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
Tsinghua University(清华大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院);Instituto de Telecomunicações(电信研究院);Carnegie Mellon University(卡内基梅隆大学);Sapienza University of Rome(罗马萨皮恩扎大学);University of Edinburgh(爱丁堡大学);TransPerfect(TransPerfect公司);ELLIS Unit Lisbon(里斯本ELLIS单位)
本研究提出DashAttention,一种可微且自适应的稀疏分层注意力机制,通过自适应稀疏α-entmax变换选择可变数量的块,从而在保持整个层次结构可微的同时,提升长上下文建模能力,实验表明其在高稀疏度下优于现有方法。
2026-05-18 cs.AI cs.CL cs.LG
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego(加州大学圣迭戈分校);Swisscom AG(瑞士电信公司);EPFL(洛桑联邦理工学院)
我们提出了一种方法来创建文件表示,反映其内部结构。我们修改Tree-LSTM,将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此,我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明,结构感知编码器可以用来提高性能的文件分类。我们证明,我们的方法是弹性的变化的基本构建块,因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上,我们的模型实现了与最先进技术竞争的性能。这一结果表明,结构树-LSTM可以利用文本结构以外的依赖关系,例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Trajectory-User Linking via Hierarchical Spatio-Temporal Attention Networks
Ocean University of China(中国海洋大学);The University of Hong Kong(香港大学)
针对轨迹-用户关联中全局时空上下文建模不足的问题,本文提出AttnTUL,结合图神经网络与分层注意力机制联合编码局部转移及全局依赖,实验证明其优于现有基线。
2023-12-07 cs.AI cs.LG
Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games
University of Technology Sydney(悉尼科技大学);Tencent Robotics X(腾讯Robotics X);University College London(伦敦大学学院);IHPC A*STAR(新加坡科技研究局高性能计算研究所)
我们研究了基于文本的游戏的强化学习(RL),这是在自然语言的上下文中的交互式模拟。虽然已经开发了不同的方法来表示环境信息和语言动作,但现有的RL代理没有任何推理能力来处理文本游戏。在这项工作中,我们的目标是进行明确的推理与知识图谱的决策,使代理的行动产生和支持的可解释的推理过程。我们提出了一个堆叠的层次注意力机制,通过利用知识图谱的结构来构建一个明确的表示的推理过程。我们广泛评估我们的方法在一些人造的基准游戏,实验结果表明,我们的方法比现有的基于文本的代理执行得更好。
2020-12-25 cs.AI cs.LG
Attention-Wrapped Hierarchical BLSTMs for DDI Extraction
Ege University(埃格大学)
药物相互作用(DDI)提取是指努力生成手工或自动工具,从生物医学领域的文本和文献中提取嵌入的信息。由于手工工作的限制和速度较低,机器学习或深度学习方法在提取DDI方面变得越来越流行。在这项研究中,我们提出了一种新的通用深度学习模型,该模型将分层双向LSTM与两个注意力机制包装在一起,该模型基于DDIExtraction-2013语料库,优于最先进的DDI提取模型。该模型的宏观F1值为0.785,精度为0.80。
2019-07-31 cs.IR cs.LG stat.ML
The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所);Polytechnic University of Bucharest(布加勒斯特理工大学);Google Deepmind(谷歌DeepMind)
决策人工智能智能体通常面临两个重要的挑战:规划视野的深度,以及由于有许多选择而产生的分支因子。分层强化学习方法旨在通过提供跳过多个时间步长的快捷方式来解决第一个问题。为了应对广度,最好在每一步将代理人的注意力限制在合理数量的可能选择上。启示的概念(Gibson,1977)表明,只有某些行为在某些状态下是可行的。在这项工作中,我们通过一个注意力机制,限制了时间扩展选项的可用选择模型“启示”。我们提出了一个在线的,无模型的算法来学习启示,可用于进一步学习子目标选项。我们研究了硬与软注意力在训练数据收集、长期任务中的抽象值学习以及处理越来越多的选择中的作用。我们确定并实证说明了选择悖论出现的设置,即当有更少但更有意义的选择提高了强化学习代理的学习速度和性能。
2022-01-24 cs.AI cs.LG
DiaNet: BERT and Hierarchical Attention Multi-Task Learning of Fine-Grained Dialect
University of British Columbia(不列颠哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
语言变体和方言预测是语言处理的一项重要任务,有着广泛的应用。对于阿拉伯语,约3亿人的母语,大多数变体仍然不受支持。为了缓解这一瓶颈,我们提出了一个非常大规模的数据集,涵盖了来自所有21个阿拉伯国家的319个城市。我们介绍了一个层次的注意力多任务学习(HA-MTL)的方言识别方法,利用我们的数据在城市,州和国家层面。我们还评估了使用BERT的三个任务,比较它的MTL方法。我们对数据和模型进行基准测试并发布。
2019-10-31 cs.CL cs.LG
H-VECTORS: Utterance-level Speaker Embedding Using A Hierarchical Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种用于说话人辨识的层次化注意力网络。由于话语的不同部分可能对说话人身份有不同的贡献,因此使用分层结构的目的是局部和全局地学习说话人相关信息。在所提出的方法中,帧级编码器和注意力被施加在输入话语的片段上,并生成单独的片段向量。然后,段级注意力被施加在段向量上以构建话语表示。为了评估所提出的方法的有效性,NIST SRE 2008第1部分数据集用于训练,和两个数据集,Switchboard蜂窝第1部分和CallHome美国英语语音,被用来评估质量提取的话语嵌入说话人辨识和验证任务。通过与两个基线X-vector、X-vector+Attention的比较,结果表明,H-vector可以获得更好的性能。此外,当使用t-SNE映射到2D空间中时,所提取的话语级嵌入比两个基线更具鉴别力。
2019-10-19 cs.CL cs.LG cs.SD
Interpretable Hierarchical Attention Network for Medical Condition Identification
Elevance Health, Inc.(Elevance Health公司)
本文提出IHAN分层注意力网络,利用三年理赔与EMR病史预测3期慢性肾脏病,并通过三级注意力提供事件级可解释性。
2024-12-04 cs.LG
Agglomerative Hierarchical Clustering with Dynamic Time Warping for Household Load Curve Clustering
Western University(西安大略大学)
能源公司经常实施各种需求响应(DR)计划,通过在关键时期为消费者提供减少需求的激励措施来更好地匹配电力需求和供应。根据客户的消费模式对客户进行分类,可以针对特定的消费者群体进行DR。传统的聚类算法使用标准的距离测量来找到两点之间的距离。聚类算法(如K-means、K-medoids和高斯混合模型)产生的结果取决于聚类参数或初始聚类。相比之下,我们的方法使用基于形状的方法,结合凝聚层次聚类(AHC)与动态时间弯曲(DTW)的住宅家庭的日常负荷曲线分类的基础上,他们的消费模式。虽然DTW寻求两个负载曲线之间的最佳对齐,但AHC提供了一个现实的初始聚类中心。在本文中,我们与其他聚类算法,如K-means,K-medoids,和GMM使用不同的距离措施的结果进行比较,我们表明,AHC使用DTW优于其他聚类算法,需要更少的集群。
2022-10-18 cs.LG
Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分层注意力网络(HAN)已经取得了很大的进步,但它有一个主要的局限性:在第一层,每个句子都是完全孤立地编码的。在这项工作中,我们提出并比较了几个修改的HAN中的句子编码器能够上下文感知的注意力决策(CAHAN)。此外,我们提出了一个双向的文件编码器,处理文件的前进和后退,使用前后的句子作为上下文。在三个大规模情感和主题分类数据集上的实验表明,CAHAN的双向版本在任何地方都优于HAN,而计算时间只有适度的增加。虽然结果是有希望的,但我们预计CAHAN的优越性在需要更深入理解输入文档的任务(如抽象摘要)上会更加明显。代码是公开的。
2019-08-16 cs.CL cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden(电子工程系,林霍普大学);RISE Research Institutes of Sweden, Linköping, Sweden(瑞典RISE研究机构)
层次化位移混合通过分布计算token交互,实现线性时间复杂度,同时在性能上接近或超越传统softmax注意力,且减少计算成本。
2026-01-30 cs.LG
Open-Ended Long-Form Video Question Answering via Hierarchical Convolutional Self-Attention Networks
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
开放式视频问答的目标是根据给定的问题从参考的视频内容自动生成自然语言答案。目前,大多数现有的方法集中在短形式的视频问答与多模态递归编码器-解码器网络。虽然这些工作已经取得了可喜的成绩,他们可能仍然是无效的应用于长格式视频问答由于缺乏远程依赖建模和沉重的计算成本的痛苦。为了解决这些问题,我们提出了一个快速的分层卷积自注意编码器-解码器网络(HCSA)。具体地说,我们首先开发了一个分层卷积自注意编码器来有效地对长格式视频内容进行建模,该编码器为视频序列构建了分层结构,并从视频上下文中捕获了问题感知的长距离依赖关系。然后,我们设计了一个多尺度注意解码器,将多层视频表示的答案生成,这避免了顶部编码器层的信息丢失。大量的实验表明了该方法的有效性和效率。
2019-06-28 cs.CV cs.LG
Automatic Graphics Program Generation using Attention-Based Hierarchical Decoder
Xi’an Jiaotong University(西安交通大学)
深度学习的最新进展使得通过使用编码器-解码器框架将图形用户界面(GUI)的屏幕截图自动转换为代码成为可能。而通常采用的图像编码器(例如,CNN网络)可能能够将图像特征提取到期望的水平,将这些抽象图像特征解释为数百个代码令牌对基于RNN的代码生成器的解码能力提出了特定的挑战。考虑到用于描述GUI的代码通常是层次结构的,我们提出了一种新的基于注意力的层次代码生成模型,该模型可以在更精细的细节层次上描述GUI图像,同时也能够生成与GUI中图形元素的层次布局相一致的层次结构代码。我们的模型遵循编码器-解码器框架,其所有组件都可以以端到端的方式联合训练。实验结果表明,我们的方法优于其他当前国家的最先进的方法上公开可用的GUI代码数据集,以及由我们自己建立的数据集。
2018-10-26 cs.GR cs.LG stat.ML
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);New York University(纽约大学)
本文提出了MAST,一个新的模型,多模态抽象文本摘要,利用所有三种形式的信息-文本,音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战,从音频模态派生的信息,并提出了一个序列到序列的三模态分层注意力为基础的模型,克服了这些挑战,让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型(视频-文本)2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
Fake News Detection on News-Oriented Heterogeneous Information Networks through Hierarchical Graph Attention
Florida State University(佛罗里达州立大学)
假新闻的病毒式传播造成了巨大的社会危害,使得假新闻侦破成为一项紧迫的任务。目前的假新闻检测方法严重依赖于文本信息,通过学习提取的新闻内容或写作风格的内部知识。然而,故意的谣言可以掩盖写作风格,绕过语言模型,并使简单的基于文本的模型无效。事实上,新闻文章和其他相关组件(如新闻创作者和新闻主题)可以建模为异构信息网络(简称HIN)。本文提出了一种新的虚假新闻检测框架--层次图注意力网络(HGAT),该框架利用层次注意力机制对HIN中的节点进行表示学习,然后通过对新闻文章节点进行分类来检测虚假新闻。在两个真实世界的假新闻数据集上的实验表明,HGAT可以优于基于文本的模型和其他基于网络的模型。此外,实验证明了我们的图表示学习和其他节点分类相关的应用在异构图的可扩展性和通用性。
2021-02-13 cs.CL cs.LG cs.SI
A Hierarchical Attention Based Seq2seq Model for Chinese Lyrics Generation
University of Science and Technology of China(中国科学技术大学);Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
本文对中文歌词的上下文感知生成进行了全面的研究。传统的文本生成模型是逐词生成序列或句子,没有考虑句子之间的上下文关系。针对歌词的特点,提出了一种基于层次注意力的Seq 2Seq(Sequence-to-Sequence)歌词生成模型。该模型通过对词级和句子级上下文信息的编码,提高了生成的主题相关性和一致性。一个大型的中文歌词语料库也被用于模型训练。最后,自动和人工评估的结果表明,我们的模型是能够组成完整的中文歌词与一个统一的主题约束。
2019-06-15 cs.CL cs.LG
Medical Time Series Classification with Hierarchical Attention-based Temporal Convolutional Networks: A Case Study of Myotonic Dystrophy Diagnosis
Rochester Data Science Consortium(罗切斯特数据科学联盟);University of Rochester(罗切斯特大学)
肌强直是强直性肌营养不良患者的主要症状,是指肌肉收缩后延迟松弛。我们提出了一个分层的注意力为基础的时间卷积网络(HA-TCN)的肌强直性营养不良的诊断,从握力时间序列数据,并引入机制,使模型的可解释性。我们将HA-TCN模型的性能与基准TCN模型、具有和不具有注意力机制的LSTM模型以及具有手工特征的SVM方法进行了比较。在分类精度和F1得分方面,我们发现所有深度学习模型的性能水平相似,并且都优于SVM。此外,无论网络深度如何,HA-TCN模型在计算效率方面都优于其TCN对应模型,并且在性能方面,特别是当隐藏层的数量很小时。最后,HA-TCN模型可以在手柄时间序列的放松阶段一致地识别相关的时间序列片段,并且与基于注意力的LSTM模型相比,对噪声的鲁棒性有所提高。
2019-03-28 cs.LG
HMAR: Hierarchical Masked Attention for Multi-Behaviour Recommendation
University of Hildesheim(希尔德斯海姆大学);Volkswagen Financial Services AG(大众汽车金融服务股份公司)
针对多行为推荐中历史交互序列模式捕捉难的问题,提出分层掩码注意力模型HMAR,结合分层注意力、历史行为指示器与多任务学习,在四个真实数据集上性能超越现有最优方法。
2024-04-29 cs.IR cs.LG
Federated Multi-task Hierarchical Attention Model for Sensor Analytics
George Mason University(乔治梅森大学);Stevens Institute of Technology(史蒂文斯理工学院)
传感器是现代物联网(IoT)应用不可或缺的一部分。有一个关键的需要,从这些系统的各个传感器获得的异构多变量时间数据的分析。在本文中,我们特别关注的问题,每个传感器的训练数据的稀缺量。我们提出了一种新的联邦多任务层次注意力模型(FATHOM),该模型联合训练来自多个传感器的分类/回归模型。所提出的模型的注意力机制试图从输入中提取特征表示,并学习跨多个传感器的时间维度上的共享表示。使用注意力机制和长短期记忆(LSTM)网络的组合来建模潜在的时间和非线性关系。我们发现,我们提出的方法在活动识别和环境监测数据集的分类和回归设置中优于广泛的竞争基线。我们进一步提供了我们的模型在输入传感器级别和中心时间级别上学习的特征表示的可视化。
2019-05-13 cs.LG stat.ML
A Self-Attention Network for Hierarchical Data Structures with an Application to Claims Management
Allianz(安联集团);University of Hamburg(汉堡大学)
保险公司每年必须处理数百万起索赔。虽然大多数索赔都是非欺诈性的,但欺诈检测是保险公司的核心。最终的目标是建立一个预测模型,挑出欺诈性索赔,并立即支付非欺诈性索赔。现代机器学习方法非常适合这类问题。医疗保健索赔通常具有分层且长度可变的数据结构。我们提出了一种基于分段前馈神经网络(深度学习)的模型和另一种基于自注意力神经网络的模型,用于索赔管理任务。我们表明,所提出的方法优于基于词袋的模型,手工设计的功能,以及基于卷积神经网络的模型,在200万医疗保健索赔的数据集。所提出的自注意力方法表现最好。
2018-08-30 cs.LG econ.EM stat.ML
Improving Fraud Detection via Hierarchical Attention-based Graph Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNN)已经成为欺诈检测任务的强大工具,其中欺诈节点通过经由不同关系聚合邻居信息来识别。为了避开这种检测,狡猾的欺诈者通过连接到合法用户(即,关系伪装)或提供看似合法的反馈(即,特征伪装)。一个广泛的解决方案,加强了GNN聚合过程与邻居选择器根据原始节点的功能。这种方法在识别欺诈者时可能存在局限性,不仅关系伪装,而且特征伪装使他们难以与合法邻居区分开来。在本文中,我们提出了一个分层的基于注意力的图神经网络(HA-GNN)的欺诈检测,它结合了不同的关系,对伪装加权邻接矩阵。这在关系密度理论中是有动机的,并且被利用来形成基于层次注意力的图神经网络。具体来说,我们设计了一个关系注意力模块来反映两个节点之间的联系强度,而一个邻居注意力模块来捕获与图相关联的长期结构亲和力。我们通过聚合来自本地/远程结构和原始节点特征的信息来生成节点嵌入。三个真实世界的数据集上的实验证明了我们的模型在最先进的国家的有效性。
2022-02-21 cs.LG cs.SI
Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification
Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);Key Laboratory of Embedded System and Service Computing, Ministry of Education(教育部嵌入式系统与服务计算重点实验室);Tongji University(同济大学)
跨领域情感分类是领域自适应和情感分类中的一项重要任务。由于域差异,在源域数据上训练的情感分类器可能不能很好地在目标域数据上工作。近年来,许多研究人员将深度神经网络模型用于跨领域情感分类任务,其中许多使用梯度反射层(GRL)来设计对抗性网络结构以训练域共享情感分类器。与这些方法不同的是,我们提出了分层注意力生成对抗网络(HAGAN),它交替地训练生成器和生成器,以产生一个文档表示,这是情感可区分的,但域不可区分。此外,HAGAN模型采用双向门控递归单元(Bi-GRU)将单词和句子的上下文信息编码到文档表示中。此外,HAGAN模型使用层次注意力机制来优化文档表示,并自动捕获主元和非主元。在Amazon评论数据集上的实验表明了HAGAN的有效性。
2019-03-27 cs.LG stat.ML
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh(孟加拉国独立大学)
针对传感器故障或受试者残疾导致的未见活动识别问题,提出一种基于分层自注意力的自编码器方法,在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性,并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
Which Kind Is Better in Open-domain Multi-turn Dialog,Hierarchical or Non-hierarchical Models? An Empirical Study
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
目前,开放域生成式对话系统已经引起了学术界和工业界的广泛关注。尽管单轮对话生成取得了成功,但多轮对话生成仍然是一个很大的挑战。到目前为止,开放域多轮对话生成的模型主要有两种:层次模型和非层次模型。近年来,有研究表明,在实验条件下,分层模型优于非分层模型;同时,也有研究表明,分层模型优于非分层模型。由于缺乏充分的比较,目前还不清楚哪种模型在开放域多轮对话生成中更好。因此,在本文中,我们将在相同的实验设置下系统地测量几乎所有具有代表性的分层和非分层模型,以检查哪种模型更好。通过大量的实验,我们得到了以下三个重要结论:(1)除了HRAN模型外,几乎所有的层次模型在开域多轮对话生成方面都不如非层次模型。通过进一步分析,HRAN的优异性能主要取决于其词级注意力机制;(2)将词级注意力机制融入到其他层次模型中,这些模型的性能也会得到很大的提高。改进后的层次模型甚至显著优于非层次模型;(3)词级注意力机制之所以对层次模型如此强大,是因为它可以更有效地利用上下文信息,尤其是细粒度信息。此外,我们已经实现了所有的模型,并已经发布了代码。
2020-08-07 cs.CL cs.LG stat.ML
Robust Hierarchical Graph Classification with Subgraph Attention
IBM Research AI(IBM 人工智能研究院);Indian Institute of Science(印度科学理工学院)
图神经网络在机器学习领域的图表示和分类方面得到了广泛的关注。将注意力机制应用于节点的邻域,提高了图神经网络的性能。通常,它有助于识别起更重要作用的邻居节点,以确定所考虑的节点的标签。但在现实世界的场景中,节点的特定子集在一起,而不是子集中的个体对,可能对确定图的标签很重要。为了解决这个问题,我们引入了子图注意力的概念。另一方面,分层图池已被证明是有前途的,在最近的文献。但由于现实世界图的噪声层次结构,并不是所有的层次图分类发挥同等的作用。为此,我们提出了一个图分类算法SubGattPool,共同学习子图的注意力,并采用两种不同类型的层次注意力机制,以找到重要的节点层次结构和个别层次结构的重要性在一个图。不同类型的图分类算法的实验评估表明,SubGattPool能够提高最先进的技术水平或在多个公开可用的图分类数据集上保持竞争力。我们在合成和真实世界的图数据集上进行了进一步的实验,以证明SubGattPool不同组件的有用性,并显示其在其他下游任务上的一致性能。
2020-07-19 cs.LG cs.SI
M3D-Net: Hierarchical Coordination of Spatial Context, Feature Reuse, and Differential Attention for Mammography Classification
Shenzhen Loop Area Institute(深圳河套学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
M3D-Net通过层次化协调空间上下文、特征复用与差分注意力,在乳腺X线摄影分类中实现高准确率,验证准确率达97.78%和80.39%。
2026-09-24 cs.CV cs.LG