Hierarchical Federated Learning for Social Network with Mobility
Department of Electronic Engineering, Shanghai Jiao Tong University（电子工程系，上海交通大学）；School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学）；Data61, CSIRO（Data61，CSIRO）；Pillar of Information Systems Technology and Design, Singapore University of Technology and Design（信息系统技术与设计 pillar，新加坡科技设计大学）
本文提出HFL-SNM分层联邦学习框架，联合优化资源分配与客户端调度以最小化能耗，并通过DO-SNM算法在社交网络移动场景下实现模型性能与能效的双重提升。
2025-09-23 cs.LG
Hierarchical Recurrent Filtering for Fully Convolutional DenseNets
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
生成环境的鲁棒表示是学习代理的关键能力。基于深度学习的方法极大地改善了感知系统，但在具有挑战性的情况下仍然失败。这些故障通常不能基于单个图像来解决。在这项工作中，我们提出了一个参数有效的时间滤波的概念，扩展了现有的单帧分割模型，多帧工作。由此产生的经常性架构在时间上过滤表示的所有抽象层次的分层方式，同时解耦时间依赖场景表示。使用合成数据集，我们展示了我们的模型应对数据扰动的能力，并强调了递归和分层过滤的重要性。
2018-10-15 cs.CV cs.LG
HRNet: Differentially Private Hierarchical and Multi-Resolution Network for Human Mobility Data Synthesization
Kyoto University（京都大学）；Emory University（埃默里大学）；Tokyo Institute of Technology（东京工业大学）；Osaka Seikei University（大阪成蹊大学）
针对人类移动数据合成中的隐私问题，本文提出差分隐私分层多分辨率网络HRNet，通过分层编码、多任务学习和私有预训练，在真实数据集上显著提升了效用-隐私权衡。
2024-07-20 cs.CR cs.LG
Combined convolutional and recurrent neural networks for hierarchical classification of images
Northwestern University（西北大学）；Allstate（好事达）
基于CNN的深度学习模型主要用于图像分类任务。这种方法假设对象类别的独立性，通常使用CNN作为特征学习器，并在其上应用平面分类器。许多设置中的对象类别具有层次关系，利用这些关系的分类器应该表现得更好。我们提出了分层分类模型，结合了CNN来提取图像的分层表示，以及RNN或序列到序列模型来捕获类的分层树。此外，我们将残差学习应用于RNN部分，以便于训练我们的复合模型并提高模型的泛化能力。在真实世界专有图像数据集上的实验结果表明，我们的分层网络比最先进的CNN表现得更好。
2019-11-18 cs.LG stat.ML
On the Practical Ability of Recurrent Neural Networks to Recognize Hierarchical Languages
Microsoft Research India（微软研究院印度）
虽然递归模型在NLP任务中是有效的，但它们在上下文无关语言（CFL）上的性能被发现相当弱。鉴于CFL被认为能够捕捉到诸如自然语言中的层次结构等重要现象，这种性能上的差异需要一个解释。我们研究了Dyck-n语言，一个特别重要的和良好的研究类CFL的经常性模型的性能。我们发现，如果训练字符串和测试字符串的长度在相同的范围内，则递归模型几乎可以完美地泛化，但如果测试字符串更长，则递归模型的表现会很差。与此同时，我们观察到，经常性的模型有足够的表达能力，以有限的精度来识别任意长度的戴克字，如果他们的深度是有界的。因此，我们评估了我们的模型上生成的样本从戴克语言有界深度，并发现他们确实能够推广到更高的长度。由于自然语言数据集具有有界深度的嵌套依赖关系，这可能有助于解释为什么它们在自然语言数据中建模分层依赖关系时表现良好，尽管先前的工作表明Dyck语言的泛化性能较差。我们进行探测研究，以支持我们的结果，并提供与Transformers的比较。
2020-11-08 cs.CL cs.LG
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich（苏黎世联邦理工学院）
学习长期依赖性是循环神经网络（RNN）的一个关键的长期挑战。分层循环神经网络（HRNN）被认为是一种很有前途的方法，因为长期依赖性是通过层次结构上下的捷径来解决的。然而，截断反向传播时间（TBPTT）的内存要求仍然阻止在非常长的序列上训练它们。在本文中，我们通过经验证明，在（深度）HRNN中，从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代，而不会损害网络的学习能力，在广泛的任务范围内。与标准TBPTT相比，通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Hierarchical Deep Recurrent Neural Network based Method for Fault Detection and Diagnosis
University of Waterloo（滑铁卢大学）
提出了一种基于深度神经网络（DNN）的工业设备故障检测和分类算法。该算法具有故障分类的能力，特别是早期故障，难以检测和诊断与传统的阈值为基础的统计方法或传统的人工神经网络（ANN）。该算法是基于一个监督深度递归自动编码器神经网络（监督DRAE-NN），使用动态信息的过程中沿时间范围。基于该网络的层次结构，制定了分组故障的基础上，它们的相似性到故障的检测和诊断的子集。此外，一个外部的伪随机二进制信号（PRBS）的设计和注入到系统中，以识别早期故障。基于层次结构的策略提高了早期和非早期故障的检测和分类精度显着。所提出的方法进行测试的基准田纳西伊士曼过程中的显着改善分类相比，多变量线性模型为基础的战略和非层次非线性模型为基础的战略。
2020-12-07 cs.AI cs.LG
Hierarchically Disentangled Recurrent Network for Factorizing System Dynamics of Multi-scale Systems: An application on Hydrological Systems
National Weather Service（国家气象局）
提出了一种分层解耦循环网络（FHNN），通过逆模型和正向模型在多时间尺度上分解并捕获系统动力学交互，在水文径流预测任务中优于物理和Transformer基线，且在数据有限时仍能保持准确性。
2025-04-29 cs.LG
Personalizing Session-based Recommendations with Hierarchical Recurrent Neural Networks
Politecnico di Milano（米兰理工大学）；Telefonica Research（西班牙电信研究）；Gravity R&D（Gravity研发公司）
基于会话的推荐在许多现代在线服务（例如，电子商务、视频流）和推荐设置中高度相关。最近，循环神经网络已经被证明在基于会话的设置中表现得非常好。虽然在许多基于会话的推荐域中很难获得用户标识符，但也存在用户简档很容易获得的域。我们提出了一种无缝的方法来个性化RNN模型与跨会话信息传输，并设计了一个分层的RNN模型，中继端演变的RNN在用户会话的潜在隐藏状态。两个行业数据集的结果显示，与仅会话RNN相比，有很大的改进。
2017-08-23 cs.HC cs.IR cs.LG
Recurrent Hierarchical Topic-Guided RNN for Language Generation
Xidian University（西安电子科技大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
为了从文本语料库中同时捕获语法和全局语义，提出了一种新的基于大上下文递归神经网络（RNN）的语言模型，通过动态深度主题模型提取递归层次语义结构，指导自然语言生成。超越了传统的基于RNN的语言模型，忽略了长期的单词依赖关系和句子顺序，所提出的模型不仅捕捉句子内的单词依赖关系，而且还捕捉句子之间的时间转换和句子间的主题依赖关系。对于推理，我们开发了一个混合的随机梯度马尔可夫链蒙特卡罗和经常性自编码变分贝叶斯。在多种真实文本语料库上的实验结果表明，该模型不仅优于基于大上下文RNN的语言模型，而且能够学习可解释的循环多层主题，生成句法正确、语义连贯的句子和段落。
2020-06-27 cs.CL cs.LG stat.ME
Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
循环神经网络（Recurrent Neural Network，RNN）在序列分析和建模中得到了广泛的应用。然而，在处理高维数据时，RNN通常需要非常大的模型大小，从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能，但这些方法仍然存在一些固有的局限性，如有限的表示能力和模型复杂度降低不足。为了克服这些限制，在本文中，我们提出使用分层塔克（HT）分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构，这对于提高RNN模型的表示能力是非常有用和重要的。同时，HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明，与最先进的压缩RNN模型（如TT-LSTM，TR-LSTM和BT-LSTM）相比，我们提出的基于HT的LSTM（HT-LSTM）在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
Mobility Accelerates Learning: Convergence Analysis on Hierarchical Federated Learning in Vehicular Networks
Beijing Jiaotong University（北京交通大学）；Imperial College London（伦敦帝国理工学院）
针对车联网高移动性场景，本文通过收敛性分析证明设备移动可融合异构边缘数据并加速分层联邦学习，实验显示其在CIFAR-10上最高提升准确率15.1%。
2024-01-18 cs.AI cs.DC cs.LG
SeqSleepNet: End-to-End Hierarchical Recurrent Neural Network for Sequence-to-Sequence Automatic Sleep Staging
University of Kent（肯特大学）；Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）
自动睡眠分期通常被视为一个简单的分类问题，其目的是一次一个地确定个体目标多导睡眠图（PSG）时期的标签。在这项工作中，我们将任务作为一个序列到序列的分类问题来处理，该问题接收多个时期的序列作为输入，并一次对它们的所有标签进行分类。为此，我们提出了一个分层循环神经网络SeqSleepNet。在历元处理层面，该网络由一个滤波器组层和一个基于注意力的递归层组成，滤波器组层用于学习频域滤波器进行预处理，递归层用于短期序列建模。在序列处理级别，一个递归层放置在学习到的逐时期特征之上，用于序列时期的长期建模。然后在顶部递归层的每个时间步长对输出向量进行分类，以产生输出标签序列。尽管是分层的，我们提出了一个战略，训练网络在一个端到端的方式。我们表明，所提出的网络优于最先进的方法，实现了整体准确性，宏观F1分数，科恩的kappa值为87.1%，83.3%和0.815的公开数据集与200名受试者。
2019-02-02 cs.LG eess.SP stat.ML
Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks
Carnegie Mellon University（卡内基梅隆大学）
最近的论文表明，神经网络在几个不同的序列标记任务上获得了最先进的性能。这种系统的一个吸引人的特性是它们的通用性，因为可以通过统一的架构实现出色的性能，而无需特定于任务的特征工程。然而，目前还不清楚这种系统是否可以用于没有大量训练数据的任务。在本文中，我们探讨了神经序列标记器的迁移学习问题，其中具有丰富注释的源任务（例如，Penn Treebank上的POS标记）用于提高具有更少可用注释的目标任务的性能（例如，微博的POS标签）。我们研究了迁移学习对跨领域、应用程序和语言的深层递归网络的影响，并表明通常可以获得显着的改进。这些改进导致在几个充分研究的任务上的当前最先进的改进。
2017-03-18 cs.CL cs.LG
Multiresolution Transformer Networks: Recurrence is Not Essential for Modeling Hierarchical Structure
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Amazon（亚马逊）
Transformer的架构完全基于自我注意力，并且已经被证明优于在序列转换任务（例如机器翻译）上采用递归的模型。与循环架构相比，Transformer的卓越性能归因于在输入和输出位置之间的较短距离上传播信号。我们在Transformer和循环网络中建立了动力学之间的联系，认为包括梯度流在内的几个因素在Transformer的成功中起着至关重要的作用。然后，我们利用动态引入{ \em多分辨率Transformer网络}作为第一个架构，利用层次结构的数据通过自我注意。我们的模型显着优于国家的最先进的经常性和层次经常性模型在两个现实世界的数据集查询建议，即\aol和\amazon。特别是，在AOL数据上，我们的模型在每个精度分数上至少有20%的改进，并且相对于性能最好的递归模型，BLEU分数的改进超过25%。因此，我们提供了强有力的证据，复发是不是必不可少的建模层次结构。
2019-08-27 cs.IR cs.LG stat.ML
Spatial-Temporal Interplay in Human Mobility: A Hierarchical Reinforcement Learning Approach with Hypergraph Representation
University of Macau（澳门大学）；Northeast Normal University（东北师范大学）；Dalian Maritime University（大连海事大学）
针对人类移动中时空权衡的个体差异，提出STI-HRL层次强化学习框架，结合超图嵌入捕捉时空交互，在真实数据集上超越现有方法。
2023-12-25 cs.AI cs.CY cs.LG
Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction
Columbia University（哥伦比亚大学）；Tencent AI Lab（腾讯人工智能实验室）；Tencent（腾讯）
时间序列预测已经在各种领域进行了研究。然而，鉴于历史观测和过去的外生数据，预测未来系列仍然具有挑战性。现有的方法要么没有考虑外生变量不同成分之间的相互作用，这可能会影响预测精度，或不能建模外生数据和目标数据之间的相关性。此外，外生数据的内在时间动态性也与目标序列预测有关，因此也应予以考虑。为了解决这些问题，我们提出了一个端到端的深度学习模型，即，基于层次注意力的递归公路网络（HRHN），将外生变量的时空特征提取和目标变量的时间动力学建模集成到一个框架中。此外，通过引入层次注意力机制，HRHN可以自适应地选择不同语义层次的相关外生特征。我们在几个数据集上用各种方法进行了全面的实证评估，结果表明，HRHN在时间序列预测方面优于现有技术，特别是在捕捉时间序列的突然变化和突然振荡方面。
2018-06-02 cs.CV cs.LG stat.ML
BiHRNN -- Bi-Directional Hierarchical Recurrent Neural Network for Inflation Forecasting
Tel Aviv University（特拉维夫大学）
针对CPI分层结构导致的通胀预测难题，提出双向分层循环神经网络BiHRNN，通过层级间双向信息流和参数约束提升预测精度，在多国数据集上显著优于传统RNN。
2025-02-27 cs.LG econ.GN q-fin.CP
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google（谷歌公司）
提出分层循环适配器（HRA），通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销，并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
Expert with Clustering: Hierarchical Online Preference Learning Framework
ShanghaiTech University（上海科技大学）；Massachusetts Institute of Technology（麻省理工学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本研究针对出行推荐系统的遗憾值最小化需求，提出整合聚类与专家建议的分层上下文赌博机框架EWC，实现了更优的理论遗憾界，实验中较LinUCB基线降低27.57%的遗憾值，适用于分层用户偏好场景。
2024-06-24 cs.LG
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
Hierarchically Gated Recurrent Neural Network for Sequence Modeling
OpenNLPLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenNLPLab）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有线性RNN忽略循环内遗忘门作用的问题，提出分层门控循环神经网络HGRN，通过随层数单调递增的可学习遗忘门下限实现长短依赖分层建模，在多项任务上验证了有效性与效率。
2023-11-08 cs.CL cs.LG
Character-Level Language Modeling with Hierarchical Recurrent Neural Networks
Seoul National University（首尔国立大学）
基于递归神经网络（RNN）的字符级语言模型（CLM）对于建模词汇表外的单词非常有用。然而，它们的性能通常比单词级语言模型（WLM）差得多，因为CLM需要考虑更长的令牌历史来正确预测下一个。我们通过提出分层RNN架构来解决这个问题，该架构由具有不同时标的多个模块组成。尽管有多时标结构，但输入和输出层使用字符级时钟操作，这使得现有的RNN CLM训练方法可以直接应用而无需任何修改。我们的CLM模型显示出更好的困惑比Kneser-Ney（KN）5克WLM在十亿字基准只有2%的参数。此外，我们在华尔街日报（WSJ）语料库上提供了实时字符级端到端语音识别示例，其中用所提出的模型取代传统的单时钟RNN CLM，即使参数的数量减少到30%，也能获得更好的识别精度。
2017-02-02 cs.CL cs.LG cs.NE
RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility
Northeastern University（东北大学）；Northwestern University（西北大学）
RHYTHM通过层次时间标记框架提升人类移动预测的准确性和效率，实现更高效的时空推理与预测。
2026-02-23 cs.AI cs.CL cs.LG
Semi-Supervised Hierarchical Recurrent Graph Neural Network for City-Wide Parking Availability Prediction
University of Science and Technology of China（中国科学技术大学）；Baidu Research（百度研究院）；Rutgers University（罗格斯大学）
预测城市范围内停车可用性的能力对于停车诱导和信息（PGI）系统的成功开发至关重要。事实上，有效预测城市范围内的停车可用性可以提高停车效率，帮助城市规划，并最终缓解城市拥堵。然而，由于三个主要挑战，预测全市范围的停车可用性是一项重要的任务：1）停车场之间的非欧几里德空间自相关，2）停车场内部和之间的动态时间自相关，以及3）从实时传感器（例如，摄像头、超声波传感器和GPS）。为此，我们提出了半监督分层递归图神经网络（SHARE）预测全市范围内的停车可用性。具体来说，我们首先提出了一个层次图卷积结构来模拟停车场之间的非欧空间自相关。沿着这条线，上下文图卷积块和软聚类图卷积块分别提出了捕获停车场之间的局部和全局空间依赖性。此外，我们采用了一个递归神经网络，将动态的时间依赖性的停车场。此外，我们提出了一个停车位可用性近似模块，估计失踪的实时停车位可用性从空间和时间域。最后，在两个真实数据集上的实验表明，SHARE的预测性能优于七个最先进的基线。
2019-11-24 cs.LG eess.SP stat.ML
Hierarchical Multi-Building And Multi-Floor Indoor Localization Based On Recurrent Neural Networks
Xi'an Jiaotong-Liverpool University（西交利物浦大学）
在现代城市中，从户外生活方式转向室内生活方式的趋势越来越明显。大型购物中心、室内体育场馆、工厂和仓库的出现正在加速这一趋势。在这样的环境中，室内定位成为必要的服务之一，并且要部署的室内定位系统应该是可扩展的，足以覆盖那些室内设施的预期扩展。室内定位的最经济和实用的方法之一是Wi-Fi指纹识别，其利用使用移动设备（例如，智能手机），而无需对现有基础设施进行任何修改。传统的Wi-Fi指纹识别方案依赖于复杂的数据预/后处理和耗时的手动参数调整。在本文中，我们提出了分层的多建筑物和多楼层的室内定位的基础上，使用Wi-Fi指纹的递归神经网络（RNN），消除了复杂的数据预/后处理的需要和较少的参数调整。所提出的方案中的RNN以从一般到特定的顺序方式估计位置（例如，建筑物->楼层->位置），以便利用多建筑物和多楼层环境中的定位的分层性质。UJIIndoorLoc数据集的实验结果表明，该方案估计建筑物和地板的准确度分别为100%和95.24%，并提供8.62米的三维定位误差，这优于现有的基于深度神经网络的方案。
2021-12-23 cs.LG cs.NI
Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks
Singapore University of Technology and Design（新加坡科技设计大学）；Zhejiang University/University of Illinois at Urbana-Champaign Institute, Zhejiang University（浙江大学伊利诺伊大学厄巴纳-香槟校区联合学院，浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Exeter（埃克塞特大学）
在无线网络中实现联邦学习（FL）算法已经引起了广泛的关注。然而，很少有工作考虑到用户的移动性对学习性能的影响。为了填补这一研究空白，首先，我们开发了一个理论模型来描述分层联邦学习（HFL）算法在无线网络中的移动用户可能会漫游在多个边缘接入点，导致FL训练不完整的不一致。其次，我们提供了HFL与用户移动性的收敛性分析。我们的分析证明，HFL的学习性能急剧恶化与高移动用户。而这种学习性能的下降将随着参与者数量的减少和用户本地数据之间的大数据分布差异而加剧。为了解决这些问题，我们提出了一个移动感知集群联邦学习（MACFL）算法，通过重新设计的访问机制，本地更新规则和模型聚合方案。最后，我们提供实验来评估HFL和我们的MACFL的学习性能。实验结果表明，MACFL算法能够提高学习性能，特别是在三种不同的情况下，即用户分布数据不独立且相同的情况下，用户移动性高的情况下，以及用户数量较少的情况下.
2021-08-20 cs.LG cs.NI cs.SY
Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments
Zhejiang University（浙江大学）
多智能体深度强化学习（MADRL）的最新进展使其在现实世界的任务中更加实用，但其相对较差的可扩展性和部分可观察的约束对其性能和部署提出了挑战。基于我们的直观观察，人类社会可以被看作是一个大规模的部分可观察的环境中，每个人都有与邻居的通信和记住自己的经验的功能，我们提出了一种新的网络结构称为分层图递归网络（HGRN）的多智能体合作的部分可观察性。具体来说，我们构建的多智能体系统作为一个图，使用层次图注意力网络（HGAT）来实现相邻的代理之间的通信，并利用GRU，使代理记录历史信息。为了鼓励探索和提高鲁棒性，我们设计了一种最大熵学习方法来学习可配置目标动作熵的随机策略。在此基础上，提出了一种基于值的MADRL算法Soft-HGRN和它的actor-critic变体SAC-HRGN。基于三个同构任务和一个异构环境的实验结果不仅表明，我们的方法实现了明显的改善相比，四个基线，但也证明了所提出的模型的可解释性，可扩展性和可移植性。消融研究证明了每个组件的功能和必要性。
2021-09-05 cs.AI cs.LG cs.MA
Hierarchical Temporal Representation in Linear Reservoir Computing
University of Pisa（比萨大学）
最近，关于深度储备池计算（RC）的研究强调了分层在深度递归神经网络（RNN）中的作用。在本文中，线性递归单元的使用使我们能够通过对状态信号进行频率分析，为深度RNN中的内在层次时间表示提供更多证据。我们的方法的潜力进行评估类的多个叠加振荡器任务。此外，我们的调查提供了有用的见解，在时域中的深度学习框架的主要特征方面展开讨论。
2017-07-10 cs.LG stat.ML
Hierarchical Context enabled Recurrent Neural Network for Recommendation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究部）
长期的用户历史不可避免地反映了个人兴趣随时间的变化。对用户历史的分析需要鲁棒的序列模型来预测用户兴趣的变化和衰减。用户历史通常由各种RNN结构建模，但推荐系统中的RNN结构仍然存在长期依赖性和兴趣漂移。为了解决这些挑战，我们建议HCRNN与全球，本地和临时利益的三个层次的背景下。这种结构的设计保留了用户的全局长期利益，以反映局部的子序列的利益，并照顾到每个过渡的临时利益。此外，我们提出了一个分层的上下文为基础的门结构，以纳入我们的\textit{interest drift assumption}。当我们提出一个新的RNN结构时，我们用一个互补的\textit{bi-channel attention}结构来支持HCRNN，以利用层次上下文。我们在CiteULike，MovieLens和LastFM的顺序推荐任务上实验了建议的结构，我们的模型在顺序推荐中表现出最好的性能。
2019-04-26 cs.IR cs.LG cs.SI
The Recurrent Sticky Hierarchical Dirichlet Process Hidden Markov Model
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）
针对粘性HDP-HMM自持续概率平稳性限制，提出递归粘性HDP-HMM（RS-HDP-HMM），并开发新颖吉布斯采样策略，在合成与真实数据分割中优于现有模型。
2024-11-06 cs.AI cs.LG math.DS
Unconstrained Fashion Landmark Detection via Hierarchical Recurrent Transformer Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）
服装标志是服装上的功能性关键点，如领口、底边和袖口的边角。它们最近被引入作为时尚图像理解的有效视觉表示。然而，检测时尚地标是具有挑战性的，由于背景杂波，人体姿势和规模。为了消除上述变化，以前的作品通常假设衣服的边界框在训练和测试中提供作为额外的注释，这是昂贵的，在实践中不适用。这项工作解决了无约束的时尚地标检测，其中服装边界框在训练和测试中都没有提供。为此，我们提出了一种新的深度LAndmark网络（DLAN），其中边界框和地标以端到端的方式联合估计和迭代训练。DLAN包含两个专用模块，包括用于处理尺度差异的选择性扩张卷积和用于处理背景杂波的分层递归空间Transformer。为了评估DLAN，我们提出了一个大规模的时尚地标数据集，即无约束地标数据库（ULD），由30K图像组成。统计数据显示，ULD在图像尺度、背景杂乱和人体姿势方面比现有数据集更具挑战性。大量的实验证明了DLAN的有效性超过国家的最先进的方法。DLAN在不同的服装类别和形式上也表现出很好的泛化能力，使其非常适合现实世界的时尚分析。
2017-08-07 cs.CV cs.LG
Dissecting Hierarchical Reasoning Models: A Mechanistic Study
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究通过因果干预、线性探针和稀疏自编码器等方法，机制性地剖析了层级推理模型在数独等任务上的推理过程，发现其本质是约束感知的迭代细化，且不依赖紧凑的因果特征集。
2026-09-22 cs.AI cs.LG
The Uncanny Similarity of Recurrence and Depth
University of Maryland（马里兰大学）
人们普遍认为，深度神经网络包含层特化，其中，神经网络在浅层中提取表示边缘和图案的分层特征，并在更深层中提取表示完整对象的分层特征。与在每一层都有不同过滤器的常见前馈模型不同，递归网络在不同的深度重用相同的参数。在这项工作中，我们观察到循环模型表现出与前馈网络相同的分层行为和相同的性能优势，尽管在每次循环时重用相同的过滤器。通过在多个数据集上训练各种前馈和递归架构的模型，用于图像分类以及迷宫求解，我们证明了递归网络具有密切模仿非递归深度模型行为的能力，通常使用更少的参数。
2022-03-03 cs.AI cs.LG
Discovering group dynamics in coordinated time series via hierarchical recurrent switching-state models
Tufts University（塔夫茨大学）；Harvard University（哈佛大学）；Montana State University（蒙大拿州立大学）；U.S. Army Combat Capabilities Development Command Soldier Center (CCDC SC)（美国陆军战斗能力发展指挥部士兵中心）
提出分层循环切换状态模型，无监督学习系统级与个体级动态，线性复杂度，在篮球、士兵等数据上预测性能媲美大型神经网络且更具可解释性。
2025-08-05 cs.LG stat.ML
Hierarchical Flow Decomposition for Turning Movement Prediction at Signalized Intersections
本文提出HFD-TM框架，通过预测走廊通行流量再扩展至个体转向流，降低转向流量预测误差，实验显示其在实时交通应用中具有优势。
2026-04-10 cs.LG
Hierarchical Recurrent Neural Networks for Conditional Melody Generation with Long-term Structure
Singapore University of Technology and Design（新加坡科技设计大学）
深度学习技术的兴起迅速推进了许多领域，包括生成音乐系统。存在许多允许生成听起来不错的短片段的系统，然而，这些生成的片段通常缺乏总体的、长期的结构。在这项工作中，我们提出了CM-HRNN：一个有条件的旋律生成模型的基础上分层递归神经网络。这个模型允许我们根据给定的和弦旋律生成具有长期结构的旋律。我们还提出了一种新颖的，简洁的基于事件的表示来编码音乐铅表，同时保留音符的相对位置内的酒吧相对于音乐米。有了这种新的数据表示，所提出的架构可以同时建模的节奏，以及在一个有效的方式的音高结构。所提出的模型产生的旋律进行了广泛的定量实验以及用户研究，以确保输出的音乐质量，以及评估它们是否包含重复模式。我们还将该系统与最先进的AttentionRNN进行了比较。这种比较表明，CM-HRNN生成的旋律包含更多的重复模式（即，较高的压缩比）和较低的色调张力（即，更简洁的音调）。我们的听力测试结果表明，CM-HRNN在长期结构和整体评级方面优于AttentionRNN。
2021-04-25 cs.LG cs.SD eess.AS
Learning Fine Grained Place Embeddings with Spatial Hierarchy from Human Mobility Trajectories
Yahoo Japan Corporation（雅虎日本公司）；Lyles School of Civil Engineering, Purdue University（普渡大学莱尔思工程学院）
从人类移动轨迹生成的地点嵌入已经成为了解地点功能的流行方法。具有高空间分辨率的位置嵌入对于许多应用是期望的，然而，由于数据稀疏性，特别是在人口较少的区域中，空间分辨率的降尺度会使嵌入的质量恶化。我们解决这个问题，提出了一种方法，产生细粒度的地方嵌入，利用空间层次信息，根据观察到的数据点的局部密度。我们的细粒度的地方嵌入的有效性进行比较，通过下一个地方的预测任务，使用来自日本3个城市的真实世界的轨迹数据的基线方法。此外，我们证明了我们的细粒度的地方嵌入土地利用分类应用程序的价值。我们相信，我们的技术，将空间层次信息可以补充和加强各种地方嵌入生成方法。
2020-02-06 cs.AI cs.LG
A Hierarchical Deep Convolutional Neural Network and Gated Recurrent Unit Framework for Structural Damage Detection
Chongqing Jiaotong University（重庆交通大学）；Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院（I2R））；Hunan University（湖南大学）
结构损伤检测已成为各工程领域感兴趣的跨学科领域，而现有的损伤检测方法正在适应机器学习的概念。大多数基于机器学习的方法严重依赖于提取的“手工制作”特征，这些特征由领域专家提前手动选择，然后固定。最近，深度学习在传统的具有挑战性的任务上表现出了卓越的性能，例如图像分类，对象检测等，由于强大的特征学习能力。这一突破激发了研究人员探索用于结构损伤检测问题的深度学习技术。然而，现有方法已经考虑了空间关系（例如，使用卷积神经网络（CNN））或时间关系（例如，使用长短期记忆网络（LSTM））。在这项工作中，我们提出了一种新的分层CNN和门控递归单元（GRU）框架来模拟空间和时间关系，称为HCG，用于结构损伤检测。具体地说，CNN用于建模传感器之间的空间关系和短期时间依赖性，而CNN的输出特征被馈送到GRU以联合学习长期时间依赖性。在IASC-ASCE结构健康监测基准和三跨连续刚构桥结构缩尺模型数据集上进行的大量实验表明，该方法在结构损伤检测方面明显优于现有的其他方法。
2020-05-29 cs.LG eess.SP stat.ML
Recurrent Adversarial Service Times
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；B-IT, University of Bonn（波恩大学波恩-亚琛国际信息技术中心）
服务系统动态发生在客户行为和服务提供商的反应之间的相互作用。这种动态可以有效地建模的框架内排队论，客户的到来描述的点过程模型。然而，这些方法受到参数假设的限制，例如，事件间的时间分布。在本文中，我们解决这些限制，并提出了一种新的，深入的神经网络解决排队问题。我们的解决方案结合了一个经常性的神经网络模型的到达过程与一个经常性的生成对抗网络模型的服务时间分布。我们在各种经验数据集上评估我们的方法，从互联网服务（区块链，GitHub，Stackoverflow）到移动服务系统（纽约出租车）。
2019-06-24 cs.LG stat.ML
Differentially Private Multivariate Time Series Forecasting of Aggregated Human Mobility With Deep Learning: Input or Gradient Perturbation?
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））；Femto-ST Institute（弗朗什-孔泰电子、力学、热学与光学科学技术研究所）；Univ. Bourg. Franche-Comté（勃艮第-弗朗什-孔泰大学）；UBFC（勃艮第-弗朗什-孔泰大学联盟）；CNRS（法国国家科学研究中心）；Orange Applications For Business（Orange商业应用公司）；Orange Labs.（奥兰治实验室）；Antonine University Hadat-Baabda（哈达特-巴卜达安东尼大学）；National University of Singapore（新加坡国立大学）
本文研究的问题，预测多变量聚集的人的流动性，同时保护有关个人的隐私。差分隐私是一种最先进的形式化概念，在训练深度学习模型时，已在两个不同且独立的步骤中用作隐私保证。一方面，我们考虑了\textit{gradient perturbation}，它使用差分隐私随机梯度下降算法来保证每个时间序列样本在学习阶段的隐私性。另一方面，我们考虑了\textit{input perturbation}，它在应用任何学习之前在序列的每个样本中添加了差分隐私保证。我们比较了四种最先进的递归神经网络：长短期记忆，门控递归单元，以及它们的双向架构，即，Bidirectional-LSTM和Bidirectional-GRU我们使用真实世界的多变量移动数据集进行了广泛的实验，该数据集与本文一起公开发表。如结果所示，在梯度或输入扰动下训练的差异私有深度学习模型实现了与非私有深度学习模型几乎相同的性能，性能损失在$0.57\%$到$2.8\%$之间变化。本文的贡献对于参与城市规划和决策的人员具有重要意义，通过差异化私人深度学习模型为人类流动性多变量预测问题提供了解决方案。
2022-06-03 cs.CR cs.LG
Generative Models for Simulating Mobility Trajectories
UNIL-HEC Lausanne（洛桑大学高等商学院）；Columbia University（哥伦比亚大学）
移动数据集是评估地理信息系统算法和促进实验再现性的基础。但隐私问题限制了这些数据集的共享，因为即使是聚合的位置数据也容易受到成员推断攻击。当前的合成移动性数据集生成器试图表面上匹配先验建模的移动性特征，其不准确地反映真实世界的特征。因此，对人类移动性进行建模以生成合成的但在语义和统计上真实的轨迹对于发布具有令人满意的效用水平的轨迹数据集同时保护用户隐私是至关重要的。具体来说，人类移动性固有的长期依赖性很难用判别模型和生成模型来捕捉。在本文中，我们对递归神经架构（RNN），生成对抗网络（GANs）和非参数copula的性能进行了基准测试，以生成合成的移动性轨迹。我们评估生成的轨迹，其地理和语义相似性，昼夜节律，远程依赖性，训练和生成时间。我们还包括两个样本测试，以评估所观察到的和模拟的分布之间的统计相似性，我们分析的隐私权衡成员推断和位置序列攻击。
2018-11-30 cs.LG stat.ML
CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models
Mistyoz AI Hyderabad, India（Mistyoz AI 德里, 印度）
提出一种紧凑语言模型CosmicFish-HRM，通过层次推理模块动态分配推理深度，在保持较小参数量的同时实现适应性推理。
2026-05-27 cs.AI cs.CL cs.LG
Hierarchical Multi-Agent DRL Based Dynamic Cluster Reconfiguration for UAV Mobility Management
KTH Royal Institute of Technology（瑞典皇家理工学院）；Princeton University（普林斯顿大学）；Linköping University（林雪平大学）；Aalborg University（奥尔堡大学）；Airbus（空中客车公司）
本文提出基于层次多智能体深度强化学习的动态集群重构方法，用于提升无人机移动管理的效率与可扩展性。
2026-01-28 cs.LG cs.MA cs.NI
Attention Based Molecule Generation via Hierarchical Variational Autoencoder
本文提出一种分层结合循环神经网络与卷积网络的变分自编码器方法，用于从SMILES字符串生成分子，在保持长程依赖的同时将已知分子重建有效率提升至约95%，并取得平均0.6的Tanimoto相似度，优于此前类似方法。
2024-01-18 cs.LG q-bio.BM
Efficient Temporal Tokenization for Mobility Prediction with Large Language Models
Northeastern University, Boston, MA（东北大学）；Northwestern University, Evanston, IL（西北大学）
提出 RHYTHM 框架，通过分层时间分词和冻结 LLM 增强轨迹表示，在三个真实数据集上提升移动预测准确率并显著降低训练时间。
2025-07-18 cs.CL cs.LG
Automated labeling of bugs and tickets using attention-based mechanisms in recurrent neural networks
Forethought Technologies（Forethought技术公司）；Lviv National University（利沃夫国立大学）
我们探索在错误跟踪器和客户支持系统中自动标记内容的解决方案。为了做到这一点，我们根据几个标准对内容进行分类，例如优先级或产品领域。在本文的第一部分中，我们提供了一个用于文本分类的现有方法的概述。这些方法分为两类-依赖于神经网络的和不依赖于神经网络的。我们评估这两种解决方案的结果。在论文的第二部分，我们提出了我们自己的递归神经网络解决方案的基础上分层注意范式。它由几个具有不同门控循环单元单元大小的分层注意力网络块和一个并行的互补浅层网络组成。最后，我们评估了上述方法在两个数据集- Arch Linux错误跟踪器和Chromium错误跟踪器中预测字段时的效果。我们的贡献包括在相关数据集上的各种方法之间建立一个全面的基准;一个优于上一代方法的新解决方案;以及两个公开的新数据集，以供进一步研究。
2018-07-08 cs.IR cs.LG stat.ML
A Hierarchical Latent Vector Model for Learning Long-Term Structure in Music
Google Brain（谷歌大脑）
变分自编码器（VAE）已被证明是一种有效的模型，用于产生自然数据的语义有意义的潜在表示。然而，到目前为止，它已经看到有限的应用程序的序列数据，并且，正如我们所证明的，现有的经常性VAE模型难以建模序列的长期结构。为了解决这个问题，我们提出了使用一个分层解码器，它首先输出嵌入的顺序输入，然后使用这些嵌入独立地生成每个子序列。这种结构鼓励模型利用其潜在代码，从而避免“后崩溃”问题，这仍然是复发性VAE的问题。我们应用这种架构来建模序列的音符，并发现它具有显着更好的采样，插值和重建性能比一个“平”的基线模型。我们的“MusicVAE”的实现可以在http://g.co/magenta/musicvae-code上在线获得。
2019-11-11 cs.LG cs.SD eess.AS
On Inferring User Socioeconomic Status with Mobility Records
Nanyang Technological University（南洋理工大学）；Huawei Singapore Research Center（华为新加坡研究中心）；The University of Hong Kong（香港大学）；China-Singapore International Joint Research Institute（中新国际联合研究院）
当用户在物理空间中移动时（例如，城市空间），它们将具有一些称为移动性记录的记录（例如，轨迹）。自然，移动性记录捕获用户在其日常生活中如何工作、生活和娱乐的基本信息，因此，它们已被用于诸如用户简档推断、移动性预测和交通管理的广泛任务中。在本文中，我们通过调查基于移动记录推断用户社会经济状况（例如用户生活房屋的价格作为用户社会经济状况的代理）的问题来扩展这一研究领域，这可能会用于汽车贷款业务等现实应用。为了完成这项任务，我们提出了一个社会经济感知的深度模型，称为DeepSEI。DeepSEI模型包含两个网络，称为深度网络和递归网络，从三个方面提取移动记录的特征，即空间性，时间性和活动性，一个在粗层次，另一个在详细层次。我们对真实的移动记录数据、POI数据和房价数据进行了广泛的实验。结果验证了DeepSEI模型比现有研究具有更好的性能。本文中使用的所有数据集都将公开提供。
2022-11-15 cs.AI cs.LG
Hierarchical Reasoning Models: Perspectives and Misconceptions
Center for Brains, Minds, and Machines（大脑、心智与机器中心）；K. Lisa Yang Integrative Computational Neuroscience (ICoN) Center（K. Lisa Yang整合计算神经科学中心）；McGovern Institute for Brain Research（麦戈文脑科学研究所）；Department of Brain and Cognitive Sciences（脑科学与认知科学系）
本文回顾了分层推理模型，探讨其设计选择与变体，澄清误解，指出其在潜在空间循环推理中展现的潜力与待研究之处。
2025-10-07 cs.AI cs.LG
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
Dirichlet Belief Network~（DirBN）是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中，我们利用其可解释的建模架构，并提出了一个深度的动态概率框架-递归狄利克雷信念网络~（递归DBN）-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点：（1）它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;（2）它能够实现递归长期时间依赖建模，其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外，我们开发了一种新的推理策略，首先向上和向后传播潜计数，然后向下和向前样本变量，使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
Plan-to-Synthesis: Cross-City Human Mobility Generation via Semantic Latent Flow Matching
Singapore-MIT Alliance for Research and Technology Centre, MIT（新加坡-麻省理工学院研究与技术联盟中心（麻省理工学院））；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science & Technology (Guangzhou)（香港科技大学（广州））；Korea Advanced Institute of Science & Technology（韩国高等科学技术研究院）；University of Florida（佛罗里达大学）；Massachusetts Institute of Technology（麻省理工学院）
提出SeMoFlow框架，利用分层语义ID和潜流匹配实现跨城市人类移动轨迹生成，兼顾高保真度与低成本，支持多城市联合生成与迁移。
2026-10-28 cs.LG cs.SI
Bayesian recurrent state space model for rs-fMRI
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
我们提出了一个层次贝叶斯递归状态空间模型，用于建模静息状态fMRI数据中的开关网络连接。我们的模型使我们能够发现各种疾病的共享网络模式。我们评估我们的方法在ADNI2数据集上，通过推断与轻度认知障碍（MCI）个体的神经回路改变相对应的潜在状态模式。除了在健康和MCI个体之间共享的状态之外，我们还发现了主要在MCI个体中观察到的潜在状态。我们的模型在ADNI2数据集上的表现优于当前最先进的深度学习方法。
2020-11-14 cs.LG q-bio.NC stat.ML
Spatiotemporal Capsule Neural Network for Vehicle Trajectory Prediction
Nanyang Technological University（南洋理工大学）
通过推进车联网（V2X）网络，道路安全、能源消耗和交通效率可以得到显著改善。准确的车辆轨迹预测有利于V2X网络实时应用的通信流量管理和网络资源分配。最近的研究报告了递归神经网络及其变体来预测车辆移动性。然而，车辆运动行为的空间属性一直被忽视，导致信息利用不充分。为了弥补这一差距，我们提出了第一次使用胶囊神经网络（CapsNet）与三个连续组件的分层轨迹预测结构。首先，地理信息被转换成一个网格地图表示，描述空间和时间的车辆移动分布。其次，CapsNet作为核心模型，通过层次胶囊嵌入局部时间和全局空间相关性。最后，在波尔图市（葡萄牙）和新加坡收集的实际出租车移动数据进行了广泛的实验表明，所提出的方法优于国家的最先进的方法。
2023-03-06 cs.CV cs.LG
