Neural Machine Translation with Characters and Hierarchical Encoding
Technical University of Denmark (DTU)（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
大多数现有的神经机器翻译模型使用字符组或整个单词作为其输入和输出单元。我们提出了一个模型与分层的char2word编码器，需要单独的字符作为输入和输出。我们首先认为，这种分层表示的字符编码器降低了计算复杂性，并表明，它提高了翻译性能。其次，通过定性研究来自解码器的注意力图，我们发现该模型学习将常见单词压缩到单个嵌入中，而罕见单词（如名称和地点）则逐个字符表示。
2016-10-20 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品，使用基于欧几里德空间的词嵌入，这篇短文提出了一个简单而有效的跨语言Word2Vec模型，适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明，双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能，上位词任务表明，跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构，这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明，通过保留潜在的层次信息，双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
Hierarchical Multi Task Learning With CTC
Carnegie Mellon University（卡内基梅隆大学）
在自动语音识别中，当使用高级（或抽象）目标单元（例如单词）时，学习有用的中间表示仍然是具有挑战性的。由于这个原因，基于字符或音素的系统往往优于基于单词的系统时，只有几百个小时的训练数据正在使用。在本文中，我们首先展示了分层多任务训练如何促进有用的中间表征的形成。我们通过在网络的不同级别上使用不同粒度的目标执行连接主义时间分类来实现这一点。因此，我们的模型对相同的输入在多个尺度上进行预测。在标准的300小时交换机训练设置上，我们的分层多任务架构比具有相同数量参数的单任务架构有所改进。我们的模型在Eval2000 Switchboard子集上获得了14.0%的单词出错率，而无需任何解码器或语言模型，优于当前最先进的声学到单词模型。
2019-01-14 cs.CL
Towards Bidirectional Hierarchical Representations for Attention-Based Neural Machine Translation
University of Macau（澳门大学）；Northeastern University（东北大学）
本文提出了一种分层注意神经翻译模型，其重点是通过使用基于双向树的编码器覆盖局部和全局语义信息来增强源端的分层表示。为了最大化目标词的预测可能性，使用注意力机制的加权变体来平衡词汇向量和短语向量之间的注意力信息。使用基于树的稀有词编码，该模型被扩展到子词级，以减轻词汇表（OOV）的问题。实验结果表明，在英汉翻译任务中，该模型的性能明显优于基于序列到序列注意力和基于树的神经翻译模型。
2017-07-17 cs.CL
Bayesian Hierarchical Words Representation Learning
Microsoft（微软公司）；Tel Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）
本文提出了贝叶斯层次词表示（BHWR）学习算法。BHWR促进了变分贝叶斯词表示学习与通过分层先验的语义分类建模相结合。通过在相关词之间传播相关信息，BHWR利用分类法来提高这种表示的质量。几个语言数据集的评估表明，BHWR的优势，适当的替代品，促进贝叶斯建模或没有语义先验。最后，我们进一步表明，BHWR产生更好的表示罕见的话。
2020-04-12 cs.CL cs.LG stat.ML
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Interpretable Syntactic Representations Enable Hierarchical Word Vectors
针对稠密词向量不可解释的问题，提出将其转换为紧凑可解释的句法表示，并基于此利用增量学习构建层次化词向量，该方法计算高效且在基准测试中优于原始向量。
2024-11-13 cs.CL cs.LG
A Probabilistic Framework for Learning Domain Specific Hierarchical Word Embeddings
Amazon（亚马逊）；University of Melbourne（墨尔本大学）
一个词的含义往往因其在不同领域的用法而异。标准的词嵌入模型很难表示这种变化，因为它们学习一个词的单一全局表示。我们提出了一种方法来学习特定领域的词嵌入，从文本组织成层次结构的领域，如在电子商务网站的评论，其中产品遵循分类。我们的结构化概率模型允许向量表示相同的词漂移远离对方的分类法中的遥远的领域，以适应其特定领域的含义。通过联合学习特定于领域的单词表示集，我们的模型可以利用领域关系，并且它可以随着领域的数量而扩展。使用大型真实世界的评论数据集，我们证明了我们的模型与最先进的方法相比的有效性，在学习特定领域的词嵌入，这对人类来说是直观的，并有利于下游NLP任务。
2019-10-20 cs.CL cs.LG
Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
Johns Hopkins University（约翰霍普金斯大学）；EPFL（苏黎世联邦理工学院）
本文提出一种分布理论，证明语言表示中的上下义关系几何结构源于词汇共现的谱结构，并在word2vec和Gemma 2B嵌入中得到验证。
2026-05-22 cs.CL cs.LG
Hierarchical Recurrent Attention Network for Response Generation
Microsoft Research Asia（微软亚洲研究院）；Microsoft Research（微软研究院）；Beihang University（北京航空航天大学）；Nankai University（南开大学）
我们研究了聊天机器人中的多轮响应生成，其中响应是根据会话上下文生成的。现有的工作已经模拟了上下文的层次结构，但没有足够的注意到这样一个事实，即在上下文中的单词和话语是不同的重要性。因此，他们可能会在上下文中丢失重要信息，并产生不相关的反应。我们提出了一个层次的递归注意力网络（HRAN）模型在一个统一的框架中的这两个方面。在HRAN中，一个层次化的注意力机制分别用词级注意和话语级注意来关注话语内和话语间的重要部分。利用单词级注意力，单词级编码器的隐藏向量被合成为话语向量，并被馈送到话语级编码器以构造上下文的隐藏表示。然后，由话语级注意力处理上下文的隐藏向量，并将其形成为用于解码响应的上下文向量。对自动评估和人类判断的实证研究表明，HRAN可以显着优于国家的最先进的多回合响应生成模型。
2017-01-25 cs.CL
Morphology Aware Reversible Semantic Tokenization and Hierarchical Word Composition for Tamil Language Models
该研究针对泰米尔语，提出结合ThamizhiMorph的形态系统与分层词组合方法，在固定小模型预算下提升翻译性能，同时大幅降低序列长度与推理成本。
2026-08-04 cs.CL
An Analysis of Hierarchical Text Classification Using Word Embeddings
高效的分布式数字词表示模型（词嵌入）与现代机器学习算法相结合，最近取得了相当大的改进自动文档分类任务。然而，这种技术的有效性尚未被评估的层次文本分类（HTC）。本研究借由实验与分析探讨这些模型与演算法在此特定问题上的应用。我们用著名的机器学习算法实现训练分类模型--fastText，XGBoost，SVM和Keras的CNN--以及值得注意的词嵌入生成方法--GloVe，word 2 vec和fastText-使用公开可用的数据，并使用专门适用于分层上下文的措施对其进行评估。FastText在RCV 1数据集的单标记版本上实现了0.893的${}_{LCA}F_1$。分析表明，使用词嵌入及其风味是一个非常有前途的方法，为HTC。
2018-09-06 cs.AI cs.CL cs.LG
HPS: a hierarchical Persian stemming method
Tabriz University（大不里士大学）
本文提出了一种新的基于句子中单词词性的层次化波斯语词干提取方法。实现的词干分析器包括哈希表和几个确定性有限自动机在其不同层次的层次结构，以消除前缀和后缀的话。在我们的方法中使用哈希表有两个目的。第一个问题是DFA不支持某些特殊的字，所以哈希表可以部分解决这个问题。第二个目标是通过省略确定性有限自动机所需的时间来加快实现的词干分析器。由于采用了层次化的组织结构，该方法具有快速、灵活的特点。我们在Hamshahri集合和安全新闻（istna.ir）的测试集上的实验表明，我们的方法具有95.37%的平均准确率，甚至在使用具有常见主题的测试集上使用该方法时也有所提高。
2014-03-12 cs.CL
Joint Embeddings of Hierarchical Categories and Entities
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化知识应用于学习类别的分布式表示，现有的工作不能将类别层次结构纳入实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。与以前的最先进的状态相比，我们的框架可以处理单词的概念和多词的概念具有优越的性能，在概念分类和语义相关性。
2016-05-13 cs.CL
Hierarchical Meta-Embeddings for Code-Switching Named Entity Recognition
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
在讲多种主要语言的国家，在对话中混合不同的语言通常被称为代码转换。以前的工作解决这一挑战主要集中在字级方面，如词嵌入。然而，在许多情况下，语言共享共同的子词，特别是对于密切相关的语言，但也对于看似不相关的语言。因此，我们提出了层次元嵌入（HME），学习结合多个单语词级和子词级嵌入，以创建语言不可知的词汇表示。在英语-西班牙语码转换数据的命名实体识别任务中，我们的模型在多语言环境中达到了最先进的性能。我们还表明，在跨语言环境中，我们的模型不仅利用密切相关的语言，而且还从不同词根的语言中学习。最后，我们表明，结合不同的子单元是至关重要的捕获代码转换实体。
2019-09-18 cs.CL
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Hierarchical Density Order Embeddings
Cornell University（康奈尔大学）；Ithaca, NY 14850, USA（美国纽约州伊萨卡市）
概率词嵌入通过用概率密度而不是点向量来表示词，可以捕获丰富的、可解释的语义信息和不确定性。不确定性信息在捕获蕴涵关系时可能特别有意义--由此，诸如“实体”之类的一般词对应于包含诸如“动物”或“仪器”之类的更具体词的广泛分布。我们引入密度顺序嵌入，通过封装概率密度来学习层次表示。特别是，我们提出了简单而有效的损失函数和距离度量，以及基于图形的计划来选择负样本，以更好地学习分层密度表示。我们的方法在WordNet上位词关系预测任务和具有挑战性的HyperLex词汇蕴涵数据集上提供了最先进的性能-同时保留了丰富且可解释的密度表示。
2018-04-26 cs.AI cs.CL cs.LG
Hierarchical Memory Networks for Answer Selection on Unknown Words
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
近年来，端到端记忆网络在问答任务中表现出了良好的效果，它将过去的事实编码成外显记忆，并通过对记忆进行多个计算步骤来实现推理能力。然而，记忆网络在记忆层次上进行推理，输出的是粗糙的语义向量，没有进一步采取任何注意力机制来关注单词，这可能导致模型丢失一些细节信息，尤其是当答案是稀有或未知单词时。在本文中，我们提出了一种新的层次记忆网络，被称为HMN。首先，我们将过去的事实分别编码为事件级记忆和单词级记忆。然后，在推理模块之后，在词汇级存储器上利用（k）-最大池化来对与问题最相关的（k）个句子进行采样，并将这些句子馈送到单词级存储器上的注意力机制中，以集中所选句子中的单词。最后，预测是在句子级推理模块和单词级注意力机制的输出上联合学习的。实验结果表明，我们的方法成功地进行未登录词的答案选择，并取得了更好的性能比记忆网络。
2016-09-28 cs.AI cs.CL cs.IR
Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
Aleph Alpha Research（Aleph Alpha研究院）
本研究提出分层自回归Transformer，结合字符级与词级处理，避免固定词汇表，在70亿参数规模下匹配子词模型性能，同时显著增强对输入扰动的稳健性，并在跨语言持续预训练中实现近两倍加速和更优目标语言性能。
2025-01-20 cs.AI cs.CL cs.LG
A Hierarchical Decoding Model For Spoken Language Understanding From Unaligned Data
Shanghai Jiao Tong University（上海交通大学）
口语语言理解（SLU）系统可以在两种类型的标记数据上训练：对齐或未对齐。未对齐的数据不需要逐字注释，并且更容易获得。在本文中，我们专注于口语语言理解从未对齐的数据，其注释是一组的act-slot-value三元组。以往的工作主要集中在改进槽值对预测和分别估计对话行为类型，忽略了行为槽值三元组的层次结构。在这里，我们提出了一种新的分层解码模型，动态解析的行为，槽和价值结构化的方式，并采用指针网络来处理外的词汇（OOV）值。在DSTC 2数据集上的实验表明，该模型不仅性能优于现有模型，而且可以有效地推广到未知的act-slot类型对和OOV值。
2019-04-09 cs.CL
Joint Embedding of Words and Category Labels for Hierarchical Multi-label Text Classification
分类标签粒度的不断细化和分类标签规模的不断扩大使文本分类变得越来越具有挑战性。为了解决这个问题，一些研究已经应用到策略，利用层次结构的问题，大量的类别。目前，层次文本分类（HTC）受到了广泛的关注，具有广阔的应用前景。在文本分类任务中充分利用父类别和子类别之间的关系可以大大提高分类性能。在本文中，我们提出了一种基于分层微调有序神经元LSTM（HFT-ONLSTM）的文本和父类别联合嵌入HTC。我们的方法充分利用了上层标签和下层标签之间的联系。实验表明，我们的模型优于国家的最先进的层次模型在较低的计算成本。
2020-08-26 cs.CL cs.LG cs.NE
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
University of Malaya（马来亚大学）
一张图片胜过千言万语。然而，直到最近，我们才注意到在理解视觉场景方面的一些成功案例：一个能够检测/命名对象，描述其属性并识别其关系/交互的模型。在本文中，我们提出了一个基于短语的分层长短期记忆（phi-LSTM）模型来生成图像描述。所提出的模型将句子编码为短语和单词的组合序列，而不是像传统解决方案中那样单独的单词序列。该模型的两个层次致力于i）学习生成图像相关名词短语，以及ii）从语料库中的短语和其他单词中产生适当的图像描述。采用卷积神经网络来学习图像特征，采用LSTM来学习句子中的单词序列，与Flickr 8 k和Flickr 30 k数据集上的最先进模型相比，该模型显示出更好或具有竞争力的结果。
2017-10-26 cs.CL cs.CV
BERT-hLSTMs: BERT and Hierarchical LSTMs for Visual Storytelling
Guangdong University of Technology（广东工业大学）；Guangdong Ocean University（广东海洋大学）；University of Surrey（萨里大学）；Tianjin University of Technology（天津理工大学）
视觉故事讲述是一个创造性和挑战性的任务，旨在自动生成一个故事般的描述的图像序列。以前的视觉叙事方法生成的描述缺乏连贯性，因为它们使用单词级序列生成方法，并且没有充分考虑上下文级依赖关系。为了解决这个问题，我们提出了一种新的分层视觉讲故事的框架，分别模型的句子级和单词级的语义。我们使用基于transformer的BERT来获得句子和单词的嵌入。然后，我们采用分层LSTM网络：底部LSTM接收来自BERT的句子向量表示作为输入，以学习与图像对应的句子之间的依赖关系，顶部LSTM负责生成相应的词向量表示，从底部LSTM获取输入。实验结果表明，我们的模型优于最密切相关的基线下的自动评估指标BLEU和CIDER，也表明我们的方法与人类评估的有效性。
2020-12-03 cs.CL cs.CV
Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection
University of Virginia（弗吉尼亚大学）
为神经网络生成解释对于它们在现实世界中的可靠性和可信度方面的应用已经变得至关重要。在自然语言处理中，现有的方法通常只提供从输入文本中选取的词或短语作为解释的重要特征，而忽略了它们之间的相互作用。它对人类解释解释并将其与模型预测联系起来提出了挑战。在这项工作中，我们通过检测功能的相互作用建立层次的解释。此类解释可视化了单词和短语如何在层次结构的不同级别组合，这可以帮助用户理解黑盒模型的决策。通过自动和人工评估，在两个基准数据集上使用三个神经文本分类器（LSTM，CNN和BERT）对所提出的方法进行了评估。实验表明，该方法在提供解释，既忠实于模型和人类可解释的有效性。
2020-05-18 cs.CL
HiGRU: Hierarchical Gated Recurrent Units for Utterance-level Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；Meitu（美图）；The Hang Seng University of Hong Kong（香港恒生大学）
针对对话系统中话语级情感识别面临的三大挑战：（1）同一个词在不同的语境中表达不同的情感;（2）某些情感在一般对话中很少见;（3）长距离语境信息难以有效获取。因此，我们提出了一个分层的门控递归单元（HiGRU）框架，较低级别的GRU模型的单词级输入和上层GRU捕获的话语级嵌入的上下文。此外，我们将该框架提升为两个变体，HiGRU与个体特征融合（HiGRU-f）和HiGRU与自我注意和特征融合（HiGRU-sf），从而可以充分利用单词/话语级别的个体输入和远程上下文信息。在IEMOCAP、Friends和QuestionPush三个对话情感数据集上的实验表明，我们提出的HiGRU模型在每个数据集上分别比现有方法提高了8.7%、7.5%和6.0%。特别是，通过仅利用IEMOCAP中的文本特征，我们的HiGRU模型比具有文本、视频和音频三模态特征的最先进的会话记忆网络（CMN）至少提高了3.8%。
2019-04-09 cs.CL
Human-Like Decision Making: Document-level Aspect Sentiment Classification via Hierarchical Reinforcement Learning
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
最近，神经网络在文档层面的方面情感分类（DASC）上显示出了很好的结果。然而，这些方法往往提供很少的透明度w.r.t.其内在的工作机制，缺乏可解释性。为了模拟人类分析文档中方面情感的步骤，提出了一种新的层次强化学习（HRL）方法。该方法结合了小句选择和选词策略来解决DASC任务中的数据噪声问题。首先，提出了一个高层次的政策，以选择方面相关的条款和丢弃嘈杂的条款。然后，提出了一个低层次的政策，以选择情感相关的话，并删除所选条款内的噪音的话。最后，一个情感评级预测器被设计为提供奖励信号来指导子句和词的选择。实验结果表明，令人印象深刻的有效性，所提出的方法DASC超过国家的最先进的基线。
2019-10-21 cs.AI cs.CL
Hierarchical Interpretation of Neural Text Classification
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；Alan Turing Institute（阿兰·图灵研究所）
近年来，在自然语言处理（NLP）中，人们对开发可解释模型的兴趣越来越大。大多数现有的模型旨在识别输入特征，例如对模型预测重要的单词或短语。然而，在NLP中开发的神经模型通常以分层方式组成单词语义，并且文本分类需要分层建模来聚合本地信息，以便更有效地处理主题和标签偏移。因此，在文本分类中，仅通过单词或短语的解释不能忠实地解释模型决策。本文提出了一种新的层次化的不可解释的神经文本分类器，称为提示，它可以自动生成解释的模型预测的形式，标签相关的主题在一个层次化的方式。模型解释不再是在单词级别，而是建立在主题作为基本语义单位的基础上。在评论数据集和新闻数据集上的实验结果表明，我们提出的方法实现了与现有最先进的文本分类器相当的文本分类结果，并且生成的解释更忠实于模型预测，并且比其他可解释的神经文本分类器更容易被人类理解。
2022-08-09 cs.AI cs.CL cs.IR
Seeing Both the Forest and the Trees: Multi-head Attention for Joint Classification on Different Compositional Levels
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；The ALTA Institute（阿尔塔研究所）
在自然语言中，单词被用来组合句子。它不是孤立的单词，而是层次结构的适当组合，传达了整个句子的含义。神经网络可以捕捉表达性的语言特征;然而，对单词和句子之间的联系的洞察很难自动获取。在这项工作中，我们设计了一个深度神经网络架构，明确连接较低和较高的语言组件，然后我们评估其在不同层次执行相同任务的能力。解决广泛的文本分类任务，我们表明，我们的模型，MHAL，学习，同时解决他们在不同的粒度层次之间的流动转移知识。使用一个多头注意力机制，以配合单个单词和完整的句子之间的表示，MHAL系统优于等效的模型，没有激励对发展成分表示。此外，我们证明，与建议的架构，句子信息自然流向单个单词，允许模型的行为像一个序列标签（这是一个较低的，字级的任务），即使没有任何字的监督，在一个zero-shot的方式。
2020-11-01 cs.CL
A Hierarchical Attention Based Seq2seq Model for Chinese Lyrics Generation
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
本文对中文歌词的上下文感知生成进行了全面的研究。传统的文本生成模型是逐词生成序列或句子，没有考虑句子之间的上下文关系。针对歌词的特点，提出了一种基于层次注意力的Seq 2Seq（Sequence-to-Sequence）歌词生成模型。该模型通过对词级和句子级上下文信息的编码，提高了生成的主题相关性和一致性。一个大型的中文歌词语料库也被用于模型训练。最后，自动和人工评估的结果表明，我们的模型是能够组成完整的中文歌词与一个统一的主题约束。
2019-06-15 cs.CL cs.LG
Neural Attention-Aware Hierarchical Topic Model
Monash University（莫纳什大学）；Deakin University（迪肯大学）
神经主题模型（NTM）将深度神经网络应用于主题建模。尽管他们的成功，NTMs通常忽略了两个重要方面：（1）只有文档级的单词计数信息被用于训练，而更细粒度的文本级信息被忽略，以及（2）关于文档，句子和单词的外部语义知识没有被利用的训练。为了解决这些问题，我们提出了一个变分自编码器（VAE）NTM模型，该模型使用词袋（BoW）主题嵌入和预训练语义嵌入的组合来联合重建句子和文档字数。预训练的嵌入首先被转换到一个公共的潜在主题空间中，以使它们的语义与BoW嵌入保持一致。我们的模型还具有分层KL分歧，以利用每个文档的嵌入来正则化其句子的嵌入，从而更加关注语义相关的句子。定量和定性实验都表明了我们的模型在以下方面的有效性：1）降低句子和文档级别的重建错误; 2）从真实世界的数据集中发现更连贯的主题。
2021-10-14 cs.CL cs.LG
Hierarchical Neural Language Models for Joint Representation of Streaming Documents and their Content
Yahoo Labs（雅虎实验室）；University of Southern California（南加州大学）
我们考虑的问题，学习分布式表示的文件数据流。这些文档被表示为低维向量，并使用具有两个嵌入式神经语言模型的分层框架与单词标记的分布式向量表示联合学习。特别是，我们利用流中的文档的上下文，并使用其中一个语言模型来建模文档序列，另一个模型中的单词序列。模型学习单词标记和文档的连续向量表示，使得语义相似的文档和单词在公共向量空间中接近。我们讨论扩展我们的模型，它可以被应用到个性化推荐和社会关系挖掘，通过添加进一步的用户层的层次结构，从而学习用户特定的向量来表示个人偏好。我们在MovieLens的公共电影评级数据集上验证了所学习的表示，以及在雅虎服务器上收集的包括三个月用户活动日志的大规模雅虎新闻数据上验证了所学习的表示。结果表明，该模型可以学习文档和单词标记的有用表示，性能大大优于当前最先进的。
2016-06-28 cs.CL cs.IR
Structure leads and dominates comprehension in naturalistic reading
Department of Brain and Cognitive Sciences, University of Rochester（罗切斯特大学脑科学与认知科学系）；Department of Linguistics and Modern Languages, the Chinese University of Hong Kong（香港中文大学语言学与现代语言系）；Department of Language Science, University of California Irvine（加州大学 Irvine 分校语言科学系）
本研究通过同步脑电图和眼动追踪，结合贝叶斯网络建模和回归分析，探究层级句法结构与统计因素在在线理解中的相对强度，发现层级结构在阅读前即可影响理解，但其强度因行为或神经层面而异。
2026-06-23 cs.CL q-bio.NC
Coloring the Blank Slate: Pre-training Imparts a Hierarchical Inductive Bias to Sequence-to-sequence Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Yale University（耶鲁大学）；New York University（纽约大学）
词与词之间的关系是由层次结构而不是线性排序决定的。序列到序列（seq 2seq）模型尽管在下游NLP应用中取得了成功，但在执行句法转换时，通常无法以层次敏感的方式进行概括-例如，将陈述句转换为问题。然而，seq 2seq模型的句法评估仅观察到在被训练以执行句法转换之前未在自然语言数据上预训练的模型，尽管已经发现预训练在语言模型中诱导分层语言概括的事实;换句话说，seq 2seq模型的句法能力可能被大大低估。我们使用预训练的seq 2seq模型T5和BART以及它们的多语言变体mT5和mBART来解决这个差距。我们评估他们是否在两种语言中的两个转换层次概括：英语和德语中的问题形成和被动化。我们发现，预先训练的seq 2seq模型在执行语法转换时会分层概括，而从头开始训练的模型则不会。这一结果为来自无注释自然语言文本的分层句法信息的可学习性提供了证据，同时也证明了seq 2seq模型能够进行句法泛化，尽管只有在接触到比人类学习者接收到的更多的语言数据之后。
2022-03-17 cs.CL
The Emergence of Chunking Structures with Hierarchical RNN
University of Alberta/Amii（阿尔伯塔大学/Amii）；University of Waterloo（滑铁卢大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；Huawei Poisson Lab（华为Poisson实验室）
本文提出一种无监督分块方法，利用层次递归神经网络建模词与分块的层次结构，通过预训练和微调提升分块性能，揭示分块结构在训练过程中的短暂性。
2025-12-18 cs.CL
Hierarchical Representation in Neural Language Models: Suppression and Recovery of Expectations
Harvard University（哈佛大学）；MIT（麻省理工学院）；UC Irvine（加州大学欧文分校）
深度学习序列模型已经导致一系列自然语言处理任务的性能显著提高，但它们是否能够单独从线性输入中诱导适当的分层概括来表示自然语言仍然是一个悬而未决的问题。使用人工语言作为训练输入的工作表明，LSTM能够诱导表示上下文无关和某些轻度上下文敏感的语言所需的堆栈式数据结构--形式语言类，其在理论上对应于自然语言的层次结构。在这里，我们提出了一套实验，探讨在语言数据上训练的神经语言模型是否会诱导这些类似堆栈的数据结构，并在增量预测单词的同时部署它们。我们研究了两种自然语言现象：中心嵌入句和句法孤岛对填充语--空缺依赖的约束。为了正确预测这些结构中的单词，模型必须能够暂时抑制某些期望，然后稍后恢复这些期望，本质上是将这些期望推到堆栈上。我们的研究结果提供的证据表明，模型可以成功地抑制和恢复预期在许多情况下，但不能完全恢复他们以前的语法状态。
2019-06-10 cs.CL
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Hierarchical Conditional End-to-End ASR with CTC and Multi-Granular Subword Units
Waseda University（早稻田大学）
在端到端的自动语音识别（ASR）中，期望模型隐式地学习适于识别单词级序列的表示。然而，输入声学信号和输出语言标记之间的巨大抽象差距使得模型学习表示具有挑战性。在这项工作中，以促进端到端ASR的词级表征学习，我们提出了一个分层的条件模型，是基于连接主义的时间分类（CTC）。我们的模型是通过应用于中间层的辅助CTC损失来训练的，其中每个目标子词序列的词汇量随着层变得接近单词级输出而逐渐增加。在这里，我们使每个级别的序列预测显式地以在较低级别预测的先前序列为条件。与所提出的方法，我们希望所提出的模型，学习词级表示有效地利用层次结构的语言。在LibriSpeech-{100 h，960 h}和TEDLIUM 2上的实验结果表明，该模型优于标准CTC模型和其他竞争模型。我们进一步分析了结果，以确认我们的模型预期的表征学习的有效性。
2022-02-08 cs.CL eess.AS
Hyperbolic Interaction Model For Hierarchical Multi-Label Classification
Beijing Jiaotong University（北京交通大学）
与传统的分类任务假设标签互斥不同，层次多标签分类（HMLC）的目标是为每个实例分配多个标签，标签按照层次关系组织。除了标签，由于语言本体是内在的层次结构，词与词之间的概念关系也可以形成层次结构。因此，学习从单词层次结构到标签层次结构的映射可能是一个挑战。我们建议将单词和标签层次结构嵌入到双曲空间中。其主要原因是双曲空间的树状性与具有层次结构的符号数据的复杂性相匹配。设计了一种新的双曲交互模型（HyperIM）来学习标签感知的文档表示，并对HMLC进行预测。在三个基准数据集上进行了广泛的实验。实验结果表明，该模型能够真实地捕捉复杂的数据结构，与现有方法相比，进一步提高了HMLC的性能。为了方便未来的研究，我们的代码是公开的。
2019-09-04 cs.CL cs.LG stat.ML
X-ReCoSa: Multi-Scale Context Aggregation For Multi-Turn Dialogue Generation
Beijing University of Posts & Telecommunications（北京邮电大学）
在多轮对话生成中，响应不仅与上下文的主题和背景有关，而且与上下文句子中的单词和短语有关。然而，目前广泛使用的分层对话模型仅仅依赖于来自话语级编码器的上下文表示，忽略了由单词级编码器输出的句子表示。这不可避免地导致在解码和生成时信息的丢失。在本文中，我们提出了一个新的对话模型X-ReCoSa来解决这个问题，聚合多尺度上下文信息的层次对话模型。具体来说，我们将生成解码器分为上、下两部分，即意图部分和生成部分。首先，意图部分将上下文表示作为输入以生成响应的意图。然后生成部分根据句子表示生成单词。因此，层次信息已被融合到响应生成。我们在英语数据集DailyDialog上进行了实验。实验结果表明，我们的方法优于基线模型的自动度量为基础的和基于人的评价。
2023-03-14 cs.CL
Morphological Segmentation Inside-Out
Johns Hopkins University（约翰斯·霍普金斯大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；LMU Munich（慕尼黑大学）
形态学分割传统上是用非层次模型建模的，其产生平坦的分割作为输出。然而，在许多情况下，适当的形态分析需要层次结构-特别是在派生形态的情况下。在这项工作中，我们介绍了一个歧视性的，联合模型的形态分割以及在构词过程中发生的拼写变化。据我们所知，这是第一次尝试用上下文无关模型来处理判别分割。此外，我们发布了一个注释树库的7454个英语单词与选区解析，鼓励在这一领域的未来研究。
2021-02-12 cs.CL
Pruning and Sparsemax Methods for Hierarchical Attention Networks
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID
本文介绍并评价了两种新颖的层次注意力网络模型[Yang et al.，- i）分层修剪注意力网络，其从分类过程中去除不相关的单词和句子，以减少文档分类准确性中的潜在噪声，以及ii）分层Sparsemax注意力网络，其用Sparsemax代替注意力机制中使用的Softmax函数[Martins和Astudillo，2016]，能够更好地处理重要性分布，其中许多单词或句子具有非常低的概率。我们对IMDB Review的情感分析数据集的实证评估显示，这两种方法都能够匹配当前最先进的方法所获得的结果（但是没有任何显着的好处）。我们所有的源代码都可以在https：//www.example.com上找到。github.com/jmribeiro/dsl-project
2020-04-08 cs.CL cs.LG
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford（牛津大学）；DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一：新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案，因为它们可以创建在训练语料库中未被证明的词类型，但它们没有捕获这些词的“突发”分布。在本文中，我们增强了一个分层LSTM语言模型，该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型，我们构建了一个新的开放式词汇语言建模语料库（多语言维基百科语料库，MWC），从可比的维基百科文章在7种不同的语言类型，并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
Joint Embedding of Hierarchical Categories and Entities for Concept Categorization and Dataless Classification
Carnegie Mellon University（卡内基梅隆大学）
由于缺乏结构化的知识应用于学习的分布式表示的类别，现有的工作不能纳入类别层次结构的实体信息。我们提出了一个框架，嵌入实体和类别到一个语义空间，通过整合结构化的知识和分类层次结构从大型知识库。该框架允许计算实体和类别之间有意义的语义相关性。我们的框架可以同时处理单词概念和多词概念，在概念分类上具有优越的性能，并在无数据层次分类上产生最先进的结果。
2016-07-27 cs.AI cs.CL
CommunityFish: A Poisson-based Document Scaling With Hierarchical Clustering
Universität Hamburg（汉堡大学）
本文提出CommunityFish，一种基于层次聚类（Louvain算法）的Wordfish增强版本，通过生成语义社区作为输入，提升文档缩放的可解释性与速度，并在美国国情咨文和德国政党宣言语料上优于经典模型。
2023-08-28 cs.CL cs.LG cs.SI
On the Importance of Word Boundaries in Character-level Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Google AI（谷歌人工智能）；Amazon AI（亚马逊人工智能）；University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）模型通常使用固定大小的词汇表来执行翻译，这是其泛化能力和整体翻译质量的重要瓶颈。克服这种限制的标准方法是将单词分割成子单词单元，通常使用具有任意语法的一些外部工具，导致词汇单元不适合翻译任务。最近的研究表明，同样的方法可以扩展到直接在字符级别执行NMT，这可以提供与基于子词的模型相当的翻译准确性，另一方面，这需要相对更深的网络。在本文中，我们提出了一个计算效率更高的解决方案，字符级NMT实现了一个分层解码架构，翻译随后在单词和字符的水平上产生。我们评估了不同的方法，开放词汇NMT的机器翻译任务，从英语到五种不同的语言形态学，并表明，分层解码模型可以达到更高的翻译精度比子词级NMT模型使用显着更少的参数，同时表现出更好的能力，在学习更长距离的上下文和语法的依赖关系比标准的字符级NMT模型。
2019-10-21 cs.CL
Lyrics-Based Music Genre Classification Using a Hierarchical Attention Network
Stanford University（斯坦福大学）
音乐体裁分类，特别是仅使用歌词分类，一直是音乐信息检索中的一个具有挑战性的课题。在这项研究中，我们应用递归神经网络模型来分类一个完整的歌词大数据集。由于歌词呈现分层结构-其中单词组合形成线条，线条形成片段，片段形成完整的歌曲-我们采用分层注意力网络（HAN）来利用这些层，并学习单词，线条和片段的重要性。我们在117种类型的数据集和减少的20种类型的数据集上测试模型。实验结果表明，HAN优于非神经模型和简单的神经模型，同时也比以前的研究分类更多的类型。通过学习过程，我们还可以可视化模型认为歌曲中的哪些单词或台词对分类流派很重要。因此，HAN从计算的角度提供了对区分音乐流派的抒情结构和语言特征的见解。
2017-07-15 cs.CL cs.IR cs.NE
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California（南加州大学）；Fudan University（复旦大学）
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合，我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性，突出单词和短语的组成。我们展示了一些先前的努力，分层解释，例如上下文分解，不满足数学上所需的属性，导致不一致的解释质量在不同的模型。在本文中，我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上，提出了采样和上下文分解（SCD）算法和采样和遮挡（SOC）算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明，我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成，提取分类规则，提高人类对模型的信任。项目页面：https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models
Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
我们调查的任务，建立开放的领域，会话对话系统的基础上使用生成模型的大型对话语料库。生成模型产生的系统响应是逐字自动生成的，为现实的，灵活的交互开辟了可能性。为了支持这一目标，我们将最近提出的分层递归编码器-解码器神经网络扩展到对话域，并证明该模型与最先进的神经语言模型和退避n元模型具有竞争力。我们研究了这种方法和类似方法的局限性，并展示了如何通过从更大的问答对语料库和预训练的词嵌入中引导学习来提高其性能。
2016-04-06 cs.AI cs.CL cs.LG
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文描述了一个层次组合递归网络（HCRN），它包括一个3级层次的组合模型：字符，单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题，另一个是没有使用句间依赖。在HCRN中，单词表示是从字符中构建的，从而解决了数据稀疏性问题，并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案，以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是，具有句间依赖性的句子表示能够捕获句子的隐式和显式语义，显着提高性能。最后，HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%，达到了最先进的性能。
2016-06-03 cs.CL
Hierarchical Optimal Transport for Document Representation
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
测量文档之间相似性的能力使大型语料库的智能摘要和分析成为可能。过去文档之间的距离要么是因为无法合并单词之间的语义相似性，要么是因为可扩展性问题。作为一种替代方案，我们引入分层最优传输作为文档之间的元距离，其中文档被建模为主题的分布，这些主题本身被建模为单词的分布。然后，我们在较小的主题空间上解决一个最优传输问题，以计算相似性得分。我们给出的条件下，这个结构定义的距离的主题，我们把它与词移动的距离。我们评估了我们的技术的k-NN分类，并显示出更好的可解释性和可扩展性，与当前的方法相比，性能在成本的一小部分。
2019-11-01 cs.CL cs.IR cs.LG
Biomedical Event Extraction with Hierarchical Knowledge Graphs
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
生物医学事件提取是理解科学语料库中描述的生物分子相互作用的关键。其中一个主要的挑战是识别与非指示性触发词相关联的嵌套结构化事件。我们建议将领域知识从统一医学语言系统（UMLS）的预训练语言模型通过图边条件注意力网络（GEANet）和层次图表示。为了更好地识别触发词，每个句子首先接地的句子图的基础上，联合建模的层次知识图谱从UMLS。接地图，然后传播GEANet，一种新的图神经网络，用于增强能力，推断复杂的事件。在BioNLP 2011 GENIA事件提取任务中，我们的方法在所有事件和复杂事件上分别实现了1.41%和3.19%的F1改进。消融研究证实了GEANet和分级KG的重要性。
2020-10-12 cs.AI cs.CL
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
Ant Financial Services Group（蚂蚁金融服务集团）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
人类语言理解在多个粒度级别上操作（例如，单词、短语和句子），其中抽象级别增加，可以分层组合。然而，现有的具有堆叠层的深度模型没有明确地对任何类型的分层过程进行建模。本文提出了一种基于CKY型二叉树的递归Transformer模型来模拟合成过程。我们将双向语言模型预训练目标扩展到该架构，尝试预测每个单词的左和右抽象节点。为了扩大我们的方法，我们还引入了一个有效的修剪树归纳算法，使编码在一个线性数量的组成步骤。语言建模和无监督句法分析的实验结果表明了该方法的有效性。
2022-03-03 cs.CL cs.LG
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
HiTR: Hierarchical Topic Model Re-estimation for Measuring Topical Diversity of Documents
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Institute for Logic, Language, and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
高度的主题多样性通常被认为是有趣的文本文档的一个重要特征。最近提出的一项建议，用于衡量主题的多样性，确定了三个分布评估文件的多样性：文件内的话，主题内的话，和文件内的主题的分布。主题模型在这一方法中起着核心作用，因此，它们的质量对衡量主题多样性的有效性至关重要。主题模型的质量受两个因素的影响：主题的一般性和不纯性。一般主题仅包括背景语料库的公共信息，并且被分配给大多数文档。不纯主题包含与主题无关的词。杂质降低了主题模型的可解释性。不纯的主题很可能被错误地分配给文档。我们提出了一个分层的重新估计过程，旨在消除一般性和杂质。我们的方法有三个重新估计组件：（1）文档重新估计，从文档中删除一般单词;（2）主题重新估计，重新估计每个主题的单词分布;（3）主题分配重新估计，重新估计每个文档在主题上的分布。为了测量文本文档的主题多样性，我们的HiTR方法比在PubMed数据集上测量的最先进的方法有所改进。
2018-10-12 cs.CL cs.IR cs.LG
