Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);Imperial College London(帝国理工学院)
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而,国家的最先进的算法需要手动规范的子任务结构,一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面,人类可以有效地检测由周围环境引起的层次子结构。有人认为,这种推理过程普遍适用于语言,逻辑推理以及运动控制。因此,我们提出了一个认知启发的强化学习架构,它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子,我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法(Pastra & Aloimonos,2012),并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
HASTE: Hierarchical and Attribute-aware Supervision for Generative Recommendation
Glance
本文提出HASTE框架,通过分层损失和属性特定损失优化生成式推荐,在多领域数据集上提升了推荐性能,使训练收敛速度约提升1倍。
2026-10-14 cs.AI cs.IR cs.LG
Towards an Interpretable Hierarchical Agent Framework using Semantic Goals
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);US Army Research Lab(美国陆军研究实验室)
用强化学习来学习解决长时间扩展任务已经是几年来的挑战。我们认为,重要的是要利用复杂任务的层次结构,并尽可能使用专家监督来解决这些任务。本文通过结合规划和语义目标导向的强化学习,提出了一种可解释的层次Agent框架。我们假设访问某些空间和触觉谓词,并构建一个简单而强大的语义目标空间。这些语义目标表示更易于解释,使专家监督和干预更容易。它们还消除了编写复杂、密集的奖励函数的需要,从而减少了人类工程工作。我们评估了我们的框架上的机器人块操作任务,并表明它比其他方法,包括稀疏和密集的奖励函数更好地执行。我们还提出了一些后续步骤,并讨论了这个框架如何使与人类的交互和协作变得更容易。
2022-10-16 cs.LG cs.RO
Improving Coherence in Hierarchical Time Series Forecasting using Structured Temporal Fusion
提出层次时间融合(HTF)模型,通过结构化层次嵌入和一致性损失函数,在训练中直接嵌入一致性约束,同时建模时间动态和结构一致性,在M5和能源数据集上降低不一致性并提升预测精度。
2026-06-26 cs.LG
Learning Hierarchical Knowledge in Text-Rich Networks with Taxonomy-Informed Representation Learning
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学);Ant Group(蚂蚁集团)
TIER通过构建隐含层次分类学并整合到节点表示中,提升文本丰富网络的层次化知识学习能力,实现更可解释的结构化建模。
2026-03-09 cs.LG
Hierarchical Semantic Correspondence Learning for Post-Discharge Patient Mortality Prediction
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Northwestern University(西北大学)
预测患者死亡率是医疗保健领域中一个重要且具有挑战性的问题,特别是对于重症监护病房(ICU)患者。电子健康笔记作为学习患者陈述的丰富来源,可以促进有效的风险评估。然而,很大一部分的临床笔记是非结构化的,也包含特定领域的术语,我们需要从中提取结构化的信息。在本文中,我们引入了一个嵌入框架来学习语义合理的分布式表示的临床笔记,利用非结构化文本和它们相应的结构化知识,称为语义框架,在一个层次化的方式之间的语义对应。我们的方法将文本建模和语义对应学习集成到单个模型中,该单个模型包括:1)非结构化嵌入模块,其利用自相似矩阵表示,以便注入临床文本中固有的不同片段的结构化映射,以促进局部一致性; 2)结构化嵌入模块,其嵌入语义框架(例如,UMLS语义类型)与深度ConvNet的交互,以及3)分层语义对应模块,其通过增强多个级别上的文本语义框架嵌入对之间的交互来嵌入(即,单词、句子、注释)。出院后重症监护患者死亡率预测任务的多个嵌入基准的评估表明,它的有效性相比,不利用结构化和非结构化的信息之间的语义相互作用的临床笔记的方法。
2019-10-15 cs.CL cs.LG
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
HiSE: A Lightweight Hierarchical Semantic Explainer for Heterogeneous Graph Neural Networks
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出HiSE,一种轻量级特征导向的可解释模型,通过层次语义建模(语义级LASSO稀疏特征学习和跨语义级KL散度自适应融合)实现高保真、低计算开销的异构图神经网络解释。
2026-06-02 cs.LG
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
无监督语义分割的目的是发现图像内和图像间的分组,这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地,分割具有不同的粒度级别,在无监督分割中产生了歧义。现有的方法避免了这种模糊性,并将其视为建模之外的一个因素,而我们拥抱它,并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是,一个好的表示不仅应该揭示特定的分组级别,而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性,并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法,称为分层分割(HSG)。通过捕获视觉相似性和统计共现,HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
Hierarchical Book Organization for Learning-Resource Discovery using Dual-Path Graph Convolutions
Indian Institute of Technology Indore(印度理工学院印多尔分校);Indian Institute of Technology Patna(印度理工学院帕纳布)
HiGeMine通过双路径图卷积框架,利用书评和权威书类信息提升层次化书类分类的准确性。
2026-08-25 cs.IR cs.LG cs.MM
Improving Energy Efficiency in Femtocell Networks: A Hierarchical Reinforcement Learning Framework
VTT Technical Research Centre of Finland(芬兰VTT技术研究中心);York-Zhejiang Lab for Cognitive Radio and Green Communications(约克-浙江认知无线电与绿色通信实验室);Zhejiang University(浙江大学)
本文结合博弈论和随机学习研究了双层毫微微蜂窝网络的能量效率问题。基于Stackelberg博弈模型,采用分层强化学习框架研究了在最小信干噪比条件下宏蜂窝和毫微微蜂窝的联合平均效用最大化问题.在学习过程中,宏蜂窝充当领导者,毫微微蜂窝充当跟随者。在每个时间步,领导者承诺动态策略的基础上的最佳反应的追随者,而追随者相互竞争,没有进一步的信息,但领导者的战略信息。在本文中,我们提出了两个学习算法调度每个小区的随机功率电平,领导的宏小区。数值实验验证了所提出的研究,并表明这两种学习算法大大提高了毫微微蜂窝网络的能量效率。
2012-09-13 cs.LG
Next Semantic Scale Prediction via Hierarchical Diffusion Language Models
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Mila - Quebec AI Institute(魁北克AI研究所)
本文提出分层扩散语言模型(HDLM),通过分层词汇表实现时变的下一语义尺度预测,推导ELBO闭式解,并在文本生成中取得更低困惑度。
2025-10-08 cs.CL cs.LG
Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
HiTime通过层次多模态大语言模型和语义空间对齐,提升时间序列分类的性能。
2025-12-19 cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Semantic and Geometric Modeling with Neural Message Passing in 3D Scene Graphs for Hierarchical Mechanical Search
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
在室内有组织的环境中搜索物体,如家庭或办公室,是我们日常活动的一部分。在寻找目标对象时,我们共同推理对象可能所在的房间和容器;根据目标所在的房间,同一类型的容器具有不同的概率。我们还结合几何和语义信息来推断什么容器是最好的搜索,或者什么其他对象是最好的移动,如果目标对象是隐藏的视图。我们建议使用3D场景图表示捕捉这个问题的层次,语义和几何方面。为了在搜索过程中利用这种表示,我们引入了分层机械搜索(HMS),这是一种引导代理的操作以找到用自然语言描述指定的目标对象的方法。HMS基于一种新颖的神经网络架构,该架构使用具有视觉、几何和语言信息的向量的神经消息传递,以允许HMS在结合语义和几何线索的同时跨图的层进行推理。HMS的评价上的一个新的数据集的500个3D场景图与密集放置的语义相关的对象在存储位置,并被证明是显着优于几个基线,在寻找对象和接近的oracle政策的中位数所需的行动。其他定性结果可在https://ai.stanford.edu/mech-search/hms上找到。
2021-05-23 cs.AI cs.CV cs.LG
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
C2FMAE通过粗到细的掩码自编码器,解决自监督视觉预训练中对比学习与掩码建模的矛盾,提升图像分类、目标检测和语义分割的性能。
2026-03-10 cs.CV cs.LG
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California(南加州大学);Fudan University(复旦大学)
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合,我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性,突出单词和短语的组成。我们展示了一些先前的努力,分层解释,例如上下文分解,不满足数学上所需的属性,导致不一致的解释质量在不同的模型。在本文中,我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上,提出了采样和上下文分解(SCD)算法和采样和遮挡(SOC)算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明,我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成,提取分类规则,提高人类对模型的信任。项目页面:https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
On the use of local structural properties for improving the efficiency of hierarchical community detection methods
Universidad de Granada(格拉纳达大学)
社区发现是复杂网络分析中的一个基本问题。它类似于网络数据采掘中的聚类。在社区发现方法中,分层算法是流行的。然而,它们的迭代性质和需要重新计算用于分割网络的结构属性(即Girvan和Newman算法中的边缘介数),使它们不适合大型网络数据集。在本文中,我们研究了如何局部结构网络属性可以被用作代理,以提高层次社区发现的效率,而在同一时间,在模块化方面取得有竞争力的结果。特别是,我们研究了潜在的使用结构特性通常用于执行本地链接预测,一个监督学习问题,社区结构是相关的,因为节点很容易建立新的链接与其他节点在他们的社区。此外,我们检查网络修剪算法作为辅助策略的性能影响,以使分层社区发现更有效
2020-09-15 cs.LG cs.SI stat.ML
Incomplete Multi-view Clustering via Hierarchical Semantic Alignment and Cooperative Completion
School of Computer and Artificial Intelligence, Nanjing University of Finance and Economics(计算机与人工智能学院,南京财经大学)
本文提出HSACC框架,通过层次语义对齐与动态权重分配解决不完整多视图聚类问题,实现鲁棒融合与协同学习。
2026-02-20 cs.AI cs.LG eess.IV
VLHSA: Vision-Language Hierarchical Semantic Alignment for Jigsaw Puzzle Solving with Eroded Gaps
Zhuoning Xu 1(Xu Zhuoning 1);Xinyan Liu 1(Liu Xinyan 1)
针对侵蚀间隙拼图难题,本文提出融合双视觉编码器与语言特征的 VLHSA 层级语义对齐框架,借助多层级跨模态匹配显著提升拼图性能。
2025-09-17 cs.LG
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong(香港科技大学)
针对传统变异模糊测试在处理器验证中效率低的问题,提出HiFuzz框架,采用分层强化学习及结构化生成过程,集成自适应机制与编码器,经实验验证,该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
FASHION-RQ: Mining Hierarchical Semantic Structure for Automated Evaluation of Fashion Retrieval
Glance
针对时尚检索系统评估缺乏合适基准的问题,提出FASHION-RQ框架,利用RQ-VAE构建可扩展基准FASHION-RQBENCH,通过多任务与指标评估模型,验证其有效性并将公开代码与数据集。
2026-10-14 cs.AI cs.CV cs.IR
MOSAIC: Orchestrating Collaborative Knowledge Tracing with Hierarchical Semantic Alignment
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校);School of Information Systems and Management, Carnegie Mellon University(信息系统与管理学院,卡内基梅隆大学);Department of Mathematics, University of Southern California(数学系,南加州大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Computer Science Department, UC San Diego(计算机科学系,UCSD)
提出MOSAIC框架,利用冻结LLM生成动态嵌入和层次预测提示,结合跨粒度一致性目标,在协作知识追踪中实现多粒度掌握估计,在多个数据集上取得SOTA。
2026-06-27 cs.LG
Inconsistent Node Flattening for Improving Top-down Hierarchical Classification
George Mason University(乔治梅森大学)
大规模的数据分类是一个重要的研究领域,其中的类在结构上组织在一个层次结构中。自顶向下的方法,利用层次结构的学习和预测阶段是有效的大规模层次分类。然而,自顶向下方法的准确性由于误差传播而较差,即,在层次结构中的较高层产生的预测误差不能在较低层校正。在更高层次上出现错误的主要原因之一是由于领域专家创建这些层次结构的任意过程而引入的不一致节点的存在。在本文中,我们提出了两种不同的数据驱动的方法(本地和全球)的层次结构的修改,识别和不一致的节点存在于层次结构。我们广泛的经验评估所提出的方法在几个图像和文本数据集不同分布的功能,类和训练实例,每类显示了改进的分类性能比竞争层次的修改方法。具体来说,我们看到我们的方法在最佳TD基线上的Macro-F1分数提高了7%。源码:http://www.cs.gmu.edu/~mlbio/InconsistentNodeFlattening
2017-06-05 cs.LG stat.ML
HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning
Huazhong University of Science and Technology (HUST)(华中科技大学);Inception Institute of Artificial Intelligence (IIAI)(创景人工智能研究所);Alibaba Group(阿里巴巴集团)
零样本学习(Zero-shot learning,简称ZRL)解决了不可见类识别问题,将语义知识从可见类转移到不可见类。通常,为了保证所需的知识传递,采用公共(潜在)空间来关联CNOL中的视觉和语义域。然而,现有的公共空间学习方法仅通过一步适应来减轻分布不一致,从而使语义和视觉域对齐。这种策略通常是无效的,由于在这两个域中的特征表示的异质性,这本质上包含分布和结构的变化。为了解决这一问题,并推进语义视觉适应,我们提出了一种新的分层语义视觉适应(HSVA)框架。具体而言,HSVA通过采用分层两步适应来对齐语义和视觉域,即,结构自适应和分布自适应。在结构调整步骤中,我们采用两个特定于任务的编码器将源数据(视觉域)和目标数据(语义域)编码到结构对齐的公共空间中。为此,提出了一种监督对抗差异(SAD)模块,以对抗性地最小化两个特定任务分类器的预测之间的差异,从而使视觉和语义特征流形更紧密地对齐。在分布自适应步骤中,我们直接最小化潜在多元高斯分布之间的Wasserstein距离,以使用公共编码器对齐视觉和语义分布。最后,在两个部分对齐的变分自编码器下,在统一的框架中导出了结构和分布自适应。在四个基准数据集上的大量实验表明,HSVA在传统和广义的CNOL上都取得了优异的性能。代码可在\url{https://github.com/shiming-chen/HSVA}上获得。
2021-10-08 cs.CV cs.LG
Hierarchical Semantic Alignment for Image Clustering
AAAI Press Staff(AAAI出版社员工)
CAE通过层次化语义对齐方法提升图像聚类性能,无训练即可实现4.2%的准确率提升。
2025-11-30 cs.CV cs.LG
Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida(中佛罗里达大学)
在线讨论论坛很普遍,很容易访问,因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者(无论是新来者还是现有参与者)难以掌握主要思想。为了缓解这个问题,本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中,Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上,以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估,其中两个是真实的在线论坛,一个是新闻数据集。结果表明,该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
Hierarchical Semantic Tree Anchoring for CLIP-Based Class-Incremental Learning
School of Artificial Intelligence, Nanjing University(人工智能学院,南京大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
HASTEN通过层次语义树锚定方法,有效解决CLIP类增量学习中的灾难性遗忘问题,提升模型对层次化类别结构的保持能力。
2026-10-21 cs.CV cs.LG
HUSE: Hierarchical Universal Semantic Embeddings
Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
最近,人们对图像和文本的跨模态表示学习产生了浓厚的兴趣。主要的挑战在于将图像和文本映射到共享的潜在空间,其中对应于相似语义概念的嵌入比对应于不同语义概念的嵌入更接近彼此,而不管模态如何。排名损失通常用于创建这样的共享潜在空间-然而,它们不会对类间关系施加任何约束,从而导致相邻聚类完全不相关。视觉语义嵌入领域的工作解决了这个问题,首先根据一些外部知识构建一个语义嵌入空间,并将图像嵌入投影到这个固定的语义嵌入空间。这些工作仅限于图像域,并且将嵌入限制在固定的空间中,这增加了学习的额外负担。本文提出了一种新的方法,HUSE,学习跨模态表示与语义信息。HUSE学习一个共享的潜在空间,其中任何两个通用嵌入之间的距离与语义嵌入空间中相应的类嵌入之间的距离相似。HUSE还使用具有共享分类层的分类目标,以确保图像和文本嵌入在相同的共享潜在空间中。在UPMC Food-101上的实验表明,该方法在检索、层次精度和分类效果上都优于现有的方法。
2019-11-14 cs.CL cs.CV cs.LG
From Codebase to Culprit (C2C): Reducing the Search Space for Bugs with Semantic Retrieval and Hierarchical Reinforcement Learning
University of Calgary(卡尔加里大学)
C2C框架结合语义检索与分层强化学习,在文件、函数和代码行多粒度上逐步缩减缺陷搜索空间,实现精确缺陷定位,并在真实Java和Python数据集上提升检索精度与定位准确性。
2026-10-01 cs.LG cs.SE
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌);Stanford University(斯坦福大学)
最近,神经结构搜索(NAS)已经成功地确定了神经网络结构,超过人类设计的大规模图像分类。在本文中,我们研究NAS的语义图像分割。现有的工作往往侧重于寻找可重复的细胞结构,而手工设计的外部网络结构,控制空间分辨率的变化。这种选择简化了搜索空间,但是对于呈现更多网络级架构变化的密集图像预测来说变得越来越成问题。因此,我们建议除了搜索单元级结构之外,还搜索网络级结构,这形成了分层结构的搜索空间。我们提出了一个网络级的搜索空间,其中包括许多流行的设计,并制定了一个公式,允许有效的基于梯度的架构搜索(3 P100 GPU天的城市景观图像)。我们证明了所提出的方法在具有挑战性的Cityscapes,PASCAL VOC 2012和ADE 20 K数据集上的有效性。Auto-DeepLab是我们专门针对语义图像分割搜索的架构,在没有任何ImageNet预训练的情况下达到了最先进的性能。
2019-04-06 cs.CV cs.LG
Bayesian Hierarchical Words Representation Learning
Microsoft(微软公司);Tel Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学)
本文提出了贝叶斯层次词表示(BHWR)学习算法。BHWR促进了变分贝叶斯词表示学习与通过分层先验的语义分类建模相结合。通过在相关词之间传播相关信息,BHWR利用分类法来提高这种表示的质量。几个语言数据集的评估表明,BHWR的优势,适当的替代品,促进贝叶斯建模或没有语义先验。最后,我们进一步表明,BHWR产生更好的表示罕见的话。
2020-04-12 cs.CL cs.LG stat.ML
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering(信息与通信工程学院);Beijing University of Posts and Telecommunications(北京邮电大学)
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型(PLSA,LDA)是话题建模的主流方法,近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而,传统生成模型的结果对主题数量K敏感,必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区,而无需手动指定社区的数量。受这些算法的启发,本文提出了一种新的基于层次潜在语义映射(HLSM)的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联,然后构建具有这种关联的词的单分网络,并从该网络分层生成主题。我们将HLSM应用于几个文档集合,并与几种最先进的方法进行了实验比较,证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
Read, Highlight and Summarize: A Hierarchical Neural Semantic Encoder-based Approach
Pennsylvania State University(宾夕法尼亚州立大学)
传统的序列到序列(seq2seq)模型和其他注意机制的变体,如层次注意,已被应用到文本摘要问题。尽管人类使用语言的方式存在着一种层次结构,即从句子中形成段落,从单词中形成句子,但层次模型通常并不比传统的seq2seq模型好多少。这主要是因为硬注意的层次注意力机制过于稀疏,软注意的层次注意力机制过于嘈杂。在本文中,我们提出了一种方法的基础上提取一个文件的亮点,一个关键的概念,是在几个句子。在一个典型的文本摘要数据集中,文档的长度(平均)为800个标记,捕获长期依赖关系是非常重要的,例如,可以将文档的最后一句与第一句分组以形成摘要。LSTM(长短期记忆)被证明对机器翻译很有用。然而,它们在建模长序列时往往无法捕获长期依赖关系。为了解决这些问题,我们已经适应了神经语义编码器(NSE)的文本摘要,一类记忆增强的神经网络,通过改善其功能,并提出了一种新的分层NSE,优于类似的以前的模型显着。摘要的质量通过增加语言因素,即词元和词性(PoS)标签来提高数据集中的每个单词的词汇覆盖率和泛化能力。因子化数据集上的分层NSE模型比最先进的模型高出近4个ROUGE点。我们进一步设计并使用了第一个基于GPU的自批判强化学习模型。
2019-11-01 cs.CL cs.LG stat.ML