首页/论文/1902.01737

arXiv 1902.017372019-02-05cs.LGcs.NEstat.ML

深树转换-简短调查

Deep Tree Transductions - A Short Survey

University of Pisa（比萨大学）

Davide Bacciu, Antonio Bruno

备注：: To appear in the Proceedings of the 2019 INNS Big Data and Deep Learning (INNSBDDL 2019). arXiv admin note: text overlap with arXiv:1809.09096

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

该论文从学习同构结构转换的非平凡形式的角度调查了最近对长短期记忆网络进行的扩展，以处理树结构。它提供了现代TreeLSTM模型的讨论，显示了树处理方向引起的偏差的影响。在现实世界的基准进行实证分析，强调如何没有一个单一的模型足以有效地处理所有的转导问题。

英文摘要：

The paper surveys recent extensions of the Long-Short Term Memory networks to handle tree structures from the perspective of learning non-trivial forms of isomorph structured transductions. It provides a discussion of modern TreeLSTM models, showing the effect of the bias induced by the direction of tree processing. An empirical analysis is performed on real-world benchmarks, highlighting how there is no single model adequate to effectively approach all transduction problems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于自顶向下TreeLSTM的文本摘要树转换

Text Summarization as Tree Transduction by Top-Down TreeLSTM

University of Pisa（比萨大学）

抽取压缩是一个具有挑战性的自然语言处理问题。这项工作的贡献，制定神经提取压缩作为一个解析树转导问题，而不是一个序列转导任务。受此启发，我们引入了一个深度神经模型，通过扩展标准的长短期记忆，考虑结构递归中的父子关系，来学习结构到子结构树的转换。所提出的模型可以实现最先进的性能在句子压缩基准，无论是在准确性和压缩率。

2018-09-24cs.IRcs.LGcs.NE

基于决策树的神经图灵机

A short note on the decision tree based neural turing machine

grusoft（格鲁软件）

图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展，它们之间出现了交叉。神经图灵机（NTM）为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中，我们展示了这两个模型之间的深层联系。即：可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系，我们提出了一个响应增强差分森林（RaDF）。RaDF的控制器是可微森林，外部存储器是响应向量，可由叶子节点读写。

2020-10-27cs.AIcs.LGcs.NE

自顶向下树型长短期记忆网络

Top-down Tree Long Short-Term Memory Networks

University of Edinburgh（爱丁堡大学）

长短期记忆（LSTM）网络是一种具有更复杂计算单元的递归神经网络，已成功应用于各种序列建模任务。在本文中，我们开发了树长短期记忆（TreeLSTM），这是一种基于LSTM的神经网络模型，旨在预测树而不是线性序列。TreeLSTM通过估计其依赖树的生成概率来定义句子的概率。在每个时间步，基于所生成的子树的表示来生成节点。我们通过显式表示左右依赖项之间的相关性，进一步增强了TreeLSTM的建模能力。我们的模型的应用程序的MSR句子完成的挑战取得的结果超出了目前的最先进的状态。我们还报告结果依存句法分析重新排名实现竞争力的表现。

2016-04-03cs.CLcs.LG

基于语法的短文本深度匹配

Syntax-based Deep Matching of Short Texts

Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Centre for Next Generation Localisation, Dublin City University（都柏林城市大学下一代本地化中心）

自然语言处理中的许多任务，从机器翻译到问答，可以简化为匹配两个句子或更一般地匹配两个短文本的问题。我们提出了一种新的方法来解决这个问题，称为深度匹配树（DeepMatch $_{tree}$），在一般的设置。该方法由两个部分组成，1）挖掘算法，用于发现在依赖树的乘积空间中定义的用于匹配两个短文本的模式，以及2）深度神经网络，用于使用挖掘的模式来匹配短文本，以及学习算法，用于构建具有稀疏结构的网络。我们在社交媒体中匹配推文和响应的问题上测试我们的算法，这是在[Wang et al.，2013]，并表明DeepMatch $_{tree}$可以优于许多竞争对手的模型，包括一个不使用依赖树的模型和一个基于词嵌入的模型，所有这些模型都具有很大的利润率

2015-06-12cs.CLcs.LGcs.NE

基于树集成的行程时间预测

Travel Time Prediction using Tree-Based Ensembles

TU Dortmund University（多特蒙德工业大学）；FZI Forschungszentrum Informatik（FZI信息技术研究中心）

在本文中，我们考虑的任务，预测在城市场景中的任意两个点之间的旅行时间。我们认为这个问题从两个时间的角度来看：长期预测与几天的视野和短期预测与一个小时的视野。这两种观点都与城市交通和运输服务背景下的规划任务有关。我们利用基于树的集成方法，我们训练和评估从纽约市的出租车行程记录的数据集。通过大量的数据分析，我们确定了相关的时间和空间特征。我们还根据天气和路线数据设计其他功能。后者通过在道路网络上运行的路由求解器获得。计算结果表明，添加此路由数据可以有益于模型的性能。此外，采用不同的模型进行短期和长期预测是有用的，因为短期模型更适合反映当前的交通状况。事实上，我们表明，准确的短期预测可以获得只有很少的训练数据。

2020-05-28cs.LGstat.ML

树结构上的长短期记忆

Long Short-Term Memory Over Tree Structures

National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）

链式结构的长短期记忆（LSTM）已被证明在语音识别和机器翻译等广泛问题中有效。在本文中，我们建议将其扩展到树结构，其中一个存储单元可以反映历史的记忆多个子细胞或多个后代细胞在递归过程中。我们称之为S-LSTM模型，它提供了一种考虑层次结构上的长距离交互的原则性方法，例如，语言或图像解析结构。我们利用语义组合模型来理解文本的含义，这是自然语言理解中的一个基本问题，并通过将其组合层替换为S-LSTM内存块来证明它优于最先进的递归模型。我们还表明，利用给定的结构是有助于实现更好的性能比不考虑的结构。

2015-03-16cs.CLcs.LGcs.NE

更多相关论文收起更多论文

基于树结构长短期记忆网络的改进语义表示

Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

Stanford University（斯坦福大学）；MetaMind Inc.（MetaMind公司）

由于其随时间推移保留序列信息的卓越能力，长短期记忆（LSTM）网络（一种具有更复杂计算单元的递归神经网络）在各种序列建模任务上获得了很好的结果。到目前为止，我们唯一探索过的LSTM底层结构是线性链。然而，自然语言表现出自然地将单词组合成短语的句法属性。我们介绍了Tree-LSTM，这是LSTM对树结构网络拓扑的推广。Tree-LSTM在两个任务上优于所有现有系统和强大的LSTM基线：预测两个句子的语义相关性（SemEval 2014，任务1）和情感分类（斯坦福情感树库）。

2015-05-30cs.AIcs.CLcs.LG

基于温启动梯度树Boosting混合策略的短期负荷预测

Short-term Load Forecasting Based on Hybrid Strategy Using Warm-start Gradient Tree Boosting

Southeast University（东南大学）；National University of Singapore（新加坡国立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

提出了一种基于深度学习的短期负荷预测混合策略。该策略提出了一种新的基于树的集成方法Warm-start Gradient Tree Boosting（WGTB）。目前的策略要么是单一类型的集成子模型，无法利用不同推理模型的统计优势。或者他们只是简单地将完全不同的推理模型的输出相加，这并不能最大限度地发挥集成的潜力。受偏差-方差权衡的启发，WGTB被提出，并针对不同推理模型在准确性、波动性和线性度上的巨大差异而定制。完整的策略整合了四种不同能力的推理模型。然后，WGTB通过热启动以及装袋和提升的混合来集成它们的输出，从而同时降低偏差和方差。在国家电网公司的两个小时分辨率的实际数据集上进行了验证。结果表明，所提出的策略的有效性，杂交的低偏差和低方差推理模型的统计优势。

2020-12-07cs.LGeess.SPstat.ML

树型记忆网络对长时间时间连续性的建模

Tree Memory Networks for Modelling Long-term Temporal Dependencies

Queensland University of Technology（昆士兰科技大学）

在序列建模领域，递归神经网络（RNN）已经能够在各种应用领域取得令人印象深刻的结果，包括视觉问答，词性标注和机器翻译。然而，这种在短期依赖性建模方面的成功还没有成功地过渡到诸如轨迹预测之类的应用领域，这些应用领域需要捕获短期和长期关系。在本文中，我们提出了一个树记忆网络（TMN）的建模长期和短期的关系，在序列到序列的映射问题。所提出的网络结构由输入模块、控制器和存储器模块组成。与将记忆建模为历史状态序列的相关文献相比，我们将记忆建模为递归树结构。该结构使用其分层结构更有效地捕获跨短期和长期序列的时间依赖性。我们证明了建议的TMN的有效性和灵活性，在两个实际问题，飞机轨迹建模和行人轨迹建模的监视设置，并在这两种情况下，我们优于目前的国家的最先进的。此外，我们对存储模块内容随时间的演变进行了深入分析，并提供了有关建议的TMN如何能够映射长期和短期的可视证据通过层次结构有效地建立术语关系。

2018-05-20cs.CVcs.LGcs.NE

经典模型与非线性模型在短期电价预测中的比较

Comparison of Classical and Nonlinear Models for Short-Term Electricity Price Prediction

电力在批发市场上买卖，价格波动很大。短期电价预测是一项重要的工作，因为它有助于电力公司控制风险，因为它影响发电商的竞争战略。随着“智能电网”的发展，短期价格预测正成为电池运营商和需求响应聚合商投标和控制算法的重要输入。虽然统计学和机器学习文献提供了许多用于电价预测的建议方法，但是没有一致意见支持单个最佳方法。我们测试了两种用于预测电价的对比机器学习方法，回归决策树和递归神经网络（RNN），并将其与更传统的ARIMA实现进行了比较。我们对德克萨斯州ERCOT的一个具有挑战性的电价数据集进行了分析，该数据集的价格波动特别高。我们发现，回归决策树，特别是实现高性能相比，其他方法，这表明回归树应该更仔细地考虑电价预测。

2018-05-02cs.CYcs.LGstat.ML

使用Prophet分解和基于树的集成进行希腊短期可再生能源预测

Short-term Renewable Energy Forecasting in Greece using Prophet Decomposition and Tree-based Ensembles

Aristotle University（亚里士多德大学）；Medoid AI（Medoid人工智能公司）

使用可再生能源的能源生产由于其间歇性而表现出固有的不确定性。然而，统一的欧洲能源市场促进了区域能源系统运营商对可再生能源的渗透。因此，RES预测可以帮助整合这些不稳定的能源，因为它会导致更高的可靠性和降低电力系统的辅助运营成本。本文提出了一个新的数据集，太阳能和风能发电预测在希腊，并介绍了一个功能工程管道，丰富了数据集的维度空间。此外，我们提出了一种新的方法，利用创新的先知模型，一个端到端的预测工具，考虑几种非线性趋势分解的能源时间序列之前，基于树的合奏提供短期预测。系统的性能是衡量通过代表性的评估指标，并通过估计模型的泛化下，行业提供的绝对误差阈值的计划。所提出的混合模型与基线持久性模型，基于树的回归集成，和先知模型，管理优于他们，提出了更低的出错率和更有利的错误分布。

2021-07-08cs.LGstat.AP

具有长短期记忆的组合分布语义

Compositional Distributional Semantics with Long Short Term Memory

Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）

我们提出了一个扩展的递归神经网络，利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器（“存储单元”）中，并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案，并允许网络捕获长范围依赖性。实验结果表明，我们的组合优于传统的神经网络组成斯坦福情绪树库。

2015-04-17cs.AIcs.CLcs.LG