PaLM：一个混合的语法分析器和语言模型
PaLM: A Hybrid Parser and Language Model
摘要：
我们提出了PaLM，一个混合解析器和神经语言模型。PaLM建立在RNN语言模型的基础上，在左上下文中的文本跨度上添加了一个注意层。一个无监督的选区分析器可以从它的注意力权重，使用贪心解码算法。我们评估PaLM语言建模，并实证表明，它优于强大的基线。如果语法注释可用，则可以以监督的方式训练注意力组件，提供上下文的语法通知表示，并进一步提高语言建模性能。
英文摘要：
We present PaLM, a hybrid parser and neural language model. Building on an RNN language model, PaLM adds an attention layer over text spans in the left context. An unsupervised constituency parser can be derived from its attention weights, using a greedy decoding algorithm. We evaluate PaLM on language modeling, and empirically show that it outperforms strong baselines. If syntactic annotations are available, the attention component can be trained in a supervised manner, providing syntactically-informed representations of the context, and further improving language modeling performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
