维基百科章节标题和聚类的生成方法
A Generative Approach to Titling and Clustering Wikipedia Sections
摘要：
我们评估的性能Transformer编码器与各种解码器的信息组织通过一个新的任务：维基百科文章的章节标题的生成。我们的分析表明，解码器包含注意力机制的编码器输出实现高分的结果，通过生成提取文本。相比之下，没有注意力的解码器更好地促进了语义编码，并且可以用于生成节嵌入。我们还引入了一个新的损失函数，它进一步鼓励解码器生成高质量的嵌入。
英文摘要：
We evaluate the performance of transformer encoders with various decoders for information organization through a new task: generation of section headings for Wikipedia articles. Our analysis shows that decoders containing attention mechanisms over the encoder output achieve high-scoring results by generating extractive text. In contrast, a decoder without attention better facilitates semantic encoding and can be used to generate section embeddings. We additionally introduce a new loss function, which further encourages the decoder to generate high-quality embeddings.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
