LogicTree-RAG: Logic Tree-guided Retrieval-Augmented Generation for Long-form Patent Drafting
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学)
LogicTree-RAG通过诱导层次化逻辑树作为全局骨干,以证据引导递归生成节点并混合遍历映射到专利章节,实现无需专家先验的可控均衡长篇专利撰写,显著提升内容质量与语言规范性。
2026-09-28 cs.AI
Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner
Northwestern University(西北大学);AWS AI Labs(亚马逊云科技人工智能实验室)
大语言模型在各种问答(QA)基准测试中取得了很高的性能,但其输出的可解释性仍然很难解释。结构化的解释,称为蕴涵树,最近被建议作为一种解释和检查QA系统答案的方法。为了更好地生成这样的蕴涵树,我们提出了一个架构称为迭代检索生成推理(IRGR)。我们的模型能够通过系统地从文本前提中生成一步一步的解释来解释给定的假设。IRGR模型迭代地搜索合适的前提,每次构造一个单一的蕴涵步骤。与以前的方法相反,我们的方法结合了生成步骤和前提检索,允许模型利用中间结论,并减轻了基线编码器-解码器模型的输入大小限制。我们使用EntailmentBank数据集进行实验,在那里我们在前提检索和蕴涵树生成方面优于现有的基准,总体正确性提高了约300%。
2022-07-19 cs.CL
PTCG: Persona-guided Tree-based Counterargument Generation
Sungkyunkwan University(成均馆大学);Seoul National University(首尔大学);University of Richmond(里士满大学);NAVER Cloud(NAVER云)
提出PTCG框架,结合思维树式逐步生成与剪枝及说话人人格选择,从原始论证估计作者人格并融入多样观点,以生成多样且具说服力的反论证,经多种评估验证优于基线方法。
2026-09-09 cs.CL
Bridge-RAG: An Abstract Bridge Tree Based Retrieval Augmented Generation Algorithm
Peking University(北京大学)
针对检索增强生成中准确性和效率的挑战,提出Bridge-RAG框架,通过抽象桥树结构实现多级检索,并集成布谷鸟过滤器实现O(1)实体查找,在保持高准确率的同时将检索速度提升至1.9倍。
2026-05-28 cs.AI cs.CL cs.IR
SANGAM: SystemVerilog Assertion Generation via Monte Carlo Tree Self-Refine
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提)
针对硬件断言自动生成需求,提出SANGAM框架,结合LLM多模态处理与蒙特卡洛树自精炼算法,从工业级规格生成SystemVerilog断言,性能优于现有方法。
2025-06-11 cs.AI
ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
Peking University(北京大学);Sensetime Research(商汤科技研究院)
ProPD通过动态令牌树剪枝与生成机制,在保持上下文关系的同时降低验证开销,实现LLM并行解码效率提升1.1-3.2倍。
2024-02-21 cs.CL cs.LG
A Fully Automated Pipeline for Conversational Discourse Annotation: Tree Scheme Generation and Labeling with Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出利用大语言模型自动生成树状标注方案并完成对话语篇标注的全自动流程,在SFs和SWBD-DAMSL上验证其可超越人工设计树方案并达到或超过人类标注水平。
2025-06-03 cs.CL
Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report
Tampere University(坦佩雷大学)
本文以PDF为数据源开发RAG系统,报告端到端流程、技术挑战与解决方案,并对比OpenAI Assistant API与Llama开源模型两种实现路径。
2024-10-21 cs.AI cs.IR cs.SE
ReMCTS: Reflection-Enhanced Monte Carlo Tree Search for Code Generation
Shenzhen University(深圳大学)
ReMCTS通过执行引导、记忆增强的MCTS式搜索,在代码生成中利用跨分支失败经验,提升HumanEval和MBPP上的生成质量。
2026-10-28 cs.CL
AlphaVerus: Bootstrapping Formally Verified Code Generation through Self-Improving Translation and Treefinement
Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型生成代码正确性无保障、形式化验证代码训练数据少的问题,提出含三阶段的自改进框架AlphaVerus,无需人工干预或微调即可让LLaMA-3.1-70B生成验证代码,为可信代码生成智能体奠基。
2024-12-09 cs.AI cs.LG
T-Retriever: Tree-based Hierarchical Retrieval Augmented Generation for Textual Graphs
BRAIN of RUC(北京理工大学脑科学研究院)
T-Retriever通过语义和结构引导的树状检索方法,改进了图谱检索增强生成,提升复杂查询的连贯性和语境相关性。
2026-01-08 cs.AI
G2T-LLM: Graph-to-Tree Text Encoding for Molecule Generation with Fine-Tuned Large Language Models
Iowa State University(爱荷华州立大学)
本文提出G2T-LLM方法,通过图到树文本编码将分子图转换为JSON/XML等层次化格式,并利用监督微调的大语言模型实现基于自然语言提示的分子生成,在多个基准数据集上达到与最先进方法相当的性能。
2024-10-03 cs.AI cs.LG q-bio.QM
RL-LLM-DT: An Automatic Decision Tree Generation Method Based on RL Evaluation and LLM Enhancement
提出RL-LLM-DT方法,结合强化学习评估与大型语言模型增强,自动迭代改进决策树,在冰壶游戏中取得排名第一的成绩,实现游戏AI策略的自动化优化。
2024-12-17 cs.AI cs.LG
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Ψ-RAG框架,通过迭代'合并与坍缩'过程构建分层抽象树索引,并引入多粒度检索代理,解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战,实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
Interpretable DNA Sequence Classification via Dynamic Feature Generation in Decision Trees
University of Cambridge(剑桥大学);CU Anschutz Medical Campus(安舒茨医疗校区)
本文提出DEFT框架,通过动态生成高级序列特征提升决策树在DNA序列分类中的可解释性和预测性能。
2026-04-13 cs.AI cs.LG q-bio.GN
Developing Universal Dependency Treebanks for Magahi and Braj
Dr. Bhimrao Ambedkar University, Agra(阿格拉比姆拉奥·安贝德卡尔博士大学);Panlingua Language Processing LLP(Panlingua语言处理有限责任合伙公司);Data Science Institute, National University of Ireland Galway(爱尔兰国立大学戈尔韦分校数据科学研究所)
在本文中,我们讨论了两个低资源的印度语言- Magahi和Braj的基础上的通用知识框架的树库的发展。Magahi树库包含945个句子,Braj树库包含大约500个句子,标记了它们的词元、词性、形态特征和普遍依赖性。本文描述了两种语言中不同的依赖关系,并给出了两种树库的统计数据。该数据集将在下一个(v2.10)版本中在Universal Dependency(UD)存储库(https://github.com/UniversalDependencies/UD_Magahi-MGTB/tree/master)上公开提供。
2022-04-26 cs.CL
TreeGAN: Syntax-Aware Sequence Generation with Generative Adversarial Networks
Worcester Polytechnic Institute(伍斯特理工学院);Apple(苹果公司);Huawei(华为)
生成对抗网络(GANs)在图像生成方面表现出了很大的能力,其中判别模型指导生成模型的训练以构建类似于真实图像的图像。最近,GANs已经从生成图像扩展到生成序列(例如,诗歌、音乐和密码)。现有的序列生成GANs主要集中在一般序列上,这是无语法的。然而,在许多实际应用中,我们需要用一种形式语言生成序列,并受其相应文法的约束。例如,要测试数据库的性能,可能需要生成一个SQL查询集合,这些查询不仅与真实用户的查询相似,而且遵循目标数据库的SQL语法。生成这样的序列是非常具有挑战性的,因为GANs的生成器和编译器都需要考虑序列的结构和形式语言中的给定语法。为了解决这些问题,我们研究了使用GANs的语法感知序列生成问题,其中将真实序列的集合和一组预定义的语法规则赋予生成器和生成器。我们提出了一种新的GAN框架,即TreeGAN,将一个给定的上下文无关文法(CFG)的序列生成过程。在TreeGAN中,生成器采用递归神经网络(RNN)来构建解析树。然后,每个生成的解析树可以被转换为给定语法的有效序列。该算法使用树结构的RNN来区分生成的树和真实的树。我们证明了TreeGAN可以为任何CFG生成序列,并且它的生成完全符合给定的语法。在合成和真实数据集上的实验表明,TreeGAN显着提高了上下文无关语言中序列生成的质量。
2018-08-22 cs.AI cs.CL
Tree-Structured Neural Machine for Linguistics-Aware Sentence Generation
University of Chinese Academy of Sciences(中国科学院大学);Department of Computer Science, University of California Santa Barbara(加州大学圣塔芭芭拉分校计算机科学系);WeChat Search Application Department, Tencent(腾讯微信搜索应用部)
与其他序列数据不同,自然语言中的句子是由语言语法构成的。以前的生成会话模型与链结构解码器忽略了人类语言中的这种结构,可能会产生令人满意的相关性和流畅性较差的似是而非的反应。在这项研究中,我们的目标是将语言分析的结果融入到句子生成的过程中,以生成高质量的会话。具体来说,我们使用依赖分析器将每个响应句子转换为依赖树,并构建一个训练语料库的依赖树对。一个树结构的解码器被开发来学习从一个句子到它的树的映射,其中不同类型的隐藏状态被用来描述从一个内部树节点到它的孩子的局部依赖。为了加快训练速度,我们提出了一种树规范化方法,将树转换为等价的三叉树。然后,提出了一种树结构的搜索方法,该模型能够生成最可能的响应的依赖树的形式,这是最后平整成序列作为系统输出。实验结果表明,提出的X2Tree框架优于基线方法超过11.15%的接受率增加。
2018-01-03 cs.AI cs.CL cs.LG
Top-Down Tree Structured Text Generation
Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
文本生成是自然语言处理任务中的基本构建块。现有的序列模型直接在文本序列上执行自回归,并且难以生成复杂结构的长句。本文提出了一种简单的方法,把句子生成的树生成任务。通过显式建模的语法结构的组成语法树和执行自上而下,广度优先的树生成,我们的模型适当地修复依赖关系,并执行隐式的全局规划。这与基于过渡的深度优先生成过程相反,深度优先生成过程在解析时难以处理不完整的文本,并且在规划中也不包含未来的上下文。我们在两个生成任务和一个句法分析任务上的初步结果表明,这是一个有效的策略。
2018-08-14 cs.CL
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务,但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置,因此我们扩展了编码方案,以允许注意力机制也关注输入中的分层位置。此外,我们还实现了一个基于限制性文法图模型的解码器,以提高生成的准确性,并确保生成代码的良好格式。虽然我们没有超越最先进的技术,我们的研究结果表明,采用基于树的位置编码与共享的自然语言子词汇表相结合,提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
MARS$^2$: Scaling Multi-Agent Tree Search via Reinforcement Learning for Code Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
MARS$^2$通过多智能体协作与树搜索结合,提升强化学习在代码生成中的性能,实验表明其在多种模型和训练设置下均有效。
2026-04-16 cs.AI cs.CL
Latent Tree Decomposition Parsers for AMR-to-Text Generation
University of Rochester(罗切斯特大学)
AMR到文本生成模型中的图形编码器通常依赖于邻域卷积或全局顶点注意力。虽然这些方法适用于一般图,但AMR可能适用于以其树状结构为目标的编码器。通过将边聚类到层次结构中,树分解总结了图结构。我们的模型编码的衍生森林的树分解和提取预期的树。从树节点嵌入,它建立了用于图编码器的顶点注意的图边缘特征。在自主基线中编码TD森林而不是最短成对路径使BLEU提高了0.7,chrF++提高了0.3。森林编码器还超过了1. 92% ROC-AUC的分子性质预测的卷积基线。
2021-09-01 cs.CL
Contrastive Learning on LLM Back Generation Treebank for Cross-domain Constituency Parsing
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);School of Engineering, Westlake University(工程学院,西湖大学)
针对跨领域成分句法分析中树库有限的问题,提出LLM回溯生成树库方法并引入跨度级对比学习预训练策略,在MCTB五个目标领域上达到最先进性能。
2025-05-27 cs.CL
Tree Decomposition Attention for AMR-to-Text Generation
University of Rochester(罗切斯特大学)
从AMR生成文本需要将语义图映射到它所注释的字符串。然而,基于变换器的图编码器很难捕获可能有益于序列预测的顶点依赖性。为了对编码器施加顺序,我们使用图的树分解来局部约束顶点自注意。而不是形成一个完整的查询键二分图,我们限制注意到顶点的父,子树,和相同深度的袋子。这种层次化的上下文为顶点状态更新提供了稀疏性和结构。我们应用动态规划,以获得一个森林的树分解,选择结构上最相似的树的AMR。我们的系统比自我关注的基线高出1.6 BLEU和1.8 chrF++。
2021-09-01 cs.CL
Incremental Parser Generation for Tree Adjoining Grammars
本文描述了树邻接语言(TAL)LR型语法分析的语法分析表的增量生成。提出的算法通过更新到目前为止生成的解析器来处理对输入语法的修改。本文定义了一种用于TAL的LR型解析器的惰性生成,在这种惰性生成中,解析表在解析时根据需要创建。然后,我们描述了一个增量解析器生成器的TAL响应修改的输入语法更新解析表建立至今。
1998-09-18 cs.CL
Developing a New Approach for Arabic Morphological Analysis and Generation
Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学)
阿拉伯语词法分析是阿拉伯语自然语言处理的一个重要阶段。在本文中,我们提出了一种阿拉伯语形态分析的方法。这种方法是基于阿拉伯形态自动机(AMAUT)。所提出的技术使用的形态数据库实现XMODEL语言。阿拉伯语形态学代表了一种特殊的形态系统,因为它是基于图式的概念来表示阿拉伯语单词的。我们使用这个概念来开发阿拉伯形态自动机。所提出的方法具有开发标准化方面。它可以被自然语言处理应用程序所利用,如句法和语义分析、信息检索、机器翻译和正字法校正。将该方法与Xerox Arabic Analyzer和Smrz Arabic Analyzer进行了比较。
2011-01-28 cs.CL
Constrained Sequence-to-Tree Generation for Hierarchical Text Classification
Alibaba Group(阿里巴巴集团)
层次文本分类(HTC)是一项具有挑战性的任务,其中一个文档可以被分配到多个层次结构的类别内的分类。以往的研究大多将HTC问题看作是一个平面多标签分类问题,这就不可避免地导致了“标签不一致”问题。在本文中,我们制定HTC作为一个序列生成任务,并介绍了一个序列到树的框架(Seq2Tree)的分层标签结构建模。此外,我们还设计了一个动态词汇的约束解码策略,以保证结果的标签一致性。与以往的工作相比,所提出的方法实现了显着的和一致的改进,在三个基准数据集。
2022-04-19 cs.CL
METGEN: A Module-Based Entailment Tree Generation Framework for Answer Explanation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent AI Lab(腾讯人工智能实验室)
了解从知识到预测答案的推理链有助于构建可解释的问答系统。QA解释的新进展提出用由多个蕴涵步骤组成的蕴涵树来解释问题的答案。虽然目前的工作提出用端到端生成模型生成蕴涵树,但生成的树中的步骤不受约束,可能不可靠。在本文中,我们提出了METGEN,基于模块的蕴涵树生成框架,具有多个模块和推理控制器。给定一个问题和多个支持知识,METGEN通过单独的模块进行单步蕴涵,利用控制器选择推理流程,迭代生成蕴涵树。由于每个模块都被引导执行特定类型的蕴涵推理,因此METGEN生成的步骤更加可靠和有效。在标准基准上的实验结果表明,METGEN可以优于以前的国家的最先进的模型,只有9%的参数。
2022-05-05 cs.CL
Think&Cite: Improving Attributed Text Generation with Self-Guided Tree Search and Progress Reward Modeling
Department of Computer Science, National University of Singapore(计算机科学系,新加坡国立大学)
本文提出Think&Cite框架,将归因文本生成视为多步推理问题,通过自引导蒙特卡洛树搜索和进度奖励建模,在三个数据集上显著优于基线方法。
2025-06-20 cs.CL
Tree-Based Representation and Generation of Natural and Mathematical Language
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
数学语言在科学交流和教育场景中很重要,但与自然语言相比,研究相对不足。数学语言的最新研究集中在表示独立的数学表达式,特别是在它们的自然树格式中,或者在预先训练的自然语言模型中进行数学推理。关于联合建模和生成自然语言和数学语言的现有工作简单地将数学表达式视为文本,而没有考虑数学表达式的刚性结构属性。在本文中,我们提出了一系列的修改现有的语言模型,共同表示和生成文本和数学:表示数学表达式的节点令牌在其操作符树格式的序列,使用数学符号和树位置嵌入,以保持语义和结构属性的数学表达式,并使用约束解码方法来生成数学上有效的表达式。我们在GPT-2的基础上进行修改,得到一个模型MathGPT,并证明它在数学表达式生成任务上优于基线。
2023-02-15 cs.CL
cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree
针对现有代码RAG基于行的分块方法易破坏语义结构的问题,提出基于抽象语法树的结构感知分块方法cAST,跨任务生成语义连贯的检索单元,显著提升代码检索与生成性能。
2025-10-02 cs.AI cs.CL cs.IR
Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings
Charles University in Prague(布拉格查理大学)
我们提出了一个自然语言生成器的序列到序列的方法,可以训练产生自然语言字符串,以及从输入对话行为的深层语法依赖树的基础上,我们用它来直接比较两步生成单独的句子规划和表面实现阶段的联合,一步的方法。我们能够使用非常少的训练数据成功地训练这两个设置。联合设置提供了更好的性能,在基于n-gram的分数方面超过了最先进的水平,同时提供了更相关的输出。
2016-06-17 cs.CL
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology(佐治亚理工学院)
我们研究的问题,使用(部分)选区解析树的句法指导控制文本生成。现有的方法使用递归结构,这不仅遭受长期依赖问题,而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制,然后使用扩展的树来指导文本生成。在这个过程中,我们的模型的有效性取决于两个新的注意力机制:1)路径注意力机制,迫使一个节点只关注位于语法树中的路径中的其他节点,以更好地结合语法指导; 2)多编码器注意力机制,允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明,我们的方法在语义和语法上都优于SOTA模型,将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
RLET: A Reinforcement Learning Based Approach for Explainable QA with Entailment Trees
Fudan University(复旦大学);Amazon AWS AI(亚马逊AWS人工智能部门);Westlake University(西湖大学)
解释从问题到答案的推理过程对可解释的问答提出了挑战。最近提出的结构化推理格式,蕴涵树,设法提供显式的逻辑推理与蕴涵步骤中的树结构。为了生成蕴涵树,先前的单遍序列到序列模型缺乏可见的内部决策概率,而逐步方法是用提取的单步的数据来监督的,并且不能对树进行整体建模。在这项工作中,我们提出了RLET,一个基于强化学习的蕴涵树生成框架,它利用整个树的累积信号进行训练。RLET迭代地使用句子选择和演绎生成模块执行单步的推理,从该模块中,训练信号通过精心设计的与评估一致的对齐奖励函数在树中累积。据我们所知,我们是第一个将RL引入蕴涵树生成任务的人。在EntailmentBank数据集的三个设置上的实验证明了使用RL框架的优势。
2022-10-31 cs.CL
RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对现有树搜索代码生成方法忽略推理过程且反思缺乏正确路径的问题,提出RethinkMCTS框架,在生成前用MCTS搜索思维并结合执行反馈修正错误思维,提升搜索质量,实验优于基线。
2025-10-24 cs.CL cs.SE
An Expression Tree Decoding Strategy for Mathematical Equation Generation
Zhejiang University(浙江大学);Zhongxing Telecommunication Equipment Corporation(中兴通讯股份有限公司);University of Shanghai for Science and Technology(上海理工大学)
提出表达式树解码策略,通过逐层并行解码和二分图匹配对齐,解决数学方程式生成中表达式间并行与依赖关系被忽略的问题,显著提升复杂结构方程式的生成效果。
2023-10-18 cs.CL
Recursive Top-Down Production for Sentence Generation with Latent Trees
Mila / University of Montreal(Mila / 蒙特利尔大学);Dept. of Linguistics(语言学系);Mila / McGill University(Mila / 麦吉尔大学);Microsoft Research(微软研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
我们为自然语言和合成语言的上下文无关文法建立了递归产生式性质的模型。为此,我们提出了一个动态规划算法,边缘化的潜在树结构与$N$叶,使我们能够计算潜在树模型下的$N$令牌序列的可能性,我们最大限度地训练递归神经函数。我们展示了两个合成任务的性能:SCAN(Lake和Baroni,2017),它在长度分割和英语问题形成方面优于以前的模型(McCoy等人,2020),其中,它利用地面实况树结构执行对解码器的解码。我们还展示了在Multi 30 k数据集上进行德英翻译的实验结果(Elliott等人,2016),并定性分析了我们的模型为SCAN任务和德英翻译任务学习的诱导树结构。
2020-10-09 cs.CL cs.LG
TSLM: Tree-Structured Language Modeling for Divergent Thinking
NYU(纽约大学);KAIST(韩国科学技术院)
TSLM通过树状结构语言建模实现发散思维,利用完整搜索树训练提升推理效率和鲁棒性。
2026-01-30 cs.CL
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一种新的文档生成过程的基础上,层次潜在树模型(HLTM)从数据中学习。HLTM在底部有一层观察到的单词变量,在顶部有多层潜变量。对于每一个文档,我们首先通过逻辑采样逐层采样潜变量的值,然后根据潜变量的值绘制单词的相对频率,最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比,新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Tree-Structured Semantic Encoder with Knowledge Sharing for Domain Adaptation in Natural Language Generation
University of Cambridge(剑桥大学)
自然语言生成中的领域自适应由于输入语义跨领域的高度复杂性和目标领域的有限数据而仍然具有挑战性。对于对话系统尤其如此,我们希望能够将新的域无缝地包含到对话中。因此,它是至关重要的生成模型,以共享知识的领域有效地适应从一个领域到另一个。在这项研究中,我们利用一个树形结构的语义编码器来捕捉多域对话所需的复杂语义表示的内部结构,以促进跨领域的知识共享。此外,在树型编码器和解码器之间采用分层注意力机制,进一步提高了模型的性能。自动评估结果表明,我们的模型优于以前的方法在BLEU分数和插槽出错率,特别是当适应数据是有限的。在主观评价中,人类法官倾向于更喜欢我们的模型生成的句子,在信息量和自然性方面比其他系统更高。
2019-10-02 cs.CL cs.LG