Discontinuous Grammar as a Foreign Language
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
为了实现自然语言的深层理解，句法成分分析是一个重要的步骤，许多人工智能系统都高度要求处理文本和语音。最新的建议之一是使用标准的序列到序列模型来执行成分解析作为机器翻译任务，而不是应用特定于任务的解析器。虽然这些文本解析转换器表现出了竞争力，但在准确性、覆盖范围和速度方面仍然落后于经典技术。为了缩小差距，我们在这里扩展的框架序列到序列模型的成分分析，不仅通过提供一个更强大的神经架构，以提高其性能，而且还通过扩大其覆盖范围，以处理最复杂的句法现象：不连续结构。为此，我们设计了几种新的线性化，可以完全产生不连续性，并首次在主要的不连续基准上测试了序列到序列模型，获得了与特定任务的不连续成分解析器相当的竞争结果，并在（不连续）英语Penn Treebank上获得了最先进的分数。
2022-12-22 cs.CL
Determining Internal and External Indices for Chart Generation
本文提出了一个编译程序，确定内部和外部索引的符号在统一的基础上的语法，用于提高计算效率的词汇表生成。该过程作为输入的语法和一组特征路径指示的语义索引的位置在一个标志，并计算一组方程的不动点从语法。结果是一组独立的约束条件，说明符号中的哪些索引可以绑定到完整句子中的其他符号。基于这些约束，制定了两个测试，减少搜索空间在生成过程中。
1997-06-11 cmp-lg cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Learning Adaptive Language Interfaces through Decomposition
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
我们的目标是创建一个交互式自然语言界面，有效和可靠地从用户那里学习，以完成模拟机器人设置中的任务。我们引入了一个神经语义解析系统，通过分解学习新的高级抽象：用户交互式地教系统分解成低层次的步骤，它可以理解的描述新的行为的高层次的话语。不幸的是，现有的方法要么依赖于语法，语法分析句子的灵活性有限，要么依赖于神经序列到序列模型，这些模型不能有效或可靠地从单个示例中学习。我们的方法弥补了这一差距，展示了现代神经系统的灵活性，以及基于语法的方法的一次性可靠推广。我们的众包互动实验表明，随着时间的推移，用户在使用我们的系统时，通过利用他们刚刚教授的内容，可以更有效地完成复杂的任务。与此同时，让用户足够信任系统，从而激励他们教授高水平的话语仍然是一个持续的挑战。最后，我们讨论了一些我们需要克服的障碍，以充分实现互动模式的潜力。
2020-10-11 cs.AI cs.CL cs.LG
Improving Compositional Generalization with Latent Structure and Data Augmentation
Google Research（谷歌研究院）
一般的非结构化神经网络已经被证明在分布外的组合泛化上挣扎。通过示例重组的组合数据增强已经将关于组合性的一些先验知识转移到用于若干语义解析任务的这种黑盒神经模型，但是这通常需要特定于任务的工程或提供有限的增益。我们提出了一个更强大的数据重组方法，使用一个名为组合结构学习器（CSL）的模型。CSL是一个具有准同步上下文无关文法主干的生成模型，我们从训练数据中归纳出该主干。我们从CSL中抽取重组样本，并将其添加到预训练序列到序列模型（T5）的微调数据中。这个过程有效地转移CSL的成分偏差的T5诊断任务，并导致在两个现实世界的合成泛化任务的模型甚至比T5-CSL合奏。这导致新的国家的最先进的性能，这些具有挑战性的语义解析任务，需要推广到自然语言的变化和新颖的成分。
2022-05-04 cs.CL
DecIF: Improving Instruction-Following through Meta-Decomposition
Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）
针对指令数据依赖外部资源的问题，提出 DecIF 框架，通过元分解自动生成、校验指令与响应，并在多场景实验中证明其优异的指令遵循性能。
2025-06-11 cs.CL
Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm
Sun Yat-sen University（中山大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）
本文提出一种基于工作流范式的文本到SQL方法，通过信息确定、问题分类、自校正和主动学习等模块增强大语言模型的注意力与求解范围，在多个数据集上取得显著提升。
2024-07-03 cs.CL
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs（亚马逊AWS人工智能实验室）
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时，解析器没有可用的NLQ的显式语义信息，这导致不理想的泛化性能。此外，没有词汇级细粒度的查询理解，查询和数据库之间的链接只能依赖于模糊字符串匹配，这导致在实际应用中的次优性能。鉴于此，本文提出了一个通用的，模块化的神经语义解析框架，是基于令牌级细粒度查询理解。我们的框架包括三个模块：命名实体识别器（NER），神经实体链接器（NEL）和神经语义解析器（NSP）。NER模型通过对查询和数据库进行联合建模，分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果，并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明，该模型在WikiTableQuestions（WTQ）测试集上的执行准确率为56.8%，比现有模型高出2.7%.
2022-09-28 cs.CL
Resource-Size matters: Improving Neural Named Entity Recognition with Optimized Large Corpora
Goethe University Frankfurt（法兰克福歌德大学）
这项研究将神经命名实体识别的性能提高了高达11%的F分数，以德语等低资源语言为例，从而超过现有的基线，并在每个开源数据集上建立了新的最先进的技术。我们没有设计更深更广的混合神经架构，而是收集所有可用的资源，并在将原始数据暴露给任何训练过程之前，执行详细的优化和语法相关的形态处理，包括词形化和词性标记。我们在一个三重单语实验设置中测试了我们的方法，其中包括a）单一，b）联合和c）优化训练，并揭示了下游任务对用于计算词嵌入的语料库大小的依赖性。
2018-07-26 cs.CL cs.LG stat.ML
Iterated Decomposition: Improving Science Q&A by Supervising Reasoning Processes
Ought
语言模型（LM）可以进行复杂的推理，无论是端到端，隐藏的潜在状态，或组合，透明的中间状态。组合提供了可解释性和安全性的好处，但可能需要工作流支持和基础设施来保持竞争力。我们描述迭代分解，开发和完善组合LM程序的人在回路工作流程。我们通过放大失败的组件，并通过分解，额外的上下文，思想思维链等细化组合物的性能提高。为了支持这个工作流程，我们开发ICE，一个开源工具，用于可视化LM程序的执行痕迹。我们将迭代分解应用于三个真实世界的任务，并在成分较少的基线上提高LM程序的准确性：描述随机对照试验中使用的安慰剂（25%至65%），评估参与者对医疗干预的依从性（53%至70%），以及回答Qasper数据集上的NLP问题（38%至69%）。这些应用程序可以作为工作流的案例研究，如果自动化，即使在扩展到越来越复杂的任务时，也可以保持ML系统的可解释性和安全性。
2023-01-05 cs.AI cs.CL cs.HC
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia（不列颠哥伦比亚大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
词嵌入是自然语言处理（NLP）模型的重要组成部分，并已被广泛研究。然而，它们消耗大量内存，这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数，以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的（输入/输出）嵌入压缩方法--蒸馏嵌入。首先，我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重，然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验，使用不同的数据集，其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明，所提出的技术是简单的复制，与一个固定的参数控制压缩大小，具有较高的BLEU分数的翻译和较低的困惑语言建模相比，复杂的，难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Dynamic Programming in Rank Space: Scaling Structured Inference with Low-Rank HMMs and PCFGs
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
隐马尔可夫模型（Hidden Markov Models，HRM）和概率上下文无关文法（ProbabilityContext-Free Grammars，PCFG）是广泛使用的结构化模型，它们都可以表示为因子图文法（FactorGraph Grammars，FGG），这是一种能够描述广泛模型的强大形式主义。最近的研究发现，使用大的状态空间对HALF和PCFG是有益的。然而，具有大状态空间的推断在计算上要求很高，特别是对于PCFG。为了应对这一挑战，我们利用张量秩分解（tensor rank decomposition）。CPD）来降低包含HMF和PCFG的FGG子集的推理计算复杂性。我们应用CPD的FGG的因素，然后构造一个新的定义在秩空间中的FGG。当秩大小小于状态大小时，用新的FGG进行推断产生相同的结果，但是具有较低的时间复杂度。我们进行实验，HMM语言建模和无监督PCFG解析，表现出更好的性能比以前的工作。我们的代码可在\url{https://github.com/VPeterV/RankSpace-Models}上公开获取。
2022-05-01 cs.CL cs.LG
ToolACE-DEV: Self-Improving Tool Learning via Decomposition and EVolution
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
针对蒸馏先进 LLM 成本高且存在数据兼容性差异的问题，本文提出 ToolACE-DEV 自我改进框架，通过任务分解与自我进化提升轻量模型的工具制作和使用能力。
2025-05-12 cs.AI cs.CL
TQCompressor: improving tensor decomposition methods in neural networks via permutations
Terra Quantum AG（特拉量子公司）
针对预训练语言模型的计算存储压力，该研究提出带置换增强的TQCompressor张量分解压缩方法，结合多步知识蒸馏，用少量数据将GPT-2_small压缩至8100万参数，性能优于同类模型，助力资源受限场景部署。
2024-01-29 cs.AI cs.CL cs.LG
Left-corner Methods for Syntactic Modeling with Universal Structural Constraints
SOKENDAI Graduate University for Advanced Studies（综合研究大学院大学）
本论文的主要目标是识别更好的句法约束或偏向，即独立于语言，但在句子处理过程中也有效地利用。我们专注于一个特殊的句法结构称为中心嵌入，这是很好的研究，在心理语言学，并指出，造成特殊的理解困难。由于人们使用语言作为沟通的工具，人们希望避免这种复杂的结构，以提高沟通效率。从计算的角度来看，中心嵌入与左角解析算法密切相关，左角解析算法可以捕获正在构建的解析树的中心嵌入程度。这种联系表明，左上角的方法可以是一种工具，利用普遍的句法约束，人们避免产生中心嵌入结构。我们通过一些理论和实证研究，广泛地探索了中心嵌入和左角方法的实用性。我们的主要任务是无监督语法归纳。在这个任务中，算法的输入是一组句子，模型试图从中提取它们的显著模式作为语法。这是一个特别困难的问题，尽管我们预计通用约束可能有助于提高性能，因为它可以有效地限制模型可能的搜索空间。我们建立的模型，有效地制表的搜索空间除了那些涉及中心嵌入到一个特定的程度，通过扩展的左角解析算法。我们研究了我们的方法在许多树库上的有效性，并证明了我们的约束往往会导致更好的解析性能。因此，我们得出结论，左上角的方法是特别有用的面向语法的系统，因为它可以有效地利用语言中固有的普遍约束。
2016-08-01 cs.CL
AutoReason: Automatic Few-Shot Reasoning Decomposition
Izmir Institute of Technology（伊兹密尔理工学院）
针对CoT依赖人工少样本提示且无法自适应查询的问题，提出AutoReason系统，自动将隐式问题分解为显式问题并生成推理依据，在StrategyQA和HotpotQA上均提升准确率。
2024-12-09 cs.AI cs.CL
