Dependency-Guided Code Generation: Structured Matrix Decomposition and Consistency-Guided Refinement
University of the Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc.（字节跳动公司）；Zhejiang University（浙江大学）；National Taiwan University（台湾国立大学）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）；Liaoning Technical University（辽宁技术大学）
针对现有代码生成方法无法充分捕捉代码实体依赖关系的问题，提出依赖感知代码生成框架，通过结构化矩阵分解和一致性引导细化生成代码，经实验验证该方法能生成语义对齐和结构保真度更高的代码。
2026-07-28 cs.CL cs.SE
Knowledge Dependency Estimation for Reliable Question Answering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；China Industrial Control Systems Cyber Emergency Response Team（中国工业控制系统网络应急响应团队）
提出Knot方法，通过子集级反事实监督和潜在依赖因子覆盖建模，估计黑盒问答模型对不同知识单元的敏感性，以识别关键知识依赖。
2026-05-27 cs.CL
A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
我们解决的任务，自动评分的能力的候选人的文本特征的基础上，从自动语音识别（ASR）transmitting在异步视频求职面试（AVI）。关键的挑战是如何构建问题和答案之间的依赖关系，并进行语义级的互动，为每个问答（QA）对。然而，目前对AVI的研究大多集中在如何更好地表示问题和答案上，而忽略了问题和答案之间的依赖信息和相互作用，这对QA评估至关重要。在这项工作中，我们提出了一种分层推理图神经网络（HRGNN）来自动评估问答对。具体而言，我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图，我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后，我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT（一个真实世界的数据集）上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Saving Dense Retriever from Shortcut Dependency in Conversational Search
NAVER AI Lab（NAVER人工智能实验室）；KAIST AI（韩国科学技术院人工智能研究院）；Korea University（高丽大学）
对话搜索（CS）需要对对话输入进行全面理解才能检索相关段落。在本文中，我们证明了在CS中存在一个检索捷径，这导致模型只依赖于部分历史检索段落，而忽略了最新的问题。通过深入的分析，我们首先表明，天真的训练密集检索大量利用的捷径，因此表现不佳，当被要求回答历史无关的问题。为了构建更强大的模型来对抗捷径依赖，我们探索了各种硬否定挖掘策略。实验结果表明，基于模型的硬否定训练有效地减轻了对捷径的依赖，显着提高了最近CS基准测试的密集检索器。特别是，我们的寻回犬在QReCC上的Recall@10中的表现优于之前的最先进模型11.0。
2022-10-19 cs.CL
Improving Text-to-SQL with Schema Dependency Learning
Alibaba Group（阿里巴巴集团）
Text-to-SQL旨在将自然语言问题映射到SQL查询。基于草图的方法结合执行引导（EG）解码策略在WikiSQL基准测试中表现出很强的性能。然而，执行引导解码依赖于数据库执行，这显著地减慢了推理过程，因此对于许多现实世界的应用是不令人满意的。在本文中，我们提出了模式依赖引导的多任务文本到SQL模型（SDSQL），以指导网络有效地捕捉问题和模式之间的相互作用。所提出的模型优于所有现有的方法在这两个设置与或没有EG。我们发现模式依赖学习部分覆盖了EG的好处，并证明了对它的需求。没有EG的SDSQL大大减少了推理过程中的时间消耗，只牺牲了少量的性能，并为下游应用程序提供了更大的灵活性。
2021-12-10 cs.CL
Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
本文提出CONVSR框架，利用结构化中间表示作为对话线索来解析对话式问答中的隐式依赖，在QuAC和CANARD上取得优于标准问题重写模型的F1分数。
2023-04-14 cs.CL cs.IR
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology（韩国科学技术院）
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法，并通过对比学习建模多轮会话依赖，在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
Attention Guided Graph Convolutional Networks for Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）
依赖树传递了丰富的结构信息，这些信息被证明对于提取文本中实体之间的关系非常有用。然而，如何有效地利用相关信息，而忽略无关信息的依赖树仍然是一个具有挑战性的研究问题。采用基于规则的硬修剪策略来选择相关部分依赖结构的现有方法可能并不总是产生最佳结果。在这项工作中，我们提出了注意力引导的图卷积网络（AGGCN），一种新的模型，它直接采取全依赖树作为输入。我们的模型可以被理解为一个软修剪的方法，自动学习如何有选择地参加相关的子结构有用的关系抽取任务。在跨句子n元关系抽取和大规模的文档级关系抽取等任务上的广泛结果表明，我们的模型能够更好地利用完整依赖树的结构信息，比以前的方法给出了更好的结果。
2020-09-06 cs.CL cs.LG
ChatGPT is a Potential Zero-Shot Dependency Parser
Beijing University of Posts and Telecommunications（北京邮电大学）；East China Normal University（华东师范大学）
本文探索了ChatGPT等大型语言模型在零样本场景下的依存句法分析能力，实验表明其具备作为零样本依存句法分析器的潜力，且解析输出具有独特的语言学偏好。
2023-10-25 cs.CL
Research on Multi-hop Inference Optimization of LLM Based on MQUAKE Framework
China University of Mining and Technology（中国矿业大学）；Northeastern University（东北大学）；University of California, Los Angeles（加州大学洛杉矶分校）
该研究基于MQUAKE框架提出多跳问题分解方法，通过在MQUAKE-T衍生数据集上对LLAMA3模型进行微调测试，验证了该方法在训练前后均能有效提升大语言模型的复杂问题回答能力。
2025-09-05 cs.CL cs.LG
Unsupervised Question Decomposition for Question Answering
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；University College London（伦敦大学学院）；CIFAR Azrieli Global Scholar（加拿大高级研究院阿兹列利全球学者项目）
我们的目标是改善问答（QA）的困难问题分解成简单的子问题，现有的QA系统能够回答。由于用分解标记问题很麻烦，我们采取无监督的方法来生成子问题，这也使我们能够利用互联网上的数百万个问题。具体来说，我们提出了一个算法的一对N无监督序列转导（ONUS），学会映射一个硬，多跳的问题，许多简单的，单跳的子问题。我们用现成的QA模型回答子问题，并将得到的答案交给重组模型，将它们组合成最终答案。我们展示了HotpotQA在原始、域外和多跳开发集上的强大基线上的巨大QA改进。ONUS自动学习分解不同类型的问题，同时匹配QA的监督和启发式分解方法的效用，并在流畅性上超过这些方法。定性，我们发现，使用子问题是有希望阐明为什么QA系统作出预测。
2020-10-06 cs.AI cs.CL cs.LG
Visual Question Decomposition on Multimodal Large Language Models
Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；Amazon Web Services（亚马逊云计算服务）；LMU Munich（慕尼黑大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Oxford（牛津大学）
本研究针对多模态大语言模型视觉问题分解能力不足的问题，构建了含数据集与评估标准的系统框架，提出DecoVQA+微调数据集及选择性分解微调流水线，显著提升了子问题质量与VQA任务准确率。
2024-10-07 cs.AI cs.CL cs.CV
Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland（奥克兰大学）
有效的多跳问答（QA）需要对多个分散的段落进行推理，并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法（QDAMR），通过将多跳问题分解为简单的子问题并按顺序回答，实现了可解释的推理。由于注释分解是昂贵的，我们首先将理解多跳问题的复杂性委托给AMR解析器。然后，我们实现了多跳问题的分解，通过分割相应的AMR图的基础上所需的推理类型。最后，我们使用AMR到文本生成模型生成子问题，并使用现成的QA模型回答它们。HotpotQA上的实验结果表明，我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式，优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
Question Decomposition Tree for Answering Complex Questions over Knowledge Bases
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对现有知识库问答问题分解方法仅支持单一组合类型的局限，提出用问题分解树表示复杂问题结构，通过两阶段Clue-Decipher方法生成，构建的QDTQA系统在多个数据集上取得SOTA，还可将现有系统性能提升12%。
2023-06-13 cs.CL
Navigating Uncertainty: Optimizing API Dependency for Hallucination Reduction in Closed-Book Question Answering
Sorbonne Université（索邦大学）；AgroParisTech（巴黎高科农业学院）
提出一种能自我评估是否需调用外部API的LLM，通过幻觉掩蔽机制和参数高效微调，在闭卷问答中有效降低幻觉并减少API调用成本。
2024-01-03 cs.CL cs.IR
Evaluating the Knowledge Dependency of Questions
Riiid AI Research（Riiid人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）；UC Berkeley（加州大学伯克利分校）
针对现有MCQ生成评估指标忽略教育价值的问题，提出知识依赖可答性（KDA）指标及两种自动近似指标，验证了其与人工KDA、课堂可用性的强相关性及结合传统指标后的质量预测能力。
2022-11-21 cs.CL
Multi-Field Structural Decomposition for Question Answering
Emory University（埃默里大学）
本文提出了一种简单而新颖的方法，问答任务使用结构分解。我们的系统首先从文本中生成语法和语义树等语言结构，将其分解为多个字段，然后对每个字段中的术语进行索引。对于每个问题，它将问题分解为多个字段，测量每个字段与索引字段的相关性得分，然后根据与字段关联的相关性得分和权重对所有文档进行排名，其中权重通过统计建模来学习。我们的最终模型提供了超过40%的基线方法，使用简单的搜索检测包含答案的文件的绝对改善。
2016-04-04 cs.CL
Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多跳问答（QA）是一项具有挑战性的任务，因为它需要准确地聚合来自多个上下文段落的信息，并彻底理解底层的推理链。最近在多跳QA方面的工作表明，可以通过首先将问题分解为更简单的单跳问题来提高性能。在本文中，我们从可解释的NLP的角度探索了多跳分解的一个额外效用：通过探测神经QA模型来创建解释。我们假设这样做，用户将能够更好地预测底层QA系统何时给出正确答案。通过人类参与者的研究，我们验证了暴露的分解探针和答案的探针给用户可以提高他们的能力，预测系统性能的问题实例的基础上。我们发现，分解是一种有效的形式探测QA系统，以及一个有前途的方法来解释生成。深入的分析表明，需要改进的分解系统。
2022-11-01 cs.CL
The (Non-)Utility of Structural Features in BiLSTM-based Dependency Parsers
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；University of Stuttgart（斯图加特大学）
经典的非神经依赖解析器在特征函数的设计上投入了大量的精力。特别是，它们受益于来自结构特征的信息，例如从依赖关系树中的相邻标记中提取的特征。相比之下，他们的基于BiLSTM的后继者在没有关于结构上下文的明确信息的情况下实现了最先进的性能。在本文中，我们的目标是回答这个问题：BiLSTM表示能够隐式地捕获多少结构上下文？我们表明，从部分子树绘制的功能变得冗余时，使用的BiLSTM。我们提供了一个深刻的洞察信息流的过渡和基于图的神经架构，以证明隐含的信息来自解析器时，他们的决定。最后，与模型烧蚀，我们证明了结构的背景不仅存在于模型中，但它显着影响其性能。
2019-06-04 cs.CL
LooGLE: Can Long-Context Language Models Understand Long Contexts?
BIGAI（北京智源人工智能研究院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文提出长上下文评测基准LooGLE，基于2022年后超长文档与高质量长依赖问答评估8个LLM，揭示其在长依赖理解上的不足及不同增强策略的效果。
2024-09-06 cs.AI cs.CL
CQR-SQL: Conversational Question Reformulation Enhanced Context-Dependent Text-to-SQL Parsers
Tencent Cloud Xiaowei（腾讯云小微）；Beihang University（北京航空航天大学）
上下文相关的文本到SQL是将多轮问题转换为与数据库相关的SQL查询的任务。现有的方法通常侧重于充分利用历史上下文或先前预测的SQL来进行当前SQL解析，而忽略了显式地理解模式和会话依赖，如共指，省略和用户焦点变化。在本文中，我们提出了CQR-SQL，它使用辅助会话问题重构（CQR）学习显式地利用模式和解耦上下文依赖SQL解析。具体来说，我们首先提出了一个模式增强递归CQR方法产生领域相关的自包含的问题。其次，通过基于模式的一致性任务和树型结构的SQL解析一致性任务对CQR-SQL模型进行训练，使其能够将多轮问句和辅助自包含问句的语义映射到同一个潜在空间中，通过充分的上下文理解来提高SQL解析的能力。在撰写本文时，我们的CQR-SQL在两个上下文相关的文本到SQL基准测试SParC和CoSQL上取得了最新的结果。
2022-10-24 cs.CL
Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）
本文提出两阶段可解释问答框架RoHT，通过构建层次化问题分解树（HQDT）将复杂问题拆解为子问题并选择异构知识源，递归进行概率推理聚合知识以寻找最佳答案，在KQA Pro和Musique数据集上显著优于SOTA方法。
2023-05-24 cs.CL
A Case Study on Pros and Cons of Regular Expression Detection and Dependency Parsing for Negation Extraction from German Medical Documents. Technical Report
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Oldenburg University（奥尔登堡大学）
我们描述了我们的工作信息抽取在德国写的医疗文件，特别是检测否定使用的架构的基础上UIMA管道。基于我们以前在软件模块上的工作，以涵盖诊断，检查等医学概念，我们采用了一个版本的NegEx正则表达式算法，其中包含大量触发器作为基线。我们展示了如何一个显着较小的触发集是足以实现类似的结果，以减少适应新的文本类型的时间。我们详细说明的问题是否依存句法分析（基于斯坦福CoreNLP模型）是一个很好的选择，并描述了这两种方法的潜力和缺点。
2021-05-20 cs.CL
When Answers Stray from Questions: Hallucination Detection via Question-Answer Orthogonal Decomposition
Shanghai Jiao Tong University（上海交通大学）
本文提出QAOD框架，通过正交分解回答表示以抑制领域变化，结合双策略实现领域内检测与跨领域泛化，提升检测鲁棒性。
2026-05-14 cs.AI cs.CL cs.LG
Complex Reading Comprehension Through Question Decomposition
Monash University（莫纳什大学）
多跳阅读理解不仅需要对原始文本进行推理的能力，还需要结合多种证据的能力。我们提出了一种新的学习方法，帮助语言模型更好地理解困难的多跳问题，并执行“复杂的，合成”的推理。我们的模型首先学习通过可训练的问题分解器将每个多跳问题分解为几个子问题。我们不回答这些子问题，而是直接将它们与原始问题和上下文连接起来，并利用阅读理解模型以序列对序列的方式预测答案。通过对这两个组件使用相同的语言模型，我们最好的分离/统一的t5-base变体在DROP数据集的硬子集上超过基线7.2/6.1个绝对F1点。
2022-11-07 cs.CL
Is a Question Decomposition Unit All We Need?
Arizona State University（亚利桑那州立大学）
大语言模型（LM）在许多自然语言处理（NLP）基准测试中取得了最先进的性能。随着越来越多的新基准测试，我们构建了更大、更复杂的LM。然而，由于成本、时间和环境影响，构建新的LM可能不是一个理想的选择。我们探索了另一种途径：我们能否通过表达模型的优势来修改数据，以便模型更容易回答问题？我们研究人类是否可以将一个困难的问题分解为一组更简单的问题，这些问题对于模型来说相对更容易解决。我们分析了一系列涉及各种形式推理的数据集，发现通过分解确实可以显着提高模型性能（GPT 3为24%，Roberta-SQuAD为29%以及符号计算器）。我们的方法提供了一个可行的选择，让人们以有意义的方式参与NLP研究。我们的研究结果表明，人在回路问题分解（HQD）可以潜在地提供一种替代路径来构建大型LM。代码和数据可在https://github.com/Pruthvi98/QuestionDecomposition上获得
2022-10-26 cs.AI cs.CL cs.HC
Multi-hop Reading Comprehension through Question Decomposition and Rescoring
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多跳阅读理解（RC）需要跨多个段落进行推理和聚合。我们提出了一个系统的多跳RC分解成更简单的子问题，可以回答现成的单跳RC模型的组成问题。由于这种分解的注释是昂贵的，我们将子问题生成重新定义为跨度预测问题，并表明我们的方法仅使用400个标记的示例进行训练，生成的子问题与人类创作的子问题一样有效。我们还引入了一种新的全局重新评分方法，该方法考虑每个分解（即子问题及其答案）以选择最佳最终答案，从而大大提高了整体性能。我们在HotpotQA上的实验表明，这种方法实现了最先进的结果，同时以子问题的形式为其决策提供了可解释的证据。
2019-06-30 cs.AI cs.CL
Dep-Search: Learning Dependency-Aware Reasoning Traces with Persistent Memory
Zhejiang University（浙江大学）；Intel Corporation（英特尔公司）；Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）
Dep-Search 通过 GRPO 集成结构化推理、检索和持久记忆，提升 LLM 处理复杂多跳推理任务的能力。
2026-01-26 cs.AI cs.CL cs.IR
Mastering the ABCDs of Complex Questions: Answer-Based Claim Decomposition for Fine-grained Self-Evaluation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出基于答案的声明分解（ABCD）提示策略，将复杂问题分解为真/假声明以验证答案满足的标准，实现细粒度自我评估，发现GPT-3.5能评估答案符合程度并揭示模型错误与知识差距。
2023-05-24 cs.CL
Learning to Decompose: Hypothetical Question Decomposition Based on Comparable Texts
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）
显式分解建模涉及将复杂任务分解为更直接且通常更可解释的子任务，长期以来一直是开发强大且可解释的NLU系统的中心主题。然而，尽管作为这项工作的一部分构建了许多数据集和资源，但大多数都具有小规模的注释和有限的范围，这不足以解决一般的分解任务。在本文中，我们研究了使用可比文本（特别是大规模并行新闻）的远程监督对基于分解的Transformers进行大规模中间预训练。我们表明，通过这种中间预训练，为各种任务开发鲁棒的基于分解的模型变得更加可行。例如，在语义解析上，我们的模型DecompT 5在两个数据集上比基线语言模型提高了20%到30%，Overnight和TORQUE。我们进一步使用DecompT 5构建了一个新的基于分解的QA系统，名为DecompEntail，在HotpotQA和StrategyQA上分别比最先进的模型（包括GPT-3）提高了8%和4%。
2022-10-30 cs.CL
PankRAG: Enhancing Graph Retrieval via Globally Aware Query Resolution and Dependency-Aware Reranking Mechanism
College of Computer Science, Beijing university of technology, Beijing, China（北京理工大学计算机科学学院）；Department of Computer Science and Engineering, Bologna University, Bologna, Italy（博洛尼亚大学计算机科学与工程系）
PankRAG通过全局意识查询解析和依赖意识重排序机制，有效提升复杂查询中潜在关系的捕捉与解析，增强图检索的准确性和泛化能力。
2026-01-21 cs.AI cs.CL cs.IR
Break, Perturb, Build: Automatic Perturbation of Reasoning Paths Through Question Decomposition
Tel Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
最近创建挑战基准测试自然语言理解模型的能力的努力在很大程度上依赖于人类注释。在这项工作中，我们介绍了“休息，扰动，建立”（BPB）框架自动推理为导向的扰动的问答对。BPB通过将问题分解为回答问题所需的推理步骤来表示问题，象征性地扰动分解，然后生成新的问题-答案对。我们通过为三个阅读理解（RC）基准创建评估集，在没有人为干预的情况下生成数千个高质量的示例，证明了BPB的有效性。我们在评估集上评估了一系列RC模型，与原始数据相比，生成的示例显示出较大的性能差距。此外，符号扰动使模型的优势和局限性的细粒度分析。最后，用BPB生成的示例扩充训练数据有助于缩小性能差距，而不会降低原始数据分布。
2021-10-18 cs.CL
Question Decomposition for Retrieval-Augmented Generation
Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出在检索增强生成中引入查询分解，将多跳问题拆分为子问题后分别检索并重排序，从而在无需额外训练的情况下提升检索覆盖率和答案准确率。
2025-07-01 cs.CL
Coarse-grained decomposition and fine-grained interaction for multi-hop question answering
School of Electronic and Information, Beijing Jiaotong University（北京交通大学电子信息学院）；Key Laboratory of Communication and Information Systems, Beijing Municipal Commission of Education（北京市教育委员会通信与信息系统重点实验室）
关于问答和阅读理解的最新进展已经产生了超越人类表现的模型，当答案包含在单个连续的文本中时，只需要单跳推理。然而，在实际场景中，许多复杂的查询需要多跳推理。问答任务的关键是文档和问题之间的语义特征交互，双向注意流（Bi-Directional Attention Flow，Bi-Directional Attention Flow）广泛处理这一交互，但双向注意流通常只捕捉复杂问题中词语的表层语义，而无法捕捉中间答案的隐含语义特征。因此，Bi-texture部分忽略了与问题相关的部分上下文，无法提取多个文档中最重要的部分。在本文中，我们提出了一个新的模型架构多跳问答，通过应用两个完成策略：（1）引入粗粒度复杂问题分解（CGDe）策略，在不需要任何附加标注的情况下，将复杂问题分解为简单问题。（2）细粒度交互（FGIn）引入策略以更好地表示文档中的每个单词，并提取与推理路径相关的更全面、准确的句子。将上述两种策略结合起来并在SQuAD和HotpotQA数据集上进行测试，实验结果表明，我们的方法优于国家的最先进的基线。
2021-01-15 cs.CL
Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
大多数现有的序列标记模型依赖于将靶序列固定分解为基本单元的序列。这些方法有两个主要缺点：1）基本单元的集合是固定的，例如语音识别中的单词、字符或音素的集合，以及2）目标序列的分解是固定的。这些缺点通常导致建模序列的次优性能。本文对目前流行的CTC损失准则进行了扩展，提出了一种新的损失函数Gram-CTC。在保留CTC优点的同时，Gram-CTC自动学习最佳的基本单位（克）集，以及最合适的目标序列分解。与CTC不同的是，Gram-CTC允许模型在每个时间步输出可变数量的字符，这使得模型能够捕获更长时间的依赖关系，并提高计算效率。我们表明，建议的Gram-CTC提高CTC的性能和效率方面的大词汇量语音识别任务在多个尺度的数据，并与Gram-CTC，我们可以超越国家的最先进的标准语音基准。
2017-08-12 cs.CL cs.LG cs.NE
Semantic Decomposition of Question and SQL for Text-to-SQL Parsing
Ben Gurion University（本·古里安大学）
针对Text-to-SQL跨域复杂查询泛化难题，提出模块化查询计划语言QPL系统分解SQL，扩充Spider数据集，实验证明其优于直接解析，并支持构建对数据库模式敏感的问题分解器且提升可解释性。
2023-10-20 cs.CL
SPARQLing Database Queries from Intermediate Question Decompositions
HSE University（高等经济大学）；Yandex（杨德克斯）
为了将自然语言问题转换为可执行的数据库查询，大多数方法依赖于完全注释的训练集。使用查询注释大型数据集是困难的，因为它需要查询语言专业知识。我们减少这种负担，使用接地在数据库中间的问题表示。这些表示更容易收集，并且最初在Break数据集中众包（Wolfson等人，2020年）。我们的管道由两部分组成：一个神经语义解析器，它将自然语言问题转换为中间表示和一个不可训练的转译器SPARQL查询语言（一种访问知识图谱和语义Web的标准语言）。我们选择SPARQL是因为它的查询在结构上更接近我们的中间表示（与SQL相比）。我们观察到，我们的模型在具有挑战性的Spider数据集上构建的查询的执行准确性与使用注释SQL查询训练的最先进的文本到SQL方法相当。我们的代码和数据是公开的（请参阅https：//github.com/yandex-research/sparqling-queries）。
2022-05-31 cs.CL
If We May De-Presuppose: Robustly Verifying Claims through Presupposition-Free Question Decomposition
Department of Computer Science and Electrical Engineering University of Maryland Baltimore County（计算机科学与电气工程系大学马里兰大学巴尔的摩县）
针对LLM声明验证中问题预设与提示敏感性导致的不一致，本文提出基于无预设分解问题推理的稳健框架，并在多提示、数据集和模型上验证其可稳定带来2-5%提升。
2025-09-27 cs.CL
DARA: Decomposition-Alignment-Reasoning Autonomous Language Agent for Question Answering over Knowledge Graphs
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Queen’s University（女王大学）；Ingenuity Labs Research Institute（Ingenuity 实验室研究院）
本文提出 DARA 框架，通过高层任务分解与低层任务落地将问题解析为形式化查询，并用少量推理轨迹微调 LLM，在零样本 KGQA 基准上超过 GPT-4 上下文学习方案并媲美枚举排序方法。
2024-06-11 cs.CL
GenSco: Can Question Decomposition based Passage Alignment improve Question Answering?
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Adobe Research, India（印度奥多比研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
针对大语言模型RAG问答中的幻觉问题，提出基于问题分解的段落选择框架GenSco，用双LLM结构实现高效段落对齐，在三个多跳问答数据集上取得显著性能提升。
2024-07-14 cs.CL cs.IR
A Step Closer to Comprehensive Answers: Constrained Multi-Stage Question Decomposition with Large Language Models
Peking University（北京大学）；Kuaishou Technology（快手科技）
针对大语言模型在复杂问答中的幻觉问题，提出约束多阶段分解框架D&Q，结合外部知识并限制思考范围，实验显示在ChitChatQA和HotPotQA上表现优异。
2023-11-13 cs.CL
Better Decomposition, Free Aggregation: A Synthesizer-Folding Framework for Multilingual Multi-Hop Question Answering
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Kunming University of Science and Technology（昆明理工大学）
针对多语言多跳问答中现有方法的翻译噪声与错误放大问题，提出Syfer框架，通过推迟翻译、格式受限分解与质量检查实现性能与成本的良好平衡。
2026-08-14 cs.AI cs.CL
GenDec: A robust generative Question-decomposition method for Multi-hop reasoning
Tokyo Institute of Technology（东京工业大学）；Westlake University（西湖大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文提出一种生成式问题分解方法GenDec，通过生成独立完整的子问题并结合额外证据，增强LLMs在RAG中的多跳推理能力，实验验证了其在多个数据集和模型上的有效性与鲁棒性。
2024-02-17 cs.CL
D$^2$F-ReAG: Dynamic Decomposition and Filtering for Multi-Hop Reasoning-Augmented Generation
Northeastern University（东北大学）；Kunming University of Science and Technology（昆明理工大学）；NiuTrans Research（NiuTrans研究院）
针对现有检索增强生成（RAG）处理多跳问题时缺乏动态分解与有效过滤的缺陷，提出D²F-ReAG范式，通过判断根级推理可靠性自适应控制推理深度，经实验验证其处理复杂多跳问题的有效性。
2026-08-06 cs.AI cs.CL
Typed-RAG: Type-Aware Decomposition of Non-Factoid Questions for Retrieval-Augmented Generation
本文提出Typed-RAG框架，通过将非事实型问题分类为预定义类型并分解为单方面子查询，提升检索相关性与答案质量，并构建Wiki-NFQA基准数据集验证其优于现有方法。
2025-07-22 cs.CL cs.IR
When Do Decompositions Help for Machine Reading?
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
处理复杂的问题通常需要多步推理才能获得最终答案。大多数复杂问题的分解研究涉及开放域系统，这些系统在使用这些分解来提高检索方面取得了成功。然而，在机器阅读设置中，理解分解何时有用的工作还没有得到充分研究。我们使用一系列模型和数据集对机器阅读中的分解进行实验，以统一该领域的最新工作。我们发现，分解可以在Few-Shot的情况下是有帮助的，给出了几个点的精确匹配分数的改进。然而，我们还表明，当模型访问大约几百个或更多示例的数据集时，分解是没有帮助的（实际上可能是有害的）。因此，我们的分析表明，即使数据有限，模型也可以隐式地学习分解。
2022-12-20 cs.CL
One More Question is Enough, Expert Question Decomposition (EQD) Model for Domain Quantitative Reasoning
The University of Edinburgh（爱丁堡大学）；National Technical University of Athens（雅典技术大学）；Archimedes/Athena Research Centre（阿基米德/雅典研究中心）；University of Aveiro（阿维罗大学）
针对大语言模型在领域定量推理中的挑战，提出基于两步微调与奖励引导的专家问题分解（EQD）方法，兼具效率与性能，在金融领域四个基准上提升问答效果0.6%-10.5%，并发现单个辅助问题优于多步引导。
2025-10-01 cs.CL q-fin.CP
Enhancing Post-Hoc Attributions in Long Document Comprehension via Coarse Grained Answer Decomposition
Adobe Research（奥多比研究院）
本文针对长文档问答中的事后归因问题，提出基于模板上下文学习和负采样的粗粒度答案事实分解方法，并系统评估其对检索式和LLM归因方法的提升效果。
2024-11-23 cs.CL
What Should/Do/Can LSTMs Learn When Parsing Auxiliary Verb Constructions?
Uppsala University（乌普萨拉大学）；University of Copenhagen（哥本哈根大学）
研究神经NLP模型学习语言的兴趣越来越大。一个突出的问题是是否有必要对层次结构进行建模。我们提出了一个神经解析器的语言学调查，增加了对这个问题的见解。我们将助动词结构与限定主动词结构进行比较，考察助动词结构的及物性和一致性信息。这种比较的动机是依存语法的理论工作，特别是Tesnière（1959）的工作，其中AVCs和FMV都是核的实例，核是句法的基本单位。AVC是一个分离的核，它至少由两个单词组成，而FMV是它的非分离的对应物，只由一个单词组成。我们建议AVC和FMV的表示应该捕获类似的信息。我们使用诊断分类探测协议和传递性信息的向量学习的过渡为基础的神经解析器在四个类型不同的语言。我们发现，解析器学习不同的信息，如果只有顺序模型（BiLSTM）中使用的架构，但类似的信息时，使用递归层的AVC和FMV。我们通过仔细观察网络中信息是如何学习的，以及不同的AVC依赖表示会发生什么来解释为什么会出现这种情况。我们的结论是，在依存句法分析中使用递归层可能会有好处，而且我们还没有找到将其集成到解析器中的最佳方法。
2020-10-12 cs.CL
Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding
Microsoft Corporation（微软公司）
Transformer在深度学习领域已经变得无处不在。决定其成功的关键因素之一是自我注意力机制，它允许在输入标记上进行完全连接的上下文编码。然而，尽管它在建模短序列时有效，但当处理具有极长范围依赖性的输入时，自我注意力会受到影响，因为其复杂性相对于序列长度呈二次增长。因此，长序列通常由Transformer使用滑动窗口以块的形式编码。在本文中，我们提出了一种新的基于聚类的稀疏Transformer，以执行跨块序列的注意力。该框架基于两种独特的Transformer层：滑动窗口层和前处理层，它们联合迭代地编码局部序列信息和全局上下文。这种新设计允许在本地窗口之外进行信息集成，这对于依赖于远程依赖关系的问答（QA）任务尤其有益。实验表明，在几个主要的QA基准测试中，该算法达到了最先进的性能。
2021-06-07 cs.CL
GoG: Relation-aware Graph-over-Graph Network for Visual Dialog
Tencent Inc（腾讯公司）
可视化对话旨在与人类就给定图像进行有意义的对话，这是一项具有挑战性的任务，需要模型来推理视觉内容，对话历史和当前问题之间的复杂依赖关系。图神经网络最近被应用于对图像或对话中的对象之间的隐式关系进行建模。然而，他们忽略了1）对话历史之间的共指关系和单词之间的依赖关系的问题表示的重要性;和2）基于完全表示的问题的图像的表示。因此，我们提出了一种新的关系感知的图上图网络（GoG）的可视对话。具体地说，GoG由三个顺序图组成：1）H-Graph，旨在捕获对话历史中的共指关系; 2）历史感知Q-Graph，旨在基于对话历史的共指消解，通过捕获词与词之间的依赖关系来全面理解问题; 3）基于问题感知的I-Graph，基于完全问题表示的图像对象间关系的获取。作为一个额外的功能表示模块，我们添加到现有的可视化对话模型GoG。实验结果表明，我们的模型优于强基线生成和歧视设置的显着保证金。
2022-06-01 cs.CL cs.CV
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College（波士顿学院）
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语（MacWhinney，2000年）。我们的注释在很大程度上遵循了通用自动化项目（UD（Zeman et al.，2022）），详细扩展到词汇/句法结构独特的会话讲话（在反对书面文本）。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比，我们的数据集的大小（大得多）（话语数N = 44，744;单词数N = 233，907），包含来自10个儿童的语音，涵盖了广泛的年龄范围（18-66个月）。有了这个数据集，我们问：（1）为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何？(2)句法分析能力与儿童的发展阶段有什么关系？为了解决这些问题，在正在进行的工作中，我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估，这些解析器具有不同的超参数化，从三种不同类型的域外书面文本中训练：新闻，推文和学习者数据。
2022-09-28 cs.CL
In-Context Ability Transfer for Question Decomposition in Complex QA
Delft University of Technology（代尔夫特理工大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
本文提出 ICAT 方法，通过从相关任务数据源中自动选择示例，在不微调 LLM 和不进行人工标注的情况下迁移问题分解与逐步推理能力，并在多种复杂问答任务上显著优于现有基于提示的方法。
2023-10-26 cs.AI cs.CL
Avoiding Knowledge Edit Skipping in Multi-hop Question Answering with Guided Decomposition
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；National Institute of Healthcare Data Science, Nanjing University, China（医疗数据科学国家研究院，南京大学，中国）
针对多跳问答中知识编辑跳过问题，提出基于引导分解的迭代检索增强知识编辑方法（IRAKE），利用已编辑事实和案例引导，缓解编辑失败并超越现有最优方法。
2025-09-09 cs.AI cs.CL
