Automatic Generation of Technical Documentation
自然语言生成（NLG）技术可用于从领域知识库以及语言和上下文模型自动生成技术文档。我们从技术和实用性（成本和效益）的角度讨论了NLG技术的应用。本文的讨论主要基于我们在IDAS文档生成项目中的经验，以及来自工业界的各种感兴趣的人对IDAS的反应。我们希望我们对IDAS经验的总结以及从中吸取的教训能够对其他希望构建技术文档生成系统的研究人员有所帮助。
1994-11-30 cmp-lg cs.CL
MoE-DiffuSeq: Enhancing Long-Document Diffusion Models with Sparse Attention and Mixture of Experts
MoE-DiffuSeq通过稀疏注意力和专家混合架构提升长文档扩散模型的效率与生成质量。
2026-01-06 cs.CL
Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
释义生成是自然语言处理中的一项重要任务。以往的研究主要集中在文本级的释义生成，而忽略了文档级的释义生成，这是一个更具挑战性和价值的任务。在本文中，我们首次探讨了文档级释义生成的任务，并通过考虑句子重写和重新排序来关注句子间的多样性。我们提出了CoRPG（Coherence Relationship Guided Paraphrase Generation），它利用图GRU对连贯关系图进行编码，得到每个句子的连贯感知表示，该表示可用于重新排列多个（可能修改的）输入句子。我们创建了一个伪文档级的释义数据集来训练CoRPG。自动评估结果显示，CoRPG在BERTScore和多样性得分上优于几个强基线模型。人工评价也表明我们的模型可以生成更多样性和语义保持的文档释义。
2021-09-15 cs.AI cs.CL
Y-NQ: English-Yorùbá Evaluation dataset for Open-Book Reading Comprehension and Text Generation
FAIR at Meta（Meta公司FAIR研究院）
本研究发布英语-约鲁巴语开卷阅读理解与文本生成评估数据集Y-NQ，实验发现受评估的英语LLM在约鲁巴语任务上表现显著落后于英语，验证了其阅读理解能力未有效迁移至该低资源语言。
2024-12-11 cs.CL
Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
CyberAgent
针对文档级文本生成中效用函数难以评估整篇文档的问题，提出基于Wasserstein距离的MBR-OT解码方法，利用句子级效用函数计算文档效用，在多项任务中优于标准MBR。
2025-05-29 cs.AI cs.CL
SA-DiffuSeq: Addressing Computational and Scalability Challenges in Long-Document Generation with Sparse Attention
SA-DiffuSeq通过稀疏注意力机制提升长文档生成的效率和可扩展性，有效降低计算成本并增强生成质量。
2025-12-23 cs.AI cs.CL
Table-Of-Contents generation on contemporary documents
Fortia Financial Solutions（福蒂亚金融解决方案公司）
从文档中生成精确而详细的目录（TOC）是文档理解和信息抽取的一个重要问题。尽管它很重要，但它仍然是一项具有挑战性的任务，特别是对于具有丰富布局信息的非标准化文档，如商业文档。在本文中，我们提出了一个新的基于神经的管道TOC生成适用于任何可搜索的文件。与以前的方法不同，我们不使用语义标签，也不假设文档中存在可解析的TOC页面。此外，我们分析了使用外部知识编码作为模板的影响。我们的经验表明，这种方法只在资源非常少的环境中是有用的。最后，我们提出了一个新的特定于域的数据集，揭示了在现实世界中的文档TOC生成的困难。所提出的方法表现出更好的性能比国家的最先进的公共数据集和新发布的数据集。
2019-11-20 cs.CL
Seg2Act: Global Context-aware Action Generation for Document Logical Structuring
University of Chinese Academy of Sciences（中国科学院大学）；WeChat, Tencent Inc.（腾讯微信团队）
针对传统方法处理长文档逻辑结构提取的不足，该研究提出端到端生成式方法Seg2Act，将任务重构为动作生成，通过全局上下文感知模型迭代生成动作并更新结构，在两个数据集的监督与迁移学习场景下均取得优异性能。
2024-10-09 cs.CL
Keyphrase Generation with Cross-Document Attention
关键词生成的目的是生成一组短语，总结给定文档的要点。传统方法通常应用编码器-解码器架构来生成输入文档的输出关键词，其中它们被设计为关注每个当前文档，因此它们不可避免地忽略了由其他类似文档携带的关键语料库级信息，即，跨文档依赖和潜在主题。本文提出了一个基于transformer的关键词生成器CDKGen，它将Transformer扩展到全局注意力，利用跨文档注意力网络将可用文档作为参考，从而在主题信息的指导下生成更好的关键词。在提出的Transformer +跨文档注意力架构的基础上，我们还采用了一种复制机制来增强我们的模型，通过从文档中选择合适的单词来处理关键短语中的词汇表外的单词。在5个基准数据集上的实验结果表明了该模型的有效性和实用性，在所有数据集上均达到了最佳性能。进一步的分析证实，该模型能够生成与参考文献一致的关键词，同时保持足够的多样性。CDKGen的代码可在https://github.com/SVAIGBA/CDKGen上获得。
2022-12-22 cs.CL
More Documents, Same Length: Isolating the Challenge of Multiple Documents in RAG
School of Computer Science and Engineering（计算机科学与工程学院）
研究发现RAG中增加文档数量显著降低LLM性能，但Qwen2.5表现出更强的多文档处理能力。
2025-11-27 cs.CL
DG2: Data Augmentation Through Document Grounded Dialogue Generation
Columbia University（哥伦比亚大学）；ASAPP（ASAPP公司）；IBM Research AI（IBM人工智能研究院）
收集用于训练对话系统的数据可能是极其昂贵的，这是由于人类参与者的参与以及对大量注释的需要。特别是在基于文档的对话系统中，人类专家需要仔细阅读非结构化文档来回答用户的问题。因此，现有的基于文档的对话数据集规模相对较小，阻碍了对话系统的有效训练。在本文中，我们提出了一个自动数据增强技术的基础上，通过生成对话模型的文件。对话模型由用户机器人和代理机器人组成，它们可以在给定输入文档的情况下合成各种对话，然后用于训练下游模型。当补充原始数据集时，我们的方法比传统的数据增强方法有了显著的改进。我们还在低资源环境中实现了出色的性能。
2021-12-15 cs.CL
SenSeNet: Neural Keyphrase Generation with Document Structure
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Sogou Inc.（搜狗公司）
关键词生成（KG）是从给定的文档或文学作品中生成中心主题的任务，它捕获了理解内容所必需的关键信息。科技文献中包含着丰富的元句子信息，它代表了文献的逻辑语义结构。然而，以前的方法忽略了文档逻辑结构的约束，因此他们错误地从不重要的句子中生成关键词。为了解决这个问题，我们提出了一种新的方法，称为句子选择网络（SenSeNet），将元句子归纳偏差到KG。在SenSeNet中，我们使用直通估计器进行端到端训练，并在句子选择模块的训练中加入弱监督。实验结果表明，SenSeNet能够持续提高基于seq2seq框架的主要KG模型的性能，证明了在KG任务中捕捉结构信息和区分句子重要性的有效性。
2020-12-12 cs.CL
Headline Generation: Learning from Decomposable Document Titles
Primer
我们提出了一种新的方法来生成非结构化文本文档的标题。我们将问题重新定义为一个连续的问答任务。深度神经网络在具有可分解标题的文档-标题对上进行训练，这意味着标题的词汇表是文档的词汇表的子集。为了训练模型，我们使用了数百万个公开可用的文档标题对的语料库：新闻文章和标题。我们提出了一项随机双盲试验的结果，其中受试者不知道哪些标题是人类或机器生成的。当对大约150万篇新闻文章进行训练时，该模型生成的标题在大多数情况下被人类判断为与原始人类撰写的标题一样好或更好。
2019-05-10 cs.CL
Pointwise Mutual Information Based Metric and Decoding Strategy for Faithful Generation in Document Grounded Dialogs
IBM Research（IBM研究院）
本文提出基于条件点互信息的忠实度度量及相应解码策略，以量化文档对生成回复的影响，并在基准实验和多个公开数据集上验证了其与人类判断更一致且能生成更忠实回复。
2023-12-01 cs.CL
Table Caption Generation in Scholarly Documents Leveraging Pre-trained Language Models
University of Tsukuba（筑波大学）
本文讨论了为学术文档生成表格标题的问题，这通常需要表格之外的附加信息。为此，我们提出了一种方法，检索相关的句子，从论文的身体，和饲料的表格内容以及检索到的句子到预先训练的语言模型（如T5和GPT-2）生成表格标题。本文的贡献是：（1）讨论了学术文档的表格标题的挑战;（2）开发了一个数据集DocBank-TB，这是公开的;（3）比较了学术文档的标题生成方法与不同的策略，以检索相关的句子从论文主体。我们的实验结果表明，T5是更好的生成模型，因为它在BLEU和METEOR中的表现优于GPT-2，这意味着生成的文本更清晰，更精确。此外，输入与行标题或整个表格匹配的相关句子是有效的。
2021-08-18 cs.CL
Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention
University of California, Los Angeles（加州大学洛杉矶分校）；Yahoo Research（雅虎研究院）
自然语言处理技术在关键短语生成方面已经显示出有希望的结果。然而，\emph{neural}关键短语生成的主要挑战之一是使用深度神经网络处理长文档。通常，文档在作为神经网络的输入之前被截断。因此，模型可能会错过目标文档中传达的要点。为了克服这一限制，我们提出了\emph{SEG-Net}，神经关键短语生成模型，它由两个主要组成部分，（1）选择器，选择文档中的突出句子和（2）提取器生成器，共同提取和生成关键短语从选定的句子。SEG-Net使用Transformer（一种自我关注的架构）作为基本构建块，并使用新颖的\emph{layer-wise}覆盖关注来总结文档中讨论的大多数要点。在科学和网络文档的七个关键词生成基准上的实验结果表明，SEG-Net的性能大大优于最先进的神经生成方法。
2021-06-04 cs.CL
LexDrafter: Terminology Drafting for Legislative Documents using Retrieval Augmented Generation
Institute of Computer Science, Heidelberg University（海德堡大学计算机科学研究所）
本文提出 LexDrafter 框架，利用检索增强生成和现有立法文件中的定义，协助起草欧盟立法文件的术语定义条款，以促进法律术语一致性并避免歧义。
2024-03-24 cs.CL
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
文档级基于实体的抽取（EE）旨在抽取以实体为中心的信息，如实体角色和实体关系，是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型，这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题，我们提出了两个文档级EE任务：角色填充实体提取（REE）和关系抽取（RE）的生成框架。我们首先将它们制定为模板生成问题，允许模型有效地捕获跨实体依赖关系，利用标签语义，并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制，TopK复制，被纳入一个预先训练的序列到序列模型，以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE（+3.26%），二元RE（+4.8%）和4元RE（+2.7%）的最新结果。
2021-09-10 cs.CL
CaseGen: A Benchmark for Multi-Stage Legal Case Documents Generation
Tsinghua University（清华大学）；Quan Cheng Laboratory（泉城实验室）；University of Waterloo（滑铁卢大学）；Xiaohongshu Inc（小红书公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
CaseGen是首个面向中文法律领域的多阶段案件文书生成基准，基于500个专家标注样本，支持四项任务，并采用LLM-as-a-judge框架评估，揭示现有模型局限，推动法律文书自动化。
2025-02-25 cs.CL
Survey on Question Answering over Visually Rich Documents: Methods, Challenges, and Trends
Orange（奥兰治公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（法国国家科学研究中心智能系统与机器人研究所）
本文综述了视觉富文档问答的现有方法，分析其优缺点、主要挑战和未来研究方向。
2025-03-10 cs.CL
An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation
IBM Research（IBM研究院）；The University of Melbourne（墨尔本大学）
最近，Le和Mikolov（2014）提出了doc2vec作为word2vec的扩展（Mikolov et al.，2013a）学习文档级嵌入。尽管原始论文中的结果很有希望，但其他人一直在努力重现这些结果。本文提出了一个严格的实证评估doc2vec在两个任务。我们将doc2vec与两个基线和两种最先进的文档嵌入方法进行了比较。我们发现，当使用在大型外部语料库上训练的模型时，doc2vec表现稳健，并且可以通过使用预训练的词嵌入来进一步改进。我们还为通用应用程序的超参数设置提供了建议，并发布了源代码，以使用我们训练的doc2vec模型来诱导文档嵌入。
2016-07-19 cs.CL
Contrastive Multi-document Question Generation
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
多文档问题生成的重点是生成一个问题，涵盖了多个文档的共同方面。这种模式有助于产生澄清性的备选方案。然而，仅使用目标（“肯定”）文档集训练的朴素模型可能会生成过于通用的问题，这些问题覆盖的范围比文档集所描绘的范围更大。为了应对这一挑战，我们引入了对比学习策略，其中给定“正面”和“负面”文档集，我们生成一个与“正面”集密切相关但远离“负面”集的问题。此设置允许生成的问题更具体，并与目标文档集相关。为了生成这样的具体问题，我们提出了多源协调问题生成器（MSCQG），一个新的框架，包括监督学习（SL）阶段和强化学习（RL）阶段。在SL阶段，训练了一个单文档问题生成器。在RL阶段，协调器模型被训练以通过优化旨在促进生成的问题的特异性的奖励来找到最佳注意力权重以对齐多个单文档生成器。我们还开发了一个有效的辅助目标，命名为集合诱导的对比正则化（SCR），提高协调员的对比学习在RL阶段。我们表明，我们的模型显著优于几个强大的基线，通过自动指标和人工评估来衡量。源存储库在\url{www.github.com/woonsangcho/contrast_qgen}上公开提供。
2021-05-18 cs.CL
Decoupling Knowledge and Task Subspaces for Composable Parametric Retrieval Augmented Generation
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出通过正交子空间分解分离任务行为与文档知识，提升多文档参数RAG的组合鲁棒性。
2026-04-29 cs.CL
Transforming Questions and Documents for Semantically Aligned Retrieval-Augmented Generation
Seokgi Lee
提出一种面向多跳问答的RAG框架，利用LLM分解复杂问题并基于生成问题的嵌入相似度检索文档块，有效提升了多跳问答性能。
2025-08-13 cs.CL
Zero-shot topic generation
Primer
我们提出了一种方法来生成主题，使用一个模型训练只为文档标题生成，在训练过程中给出零个主题的例子。我们利用的功能，捕捉文档中的候选跨度的相关性，为该文档生成一个标题。输出是与描述文档最相关的短语的加权集合并在语料库中区分它，而无需访问语料库的其余部分。我们进行了一项双盲试验，其中人类注释者对我们机器生成的主题以及与《卫报》和《赫芬顿邮报》的新闻文章相关的原始人类写作主题的质量进行了评分。结果表明，我们的zero-shot模型生成的新闻文档的主题标签，平均质量等于或高于人类编写的，由人类判断。
2020-04-29 cs.CL
Incorporating Consistency Verification into Neural Data-to-Document Generation
最近用于数据到文档生成的神经模型在生成流畅和信息丰富的文本方面取得了显着进展。然而，大部分生成的文本实际上并不符合输入数据。为了解决这个问题，我们提出了一个新的训练框架，试图验证生成的文本和输入数据之间的一致性，以指导训练过程。为了度量一致性，应用关系抽取模型来检查输入数据和生成的文本之间的信息重叠。通过强化学习优化不可微一致性信号。在最近发布的具有挑战性的数据集ROTOWIRE上的实验结果表明，我们的框架在各种指标上都有改进。
2018-08-18 cs.CL
Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension
我们正式目前的问答任务的一个新的模块化的变体，通过执行完全独立的文件编码器的问题编码器。这种提法解决了机器理解的一个关键挑战，需要一个独立的表示文件的话语。它还带来了显著的可扩展性优势，因为文档中的答案候选短语的编码可以预先计算并离线索引以进行高效检索。我们对新任务的基线模型进行了实验，这些模型达到了合理的准确性，但显着低于无约束的QA模型。我们邀请QA研究社区参与短语索引问答（PIQA，pika）以缩小差距。排行榜位于：nlp.cs.washington.edu/piqa
2018-09-26 cs.CL
Capturing Greater Context for Question Generation
MIT（麻省理工学院）
自动问题生成可以使从对话系统到阅读理解的许多应用受益。虽然人们经常会问到关于长文档的问题，但是对这样的长文档进行建模存在许多挑战。许多现有技术通过一次有效地查看一个句子来生成问题，导致问题很容易并且不反映问题生成的人类过程。我们的目标是整合多个句子之间的交互，为长文档生成现实的问题。为了将广泛的文档上下文与目标答案联系起来，我们通过多阶段注意力机制来表示相关上下文，这形成了序列到序列模型的基础。我们在三个问答数据集- SQuAD，MS MARCO和NewsQA上的问题生成方面优于最先进的方法。
2019-10-22 cs.CL
Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出QREAM框架，通过风格控制重写使检索文档更符合问题需求，提升检索增强生成的准确性与效率。
2026-04-19 cs.CL
Responsible Retrieval Augmented Generation for Climate Decision Making from Documents
针对气候文档信息难获取及生成式AI的幻觉、可控性差、领域性能低等问题，提出面向气候领域的RAG评估框架，发布人工标注数据集与自动化工具，为负责任部署气候决策RAG系统及UX设计提供依据。
2024-10-31 cs.CL
Efficient Dynamic Clustering-Based Document Compression for Retrieval-Augmented-Generation
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院）
针对RAG中检索噪声与冗余问题，提出基于动态聚类的文档压缩框架EDC2-RAG，利用文档间关系去除无关信息，在QA和幻觉检测数据集上验证了性能提升。
2025-09-08 cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
本文提出策略驱动的文档基础对话框架，通过话语功能和话题转移意图两类信号辅助知识选择与回复生成，在三个公开基准上取得最优性能。
2024-10-21 cs.CL
Automatic Inter-document Multi-hop Scientific QA Generation
本文提出AIM-SciQA框架，通过大语言模型生成多文档多跳科学问答数据集，结合语义对齐和引用信息提升事实一致性，构建IM-SciQA数据集并验证其在检索增强推理中的有效性。
2026-03-15 cs.CL
Doc2Chart: Intent-Driven Zero-Shot Chart Generation from Documents
Adobe Research（Adobe研究院）
本文提出Doc2Chart，通过无监督两阶段框架实现基于用户意图从长文档零样本生成图表，并构建跨领域数据集验证其在数据准确性和图表类型选择上优于现有基线。
2025-08-27 cs.CL
A Large Language Model-based Framework for Semi-Structured Tender Document Retrieval-Augmented Generation
School of Information Management Sun Yat-sen University Guangzhou, China；School of Information Management Sun Yat-sen University Guangzhou, China corresponding author
针对大语言模型缺乏采购专业知识的问题，提出基于检索增强技术的框架以实现专业文档生成，确保招标文档的准确性与相关性。
2024-10-04 cs.CL cs.IR
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）；IGDTUW（英迪拉·甘地德里技术大学）
针对含视觉丰富元素的多文档问答问题，本文构建VisDoMBench基准，提出融合视觉与文本检索的多模态RAG方法VisDoMRAG，通过多步推理和模态融合机制，在该基准上优于基线12-20%。
2025-02-11 cs.CL
Transformer-based Models for Long-Form Document Matching: Challenges and Empirical Analysis
Virginia Tech（弗吉尼亚理工大学）；InterDigital（InterDigital公司）
在长文档匹配领域的最新进展主要集中在使用基于transformer的模型进行长文档编码和匹配。有两个主要的挑战与这些模型。首先，基于transformer的模型提供的性能增益是以陡峭的成本为代价的-无论是在所需的训练时间还是资源（内存和能源）消耗方面。第二个主要限制是它们一次无法处理超过预定义的输入令牌长度。在这项工作中，我们经验性地证明了简单神经模型（如前馈网络和CNN）和简单嵌入（如GloVe和Paragraph Vector）在文档匹配任务中优于基于transformer的模型的有效性。我们证明了简单的模型优于更复杂的基于BERT的模型，同时显著减少了训练时间，能量和内存。简单的模型对文档长度和文本扰动的变化也更鲁棒。
2023-02-07 cs.CL
Title-Guided Encoding for Keyphrase Generation
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）；Department of Computer Science and EngineeringThe Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
关键词生成是在给定文档的情况下生成一组关键词的过程，是自然语言处理中的一项基本任务。大多数以前的方法以提取的方式解决这个问题，而最近，在生成环境下使用深度神经网络进行了几次尝试。然而，现有的生成方法简单地将文档标题和文档主体等同对待，忽视了标题对整个文档的主导作用。为了解决这个问题，我们引入了一个新的模型，称为标题引导网络（TG-Net），用于基于编码器-解码器架构的自动关键词生成任务，具有两个新功能：（i）标题额外用作查询式输入，以及（ii）标题引导编码器收集文档中每个单词的标题相关信息。在一系列KG数据集上的实验表明，我们的模型优于最先进的模型，具有较大的保证金，特别是对于标题长度比率非常低或非常高的文档。
2019-01-16 cs.CL
An Answer is just the Start: Related Insight Generation for Open-Ended Document-Grounded QA
Adobe Research（Adobe研究）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出文档引导相关洞察生成任务，通过构建主题表示和选择相关上下文生成多样化洞察，提升开放性问答体验。
2026-04-21 cs.CL
Archive TimeLine Summarization (ATLS): Conceptual Framework for Timeline Generation over Historical Document Collections
University of Bourgogne（勃艮第大学）；University of La Rochelle（拉罗谢尔大学）；University of Innsbruck（因斯布鲁克大学）
如今，档案收藏大多可通过搜索引擎界面获得，用户可通过查询检索文件。然而，对这些收藏的研究可能会受到搜索引擎某些方面的影响，例如返回的文件数量过多或缺乏所提供的上下文知识。新的方法，可以独立工作或结合搜索引擎，然后需要访问这些集合。在这份立场文件中，我们建议延长时间轴总结（TLS）方法的档案收集，以协助他们的研究。我们提供了现有的TLS方法的概述，我们描述了一个概念框架的档案时间轴摘要（ATLS）系统，其目的是生成信息丰富，可读和可解释的时间线。
2023-01-31 cs.CL
Response-Anticipated Memory for On-Demand Knowledge Integration in Response Generation
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Xiao-i Robot Joint Lab（香港科技大学小i机器人联合实验室）；Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
神经会话模型通常会生成适当但不提供信息的响应。可以显著增强信息量的场景是阅读对话（CbR），其中对话发生在给定的外部文档上。在以前的工作中，外部文档是通过（1）创建一个上下文感知的文档存储器，它集成了来自文档和会话上下文的信息，然后（2）生成引用存储器的响应。在本文中，我们建议创建的文件记忆与一些预期的反应。这是通过师生框架实现的。教师被给予外部文档、上下文和地面真实响应，并学习如何从三个信息源建立响应感知文档记忆。学生学习从前两个来源和教师对记忆创造的洞察力来构建响应预期的文档记忆。实证结果表明，我们的模型优于以前的国家的最先进的CbR任务。
2020-05-13 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Evaluating Self-Generated Documents for Enhancing Retrieval-Augmented Generation with Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Information Management Department, Peking University（北京大学信息管理系）
本研究针对检索增强生成（RAG）系统中LLM自生成文档（Self-Docs）的固有属性未被充分探索的问题，通过调查其有效性、建立分类体系及探索结合策略，揭示了有益的Self-Docs类型并提供实用指南。
2025-02-08 cs.CL
Document-Level Event Argument Extraction by Conditional Generation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在IE社区中，事件提取一直被视为一项高级任务。我们认为，这种设置不符合人类的信息寻求行为，并导致不完整和无信息提取结果。我们提出了一个文件级神经事件参数提取模型，制定的任务作为条件生成事件模板。我们还编译了一个新的文档级事件提取基准数据集WikiEvents，其中包括完整的事件和共指注释。在参数提取的任务中，我们分别在RAMS和WikiEvents数据集上实现了7.6%F1和5.7%F1的绝对增益。在更具挑战性的任务，信息参数提取，这需要隐式共指推理，我们实现了9.3%的F1增益超过最佳基线。为了证明我们的模型的可移植性，我们还创建了第一个端到端的zero-shot事件提取框架，并实现了97%的完全监督模型的触发器提取性能和82%的参数提取性能，仅访问ACE上的33种类型中的10种。
2021-04-13 cs.CL
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
Department of Engineering（工程系）
BERAG通过将语言模型条件于单个检索文档而非单一上下文，解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题，提升视觉问答任务性能。
2026-10-27 cs.CL
Example-Guided Prompting for Document-Level Text Simplification
SCE（SCE（以色列SCE学院））；ScaDS.AI, TUD Dresden（ScaDS.AI，德累斯顿工业大学）
该研究针对文档级文本简化中提示指导不足的问题，提出示例引导提示方法，经OneStopEnglish语料库实验，可提升大语言模型的简化质量，性能优于或媲美相关基准系统。
2026-08-07 cs.CL
Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）
针对长上下文RAG中的冗余与噪声问题，提出即插即用的LongRefiner，通过双层查询分析、分层文档结构化和多任务自适应精炼，在七个QA数据集上以十分之一成本取得竞争力性能。
2025-05-15 cs.CL
Hallucinate at the Last in Long Response Generation: A Case Study on Long Document Summarization
Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学）；Adobe Research, USA（Adobe 研究，美国）
本文研究了大型语言模型在长响应生成中幻觉集中在后部的现象，并提出方法以提高长输出结尾的忠实性。
2026-01-13 cs.CL
CtrlRAG: Black-box Document Poisoning Attacks for Retrieval-Augmented Generation of Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Sun Yat-sen University（中山大学）
CtrlRAG通过注入恶意文档实现对RAG系统的黑盒攻击，提升攻击成功率并提出动态防御策略以平衡安全与性能。
2026-01-26 cs.CL
CReSt: A Comprehensive Benchmark for Retrieval-Augmented Generation with Complex Reasoning over Structured Documents
Upstage AI
CReSt是一个综合基准，包含2,245个英韩标注样本，用于评估LLMs在结构化文档RAG中的复杂推理、拒绝回答、引用和布局理解能力，发现先进模型表现不一致。
2025-05-23 cs.CL
FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters
SKLCCSE Lab Beihang University Beijing China（SKLCCSE实验室 北航）；Department of Data Science City University of Hong Kong Hong Kong China（数据科学系 香港城市大学）；Beijing Advanced Innovation Center Beihang University Beijing China（北京先进创新中心 北航）；Beihang University（北航）；City University of Hong Kong（香港城市大学）
研究针对隐私敏感领域，解决联邦检索增强生成中高存储通信及适配器聚合问题。核心方法是提出FedMosaic框架，聚类文档成多文档适配器并选择性聚合。主要贡献是准确率提高，存储和通信成本降低，且不共享原始文档。
2026-07-14 cs.CL
LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation
Department of Electrical & Electronic Engineering, Bangladesh University of Engineering & Technology（电子与电气工程系，孟加拉国工程与技术大学）
针对传统RAG难以处理技术文档中表格和图像等结构化数据的问题，提出结合向量相似性搜索与基于Gemma-2-9b-it的RAFT微调重排序器的RAG流程，在忠实度和答案相关性上表现优异。
2025-06-29 cs.CL
Keyphrase Generation for Scientific Document Retrieval
LS2N, Université de Nantes（南特大学LS2N实验室）；National Institute of Informatics（国立信息学研究所）
序列到序列模型在关键词生成方面取得了重大进展，但它们是否足够可靠以有利于文档检索仍然是未知的。这项研究提供了经验证据表明，这样的模型可以显着提高检索性能，并介绍了一个新的外在评估框架，允许更好地了解关键词生成模型的局限性。使用这个框架，我们指出并讨论了补充文档中遇到的困难-不存在文本-关键词，并概括模型跨域。我们的代码可在https://github.com/boudinfl/ir-using-kg上获得
2021-06-28 cs.CL cs.IR
Multi-Hop Question Generation via Dual-Perspective Keyword Guidance
School of Computer Science and Technology, Soochow University, China（苏州大学计算机科学与技术学院）；Institute for Infocomm Research, A*STAR, Singapore（新加坡*STAR信息通信研究所）
本文提出双视角关键词引导框架DPKG，通过区分问题关键词与文档关键词并分别建模，有效提升多跳问题生成中关键信息定位的准确性。
2025-06-03 cs.CL
