Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California（南加州大学）；Upstage AI Research（Upstage AI 研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
语言模型，如GPT-2，在构建文本自动完成任务的句法健全的句子表现良好。然而，这样的模型通常需要相当大的训练努力来适应特定的写作领域（例如，医学）。在本文中，我们提出了一种中间训练策略，以提高预训练的语言模型在文本自动完成任务中的性能，并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标，称为下一个短语预测（NPP），它鼓励语言模型完成部分查询与丰富的短语，并最终提高模型的文本自动完成性能。初步实验表明，我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
DrKGC: Dynamic Subgraph Retrieval-Augmented LLMs for Knowledge Graph Completion across General and Biomedical Domains
University of Minnesota（明尼苏达大学）；University of Michigan（密歇根大学）
DrKGC通过轻量级训练学习结构嵌入与逻辑规则，结合自底向上动态子图检索和GCN适配器增强提示，提升LLM在通用及生物医学知识图谱补全中的性能与可解释性。
2025-11-10 cs.AI cs.CL cs.LG
Joint Representation Learning of Text and Knowledge for Knowledge Graph Completion
Tsinghua University（清华大学）；Jiangsu Normal University（江苏师范大学）
在统一的语义空间中进行文本和知识的联合表示学习，能够更准确地完成知识图谱的补全。在这项工作中，我们提出了一个新的框架嵌入词，实体和关系到同一个连续的向量空间。在该模型中，实体和关系嵌入都是通过知识图谱和纯文本来学习的。在实验中，我们评估的联合学习模型的三个任务，包括实体预测，关系预测和关系分类的文本。实验结果表明，与其他基线相比，我们的模型可以显着和一致地提高三个任务的性能。
2016-11-13 cs.CL
Improving Short Text Classification With Augmented Data Using GPT-3
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对GPT-3小样本分类对训练示例要求高的问题，研究用其自生成示例扩充训练集，对比两种端点分类器，发现增强后的分类端点在未见过的样本上准确率更稳定，可提升分类性能。
2022-05-23 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
近年来，检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比，检索增强文本生成模型具有显著的优势，特别是在许多自然语言处理任务中，检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式，然后根据对话响应生成、机器翻译和其他生成任务的不同，回顾了值得注意的方法。最后，它指出了一些重要的方向，最近的方法，以促进未来的研究。
2022-02-13 cs.CL
Enhancing Knowledge Density via Hierarchical Context Pruning for Retrieval-Augmented Repository-Level Code Completion
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息科技模式分析与机器智能国家重点实验室）；College of Computer Science and Technology（计算机科学与技术学院）；Huaneng Information Technology Co Ltd（华能信息技术有限公司）；Hunan Vanguard Group Corporation Co Ltd（湖南 Vanguard集团有限公司）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）；PowerChina Huadong Engineering Co Ltd（国家电网华东工程有限公司）
针对传统检索在代码补全中存在信息冗余与缺乏多样性的问题，提出资源优化的SaraCoder，通过层次特征优化与外部感知标识符消歧模块系统精炼检索结果，在多个基准上显著提升了仓库级代码补全的准确性与可靠性。
2026-10-16 cs.CL cs.IR cs.PL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting
Nanyang Technological University（南洋理工大学）；Macquarie University（麦考瑞大学）；Agency for Science Technology Research (A*STAR)（新加坡科技研究局）
本文提出CSProm-KG方法，通过条件软提示在知识图谱补全中平衡结构信息与文本知识，在多个静态和时序基准上取得最优结果。
2023-07-04 cs.CL
Lacuna Language Learning: Leveraging RNNs for Ranked Text Completion in Digitized Coptic Manuscripts
Georgetown University（乔治城大学）；University of Oklahoma（俄克拉荷马大学）；Duke University（杜克大学）
本文提出双向 RNN 模型预测科普特语手稿缺文中的字符，单字符准确率 72%，多字符降至 37%，虽不适用于确定性重建，但能辅助学者排序重建方案，增强传统文本修复方法。
2024-07-17 cs.CL
Language Model Sentence Completion with a Parser-Driven Rhetorical Control Method
San Diego State University（圣地亚哥州立大学）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文提出一种无需微调的解析器驱动解码方法，用于在LLM句子补全中强制遵循特定修辞关系，并通过自动与人工评估验证其有效性。
2024-02-09 cs.CL
Text normalization using memory augmented neural networks
VIT University（韦洛尔理工学院）
我们使用记忆增强的神经网络进行文本规范化，即将单词从书面形式转换为口语形式。随着动态内存访问和存储机制的增加，我们提出了一个神经架构，将作为一个语言无关的文本规范化系统，同时避免了基于LSTM的递归神经网络所造成的不可接受的错误。通过成功地减少这种错误的频率，我们表明，这种新颖的架构确实是一个更好的选择。我们提出的系统需要的数据量、训练时间和计算资源都要少得多。此外，我们进行数据上采样，绕过一些符号类中的数据稀疏问题，以表明在任何特定类中有足够的例子可以提高我们的文本规范化系统的性能。虽然在某些符号类中仍然存在一些这些错误，但我们证明了具有元学习能力的记忆增强网络可以为高级文本规范化系统打开许多大门。
2019-04-03 cs.CL
Effidit: Your AI Writing Assistant
Tencent AI Lab（腾讯人工智能实验室）
在这份技术报告中，我们介绍了Effidit（高效智能编辑），这是一款数字写作助手，通过使用人工智能（AI）技术，帮助用户更高效地撰写更高质量的文本。以前的写作助手通常提供错误检查功能（检测和纠正拼写和语法错误）和有限的文本重写功能。随着大规模神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五类功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入法（云IME）。在文本补全类别中，Effidit支持基于生成的句子补全，基于检索的句子补全和短语补全。相比之下，到目前为止，许多其他写作助手只提供这三种功能中的一种或两种。对于文本润色，我们有三个功能：（上下文感知）短语润色，句子释义和句子扩展，而许多其他写作助手通常支持这一类中的一个或两个功能。本报告的主要内容包括Effidit的主要模块，实现这些模块的方法，以及一些关键方法的评估结果。
2022-08-04 cs.CL
Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception
School of Information, Renmin University of China（中国人民大学信息学院）；Institute for Advanced Algorithms Research（高级算法研究所）
针对RAG系统中文本分块质量不足的问题，提出Meta-Chunking框架，结合基于不确定性的自适应分块、动态合并及全局信息补偿机制，提升分块的语义完整性与逻辑连贯性，且验证了小模型实现高质量分块的可行性。
2025-05-21 cs.CL
EntailE: Introducing Textual Entailment in Commonsense Knowledge Graph Completion
Hong Kong University of Science and Technology（香港科技大学）
针对常识知识图谱稀疏性问题，提出框架EntailE，利用自然语言推理任务微调的transformer挖掘节点间文本蕴含关系以致密化图谱，并通过对比损失增强节点表示，有效提升了图谱补全性能。
2024-02-15 cs.CL
Text Augmentation in a Multi-Task View
ProtagoLabs（Protago实验室）；International Monetary Fund（国际货币基金组织）；Dartmouth College（达特茅斯学院）
传统的数据增强旨在通过在线生成与原始样本非常相似的增强样本来增加输入分布的覆盖率，其中增强样本主导训练。在本文中，我们提出了另一种观点--数据增强的多任务视图（MTV）--其中主要任务在原始示例上训练，辅助任务在增强示例上训练。在MTV数据增强中，原始样本和增强样本在训练过程中都进行了实质性的加权，放松了增强样本必须与原始数据相似的约束，从而允许我们应用更强的增强级别。在三个基准文本分类数据集上使用四种常见的数据增强技术进行的实证实验中，我们发现MTV比传统增强带来更高，更强大的性能改进。
2021-01-14 cs.CL
Generating patient cohorts from electronic health records using two-step retrieval-augmented text-to-SQL generation
Bayer AG（勃林格殷曼公司）
本文提出一种利用大语言模型结合标准解析、两级检索增强生成和SQL生成的自动化系统，从电子健康记录中识别患者队列，达到0.75的F1分数，验证了自动化队列生成的可行性。
2025-10-17 cs.CL
Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion
该研究针对多模态少样本知识图谱补全难题，提出双路径大语言模型推理框架DuPLeR，结合多模态LLM先验与事实支撑构建校准关系图，经实验验证其在数据稀缺场景下性能稳健。
2026-07-30 cs.CL
Measuring text summarization factuality using atomic facts entailment metrics in the context of retrieval augmented generation
Georgia Institute of Technology（佐治亚理工学院）
针对LLMs生成摘要易产生“幻觉”的问题，本项目提出一种基于Naive Bayes分类的方法，通过对比源文本评估LLMs生成摘要的事实性与内容准确性。
2024-08-27 cs.CL
Augmented Transformers with Adaptive n-grams Embedding for Multilingual Scene Text Recognition
Guangdong University of Foreign Studies（广东外语外贸大学）；Bielefeld University（比勒费尔德大学）；East China University of Science and Technology（华东理工大学）
虽然视觉Transformer已经非常成功地提高了基于图像的任务中的性能，没有太多的工作已经报道了应用Transformers的多语言场景文本识别由于在视觉外观的复杂性，多语言文本。为了填补这一空白，本文提出了一个增强的Transformer架构与n-gram嵌入和跨语言校正（TANGER）。TANGER由一个主Transformer和一个辅助Transformer组成，前者具有视觉图像的单块嵌入，后者具有自适应n-gram嵌入，旨在灵活地探索相邻视觉块之间的潜在相关性，这对于从多语言场景文本中提取特征提取至关重要。跨语言校正是通过一个损失函数来实现的，该函数同时考虑了语言识别和上下文连贯性评分。广泛的比较研究进行了四个广泛使用的基准数据集，以及一个新的多语言场景文本数据集，包含印尼语，英语和中文收集的旅游场景在印尼。我们的实验结果表明，TANGER是相当好的相比，国家的最先进的，特别是在处理复杂的多语言场景文本。
2023-02-28 cs.CL
VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion
Harbin Institute of Technology（哈尔滨工业大学）；Singapore Management University（新加坡管理大学）
知识图谱完备化（KGC）的目的是对已知事实进行推理，推断出缺失的链接，但在稀疏的知识图谱（KG）上性能较弱。最近的作品引入文本信息作为辅助功能或应用图形致密化，以减轻这一挑战，但遭受的问题，无效地将结构特征和注入嘈杂的三元组。在本文中，我们解决了稀疏KGC从这两个动机，并进一步处理各自的缺点，并提出了一个即插即用的统一框架VEM $^2$ L稀疏KG。VEM $^2$ L的基本思想是激励基于文本的KGC模型和基于结构的KGC模型相互学习，将各自的知识融合为一体。为了深入地利用文本和结构特征，我们将模型中的知识划分为两个不重叠的部分：训练集上的表达能力和未观察到的查询的泛化能力。对于前者，我们激励这两个基于文本和基于结构的模型在训练集上相互学习。对于泛化能力，我们提出了一种新的知识融合策略的变分EM（VEM）算法，在此过程中，我们还应用了图的致密化操作，以减轻稀疏图的问题进一步。我们的图的致密化是由VEM算法。由于EM算法的收敛性，我们在理论上保证了似然函数的增加，同时又不受噪声注入三元组的严重影响。通过结合这两种融合方法和图的致密化，我们最终提出了VEM $^2$ L框架。详细的理论证据，以及定性实验，证明了我们提出的框架的有效性。
2022-08-15 cs.CL
Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出Reward-Augmented Decoding (RAD)，利用小型单向奖励模型在解码时对生成文本评分并调整采样概率，以高效实现受控文本生成，其性能媲美需重新训练的最先进方法且计算开销极小。
2024-01-02 cs.CL
Retrieval-augmented Multi-label Text Classification
University of Copenhagen（哥本哈根大学）
本文提出一种基于检索增强的多标签文本分类方法，通过交叉注意力机制融合从训练集中检索的相似文档特征，显著提升了模型在不频繁标签长尾及低资源场景下的分类性能。
2023-05-22 cs.CL
CoCoP: Enhancing Text Classification with LLM through Code Completion Prompt
University of Tehran（德黑兰大学）
提出 CoCoP 方法将文本分类转化为代码补全任务，利用 LLMs 的代码能力显著提升分类性能，在仅用十分之一模型规模时即可媲美或超越少样本学习。
2024-11-13 cs.AI cs.CL
Tell Me What Happened: Unifying Text-guided Video Completion via Multimodal Masked Video Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；Meta；NEC Laboratories America（NEC美国实验室）
在给定前几个静态帧的情况下生成视频是具有挑战性的，因为它预期具有时间相干性的合理的未来帧。除了视频预测之外，从上一帧倒回或在头部和尾部之间填充的能力也至关重要，但它们很少被用于视频完成。由于可能存在来自仅几个帧的提示的不同结果，因此可以遵循自然语言来执行视频完成的系统可以显著地提高可控性。受此启发，我们引入了一个新的任务，文本引导的视频完成（TVC），它要求模型生成一个视频从部分帧的指导下的指令。然后，我们提出了多模式屏蔽视频生成（MMVG）来解决这个TVC任务。在训练过程中，MMVG将视频帧离散化为视觉令牌，并屏蔽其中的大部分以从任何时间点执行视频完成。在推理时，单个MMVG模型可以通过应用相应的掩蔽条件来解决TVC的所有3种情况，包括视频预测、倒带和填充。我们在各种视频场景中评估MMVG，包括自我中心，动画和游戏。大量的实验结果表明，MMVG是有效的，在生成高质量的视觉外观与文本指导的TVC。
2023-03-22 cs.CL cs.CV
Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
ITMO University（ITMO大学）
HEF通过层次嵌入融合技术，实现了低延迟的仓库感知代码补全，有效减少检索延迟并提升准确度。
2026-02-04 cs.CL cs.LG
Data Augmentation for Text Generation Without Any Augmented Data
Tencent AI Lab（腾讯人工智能实验室）
数据增强是提高许多神经文本生成模型性能的有效方法。然而，目前的数据增强方法需要定义或选择适当的数据映射函数，将原始样本映射到增强样本。在这项工作中，我们得出一个目标，制定文本生成任务的数据增强的问题，而不使用任何增强的数据构造特定的映射函数。我们提出的目标可以有效地优化，并适用于流行的损失函数的文本生成任务的收敛速度保证。在两个文本生成任务的五个数据集上的实验表明，我们的方法可以接近甚至超过流行的数据增强方法。
2021-05-28 cs.AI cs.CL
Knowledge Graph Completion with Text-aided Regularization
Language Technology Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
知识图谱完成是通过估计可能的实体或专有名词来扩展知识图谱/库的任务，这些实体或专有名词可以使用一组预定义的关系或描述两个事物的互连的动词/谓词来连接。一般来说，我们将此问题描述为向当前顶点和边的网络添加新边。传统的方法主要集中在利用图本身固有的图形信息并训练相应的嵌入来描述这些信息;然而，我们认为与实体相关的语料库也应该包含能够积极影响嵌入的信息，以更好地进行预测。在我们的项目中，我们尝试了多种方法来使用提取的或原始的文本信息，以帮助现有的KG嵌入框架达到更好的预测结果，在损失函数中的正则化部分添加相似性函数。结果表明，我们已经取得了体面的改进，基线KG嵌入方法。
2021-01-22 cs.CL cs.IR
Knowledge Graph Completion using Structural and Textual Embeddings
School of Computing, University of Georgia（佐治亚大学计算学院）
本文提出一种结合基于游走的嵌入与语言模型嵌入的关系预测模型，利用知识图谱的文本和结构信息有效表示节点，在广泛使用的数据集上取得了有竞争力的结果。
2024-04-24 cs.AI cs.CL
An Open-World Extension to Knowledge Graph Completion Models
National University of Science and Technology（国立科技大学）；RheinMain University of Applied Sciences（莱茵美因应用科学大学）
我们提出了一种新的扩展嵌入式知识图谱完成模型，使他们能够执行开放世界的链接预测，即预测事实的基础上，他们的文本描述的训练中看不到的实体。我们的模型结合了从知识图谱中学习的常规链接预测模型和从文本语料库中学习的词嵌入。在独立训练两者之后，我们学习了一个转换，将实体名称和描述的嵌入映射到基于图的嵌入空间。在包括FB 20 k，DBPedia 50 k和我们的新数据集FB 15 k-237-OWE在内的几个数据集上的实验中，我们展示了具有竞争力的结果。特别是，我们的方法利用了完整的知识图谱结构，即使在文本描述很少的情况下，也不需要对图和文本进行联合训练，并且可以应用于任何基于嵌入的链接预测模型，例如transE，complEx和DistMult。
2019-06-19 cs.AI cs.CL
KG-TRICK: Unifying Textual and Relational Information Completion of Knowledge for Multilingual Knowledge Graphs
Apple（苹果公司）；Sapienza University of Rome（罗马大学）；Adobe（奥多比公司）
本文提出 KG-TRICK 序列到序列框架，将多语言知识图谱的关系补全 KGC 与文本增强 KGE 统一建模，并发布涵盖10种语言、逾25,000个实体的 WikiKGE10++ 基准。
2025-01-07 cs.AI cs.CL cs.LG
ARTiST: Automated Text Simplification for Task Guidance in Augmented Reality
New York University（纽约大学）
本文提出 ARTiST 系统，利用少样本提示、GPT-3 与错误校准模型为 AR 头戴显示生成简化任务文本，实验证明其可显著降低认知负荷并提升任务表现。
2024-02-29 cs.CL cs.HC
Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement
Sun Yat-sen University（中山大学）
针对基于文本的知识图谱补全（KGC）中训练数据质量和计算资源限制问题，提出CP-KGC框架，通过自适应提示和上下文约束策略增强语义并识别多义实体，经验证即使量化后的零样本LLM也能有效提升KGC性能。
2024-06-27 cs.AI cs.CL
Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model
Microsoft Research（微软研究院）；Harbin Institute of Technology（哈尔滨工业大学）
行补全是用额外的相关行来扩充给定的文本和数字表的任务。该任务分为两个步骤：主题建议，填充主列的任务;和空白填充，填充其余列的任务。我们提出了国家的最先进的结果为主题的建议和差距填补衡量的标准基准（WikiTables）。我们的想法是通过和谐地结合知识库表解释和自由文本生成来解决这个任务。我们使用知识库来解释表，以建议新的行并通过属性链接生成像标题这样的元数据。为了提高候选人的多样性，我们通过GPT-3使用自由文本生成来合成额外的行，并且至关重要的是，我们利用我们解释的元数据来产生更好的文本生成提示。最后，我们验证了额外的合成内容可以链接到知识库或可信的网络源，如维基百科。
2022-04-14 cs.AI cs.CL
Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs
IIT Kharagpur（印度IIT卡拉格浦大学）；Microsoft（微软公司）
Router-Suggest 通过动态路由选择文本模型和 VLMs，提升多模态对话中的自动补全效率和用户满意度。
2026-01-09 cs.AI cs.CL cs.CV
Neural Networks for Text Correction and Completion in Keyboard Decoding
尽管移动和可穿戴文本消息应用程序无处不在，但鉴于深度学习递归神经网络（RNN）和卷积神经网络（CNN）在自然语言理解方面的巨大成功，键盘文本解码的问题没有得到充分解决。特别是，考虑到键盘解码器应该在具有内存和处理器资源限制的设备上运行，这使得部署工业规模的深度神经网络（DNN）模型具有挑战性。本文提出了一个序列到序列的神经注意网络系统，用于自动文本校正和完成。给定一个错误的序列，我们的模型对字符级隐藏表示进行编码，然后对修改后的序列进行解码，从而实现自动纠正和完成。我们实现这一目标的字符级CNN和门控递归单元（GRU）编码器的组合，以及一个字级门控递归单元（GRU）注意解码器。与传统的从数十亿个单词中学习的语言模型不同，我们的语料库大小只有1200万个单词，小了一个数量级。我们的学习模型用于推理和预测的内存占用也比传统的基于语言模型的文本解码器小一个数量级。我们报告的神经键盘解码器在这样有限的域的基线性能。我们的模型在Twitter错别字数据集上实现了$90\%$的单词级准确度和$2.4\%$的字符错误率CER。我们提出了一个新的数据集的噪声校正映射通过诱导噪声分布从Twitter的数据在OpenSubtitles 2009数据集，我们的模型预测与$98\%$和$68.9\%$的序列精度的字级精度。在我们的用户研究中，我们的模型实现了$2.6\%$的平均CER，最先进的非神经触摸屏…
2017-09-19 cs.CL cs.LG
Retrieval Augmented Generation and Representative Vector Summarization for large unstructured textual data in Medical Education
University of Peradeniya（佩拉德尼亚大学）
本文探讨了检索增强生成在医学教育领域的应用，并提出了一种基于代表性向量、结合抽取式与抽象式的大型非结构化文本数据摘要方法。
2023-08-01 cs.AI cs.CL
FiD-Light: Efficient and Effective Retrieval-Augmented Text Generation
TU Wien（维也纳工业大学）；Google（谷歌）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
检索增强生成模型比独立的语言模型提供了许多优点：除了对给定查询的文本答案之外，它们还提供从可更新的知识库检索的出处项。然而，它们也是更复杂的系统，需要处理长输入。在这项工作中，我们引入了FiD-Light，以大大提高最先进的检索增强FiD模型的效率，同时保持相同的有效性水平。我们的FiD-Light模型限制了从编码器（单独编码段落）到解码器（使用级联编码表示）的信息流。此外，我们通过文本源指针调整FiD-Light的重新排名功能，以提高排名靠前的出处精度。我们对七个知识密集型任务（KILT）的实验表明，FiD-Light始终提高了查询延迟和有效性之间的帕累托边界。具有光源指向功能的FiD-Light在六个KILT任务上获得了大量新的最先进的结果，用于组合文本生成和出处检索评估，同时保持合理的效率。
2022-09-28 cs.CL cs.IR
NCL: Textual Backdoor Defense Using Noise-augmented Contrastive Learning
Peking University（北京大学）
当前，后门攻击因其对深度学习模型造成的巨大危害而备受关注。攻击者对训练数据下毒，使模型在受害者使用中毒数据集无意识地训练后被注入后门。然而，在文本领域，现有的作品没有提供足够的防御后门攻击。在本文中，我们提出了一个噪声增强的对比学习（NCL）框架，以抵御文本后门攻击训练模型时，不可信的数据。为了减轻触发器和目标标签之间的映射，我们添加适当的噪声干扰可能的后门触发器，增加训练数据集，然后利用对比学习目标在特征空间中提取同源样本。实验结果表明，该方法在抵御三种文本后门攻击方面的有效性优于已有的方法。
2023-03-03 cs.CL cs.CR
Path-based knowledge reasoning with textual semantic information for medical knowledge graph completion
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Unisound Information Technology Co., Ltd（北京云知声信息技术有限公司）
背景知识图（Knowledge Graph，KG），尤其是医学知识图，往往是不完整的，因此需要医学知识图谱的完备性（MedKGC）。MedKGC可以根据KG中已有的知识发现新的事实。基于路径的知识推理算法是解决这一问题的重要途径之一。这种类型的方法由于其高性能和可解释性，近年来受到了极大的关注。实际上，传统的方法如路径排序算法（PRA）将实体对之间的路径作为原子特征。然而，医疗KG是非常稀疏的，这使得它很难建模有效的语义表示极其稀疏的路径特征。医学知识库的稀疏性主要体现在实体和路径的长尾分布上。以往的方法只考虑了知识图谱路径中的上下文结构，而忽略了路径中符号的文本语义，因此在实体稀疏性和路径稀疏性两个方面无法进一步提高性能。针对上述问题，本文提出了两种新的基于路径的推理方法，分别解决实体和路径的稀疏性问题。通过使用预训练的模型BERT，结合实体和关系的文本语义表示，我们将医学KG中的符号推理任务建模为文本语义表示中的数值计算问题。
2021-05-28 cs.AI cs.CL
DynaSemble: Dynamic Ensembling of Textual and Structure-Based Models for Knowledge Graph Completion
Indian Institute of Technology, Delhi（印度德里理工学院）
本文提出 DynaSemble，根据查询及各模型对候选实体的分数分布动态加权集成文本模型与结构模型，在三个标准 KGC 数据集上达到最先进性能。
2024-07-02 cs.AI cs.CL cs.LG
Resolving Sentiment Discrepancy for Multimodal Sentiment Detection via Semantics Completion and Decomposition
IIE, Chinese Academy of Sciences（中国科学院信息工程研究所）；Nankai University（南开大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出CoDe网络，通过语义补全与分解解决多模态情感检测中的情感差异问题，提升分类性能。
2025-11-21 cs.CL cs.CV cs.MM
RAPID: Efficient Retrieval-Augmented Long Text Generation with Writing Planning and Information Discovery
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对大型语言模型生成知识密集型长文本时存在的幻觉、主题不连贯和高延迟问题，提出高效检索增强生成框架RAPID，通过检索增强大纲生成、属性约束搜索和规划引导生成三模块，在FreshWiki-2024基准上显著优于现有方法。
2025-03-02 cs.AI cs.CL
Beyond Text: Unveiling Privacy Vulnerabilities in Multi-modal Retrieval-Augmented Generation
Michigan State University（密歇根州立大学）；Jilin University（吉林大学）
该研究首次系统分析多模态检索增强生成（MRAG）在视觉-语言、语音-语言模态下的隐私漏洞，提出黑盒场景下的组合式结构化提示攻击方法，证实攻击者可通过操纵查询提取隐私信息，凸显研发隐私保护MRAG技术的紧迫性。
2025-05-20 cs.CL cs.CR
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
视觉-语言多模态预训练和微调在视觉问答（VQA）中取得了巨大的成功。与一般领域的VQA相比，生物医学VQA的性能受到数据的限制。在本文中，我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA，以克服数据限制的问题。具体来说，我们收集了一个新的生物医学数据集PMCPM，它提供了基于患者的图像-文本对，包含来自PubMed的不同患者情况。然后，我们对生物医学多模态模型进行预训练，以学习图像-文本对的视觉和文本表示，并将这些表示与图像-文本对比目标（ITC）对齐。最后，我们提出了一个检索增强的方法，以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对，并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明，我们的检索增强预训练和微调范式在Med-VQA 2019，Med-VQA 2021，VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明，所提出的RAMM和PMCPM可以提高生物医学VQA性能相比，以前的资源和方法。我们将开源我们的数据集，代码和预训练模型。
2023-03-01 cs.CL cs.CV
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中，基于聚类的语义分块是否优于固定大小和递归分块，通过RAGAs框架在长结构化学术论文上评估检索和答案质量，发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking
Institute for Artificial Intelligence, VNU University of Engineering and Technology（人工智能研究所，越南工程大学）
针对传统RAG分块未考虑文本结构导致语义不足的问题，提出整合层次化文本分割与聚类生成语义连贯分块的框架，利用段落级和聚类级向量检索，在多个数据集上优于传统方法。
2025-07-14 cs.AI cs.CL
Visual-RAG: Benchmarking Text-to-Image Retrieval Augmented Generation for Visual Knowledge Intensive Queries
Visual-RAG基准通过要求文本到图像检索并整合视觉证据来评估多模态大语言模型在视觉知识密集型问答中的表现，发现现有模型仍难以高效利用视觉知识。
2025-08-15 cs.CL cs.CV
Triples-to-Text Generation with Reinforcement Learning Based Graph-augmented Neural Networks
Tongji University（同济大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）；Central China Normal University（华中师范大学）；Squirrel AI Learning（松鼠AI学习）
考虑到RDF三元组的集合，RDF到文本生成任务旨在生成文本描述。大多数先前的方法使用序列到序列模型或使用基于图的模型来编码RDF三元组并生成文本序列来解决此任务。然而，这些方法无法清楚地建模RDF三元组之间和内部的局部和全局结构信息。此外，以往的方法还面临着不可忽视的问题，即生成的文本的忠实度低，这严重影响了这些模型的整体性能。为了解决这些问题，我们提出了一个模型，结合两个新的图增强结构神经编码器，共同学习输入RDF三元组中的局部和全局结构信息。为了进一步提高文本的可信度，我们创新性地引入了一种基于信息抽取（IE）的强化学习（RL）奖励。我们首先使用预训练的IE模型从生成的文本中提取三元组，并将提取的三元组的正确数量视为额外的RL奖励。在两个基准数据集上的实验结果表明，我们提出的模型优于最先进的基线，额外的强化学习奖励确实有助于提高生成文本的忠实性。
2022-03-23 cs.AI cs.CL
Loops On Retrieval Augmented Generation (LoRAG)
Amity Institute of Information Technology（阿米蒂信息技术学院）；Amity University（阿米蒂大学）
本文提出LoRAG框架，通过引入迭代循环机制整合生成模型与检索机制，在基准数据集上显著提升了文本生成的连贯性与相关性，超越了现有最先进模型。
2024-03-18 cs.CL cs.IR
Batch Aggregation: An Approach to Enhance Text Classification with Correlated Augmented Data
The University of Auckland（奥克兰大学）
本文提出批量聚合方法BAGG，通过显式建模增强文本之间的相关性来提升文本分类性能，在领域数据集中准确率最高可提升10%-29%，并在训练数据有限时优于传统方法。
2025-04-07 cs.AI cs.CL
Factor Augmented Supervised Learning with Text Embeddings
University of Chicago（芝加哥大学）；University of Notre Dame（圣约翰大学）
针对LLM文本嵌入高维度导致下游任务效率低且成本高的问题，提出有监督的因子增强框架AEALT，通过增强自编码器学习低维潜在因子，在分类、异常检测和预测任务上显著优于基线方法。
2025-08-06 cs.AI cs.CL cs.LG
RankAug: Augmented data ranking for text classification
Manipal Institute of Technology（马尼帕尔理工学院）
针对合成数据评估方法存在空白的问题，提出文本排序方法RankAug，用于过滤语义相似且具词汇句法多样性的增强文本，实验显示该方法可使样本不足类别的分类准确率最高提升35%。
2023-11-08 cs.AI cs.CL cs.LG
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
Google Research（谷歌研究院）
虽然语言模型在其参数中隐式地存储了大量的世界知识，但即使是非常大的模型也常常无法对关于稀有实体和事件的信息进行编码，同时产生巨大的计算成本。最近，检索增强模型，如REALM，RAG和RETRO，已纳入世界知识到语言生成，通过利用外部非参数索引，并已展示了令人印象深刻的性能与约束的模型大小。然而，这些方法仅限于检索文本知识，忽略了其他形式（如图像）中无处不在的知识量-其中大部分包含任何文本都不包含的信息。为了解决这个问题，我们提出了第一个多模态检索增强的Transformer（MuRAG），它访问一个外部的非参数多模态存储器，以增加语言生成。MuRAG是使用联合对比和生成损失使用大规模图像-文本和纯文本语料库的混合进行预训练的。我们在两个不同的数据集上进行实验，这些数据集需要对图像和文本进行检索和推理来回答给定的查询：WebQA和MultimodalQA。我们的研究结果表明，MuRAG达到了最先进的准确性，在两个数据集上以及在干扰项和全维基设置下，其绝对性能优于现有模型10-20\%。
2022-10-20 cs.AI cs.CL cs.CV
Predictive Chemistry Augmented with Text Retrieval
本文提出 TextReact 方法，通过检索文献文本并结合掩码 LM 训练将其与分子表示对齐，从而增强化学反应预测，并在条件推荐和逆合成任务上超过仅用分子数据训练的 SOTA 模型。
2023-12-08 cs.AI cs.CL cs.IR
