Knowledge Augmented Entity and Relation Extraction for Legal Documents with Hypergraph Neural Network
School of Economics and Management(经济管理学院);Dalian University of Technology(大连理工大学)
本文提出基于超图神经网络的法律文档实体与关系抽取方法,通过整合领域知识和多头注意力机制,提升司法领域文本处理性能。
2026-02-09 cs.CL
Knowledge-Driven Cross-Document Relation Extraction
IIIT-Delhi(德里印度信息技术学院);Cerence GmbH(Cerence公司);Zerotha Research(Zerotha研究院);University of Kentucky(肯塔基大学)
针对现有跨文档关系抽取(CrossDocRE)未利用领域知识的问题,本文提出KXDocRE方法,融合实体领域知识与输入文本,兼具可解释性且性能优于现有方法。
2024-06-18 cs.CL cs.IR
Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
文档级关系抽取(DocRE)是一个更具挑战性的任务相比,它的文档级对应。它的目标是一次从多个句子中提取关系。在本文中,我们提出了一个半监督框架DocRE与三个新的组件。首先,我们使用一个轴向注意模块来学习实体对之间的相互依赖性,这提高了两跳关系的性能。其次,我们提出了一个自适应的焦点损失,以解决类不平衡问题的DocRE。最后,我们使用知识蒸馏来克服人类注释数据和远程监督数据之间的差异。我们在两个DocRE数据集上进行了实验。我们的模型始终优于强大的基线,其性能在DocRED排行榜上超过了之前的SOTA 1.36 F1和1.46 F_F1。我们的代码和数据将在https://github.com/tonytan48/KD-DocRE上发布。
2022-03-21 cs.CL
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题,提出融合事件结构的知识引导二元问答方法,在多数据集上验证了其有效性、泛化性与低不一致性,在MECI上达SOTA。
2024-10-07 cs.CL
Privacy-Preserving Reasoning with Knowledge-Distilled Parametric Retrieval Augmented Generation
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算先进创新中心);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Meituan(美团)
DistilledPRAG通过知识蒸馏实现高效参数化RAG,提升隐私保护推理的准确性和泛化能力。
2025-11-27 cs.CL
Neurosymbolic Information Extraction from Transactional Documents
La Rochelle University(拉罗谢尔大学);Shift Technology
本文提出了一种神经符号框架,通过结合符号验证方法提升交易文件信息提取的准确性和效率。
2025-12-10 cs.CL
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
Department of Engineering(工程系)
BERAG通过将语言模型条件于单个检索文档而非单一上下文,解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题,提升视觉问答任务性能。
2026-10-27 cs.CL
Simplified TinyBERT: Knowledge Distillation for Document Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Amazon Alexa(亚马逊Alexa)
针对BERT类文档排序方法计算成本高的问题,本文在TinyBERT基础上提出两项简化方案,得到的Simplified TinyBERT既提升了原模型性能,又能以15倍加速显著优于BERT-Base。
2021-03-11 cs.CL cs.IR
Extracting Procedural Knowledge from Technical Documents
IBM Research India(IBM印度研究院);GeorgiaTech(佐治亚理工学院)
程序是文档的重要知识组成部分,认知助理可以利用它来实现自动化、回答问题或推动对话。这是一个具有挑战性的问题,解析大的密集文档,如产品手册,用户指南,以自动理解哪些部分正在谈论过程,并随后提取它们。大多数现有的研究都集中在提取流程在给定的程序或理解的程序,以回答概念问题。从不同格式的文档中自动识别和提取多个过程仍然是一个相对较少解决的问题。在这项工作中,我们涵盖了一些这方面的- 1)提供的见解如何结构和语言属性的文件可以分组,以定义类型的程序,2)分析文件,以提取相关的语言和结构属性,和3)制定程序识别作为一个分类问题,利用的文件的功能,从上述分析。我们首先实现并部署了在不同用例中使用的无监督技术。基于不同用例的评估,我们找出了无监督方法的弱点。然后我们设计了一个改进的版本,它是监督的。我们证明,我们的技术是有效的,从大型和复杂的文件识别程序一样,达到89%的准确率。
2020-10-20 cs.AI cs.CL
ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding
Baidu Inc.(百度公司);Zhejiang University(浙江大学)
近年来,在视觉丰富的文档理解中,预训练技术的兴起和成功。然而,大多数现有的方法缺乏系统的挖掘和利用的布局为中心的知识,导致次优性能。在本文中,我们提出了ERNIE-Layout,一种在整个工作流程中增强布局知识的新型文档预训练解决方案,以学习更好的表示,结合文本,布局和图像的特征。具体来说,我们首先在序列化阶段重新排列输入序列,然后提出一个相关的预训练任务,阅读顺序预测,学习正确的阅读顺序的文件。为了提高模型的布局意识,我们将空间感知的分离注意力集成到多模态Transformer中,并将替换区域预测任务集成到预训练阶段。实验结果表明,ERNIE-Layout在各种下游任务上实现了卓越的性能,在关键信息抽取、文档图像分类和文档问答数据集上设置了新的最先进技术。代码和模型可在http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout上公开获取。
2022-10-14 cs.AI cs.CL
Reward-based Input Construction for Cross-document Relation Extraction
KAIST(韩国科学技术院)
本文提出首个用于跨文档关系抽取的基于学习的句子选择器REIC,利用强化学习以RE预测分数为奖励训练,有效克服长文档长度限制,性能优于启发式方法。
2024-05-31 cs.CL cs.LG
Knowledge Distillation in Document Retrieval
Amazon Alexa AI(亚马逊Alexa人工智能部门);Facebook(脸书)
复杂的深度学习模型现在可以为许多文档检索任务提供最先进的性能。最好的模型将查询或索赔与文档一起处理。然而,对于快速可伸缩搜索,希望具有独立于权利要求的文档嵌入。在本文中,我们表明,知识蒸馏可以用来鼓励一个模型,产生索赔独立的文档编码,以模仿一个更复杂的模型,产生索赔相关的编码的行为。我们探索这种方法在文件检索的事实提取和验证任务。我们表明,通过使用来自复杂的交叉注意教师模型的软标签,索赔独立的学生LSTM或CNN模型的性能在所有排名指标上都得到了提高。我们使用的学生模型在运行时间上比教师模型快12倍,参数数量比教师模型少20倍
2019-11-11 cs.CL cs.IR cs.LG
Knowledge Graph Enhanced Event Extraction in Financial Documents
ShanghaiTech University(上海科技大学)
事件抽取是自然语言处理中的一个经典任务,在处理大量快速增长的金融、法律、医疗和政府文档中得到了广泛的应用,这些文档通常包含多个事件,并且这些事件的元素分散和混合在文档中,使得问题变得更加困难。虽然被提取的事件元素之间的潜在关系提供了有用的上下文信息,但它们在以前的研究中被忽视了。我们展示了利用知识图谱捕获实体关系及其属性所带来的增强。我们提出了第一个事件提取框架,该框架通过图神经网络嵌入知识图谱,并将嵌入与常规特征集成,所有这些都在文档级。具体来说,对于从中国的财务公告中提取事件,我们的方法优于国家的最先进的方法在F1分数的5.3%。
2021-09-06 cs.CL cs.IR cs.LG
Ontology-Based Knowledge Graph Framework for Industrial Standard Documents via Hierarchical and Propositional Structuring
本文提出一种基于本体的知识图谱框架,通过层次化和命题化结构构建工业标准文档,提升问答性能和领域知识表示能力。
2025-12-22 cs.CL cs.IR
W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
The University of Texas at Dallas(德克萨斯大学达拉斯分校);DIGITAL MANAGEMENT, LLC (DMI);Massachusetts Institute of Technology(麻省理工学院)
针对异构知识库下企业文档生成中全局排序导致的上下文失衡问题,提出源感知检索框架W-RAG,引入相关数据集并验证其可提升文档覆盖率与生成质量。
2026-08-25 cs.CL cs.IR cs.SE
Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
由于文档传达了丰富的人类知识,并且在企业中普遍存在,因此构建基于文档的对话系统受到越来越多的关注。其中,如何从文档中理解和检索信息是一个具有挑战性的研究问题。以往的工作忽略了文档的视觉属性,将其视为纯文本,导致模态不完整。在本文中,我们提出了一个布局感知的文档级信息抽取数据集,LIE,以促进从视觉丰富的文档(VRD)中提取结构和语义知识的研究,从而在对话系统中生成准确的响应。LIE包含来自4,061页产品和官方文档的三个提取任务的62k注释,成为我们所知的最大的基于VRD的信息抽取数据集。我们还开发了基准测试方法,扩展了基于标记的语言模型,以考虑布局功能,如人类。实验结果表明,布局是关键的基于VRD的提取,系统演示也验证了提取的知识可以帮助定位用户关心的答案。
2022-07-14 cs.CL cs.MM
DSRIM: A Deep Neural Information Retrieval Model Enhanced by a Knowledge Resource Driven Representation of Documents
IRIT, Université de Toulouse, CNRS(图卢兹大学 IRIT 研究所、法国国家科学研究中心)
针对信息检索中词汇不匹配的最新解决方案主要旨在利用外部资源提供的关系语义或最近由深度神经方法研究的分布式语义。基于关系语义可以提高深度神经方法的有效性这一直觉,我们提出了深度语义资源推理模型(DSRIM),该模型依赖于:1)通过联合考虑在知识资源中表达的对象和关系来对文本的关系语义进行建模的原始数据的表示,以及2)通过利用文档和查询的分布式和关系语义来学习查询-文档相关性的端到端神经体系结构。在分别依赖WordNet和MeSH资源的TREC TB和TREC CDS轨道的两个TREC数据集上进行的实验评估表明,我们的模型优于最先进的语义和深度神经IR模型。
2017-07-27 cs.CL cs.IR
Deep Understanding based Multi-Document Machine Reading Comprehension
Northeastern University(东北大学)
现有的多文档机器阅读理解模型主要侧重于理解输入问题与文档之间的交互,而忽略了以下两种理解。首先,从对方的角度理解输入问题和文档中单词的语义。第二,从文档内和文档间的角度理解正确答案的支持线索。忽略这两种重要的理解会使模型忽略一些可能有助于得出正确答案的重要信息。为了克服这一缺陷,我们提出了一个基于深度理解的多文档机器阅读理解模型。它有三个级联的深度理解模块,旨在理解单词的准确语义,输入问题和文档之间的交互以及正确答案的支持线索。我们在两个大规模的基准数据集上评估了我们的模型,即TriviaQA Web和DuReader。大量的实验表明,我们的模型在两个数据集上都取得了最先进的结果。
2022-02-25 cs.AI cs.CL
Global Structure Knowledge-Guided Relation Extraction Method for Visually-Rich Document
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出GOSE框架,通过“生成-捕获-融入”的迭代循环将全局结构知识融入实体表示,以缓解视觉关系抽取中长距离关系学习和冲突预测问题,并在标准微调、跨语言和低资源场景下均取得优越性能。
2023-10-27 cs.AI cs.CL
Citation-Enforced RAG for Fiscal Document Intelligence: Cited, Explainable Knowledge Retrieval in Tax Compliance
本文提出一种引用强化的RAG框架,用于财政文档智能,强调可解释性和可审计性,通过源优先的摄入策略和引用强制机制提升税务合规中的引用准确性与解释性。
2026-03-11 cs.AI cs.CL cs.IR
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Parametric Knowledge in RAG-SFT for Domain-Specific Document Generation
Institute for Applied Informatics (InfAI) at Leipzig University(莱比锡大学应用信息学院);CELUS GmbH, Munich(慕尼黑CELUS GmbH)
本文探讨RAG微调在电子设计自动化长文本生成中的应用,提出TriFEX评估框架和参数化知识精度指标,揭示传统指标的局限性,并展示小型模型在专用任务中的有效性。
2026-08-19 cs.AI cs.CE cs.CL
Query-Specific Knowledge Graphs for Complex Finance Topics
University of Glasgow(格拉斯哥大学)
在整个金融领域,研究人员通过广泛“搜索”相关信息来回答复杂的问题,以生成长格式报告。本研讨会论文讨论了为复杂的研究主题自动构建特定于查询的文档和实体知识图谱(KG)。我们专注于CODEC数据集,领域专家(1)创建具有挑战性的问题,(2)构建长自然语言叙述,(3)迭代搜索和评估文档和实体的相关性。对于特定查询KG的建设,我们表明,国家的最先进的排名系统有改进的空间,由于缺乏上下文或明确的知识表示的具体故障。我们证明了实体和文档相关性是正相关的,基于实体的查询反馈提高了文档排序的有效性。此外,我们构建查询特定的KG使用检索和评估使用CODEC的“地面实况图”,显示精度和召回的权衡。最后,我们指出了未来的工作,包括自适应KG检索算法和基于GNN的加权方法,同时强调了关键的挑战,如高质量的数据,信息抽取召回,以及复杂主题图的大小和稀疏性。
2022-11-08 cs.CL cs.IR
Toward a Deep Neural Approach for Knowledge-Based IR
IRIT, Université de Toulouse(图卢兹大学信息与电信研究所);Sorbonne Universités, UPMC Univ Paris 06(索邦大学,巴黎第六大学(皮埃尔和玛丽·居里大学));CNRS, LIP6 UMR 7606(法国国家科学研究中心,LIP6信息与系统科学实验室)
本文处理的问题之间的语义差距的文件和一个特定的信息检索任务中的查询。在这种情况下,知识库(KBs)已经被认为是有价值的手段,因为它们允许实体之间的显式关系的表示。然而,它们并不一定代表可能隐藏在语料库中的隐含关系。后一个问题是解决最近的作品处理深表征学习的文本。考虑到这一点,我们认为,在支持文档查询匹配的深度神经架构中嵌入知识库将产生单词及其语义关系的细粒度潜在表示。在本文中,我们回顾了基于神经的文档排序的主要方法,以及那些通过知识库的实体和关系的潜在表示方法。然后,我们提出了一些将知识库纳入深度神经方法进行文档排序的方法。更具体地说,本文主张知识库可以用来支持增强的潜在表示的查询和文档的基础上的分布式和关系语义或作为一个语义翻译器之间的潜在的分布式表示。
2016-06-23 cs.CL cs.IR
Dating Documents using Graph Convolution Networks
IISc Bangalore(印度科学学院班加罗尔分校)
文档日期是必不可少的许多重要的任务,如文档检索,摘要,事件检测等,而现有的方法,这些任务假设准确的知识的文档日期,这并不总是可用的,特别是对于任意的文件从Web。文档日期是一个具有挑战性的问题,需要对文档的时间结构进行推断。先前的文档日期系统在很大程度上依赖于手工制作的特征,而忽略了这样的文档内部结构。在本文中,我们提出了NeuralDater,一个图卷积网络(GCN)为基础的文件约会的方法,共同利用语法和时间图结构的文件的原则。据我们所知,这是深度学习在文献断代问题上的首次应用。通过对真实世界数据集的广泛实验,我们发现NeuralDater的绝对准确度(45%相对准确度)明显优于最先进的基线。
2019-02-01 cs.AI cs.CL cs.LG
Knowledge Graph Prompting for Multi-Document Question Answering
Vanderbilt University(范德堡大学);Adobe Research(Adobe研究院)
提出知识图谱提示方法,通过构建文档间知识图谱并设计LLM遍历代理,为多文档问答提供结构化上下文,提升检索质量与效率。
2023-12-25 cs.AI cs.CL cs.IR
Cross-Document Topic-Aligned Chunking for Retrieval-Augmented Generation
本文提出跨文档主题对齐分块技术,通过语料层面的知识重建提升检索增强生成系统的忠实度和信息密度,实验显示其在多跳推理和法律文本任务中均取得显著性能提升。
2025-11-08 cs.AI cs.CL cs.IR
DSRAG: A Domain-Specific Retrieval Framework Based on Document-derived Multimodal Knowledge Graph
School of Software, Henan University, Kaifeng 475004, China(河南大学软件学院);BNRist, DCST, RIIT, Tsinghua University, Beijing 100084, China(清华大学)
针对通用LLM在领域问答中的知识幻觉和适应性不足,提出DSRAG框架,通过构建多模态知识图谱并结合语义剪枝与子图检索机制,显著提升了领域特定问答的准确性和可靠性。
2025-08-22 cs.AI cs.CL cs.CV
CuriousLLM: Elevating Multi-Document Question Answering with LLM-Enhanced Knowledge Graph Reasoning
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
本文提出 CuriousLLM,通过好奇心驱动的后续问题生成机制引导知识图谱检索,并构建 Follow-upQA 数据集,以更低计算成本和延迟提升多文档问答性能。
2025-02-18 cs.AI cs.CL cs.IR
DIALKI: Knowledge Identification in Conversational Systems through Dialogue-Document Contextualization
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究院)
识别在长文档基础上的会话系统中使用的相关知识对于有效的响应生成至关重要。我们引入了一个知识识别模型,利用文档结构提供对话上下文化的通道编码,并更好地定位与对话相关的知识。辅助丢失捕获对话框-文档连接的历史记录。我们证明了我们的模型在两个基于文档的会话数据集上的有效性,并提供了对看不见的文档和长对话上下文的泛化分析。
2021-09-10 cs.CL
Extracting Summary Knowledge Graphs from Long Documents
University of Washington(华盛顿大学)
知识图谱从长文档中捕获实体和关系,并且可以促进许多下游应用中的推理。提取仅包含显著实体和关系的紧凑知识图谱对于理解和总结长文档来说是重要的,但具有挑战性。我们介绍了一个新的文本到图形的任务,预测总结知识图谱从长文档。我们使用自动和人工注释开发了一个包含20万文档/图形对的数据集。我们还基于图形学习和文本摘要为这项任务开发了强大的基线,并对其效果进行了定量和定性研究。
2021-06-14 cs.CL
KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding
University of Washington(华盛顿大学);Xi’an Jiaotong University(西安交通大学)
KALM是一种知识感知语言模型,通过联合整合局部、文档级和全局知识图谱上下文,解决长文档理解中的知识交换问题,并在六个任务上取得最先进性能。
2023-05-14 cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Alibaba Group(阿里巴巴集团)
多文档接地对话系统(DGDS)属于一类会话代理,通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法,将外部知识的参数生成模型。然而,这些方法集中于从单粒度语言单元(例如,文档中的段落、句子或跨度)中检索知识,这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G,其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说,前者有效地找到检索和重新排序过程中的相关段落,而后者有效地提取这些段落中的更细粒度跨度,以纳入参数答案生成模型(BART,T5)。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
Enhanced Knowledge Selection for Grounded Dialogues via Document Semantic Graphs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
提供具有背景知识的对话模型已被证明可以使开放域对话更具信息性和吸引力。现有的模型将知识选择视为句子排序或分类问题,其中每个句子都单独处理,忽略了背景文档中句子之间的内部语义联系。在这项工作中,我们建议自动转换的背景知识文件到文档的语义图,然后进行知识选择这样的图。我们的文档语义图通过使用句子节点来保留句子级别的信息,并提供句子之间的概念连接。我们联合应用多任务学习的知识水平和概念水平的选择,并表明它提高了知识水平的选择。我们的实验表明,我们的基于语义图的知识选择提高了句子选择基线的知识选择任务和端到端的响应生成任务的HollE,并提高了泛化在魔兽世界中看不见的主题。
2022-06-30 cs.CL
Incremental Transformer with Deliberation Decoder for Document Grounded Conversations
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Northeastern University(东北大学);Huazhong University of Science and Technology(华中科技大学);Tencent Inc(腾讯公司)
文档固定对话是一项在聊天时生成对话响应的任务,内容是给定文档。显然,文档知识在基于文档的对话中起着至关重要的作用,而现有的对话模型并没有充分利用这种知识。在本文中,我们提出了一种新的基于transformer的多轮文档接地对话的架构。特别是,我们设计了一个增量Transformer编码多轮话语以及相关文件中的知识。受人类认知过程的启发,我们设计了一个两遍解码器(审议解码器),以提高上下文一致性和知识的正确性。我们对真实世界文档接地数据集的实证研究证明,我们的模型生成的响应在上下文一致性和知识相关性方面都显着优于竞争基线。
2019-07-31 cs.CL
Empowering Language Model with Guided Knowledge Fusion for Biomedical Document Re-ranking
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
针对生物医学文档重排序中预训练语言模型语义理解不足的问题,提出融合外部知识与PLMs的引导方法,在两个数据集上显著提升重排序性能。
2023-05-07 cs.CL
Improving LLM-based Document-level Machine Translation with Multi-Knowledge Fusion
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译服务中心)
本文提出融合文档摘要与实体翻译的多知识策略,用于改进基于 LLM 的文档级机器翻译,并在八项任务及三个模型上验证其 COMET 提升。
2025-03-15 cs.CL
Exploiting Document Knowledge for Aspect-level Sentiment Classification
National University of Singapore(新加坡国立大学);SAP Innovation Center Singapore(SAP新加坡创新中心)
基于注意力的长短期记忆(LSTM)网络已被证明在方面级情感分类中非常有用。然而,由于注释方面级数据的困难,现有的公共数据集都相对较小,这在很大程度上限制了这些神经模型的有效性。在本文中,我们探讨了两种方法,从文档级数据,这是更便宜的获得知识,以提高方面级的情感分类的性能。我们在SemEval 2014、2015和2016年的4个公共数据集上展示了我们方法的有效性,并表明基于注意力的LSTM以多种方式受益于文档级知识。
2018-06-12 cs.CL
Learning to Erase Private Knowledge from Multi-Documents for Retrieval-Augmented Large Language Models
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(未来区块链与隐私计算北京先进创新中心);School of Artificial Intelligence, Beihang University, China(北京航空航天大学人工智能学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究所);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院)
提出Eraser4RAG,通过构建全局知识图谱、划分私有与公共子图并微调Flan-T5重写文档,结合PPO优化,有效擦除用户定义的私有知识,保留公共知识,防御去匿名化攻击。
2026-06-25 cs.CL
Benchmarking Vision-Language Models on Chinese Ancient Documents: From OCR to Knowledge Reasoning
针对中文古籍数字化与理解评估的空白,本文提出首个中文古籍基准AncientDoc,涵盖从OCR到知识推理的五项任务及约3000页数据,并基于此全面评估主流视觉语言模型的性能。
2025-09-10 cs.CL
KTRL+F: Knowledge-Augmented In-Document Search
KAIST AI(韩国科学技术院人工智能学院);Samsung Research(三星研究院)
本文提出知识增强的文档内搜索任务 KTRL+F,并设计知识增强短语检索模型,在实时性与性能间取得平衡,提升用户搜索效率。
2024-04-18 cs.CL
Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models
Kangwon National University(江原国立大学)
针对历史文献因物理损坏难以辨认及现有修复方法在恢复命名实体上的局限,提出利用检索增强大语言模型的修复框架,结合预训练模型隐含知识与外部上下文,实验表明该方法性能优于基线,是历史记录分析实用工具。
2026-07-27 cs.CL
KS-LLM: Knowledge Selection of Large Language Models with Evidence Document for Question Answering
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心)
本文提出KS-LLM方法,通过生成三元组从证据文档中选择最相似的知识片段辅助大型语言模型生成答案,有效减少噪声信息,在TriviaQA、WebQ和NQ等问答数据集上超越基线取得最佳结果。
2024-04-24 cs.CL
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila(米拉研究所);McGill University(麦吉尔大学);Google Research(谷歌研究院)
尽管最近在抽象摘要方面取得了进展,但当前的摘要系统仍然遭受内容幻觉,其中模型生成与源文档无关或矛盾的文本。然而,先前的工作一直是基于这样的假设,即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法,但实际上,黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中,我们表明,这些实体不是畸变,而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明,通过利用外部的知识库,我们可以提高摘要的忠实性,而不是简单地使他们更提取,此外,我们表明,从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology(哈尔滨工业大学)
本文提出策略驱动的文档基础对话框架,通过话语功能和话题转移意图两类信号辅助知识选择与回复生成,在三个公开基准上取得最优性能。
2024-10-21 cs.CL
CorefDiffs: Co-referential and Differential Knowledge Flow in Document Grounded Conversations
National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
基于知识的对话系统需要在选择用于生成响应的知识之间进行平滑过渡,以确保对话自然流动。对于基于文档的对话系统,文档间和文档内的知识关系可以用于对这样的会话流进行建模。我们开发了一种新的多文档共指图(Coref-MDG),以有效地捕获基于常识和相似性的文档间关系以及接地文档内知识段的文档内共指结构。我们提出了CorefDiffs,一个共同引用和差分流管理方法,线性化的静态Coref-MDG会话序列逻辑。CorefDiffs通过考虑上下文图结构和知识差异序列来执行知识选择。CorefDiffs在三个公共基准上的表现明显优于最先进的9.5%,7.4%和8.2%。这表明,对话流的共指和知识差异的有效建模对于基于文档的会话中的转换至关重要
2022-10-05 cs.AI cs.CL
DocuT5: Seq2seq SQL Generation with Table Documentation
University of Glasgow(格拉斯哥大学)
当前基于预训练的语言模型的SQL生成器很难回答需要域上下文或理解细粒度表结构的复杂问题。人类将通过对表格的文档进行推理来处理这些未知数。基于这一假设,我们提出了DocuT 5,它使用现成的语言模型架构,并从外部“文档”注入知识,以提高领域泛化。我们在包含跨域和多表的复杂问题的Spider系列数据集上进行实验。具体来说,我们开发了一个新的文本到SQL失败分类,发现19.6%的错误是由于外键错误,49.2%是由于缺乏领域知识。我们提出了DocuT 5,一种从(1)表结构上下文的外键和(2)领域知识通过上下文化表和列捕获知识的方法。这两种类型的知识都比最先进的T5在Spider上进行了约束解码,并且领域知识在Spider-DK和Spider-SYN数据集上产生了最先进的可比有效性。
2022-11-11 cs.CL
Knowledge-Centric Templatic Views of Documents
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软公司)
本文提出将多种文档格式视为同一底层知识的模板化视图,通过结构化中间表示增强LLM生成性能,并设计统一评估框架,在人工评估中82%的生成文档更受青睐。
2024-09-27 cs.CL
Consistency Guided Knowledge Retrieval and Denoising in LLMs for Zero-shot Document-level Relation Triplet Extraction
Nanjing University of Science and Technology(南京理工大学);Northeastern University(东北大学);Singapore Institute of Technology(新加坡理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对文档级关系三元组抽取标注稀缺问题,提出 GenRDK,用检索链提示生成数据并基于跨文档一致性去噪,微调 LLaMA2-13B-Chat,在两个数据集上超越强基线。
2024-01-24 cs.CL
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
在过去的几十年里,知识感知方法已经推动了一系列自然语言处理应用。近年来,作为自然语言处理应用之一的文档摘要领域,知识的应用越来越受到人们的关注。以前的工作报告说,知识嵌入式文档摘要擅长生成卓越的摘要,特别是在信息量,连贯性和事实的一致性。本文旨在提出第一个系统的调查,为国家的最先进的方法,将知识嵌入到文档摘要。特别是,我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入,特别是深度学习模型。最后,我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
FuDoBa: Fusing Document and Knowledge Graph-based Representations with Bayesian Optimisation
Jožef Stefan Institute(乔泽夫·斯塔芬研究所);Jožef Stefan Postgraduate School(乔泽夫·斯塔芬研究生学院);Sapienza NLP Group(萨皮恩扎大学自然语言处理小组)
FuDoBa提出一种基于贝叶斯优化的方法,融合LLM嵌入与领域结构化知识,生成低维、任务相关表示,在六个数据集上达到或超越专有LLM嵌入基线的分类性能。
2025-07-09 cs.CL
Automatic Construction of Enterprise Knowledge Base
Microsoft Corporation(微软公司)
在本文中,我们提出了一个自动知识库建设系统,从大规模的企业文件,以最少的人力干预的努力。在设计和部署这样一个面向企业的知识挖掘系统时,我们面临着数据分布迁移、性能评估、合规性要求等实际问题。我们利用最先进的深度学习模型来提取每个文档级别的信息(命名实体和定义),然后进一步应用经典的机器学习技术来处理全局统计信息,以改进知识库。实验结果报告在实际的企业文件。该系统目前是Microsoft 365服务的一部分。
2021-06-29 cs.CL
Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents
Penn State University(宾夕法尼亚州立大学);Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
文本摘要可以帮助读者从文档、新闻、采访和会议中捕捉突出的信息。然而,大多数最先进的预训练语言模型(LM)无法有效地处理长文本的许多摘要任务。在本文中,我们提出了Summ $^N$,这是一个简单,灵活,有效的多阶段框架,用于输入文本,这些文本长于典型的预训练LM的最大上下文长度。Summ $^N$首先对数据样本进行分割,并在多个阶段中生成一个粗略的摘要,然后在此基础上生成最终的细粒度摘要。我们的框架可以通过调整阶段的数量来处理任意长度的输入文本,同时保持LM输入大小固定。此外,它可以处理单源文档和对话,它可以使用在不同的骨干抽象摘要模型。据我们所知,Summ $^N$是第一个用于长输入摘要的多级拆分然后汇总框架。我们的实验表明,Summ $^N$通过提高三个长会议摘要数据集AMI,ICSI和QMSum,来自SummScreen的两个长电视连续剧数据集和长文档摘要数据集GovReport的ROUGE分数,优于以前的最先进的方法。我们的数据和代码可在https://github.com/psunlpgroup/Summ-N上获得。
2022-04-13 cs.CL
Response-Anticipated Memory for On-Demand Knowledge Integration in Response Generation
The Hong Kong University of Science and Technology(香港科技大学);HKUST Xiao-i Robot Joint Lab(香港科技大学小i机器人联合实验室);Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
神经会话模型通常会生成适当但不提供信息的响应。可以显著增强信息量的场景是阅读对话(CbR),其中对话发生在给定的外部文档上。在以前的工作中,外部文档是通过(1)创建一个上下文感知的文档存储器,它集成了来自文档和会话上下文的信息,然后(2)生成引用存储器的响应。在本文中,我们建议创建的文件记忆与一些预期的反应。这是通过师生框架实现的。教师被给予外部文档、上下文和地面真实响应,并学习如何从三个信息源建立响应感知文档记忆。学生学习从前两个来源和教师对记忆创造的洞察力来构建响应预期的文档记忆。实证结果表明,我们的模型优于以前的国家的最先进的CbR任务。
2020-05-13 cs.CL