Reversing the Forget-Retain Objectives: An Efficient LLM Unlearning Framework from Logit Difference
UC Santa Barbara(加州大学圣巴巴拉分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Cisco Research(思科研究部);Michigan State University(密歇根州立大学)
提出 ULD 框架,通过辅助 LLM 反转遗忘与保留目标并利用 logit 差值实现高效 LLM 遗忘,在保持效用的同时将训练时间缩短逾三倍。
2024-06-12 cs.AI cs.CL
MemGPT: Towards LLMs as Operating Systems
University of California, Berkeley(加州大学伯克利分校)
针对LLM有限上下文窗口的局限,提出受操作系统启发的虚拟上下文管理技术MemGPT,通过智能管理分层内存有效扩展上下文,在文档分析和多会话聊天任务中显著提升性能。
2024-02-12 cs.AI
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Ψ-RAG框架,通过迭代'合并与坍缩'过程构建分层抽象树索引,并引入多粒度检索代理,解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战,实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
DWTSumm: Discrete Wavelet Transform for Document Summarization
School of Engineering and Applied Science, George Washington University(乔治华盛顿大学工程与应用科学学院);Faculty of Computers and Artificial Intelligence, Cairo University(开罗大学计算机与人工智能学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出一种基于离散小波变换的多分辨率框架,用于长文档摘要,通过分解文本为全局和局部成分,提升摘要的语义相似性和事实一致性。
2026-04-22 cs.CL cs.LG
Learning What to Remember: Long-horizon Counterfactual Memory Optimization
University of Michigan(密歇根大学)
本文提出记忆增益策略优化(MGPO),通过边际贡献信用分配解决长交互中记忆重写的延迟效用问题,在文档级信息抽取中提升性能并减少近80%记忆长度,支持跨领域复用。
2026-09-30 cs.CL cs.LG
Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
Nanyang Technological University(南洋理工大学)
针对 KV 缓存重练的主流方法在严格预算下效果不佳,本文提出 Attic-KV 方法,通过引用上下文生成问答对自我测试并结合锚定标记,在多个基准任务中显著提升了长上下文处理性能。
2026-10-12 cs.CL cs.LG
Explaining Relationships Between Scientific Documents
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
我们解决的任务是使用自然语言文本解释两个科学文献之间的关系。这项任务需要对长技术文档的复杂内容进行建模,推导出这些文档之间的关系,并在文本中表达这种关系的细节。除了这个任务的理论兴趣,成功的解决方案可以帮助提高研究人员在搜索和审查的效率。在本文中,我们从154K文档中建立了622K示例的数据集。我们预训练了一个大语言模型,作为自回归方法的基础。我们探讨了采取不同的观点对这两个文件的影响,包括使用科学IE系统提取的密集表示。我们提供了广泛的自动和人工评估,显示了这些模型的前景,但为未来的工作提出了明确的挑战。
2021-08-12 cs.CL
V-Doc : Visual questions answers with Documents
The University of Sydney(悉尼大学);FortifyEdge
我们提出了V-Doc,一个使用文档图像和PDF的问答工具,主要针对研究人员和一般非深度学习专家,希望生成,处理和理解文档视觉问答任务。V-Doc支持使用文档图像生成和使用提取和抽象问答对。提取QA从文档内容中选择一个令牌或短语的子集来预测答案,而抽象QA识别内容中的语言并基于训练的模型生成答案。这两个方面对于理解文档至关重要,尤其是图像格式的文档。我们包括一个详细的情况下,抽象的QA任务的问题生成。V-Doc支持广泛的数据集和模型,并且通过声明式、框架无关的平台具有高度可扩展性。
2022-05-31 cs.AI cs.CV
Cross-Document Event-Keyed Summarization
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
本研究将事件关键摘要扩展到跨文档场景,构建了SEAMUS数据集并评估多种基线,证明其作为新任务基准的价值。
2024-12-15 cs.CL
Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beihang University(北京航空航天大学)
本文综述了文档解析研究,系统分类了现有方法,探讨了布局分析、多类型内容识别及VLM驱动的解析模型发展,总结了评估指标与挑战,提出了更准确可扩展的文档智能系统方向。
2026-04-04 cs.AI cs.CL cs.CV
Optimizing the role of human evaluation in LLM-based spoken document summarization systems
Cisco Systems(思科系统公司)
本文针对基于 LLM 的口语文档摘要评估难题,借鉴社会科学方法提出面向生成式 AI 内容的人在回路评估范式、标准与最佳实践,并通过两个企业案例验证其实施。
2024-10-23 cs.AI cs.CL cs.SD
DIMT25@ICDAR2025: HW-TSC's End-to-End Document Image Machine Translation System Leveraging Large Vision-Language Model
Huawei Translation Service Center(华为翻译服务中心)
本文提出一种结合多任务学习与感知链式推理的训练框架,基于大型视觉-语言模型统一处理OCR依赖与免OCR的端到端文档图像翻译,并在推理阶段采用最小贝叶斯解码和后处理增强性能。
2025-04-24 cs.AI cs.CV
NextLevelBERT: Masked Language Modeling with Higher-Level Representations for Long Documents
Hasso Plattner Institute(哈索·普拉特纳研究院);University of Potsdam(波茨坦大学)
NextLevelBERT 通过在文本嵌入层面进行掩码语言建模处理长文档,在语义相似度、长文档分类和多项选择问答任务上以更小规模超越更大嵌入模型。
2024-06-13 cs.CL
Learning What to Remember: Adaptive Probabilistic Memory Retention for Memory-Efficient Language Models
针对Transformer长上下文内存开销大的问题,提出自适应保留机制,通过伯努利门控学习选择性保留token,在30-50%保留率下保持95%以上性能,并显著降低内存、提升吞吐量。
2025-10-09 cs.CL
SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding
Georgia Institute of Technology(佐治亚理工学院);J.P. Morgan AI Research(摩根大通AI研究)
提出SlideAgent,一种用于多模态多页文档(如幻灯片)理解的分层代理框架,通过全局、页面和元素三级推理构建结构化表示,在专有和开源模型上分别提升7.9%和9.8%的准确率。
2026-06-05 cs.CL
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
Evaluating Repository-level Software Documentation via Question Answering and Feature-Driven Development
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Independent Researcher, China(独立研究者)
本文提出SWD-Bench基准,通过功能驱动的问答任务评估仓库级文档质量,揭示现有方法局限,并展示高质量文档对SWE-Agent问题解决率的提升。
2026-04-08 cs.AI cs.SE
DOGR: Towards Versatile Visual Document Grounding and Referring
Xi’an Jiaotong University(西安交通大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);City University of Hongkong(香港城市大学);Institute of Automation, CAS(中国科学院自动化研究所);Harvard University(哈佛大学);vivo Mobile Communication Co.(vivo移动通信公司)
针对视觉文档理解中定位与指代能力不足的问题,提出DOGR-Engine生成细粒度数据,构建DOGR-Bench基准,并开发DOGR模型,实现精确文本定位与指代,推动细粒度文档理解。
2025-08-06 cs.AI cs.CV
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
在本文中,我们提出了TopicRNN,一个基于循环神经网络(RNN)的语言模型,旨在通过潜在主题直接捕获文档中与单词相关的全局语义。由于它们的顺序性质,RNN擅长捕捉单词序列的局部结构-语义和句法-但可能难以记住长距离依赖关系。直观地说,这些长距离依赖关系是语义性质的。相比之下,潜在主题模型能够捕获文档的全局底层语义结构,但不考虑单词排序。所提出的TopicRNN模型集成了RNN和潜在主题模型的优点:它使用RNN捕获局部(语法)依赖关系,使用潜在主题捕获全局(语义)依赖关系。与以前的上下文RNN语言建模工作不同,我们的模型是端到端学习的。单词预测的实证结果表明,TopicRNN优于现有的上下文RNN基线。此外,TopicRNN可以用作文档的无监督特征提取器。我们这样做是为了对IMDB电影评论数据集进行情感分析,并报告出错率为$6.28\%$。这与半监督方法产生的最先进的$5.91\%$相当。最后,TopicRNN还产生了合理的主题,使其成为潜在Dirichlet分配等文档模型的有用替代品。
2017-02-27 cs.AI cs.CL cs.LG
Subtopic-aware View Sampling and Temporal Aggregation for Long-form Document Matching
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出一种用于长文档匹配的新框架,通过子主题感知视图采样捕获异构匹配信号,并采用时间聚合方法逐步整合多视图,有效提升了新闻查重与法律案例检索等任务的性能。
2024-12-24 cs.CL cs.IR
DeepCPCFG: Deep Learning and Context Free Grammars for End-to-End Information Extraction
Ernst & Young (EY) AI Lab(安永人工智能实验室)
我们解决的挑战,提取结构化的信息,从业务文档中没有详细的注释。我们提出了深度条件概率上下文无关文法(DeepCPCFG)来解析二维复杂文档,并使用递归神经网络来创建一个端到端系统,用于找到最可能的解析,表示要提取的结构化信息。这个系统是端到端训练的,扫描的文档作为输入,只有关系记录作为标签。关系记录是从现有的数据库中提取的,避免了手工注释文档的成本。我们应用这种方法来提取信息,从扫描发票实现国家的最先进的结果,尽管没有使用手工注释。
2021-06-05 cs.AI cs.CL cs.LG
Document-level Neural Machine Translation with Document Embeddings
Shanghai Jiao Tong University(上海交通大学)
标准的神经机器翻译(NMT)是基于文档级上下文无关的假设。大多数现有的文档级NMT方法满足于对简短文档级信息的一知半解,而这项工作侧重于利用详细的文档级上下文,以多种形式的文档嵌入,这是能够充分建模更深层次和更丰富的文档级上下文。建议的文档感知NMT的实现,以提高Transformer基线通过引入全局和本地文档级线索的源端。实验结果表明,该方法在强基线和其他相关研究的基础上显著提高了翻译性能。
2020-09-16 cs.CL
Document Context Language Models
Georgia Institute of Technology(佐治亚理工学院);University of Melbourne(墨尔本大学);Carnegie Mellon University(卡内基梅隆大学)
文本文档是在多个细节层次上结构化的:单个单词通过语法相关,但更大的文本单元通过话语结构相关。现有的语言模型通常不能解释语篇结构,但如果我们要有语言模型,奖励连贯性和生成连贯的文本,这是至关重要的。我们提出并实证评估了一组多层次的递归神经网络语言模型,称为文档上下文语言模型(DCLM),其中包括上下文信息内和外的句子。与单词级递归神经网络语言模型相比,DCLM模型获得了略好的预测似然性,以及相当好的文档连贯性评估。
2016-02-21 cs.CL cs.LG stat.ML
Document-level Neural Machine Translation with Associated Memory Network
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(日本国立情报学研究所)
标准神经机器翻译(NMT)假设文档级上下文是独立的。大多数现有的文档级NMT方法都满足于对全局文档级信息的一知半解,而这项工作的重点是利用详细的文档级上下文的内存网络。从记忆中检测当前句子的最相关部分的记忆网络的能力呈现了对丰富的文档级上下文进行建模的自然解决方案。在这项工作中,建议的文档感知内存网络实现,以提高Transformer NMT基线。多个任务的实验表明,该方法显着提高了NMT的性能在强Transformer基线和其他相关研究。
2021-08-24 cs.CL
Document Similarity for Texts of Varying Lengths via Hidden Topics
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);T. J. Watson Research Center, IBM(IBM T. J.沃森研究中心)
测量文本之间的相似性是几个应用程序的重要任务。现有的方法来衡量文档相似性是不够的文档对具有非可比长度,如长文档及其摘要。这是因为词汇,上下文和抽象之间的差距丰富的细节和它的简明摘要的抽象信息的长文档。在本文中,我们提出了一个文档匹配的方法来弥补这一差距,通过比较隐藏主题的共同空间中的文本。我们评估了两个匹配任务的匹配算法,发现它始终广泛优于强基线。我们还强调了将领域知识结合到文本匹配中的好处。
2019-03-26 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University(宾夕法尼亚州立大学)
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档,平均每个文档约30个句子。我们介绍了SciBERTSUM,这是我们的摘要框架,专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档:1)添加一个节嵌入层,以将节信息包含在句子向量中; 2)应用稀疏注意力机制,其中每个句子将本地关注附近的句子,并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要,因为它们包含论文的技术细节。结果表明,我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
LTG-Oslo Hierarchical Multi-task Network: The importance of negation for document-level sentiment in Spanish
University of Oslo(奥斯陆大学)
本文详细介绍了LTG-Oslo团队参与NEGES 2019评估活动的情绪跟踪。我们使用分层多任务网络参与任务,该网络使用深度BiLSTM中的共享较低层来预测否定,而较高层则致力于预测文档级情感。多任务组件显示出将否定信息纳入深度神经情感分类器的希望,尽管测试集上的绝对结果对于二进制分类任务来说相对较低。
2019-06-18 cs.CL
Give Me More Details: Improving Fact-Checking with Latent Retrieval
HKUST(GZ)(香港科技大学(广州));Tsinghua University(清华大学);University of Cambridge(剑桥大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对现有事实核查系统证据信息不足的问题,研究提出引入源文档全文作为证据,构建两个增强数据集,并开发潜变量模型联合提取证据与验证声明,在不同设置下较最优模型实现显著提升。
2024-01-27 cs.CL
TSTR: Too Short to Represent, Summarize with Details! Intro-Guided Extended Summary Generation
Georgetown University(乔治城大学)
许多科学论文,如arXiv和PubMed数据汇集中的论文,其摘要长度在50-1000个单词之间,平均长度约为200个单词,较长的摘要通常传达更多关于源论文的信息。到目前为止,科学摘要研究通常集中在生成简短的,抽象的摘要后,现有的数据集用于科学摘要。在源文本相对较长的领域中,例如在科学文献中,这样的摘要不能超越一般和粗略的概述,并提供来自源文档的突出信息。最近对解决这个问题的兴趣激发了科学数据集arXiv-Long和PubMed-Long的管理,其中包含400-600字的人类书面摘要,因此,为生成长/扩展摘要的研究提供了场所。扩展摘要有助于更快的阅读,同时提供超出粗略信息的详细信息。在本文中,我们提出了TSTR,一个提取摘要,利用文件的介绍性信息作为指针,其显着的信息。对两个现有的大规模扩展摘要数据集的评估表明,与强大的基线和最先进的技术相比,Rouge和平均Rouge(F1)得分(除了一种情况)在统计上有显着的改善。全面的人类评估有利于我们生成的扩展摘要的内聚性和完整性。
2022-06-02 cs.CL
AutoKG: Constructing Virtual Knowledge Graphs from Unstructured Documents for Question Answering
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
知识图谱具有为问答系统提供细粒度细节的优点。不幸的是,建立一个可靠的KG是耗时和昂贵的,因为它需要人为干预。为了克服这个问题,我们提出了一个新的框架,自动构建KG从非结构化的文件,不需要外部对齐。我们首先从非结构化文档中提取表面形式的知识元组,并用上下文信息对其进行编码。具有相似上下文语义的实体然后通过内部对齐链接以形成图结构。这使我们能够通过遍历生成的KG从多个文档中提取所需的信息,而无需手动处理。我们研究其性能检索为基础的QA系统重新制定的WikiMovies和MetaQA数据集成一个元组级检索任务。实验结果表明,我们的方法优于传统的检索方法的大幅度。
2021-03-10 cs.CL
On Generating Extended Summaries of Long Documents
Georgetown University(乔治城大学)
以前的工作,在文件摘要主要集中在生成简短的摘要文件。虽然这种类型的摘要有助于获得给定文档的高级视图,但在某些情况下,需要了解有关其突出点的更详细信息,这些信息无法放入简短的摘要中。对于较长的文档,如研究论文、法律文档或书籍,通常是这种情况。在本文中,我们提出了一种新的方法来生成扩展摘要的长文件。我们的方法利用文档的层次结构,并通过多任务学习方法将其纳入提取摘要模型。然后,我们在三个长摘要数据集arXiv-Long,PubMed-Long和Longsumm上展示了我们的结果。我们的方法优于或匹配强基线的性能。此外,我们对生成的结果进行了全面的分析,为长格式摘要生成任务的未来研究提供了见解。我们的分析表明,我们的多任务处理方法可以调整提取概率分布,以支持跨不同部分的摘要值得的句子。我们的数据集和代码可在https://github.com/Georgetown-IR-Lab/ExtendedSumm上公开获取
2020-12-28 cs.CL
Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们介绍极端的摘要,一个新的单文档摘要任务,不赞成提取策略,并要求一个抽象的建模方法。这个想法是创建一个简短的,一句话的新闻摘要回答这个问题:“这篇文章是关于什么的?”".我们收集了一个真实世界的,大规模的数据集为这项任务收获的在线文章从英国广播公司(BBC)。我们提出了一种新的抽象模型,这是有条件的文章的主题和完全基于卷积神经网络。我们通过实验证明,这种架构捕获文档中的长距离依赖关系,并识别相关内容,在自动和人工评估时优于Oracle提取系统和最先进的抽象方法。
2018-08-27 cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University(莫纳什大学);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统,可以有效地压缩长文档成简短的文本,封装最重要的信息,因此将是重要的,在帮助读者的理解。最近,随着神经架构的出现,已经做出了重大的研究努力,以推进自动文本摘要系统,并出现了许多研究的挑战,这些系统扩展到长文档域。在这项调查中,我们提供了一个全面的概述长文档摘要的研究和系统的评估,其研究设置的三个主要组成部分:基准数据集,摘要模型和评估指标。对于每一个组成部分,我们组织的文献范围内的长文件摘要,并进行实证分析,以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果,我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
DeeperDive: The Unreasonable Effectiveness of Weak Supervision in Document Understanding A Case Study in Collaboration with UiPath Inc
Lexion(Lexion公司);UiPath Inc(UiPath公司)
近年来,弱监督已被应用于各种自然语言理解任务。由于在处理长达数百页的长格式文档方面存在技术挑战,因此在文档理解领域的应用受到了限制。在Lebron,我们为长格式(10-200页)PDF文档量身定制了一个基于弱监督的系统。我们使用这个平台构建了数十个语言理解模型,并将其成功应用于从商业协议到公司组建文件的各个领域。在本文中,我们证明了在时间、劳动力和训练数据有限的情况下,弱监督的监督学习的有效性。我们在一周的时间内构建了8个高质量的机器学习模型,在一个只有3个注释器的小团队的帮助下,处理了一个不到300个文档的数据集。我们分享了一些关于我们的整体架构的细节,我们如何利用弱监督,以及我们能够实现的结果。我们还为那些想尝试替代方法或改进我们的方法的研究人员提供了数据集。此外,我们揭示了一些额外的复杂性时,出现在PDF格式的扫描不佳的长格式文档,以及一些技术,帮助我们实现对这些数据的最先进的性能。
2022-08-17 cs.CL
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV