Processing the structure of documents: Logical Layout Analysis of historical newspapers in French
Centre de Recherches Interdisciplinaires et Transculturelles (CRIT)（跨学科与跨文化研究中心（CRIT））；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）；Institut Universitaire de France (IUF)（法国大学研究院（IUF））
本文提出一种基于规则的方法进行法语历史报纸的逻辑版面分析，在召回率上优于RIPPER和梯度提升模型，并可用于生成大规模注释数据以支持机器学习方法。
2022-05-25 cs.CL
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）旨在识别给定文档中两个实体之间的关系。与文档级RE相比，文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理，而很少考虑到实体对层上的推理，本文提出了一种新的文档级RE模型--密集连接交叉注意网络（Densely Connected Criss-Cross Attention Network，Dense-CCNet），该模型能够在实体对层上完成逻辑推理。具体而言，Dense-CCNet通过交叉注意（CCA）进行实体对级别的逻辑推理，可以在实体对矩阵上收集水平和垂直方向的上下文信息，以增强相应的实体对表示。此外，我们密集地连接CCA的多个层，以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED，CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明，我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
Agentic Context Cracking: Token-Efficient Data Reasoning Agents via Adaptive Structuring of Unstructured Data
Harvard University（哈佛大学）
该研究提出智能体数据拆解方法，通过自适应推测性结构化非结构化数据，降低 LLM 智能体推理成本，在 FanOutQA 基准上实现 53% 的成本削减且保持准确率，为智能体推理数据基础设施提供了初步方案。
2026-09-07 cs.AI cs.CL cs.DB
Enhancing Retrieval Systems with Inference-Time Logical Reasoning
MIT（麻省理工学院）；Center for Advanced AI, Accenture（埃森哲高级人工智能中心）
针对传统检索方法难以处理含逻辑结构复杂查询的问题，本文提出推理时逻辑推理框架，通过提取查询逻辑结构组合余弦相似度得分，在保证效率的同时显著提升复杂查询检索性能。
2025-03-22 cs.CL
Automated Detection and Structuring of Social Tipping Point Evidence in Climate related Documents: A Modular AI Framework
University of Oulu（奥卢大学）；ITML CY（ITML CY公司）；PredictBy Research and Consulting SL（PredictBy研究咨询有限公司）；Verimpact（Verimpact公司）；Epsilon International Ltd（埃普西隆国际有限公司）；Politecnico di Milano（米兰理工大学）；Inspiring Futures Europe（欧洲启迪未来机构）；Centre for European Policy Studies（欧洲政策研究中心）
针对气候文献中社会临界点证据分散且缺乏系统发现方法的问题，提出一个模块化Transformer框架，在段落层面检测并结构化证据，实验表明其性能优于现有方法。
2026-09-14 cs.AI cs.CL
SenSeNet: Neural Keyphrase Generation with Document Structure
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Sogou Inc.（搜狗公司）
关键词生成（KG）是从给定的文档或文学作品中生成中心主题的任务，它捕获了理解内容所必需的关键信息。科技文献中包含着丰富的元句子信息，它代表了文献的逻辑语义结构。然而，以前的方法忽略了文档逻辑结构的约束，因此他们错误地从不重要的句子中生成关键词。为了解决这个问题，我们提出了一种新的方法，称为句子选择网络（SenSeNet），将元句子归纳偏差到KG。在SenSeNet中，我们使用直通估计器进行端到端训练，并在句子选择模块的训练中加入弱监督。实验结果表明，SenSeNet能够持续提高基于seq2seq框架的主要KG模型的性能，证明了在KG任务中捕捉结构信息和区分句子重要性的有效性。
2020-12-12 cs.CL
Understanding the Logical and Semantic Structure of Large Documents
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
当前的语言理解方法集中于小文档，例如新闻专线文章、博客文章、产品评论和论坛条目。从大型文件（如法律摘要、提案、技术手册和研究文章）中理解和提取信息仍然是一项具有挑战性的任务。我们描述了一个框架，可以分析一个大的文件，并帮助人们知道在该文件中的特定信息。我们的目标是自动识别和分类文档的语义部分，并为文档中的相似部分分配一致且人类可理解的标签。我们的研究的一个关键贡献是建模的逻辑和语义结构的电子文档。我们在原型系统中应用了机器学习技术，包括深度学习。我们还提供了一个关于arXiv eprints集合中学术文章集合的信息数据集，其中包括每篇文章的各种元数据，包括目录，章节标签，章节摘要等。我们希望这个数据集将成为机器学习和NLP社区在信息检索，基于内容的问答和语言建模方面的有用资源。
2017-09-03 cs.CL cs.IR cs.LG
Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）
针对长上下文RAG中的冗余与噪声问题，提出即插即用的LongRefiner，通过双层查询分析、分层文档结构化和多任务自适应精炼，在七个QA数据集上以十分之一成本取得竞争力性能。
2025-05-15 cs.CL
Capturing Logical Structure of Visually Structured Documents with Multimodal Transition Parser
Stanford University（斯坦福大学）；Hitachi America, Ltd（日立美国有限公司）
虽然许多NLP管道假设原始，干净的文本，但我们在野外遇到的许多文本，包括绝大多数法律文档，并不那么干净，其中许多是视觉结构化文档（VSD），如PDF。传统的VSD预处理工具主要集中在分词和粗略的布局分析，而细粒度的逻辑结构分析（如识别段落边界及其层次结构）的VSD是探索不足。为此，我们提出了将任务制定为文本片段之间的“转换标签”的预测，将片段映射到树，并开发了一个基于特征的机器学习系统，融合了视觉，文本和语义cue.Our系统是很容易定制为不同类型的VSD，它显着优于基线在VSD中识别不同的结构。例如，我们的系统获得了0.953的段落边界检测F1分数，这明显优于F1分数为0.739的流行PDF到文本工具。
2021-11-08 cs.CL cs.CV cs.IR
Structure First, Reason Next: Enhancing a Large Language Model using Knowledge Graph for Numerical Reasoning in Financial Documents
本文提出利用知识图谱增强大型语言模型，以提高财务文档中的数值推理能力，实验表明该方法在准确性上提升了约12%。
2026-01-12 cs.CL
SIRE: Separate Intra- and Inter-sentential Reasoning for Document-level Relation Extraction
Peking University（北京大学）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
文档级关系抽取是近年来研究的热点。它通常被公式化为一个分类问题，预测文档中所有实体对的关系。然而，以前的作品不加区别地以同样的方式代表内部和内部关系，混淆了预测它们的不同模式。此外，他们还创建了一个文档图，并使用图上实体之间的路径作为逻辑推理的线索。然而，并非所有实体对都可以用路径连接，并且在其图中具有正确的逻辑推理路径。因此，许多逻辑推理的情况是不能涵盖的。本文提出了一种有效的体系结构，SIRE，以不同的方式表示内部和内部关系。我们设计了一种新的、直观的逻辑推理模块，它可以覆盖更多的逻辑推理链。在公开数据集上的实验表明，SIRE的性能优于以往的最先进的方法。进一步的分析表明，我们的预测是可靠的和可解释的。我们的代码可在https://github.com/DreamInvoker/SIRE上获得。
2021-06-03 cs.AI cs.CL cs.LG
Automated Drug-Related Information Extraction from French Clinical Documents: ReLyfe Approach
ReLyfe - Medical Intelligence（ReLyfe 医疗智能公司）；Ecole Polytechnique（巴黎综合理工学院）；BeCareLink（BeCareLink 公司）
在法国，构建医疗数据仍然是一个挑战，主要是因为隐私问题导致医疗数据缺乏，以及缺乏处理法语的方法和途径。这些挑战之一是在法国临床文件中构建药物相关信息。据我们所知，在过去十年中，研究法国处方的相关论文不到五篇。本文提出了一种新的方法提取药物相关的信息，从法国临床扫描文件，同时保护患者的隐私。此外，我们将我们的方法部署在健康数据管理平台中，在该平台中，它用于构建药物医疗数据并帮助患者组织他们的药物时间表。它可以在任何Web或移动平台上实现。这项工作通过创建适合实际生产问题的应用程序来缩小理论和实际工作之间的差距。它是基于规则的阶段和深度学习方法的组合。最后，数值结果表明所提出的方法的优越性和相关性。
2021-11-29 cs.AI cs.CL cs.IR
MoLoRAG: Bootstrapping Document Understanding via Multi-modal Logic-aware Retrieval
The Chinese University of Hong Kong（香港中文大学）；Fuzhou University（福州大学）；University of Macau（澳门大学）
提出MoLoRAG，一种逻辑感知的多模态检索框架，通过页面图遍历结合语义与逻辑相关性，提升多页文档问答的准确率和检索精度。
2025-09-06 cs.CL cs.IR
Science Checker Reloaded: A Bidirectional Paradigm for Transparency and Logical Reasoning
Opscidia
针对信息检索中的语义分歧、低精度和幻觉等问题，本文提出一种两模块双向方法，通过查询扩展和长文档内信息生成答案，提升透明性和逻辑推理能力。
2024-03-14 cs.AI cs.CL cs.IR
HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
Tencent Youtu Lab（腾讯优图实验室）
针对RAG分块缺乏有效评估的问题，提出HiCBench基准和基于微调LLM的HiChunk层次化分块框架，结合自动合并检索，提升分块质量与RAG整体性能。
2025-10-09 cs.AI cs.CL
Compliance-to-Code: Enhancing Financial Compliance Checking via Code Generation
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Sun Yat-Sen University（孙中山大学）；University of California, Riverside（加州大学河滨分校）
Compliance-to-Code通过构建大规模中文金融监管数据集，提升金融合规检查的自动化水平，采用代码生成技术实现法规结构化和合规逻辑验证。
2026-01-13 cs.CL
Unfolding the Structure of a Document using Deep Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
从大型文档（如商业机会、学术文章、医学文档和技术报告）中理解和提取信息带来了短文档中不存在的挑战。这样的大型文档可能是多主题的、复杂的、嘈杂的，并且涵盖不同的主题。我们描述了一个框架，可以分析大型文档，并帮助人们和计算机系统找到所需的信息。我们的目标是自动识别和分类文档的不同部分，并了解它们在文档中的用途。我们研究的一个关键贡献是使用深度学习技术建模和提取电子文档的逻辑和语义结构。我们通过对两个集合进行广泛的实验来评估我们框架的有效性和鲁棒性：来自arXiv的100多万篇学术文章和来自政府来源的提案文件请求集合。
2019-09-29 cs.CL cs.LG stat.ML
MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems
School of Information, Renmin University of China, Beijing, China（中国人民大学信息学院）；MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）技术有限公司）；Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所）
针对RAG被动分块限制知识内化的问题，提出MoM框架，通过LLM模拟专家生成大纲、多路径采样评估及反向推理训练SLM，构建场景感知文档记忆，经三层检索机制在三个领域验证，提升语义完整性与智能处理能力。
2025-10-16 cs.CL
Soft Layer-Specific Multi-Task Summarization with Entailment and Question Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
一份准确的文件摘要应包含所有重要信息，并在逻辑上与输入文件相关联。我们通过多任务学习与问题生成和蕴涵生成的辅助任务来改进抽象摘要的这些重要方面，其中前者教导摘要模型如何寻找突出的值得提问的细节，后者教导模型如何重写摘要，摘要是输入文档的有向逻辑子集。我们还提出了新的多任务架构，在这三个任务的多个编码器和解码器层之间具有高级别（语义）层特定的共享，以及软共享机制（并显示每个贡献的性能消融和分析示例）。总的来说，我们实现了统计上的显着改进，在国家的最先进的CNN/DailyMail和Gigaword数据集，以及在DUC-2002传输设置。我们还提出了一些定量和定性分析研究我们的模型的学习显着性和蕴涵技能。
2018-05-28 cs.AI cs.CL cs.LG
Leveraging Long-Context Large Language Models for Multi-Document Understanding and Summarization in Enterprise Applications
TCS（塔塔咨询服务公司）；SAGE University（SAGE大学）
本文探讨长上下文大型语言模型在多文档摘要生成中的应用，通过法律、医疗等案例验证其效率与准确性的提升，并分析技术障碍与伦理考量，提出未来研究方向。
2024-09-27 cs.AI cs.CL
MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA
Tianjin University（天津大学）；Qifu Technology（启福科技）；Beihang University（北航）；Jiangnan University（江南大学）
提出MARDoc框架，通过解耦为探索、精炼和反思三个智能体，并利用结构化记忆替代完整交互历史，减少上下文噪声，提升多模态长文档问答性能。
2026-06-04 cs.AI cs.CL
When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs
KAIST（韩国科学技术院）；Amazon（亚马逊）；University of Minnesota（明尼苏达大学）
本文提出Thought Templates用于长上下文语言模型的可重用推理，通过迭代更新策略提升多跳推理能力，并展示其在多种基准测试中的优越表现。
2026-04-28 cs.AI cs.CL cs.LG
Prompt-RAG: Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine
Gachon University（嘉泉大学）；Stanford University（斯坦福大学）
针对小众领域中通用向量嵌入适用性不足的问题，本文提出无需嵌入向量的Prompt-RAG，并以韩医学QA验证其在相关性和信息性上优于ChatGPT及传统RAG。
2024-01-20 cs.CL cs.IR
Structure-Preserving Document-Level Data Augmentation via Discourse Parsing
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）
该研究针对现有数据增强忽略语篇结构的问题，提出基于LLMs和语篇解析的结构保留型文档级数据增强框架，在文本摘要和问答任务中提升了混合数据训练效果。
2026-10-15 cs.AI cs.CL
Unsupervised Key Event Detection from Massive Text Corpora
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Westlake University（西湖大学）；Google Research（谷歌研究院）
从新闻语料库中自动检测事件是挖掘快速发展的结构化知识的关键任务。由于现实世界中的事件具有不同的粒度，从顶级主题到关键事件，再到与具体行动相对应的事件提及，通常有两条研究路线：（1）主题检测从新闻语料库中识别主要主题（例如，“2019年香港抗议”对“2020年美国总统选举”）;以及（2）动作提取从一个文档中提取提及级动作（例如，“警察击中了抗议者的左臂”），这些内容过于细致，无法理解该事件。在本文中，我们提出了一个新的任务，关键事件检测在中间水平，旨在检测从新闻语料库的关键事件（例如，“8月12日至14日香港机场抗议活动”），每一个都发生在特定的时间/地点，关注同一个话题。这项任务可以连接事件理解和结构化，并且由于关键事件的主题和时间接近性以及由于新闻文章的快速发展性质而导致的标记数据的稀缺性而具有内在的挑战性。为了解决这些挑战，我们开发了一个无监督的关键事件检测框架EvMine，该框架（1）使用新的ttf-itf分数提取时间上频繁的峰值短语，（2）通过从我们设计的峰值短语图中检测社区来将峰值短语合并到事件指示特征集中，该峰值短语图捕获文档共现，语义相似性和时间接近度信号，以及（3）通过用来自事件指示特征集的自动生成的伪标签训练分类器并使用检索到的文档来精炼检测到的键事件，来迭代地检索与每个键事件相关的文档。大量的实验和案例研究表明，EvMine优于所有的基线方法和它的消融在两个现实…
2022-07-03 cs.CL cs.IR
TRACE the Evidence: Constructing Knowledge-Grounded Reasoning Chains for Retrieval-Augmented Generation
University of Glasgow（格拉斯哥大学）
针对RAG检索噪声影响多跳问答的问题，本文提出TRACE，通过从检索文档构建知识图谱并生成知识三元组推理链来整合证据，实验显示其平均性能最高提升14.03%。
2024-06-17 cs.AI cs.CL
Stress Testing Factual Consistency Metrics for Long-Document Summarization
University of Copenhagen（哥本哈根大学）
本文评估了六个常用无参考事实性度量在长文档摘要中的可靠性，发现短形式度量在处理信息密集型声明时可靠性下降，提出改进方向包括多跨度推理、上下文感知校准和训练保留意义的变体。
2026-04-29 cs.AI cs.CL cs.LG
