Adaptive Chunking: Optimizing Chunking-Method Selection for RAG
Ekimetrics
本文提出自适应分块框架,通过五个新指标优化分块策略,提升RAG性能,使答案正确率提升至72%,问题解答数增加30%。
2026-03-26 cs.AI cs.CL cs.IR
MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
Human-inspired AI Research(人机协同人工智能研究所);Department of Computer Science and Engineering(计算机科学与工程系);School of Software(软件学院)
针对长工业文档结构复杂的问题,提出MultiDocFusion分块流程,结合视觉解析、OCR提取、层次结构重建和DFS分组,提升RAG检索精度和问答质量。
2026-04-14 cs.AI cs.CL
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception
School of Information, Renmin University of China(中国人民大学信息学院);Institute for Advanced Algorithms Research(高级算法研究所)
针对RAG系统中文本分块质量不足的问题,提出Meta-Chunking框架,结合基于不确定性的自适应分块、动态合并及全局信息补偿机制,提升分块的语义完整性与逻辑连贯性,且验证了小模型实现高质量分块的可行性。
2025-05-21 cs.CL
Document Chunking and Learning Objective Generation for Instruction Design
IBM Research(IBM研究院)
教学系统设计是创造教学经验的实践,使知识和技能的获得更加高效,有效和吸引人。特别是在设计课程时,一小时的培训材料可能需要30至500小时的努力,以寻找和组织仅用于编写课程材料的参考数据。在本文中,我们提出了第一个系统,它有助于减少与采购参考资料和课程创建相关的工作。我们提出的算法,文档分块和自动生成的学习目标的内容,创建描述性的内容元数据,以提高内容的可扩展性。与现有的方法不同,我们的系统所产生的学习目标纳入教学动机布鲁姆的动词。我们证明了我们的方法使用真实世界的数据,从银行业,并通过现场部署在一家大型制药公司的有用性。
2018-08-06 cs.CL cs.CY cs.IR
HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
Tencent Youtu Lab(腾讯优图实验室)
针对RAG分块缺乏有效评估的问题,提出HiCBench基准和基于微调LLM的HiChunk层次化分块框架,结合自动合并检索,提升分块质量与RAG整体性能。
2025-10-09 cs.AI cs.CL
Breaking It Down: Domain-Aware Semantic Segmentation for Retrieval Augmented Generation
International Institute of Information Technology, Hyderabad, India(国际信息科技学院,海得拉巴,印度)
本文提出两种高效的语义分块方法PSC和MFC,通过PubMed数据训练,提升了检索增强生成的性能和跨领域泛化能力。
2025-11-29 cs.CL cs.IR
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo(东京大学);Kyoto University(京都大学);Riken(理化学研究所);Tohoku University(东北大学)
本文提出固定范围分块(FRC)方法,通过动态规划将文档划分为长度一致的块,减少训练与推理长度不匹配,并配合双边界匹配算法和多种训练策略,显著提升7B大语言模型的文档级翻译质量,在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
TopoChunker: Topology-Aware Agentic Document Chunking Framework
Independent Researcher(独立研究者)
本文提出TopoChunker,通过结构化中间表示保留跨段依赖,提升RAG的结构感知能力,实验显示其在生成准确率和召回率上优于现有方法,同时降低token开销。
2026-08-06 cs.CL
Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents
本研究通过因子实验联合评估解析器、分块和嵌入模型在印度政府监管文档RAG中的交互作用,发现无单一检索器占优且证据保留近饱和,检索差异主要由排序质量决定。
2026-09-29 cs.AI cs.CL cs.IR
Grounding Language Model with Chunking-Free In-Context Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Academy of Artificial Intelligence(北京智源人工智能学院)
本文提出无分块上下文检索方法(CFIC),通过利用文档隐藏状态和自回归解码直接定位证据文本,结合两种解码策略提升效率与保真度,在开放问答数据集上显著优于传统RAG方法。
2024-02-15 cs.AI cs.CL cs.IR
Passage Segmentation of Documents for Extractive Question Answering
Ecole Polytechnique(巴黎综合理工学院);BNP Paribas CIB(法国巴黎银行企业与投资银行);Paris Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院)
针对RAG流程中分块环节受关注不足的问题,提出多粒度分块框架LGMGC,实验证明其可提升检索及端到端RAG性能。
2025-01-17 cs.CL cs.IR
Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking
Institute for Artificial Intelligence, VNU University of Engineering and Technology(人工智能研究所,越南工程大学)
针对传统RAG分块未考虑文本结构导致语义不足的问题,提出整合层次化文本分割与聚类生成语义连贯分块的框架,利用段落级和聚类级向量检索,在多个数据集上优于传统方法。
2025-07-14 cs.AI cs.CL
A Systematic Investigation of Document Chunking Strategies and Embedding Sensitivity
Open Source Institute(开源研究所);Faculty of Science and Technology(科学与技术学院);University of Canberra(堪培拉大学)
本文系统研究了文档分块策略与嵌入敏感性,发现内容感知分块显著提升检索效果,段落分组分块在多个领域表现最优。
2026-03-07 cs.AI cs.CL
Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents
Department of Big Data, Chungbuk National University, Cheongju-si, South Korea(大数据系, Chungbuk国立大学,韩国Cheongju市);Department of Computer Science, Chungbuk National University, Cheongju-si, South Korea(计算机科学系, Chungbuk国立大学,韩国Cheongju市);BigDataLabs Co., Ltd. Department of Management Information Systems, Chungbuk National University, South Korea(BigDataLabs公司 管理信息系, Chungbuk国立大学,韩国)
本研究比较了四种文本分块方法在Khmer农业文档中的性能,通过检索增强生成(RAG)框架评估分块策略对密集检索优化的影响,发现基于字符的递归分块方法在低资源语言中表现最佳。
2026-05-21 cs.CL
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab(金山办公曙光人工智能实验室)
本文提出基于Qwen3-0.6B的判别分割模型,通过跨窗口上下文融合和重叠滑动窗口策略,实现超长文档的高效段落边界检测,并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
Comparing Chunking and Embedding Strategies for Turkish RAG Systems
Data Science and Innovation Ata Technology Platforms(阿塔技术平台数据科学与创新部门)
该研究针对土耳其语RAG系统,对比三种分块策略、五种嵌入模型和两种生成器LLM,发现布局感知分块可压缩嵌入模型差异,最优配置依内容类型而定,最佳单个组件无法组合出最优整体配置,准确率达87.0%。
2026-08-31 cs.AI cs.CL
A Systematic Analysis of Chunking Strategies for Reliable Question Answering
Artefact Research Center(Artifact研究中心)
本文通过系统分析,探讨了不同分块策略对RAG系统可靠性的影响,发现句子分块在成本效率上最优,且上下文长度对性能有显著影响。
2026-01-20 cs.CL cs.IR
Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering
Computer Science (EECS) University of Toledo Toledo, OH, USA
本文通过实证评估,比较了RAG架构在政策文件问答中的有效性,发现Advanced RAG在忠实度上表现更优,但文档分段限制影响多步骤推理。
2026-01-21 cs.AI cs.CL cs.IR
Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
在本文中,我们研究了长文本上的机器阅读理解(MRC),其中模型将长文档和问题作为输入,然后从文档中提取文本跨度作为答案。现有技术的模型倾向于使用预训练的Transformer模型(例如,BERT)对文档和问题的联合上下文信息进行编码。然而,这些基于变换器的模型只能采用固定长度(例如,512)文本作为输入。为了处理更长的文本输入,以前的方法通常将它们分成等间距的片段,并根据每个片段独立预测答案,而不考虑其他片段的信息。因此,它们可能会形成无法覆盖正确答案范围或在其周围保留不足上下文的片段,这会显着降低性能。此外,他们回答需要跨部门信息的问题的能力较低。我们建议通过强化学习让模型以更灵活的方式学习分块:模型可以决定它想要在任何方向上处理的下一个片段。我们还采用循环机制,使信息能够跨部门流动。在三个MRC数据集上的实验- CoQA,QuAC和TriviaQA -证明了我们提出的循环分块机制的有效性:我们可以获得更有可能包含完整答案的片段,同时在地面真相答案周围提供足够的上下文以进行更好的预测。
2020-05-19 cs.CL cs.LG
A New HOPE: Domain-agnostic Automatic Evaluation of Text Chunking
Centre for Artificial Intelligence Research, University of Agder(人工智能研究中心,阿格德大学);Norkart AS(Norkart公司)
本文提出领域无关的自动评估指标HOPE,从内在属性、外在属性和段落-文档连贯性三个层面量化文本分块质量,实验证明其与RAG性能显著相关,并揭示段落间语义独立性比段内概念统一性对系统表现更重要。
2025-05-04 cs.AI cs.CL
Text Chunking for Document Classification for Urban System Management using Large Language Models
Colorado State University(科罗拉多州立大学);Scarsdale High School(斯卡斯代尔高中)
针对城市系统管理中文本定性编码的资源与一致性难题,提出基于分块的LLM提示方法,经多模型实验验证其可达到与人类编码者相当的一致性,有效缓解上下文聚合偏差。
2025-03-31 cs.CL cs.HC
Knowledge Compression via Question Generation: Enhancing Multihop Document Retrieval without Fine-tuning
Instituto Politécnico Nacional (IPN)(国家理工学院(IPN))
本研究提出基于问题生成的知识编码方法,无需微调即可增强RAG系统的多跳检索,结合句法重排序与paper-cards,在多项检索任务上性能显著优于基线,同时大幅降低存储与延迟。
2025-06-09 cs.AI cs.CL cs.IR
Fast and Accurate Factual Inconsistency Detection Over Long Documents
ASAPP;Abstractive Health
提出SCALE模型,基于NLI和分块策略,实现长文档事实不一致的快速准确检测,并在多个基准及新数据集上超越现有方法。
2023-10-23 cs.AI cs.CL
MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems
School of Information, Renmin University of China, Beijing, China(中国人民大学信息学院);MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)技术有限公司);Institute for Advanced Algorithms Research, Shanghai(上海先进算法研究所)
针对RAG被动分块限制知识内化的问题,提出MoM框架,通过LLM模拟专家生成大纲、多路径采样评估及反向推理训练SLM,构建场景感知文档记忆,经三层检索机制在三个领域验证,提升语义完整性与智能处理能力。
2025-10-16 cs.CL
H-Net++: Hierarchical Dynamic Chunking for Tokenizer-Free Language Modelling in Morphologically-Rich Languages
H-NET++通过分层动态分块和端到端训练,在波斯语等形态丰富语言上实现无分词器建模,显著提升压缩率、下游任务性能和鲁棒性。
2025-08-07 cs.AI cs.CL
Studying quantization trade-offs for efficient inference deployment in machine translation
该研究针对EuroLLM和Hy-MT2等5款1.7B至22B的翻译模型,结合文档分块与W4A8/W8A8量化,发现量化效率与翻译质量的权衡还受分块策略影响,且Hy-MT2比EuroLLM更耐量化。
2026-09-15 cs.CL cs.PF
Document-level Relation Extraction as Semantic Segmentation
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
文档级关系抽取的目的是从文档中抽取多个实体对之间的关系。先前提出的基于图或基于变换的模型独立地利用实体,而不管关系三元组之间的全局信息。本文通过预测实体级关系矩阵来捕获局部和全局信息,并行于计算机视觉中的语义分割任务来解决这个问题。在此,我们提出了一个文档U形网络的文档级关系抽取。具体来说,我们利用编码器模块来捕获实体的上下文信息,并在图像风格的特征映射上利用U形分割模块来捕获三元组之间的全局相互依赖性。实验结果表明,我们的方法可以获得最先进的性能在三个基准数据集DocRED,CDR和GDA。
2021-08-22 cs.AI cs.CL cs.CV
Joint Span Segmentation and Rhetorical Role Labeling with Data Augmentation for Legal Documents
Technical University of Munich(慕尼黑工业大学)
法律判决书的切分和修辞角色标注在判决书的检索和相关任务中起着至关重要的作用,包括案例摘要、语义搜索、论点挖掘等。在这项工作中,我们重新制定的任务在跨度水平识别跨度的多个连续的句子,共享相同的修辞角色标签通过分类分配。我们采用半马尔可夫条件随机场(CRF),共同学习跨度分割和跨度标签分配。我们进一步探讨了三种数据增强策略,以缓解法律专业领域的数据稀缺性,其中单个文档往往很长,注释成本很高。我们的实验表明,在CRF基线的跨度级预测指标与半马尔可夫CRF模型的改善。这种好处取决于文档中是否存在多个句子跨度。
2023-02-13 cs.CL cs.IR
Synthesizing Conversations from Unlabeled Documents using Automatic Response Segmentation
Amazon(亚马逊)
本文提出一种基于自动响应分割的对话合成方法,从无标注文档生成高质量训练数据,并在OR-QuAC基准上提升了ConvQA检索系统性能。
2024-06-06 cs.CL cs.LG
Document Summarization with Text Segmentation
Microsoft AI(微软人工智能)
在本文中,我们利用固有的文档段结构,以改善提取摘要任务。我们建立了两个文本分割模型,并找到了最佳的策略,以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明,提取式摘要得益于使用高精度的分割方法。特别是,大部分的改进是在文档中,最相关的信息不是在开始,因此,我们得出结论,分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
Sequence Model with Self-Adaptive Sliding Window for Efficient Spoken Document Segmentation
Speech Lab, Alibaba Group(阿里巴巴集团语音实验室);Renmin University of China(中国人民大学)
自动语音识别(ASR)系统为口语文档生成的转录本缺少诸如段落之类的结构化注释,从而显著降低了它们的可读性。自动预测口语文档的段落分割可以提高可读性和下游NLP性能,例如摘要和机器阅读理解。本文提出了一种自适应滑动窗口的序列模型,用于精确高效的段落分割。我们还提出了一种方法来利用语音信息,这显着提高了鲁棒性的语音文件分割ASR错误。评估进行英文维基-727K文档分割基准,中文维基百科为基础的文档分割数据集,我们创建的,和一个内部的中文口语文档数据集。我们提出的模型优于基于相同BERT-Base的最先进的(SOTA)模型,在英语基准上将分割F1提高了4.2个点,在中文数据集上提高了4.3-10.1个点,同时将推理时间减少到当前SOTA推理时间的1/6以下。
2021-10-09 cs.CL
TocBERT: Medical Document Structure Extraction Using Bidirectional Transformers
Institute of Research and Technology b-com(b-com研究院)
本研究提出TocBERT,一种基于双向Transformer的监督式文本分割方法,将其构建为NER问题并微调Bio-ClinicalBERT以分割MIMIC-III出院小结,在250份标注语料上F1分数达84.6%和72.8%,优于规则方法。
2024-06-27 cs.CL cs.IR cs.LG
Toward Unifying Text Segmentation and Long Document Summarization
Tencent AI Lab(腾讯人工智能实验室);Emory University(埃默里大学)
文本分割对于表示文档的结构很重要。如果不将一个长文档分割成主题连贯的部分,读者就很难理解文本,更不用说找到重要信息了。由于录音/录像记录的文字记录没有分段,这一问题更加严重。在本文中,我们探讨的作用,部分分割书面和口头文件的提取摘要。我们的方法通过同时执行摘要和分割来学习鲁棒的句子表示,并通过基于优化的正则化器进一步增强,以促进对不同摘要句子的选择。我们在从科学文章到口语成绩单的多个数据集上进行实验,以评估模型的性能。我们的研究结果表明,该模型不仅可以实现国家的最先进的性能公开可用的基准,但表现出更好的跨体裁的可移植性时,配备了文本分割。我们进行了一系列的分析,以量化的影响,总结书面和口头文件的长度和复杂性的部分分割。
2022-10-28 cs.CL
OCR for TIFF Compressed Document Images Directly in Compressed Domain Using Text segmentation and Hidden Markov Model
Indian Institute of Information Technology Allahabad(印度理工学院阿拉哈巴德分校)
在当今的技术时代,文档图像在我们的日常生活中发挥着重要和不可或缺的作用,特别是随着COVID-19的激增,数字扫描文档已成为沟通的主要来源,从而避免了任何形式的身体接触感染。扫描文档图像的存储和传输是一项非常占用内存的任务,因此压缩技术被用于在存档和传输之前减小图像大小。为了提取信息或对压缩图像进行操作,我们有两种方法:第一种方法是对图像进行压缩和操作,然后再次压缩图像,以提高存储和传输的效率。另一种方法是使用底层压缩算法的特性直接处理压缩形式的图像,而不涉及解压缩和重新压缩。本文提出了一种新的思路,即在压缩域中直接为CCITT(The International Telegraph and Telephone Consultative Committee,国际电报电话咨询委员会)压缩机打印的TIFF文档图像开发OCR。在将文本区域分割成行和词之后,使用CCITT的三种编码模式(水平、垂直和通过模式)应用HMM进行识别。实验结果表明,光学字符识别的通过模式给出了一个有前途的结果。
2022-09-13 cs.CL cs.CV cs.IR
CrossFormer: Cross-Segment Semantic Fusion for Document Segmentation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tencent Inc.(腾讯公司)
针对传统文档分割预处理导致跨片段语义丢失的问题,提出基于transformer的CrossFormer模型,通过跨片段融合模块动态建模语义依赖,提升了分割准确率,并能替代RAG系统中基于规则的分块方法以增强效能。
2025-04-02 cs.CL
Building Chinese Lexicons from Scratch by Unsupervised Short Document Self-Segmentation
中文文本分割是一个众所周知的难题。一方面,汉语中没有一个简单的“词”的概念,这使得基于规则的系统很难实现书面文本的分割,因此通常使用词汇和统计信息来实现这样的任务。另一方面,任何一段中文文本通常包括既不存在于词典中也不存在于训练数据中的段。更糟糕的是,这种看不见的序列可以被分割成许多完全不相关的单词,使得后续处理阶段变得困难。例如,使用基于词典的系统,序列?(欧盟委员会现任候任主席巴罗佐)可以分割成?(ba,希望,希望)和??(loozuo,一个未定义的词)完全改变了句子的意义。本文介绍了一种新的、非常简单的、特别适合于处理短中文文档的算法。这种新的算法执行文本“自我分割”产生的结果相比,母语人士所取得的,而不使用任何词典或任何统计信息以外的输入文本。此外,它在寻找新的“单词”,特别是专有名词方面非常强大,并且非常适合从头开始构建词典。除了它的就业的例子提供了一些初步的结果。
2004-11-20 cs.CL cs.IR
Boundary-based MWE segmentation with text partitioning
Drexel University(德雷塞尔大学)
这项工作提出了一个细粒度的,文本分块算法设计的任务,多词表达(MWE)分割。作为一个词类,多词词语包含了大量的习语,习语的自动识别是口语化处理的必要条件。该算法的核心新颖之处在于它使用了非单词标记,即,边界,自下而上的策略。利用边界可以细化令牌级信息,从相对基本的数据中打造高水平的性能。该模型的特征空间的通用性允许其跨语言和领域的应用。跨越19种不同语言的实验展示了一个广泛适用的,最先进的模型。针对最近的共享任务数据进行的评估将文本分区作为整体,最佳性能的MWE分割算法,覆盖所有MWE类和多个英语域(包括用户生成的文本)。这种性能,加上非组合,快速运行的设计,产生了一个理想的组合,在规模上的实施,这是通过开放源代码软件的发布促进。
2017-06-09 cs.CL
Segmenting Natural Language Sentences via Lexical Unit Analysis
Tencent AI Lab(腾讯人工智能实验室)
在这项工作中,我们提出了词汇单元分析(LUA),一般序列分割任务的框架。给定一个自然语言句子,LUA评分的所有有效的分割候选人,并利用动态规划(DP),以提取最大的得分。LUA具有许多吸引人的特性,例如内在地保证预测的分割是有效的,并促进全局最优的训练和推理。此外,LUA的实际时间复杂度可以降低到线性时间,这是非常有效的。我们在15个数据集上对句法组块、命名实体识别、槽填充、汉语分词和汉语词性标注等5个任务进行了广泛的实验。我们的模特已经在其中13个项目上取得了最先进的表现。结果还表明,识别长片段的F1得分显著提高。
2021-04-16 cs.CL
Combining Visual and Textual Features for Semantic Segmentation of Historical Newspapers
École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Universität Zürich(苏黎世大学)
针对历史报纸语义分割中仅用视觉特征的问题,提出结合视觉与文本特征的多模态方法,实验证明其性能优于视觉基线且对材料变异更鲁棒。
2020-12-14 cs.CL cs.CV cs.IR
LumberChunker: Long-Form Narrative Document Segmentation
INESC-ID;Instituto Superior Técnico(高等技术学院);NeuralShift AI;Carnegie Mellon University(卡内基梅隆大学)
提出LumberChunker方法,利用LLM动态分割文档以提升检索性能,并引入GutenQA基准验证其在RAG管道中优于传统分块方法和竞争基线。
2024-06-25 cs.CL cs.IR
Structural Text Segmentation of Legal Documents
Heidelberg University(海德堡大学)
随着法律案件的日益复杂化,人们对能够有效满足用户特定信息需求的法律信息检索系统的兴趣日益增加。然而,这样的下游系统通常要求文档被适当地格式化和分段,这通常是通过相对简单的预处理步骤来完成的,而不考虑片段的主题一致性。系统通常依赖于单个句子或段落的表示,这可能缺乏关键的上下文,或者文档级表示,这对于有意义的搜索结果来说太长了。为了解决这个问题,我们提出了一个分割系统,它可以预测跨几个段落的连续文本段的主题连贯性,有效地分割文档,并为下游应用程序提供更平衡的表示。我们建立我们的模型上流行的Transformer网络和制定结构文本分割为主题的变化检测,通过执行一系列独立的分类,允许有效的微调特定于任务的数据。我们抓取了一个新的数据集,该数据集大致由$74,000$在线服务条款文档组成,包括我们用于训练的分层主题注释。结果表明,我们提出的系统显着优于基线,并适应法律文件的结构特点。我们向研究社区发布数据和经过训练的模型,供未来使用work.https://github.com/dennlinger/TopicalChange
2021-05-17 cs.CL
Semantic Segmentation of Legal Documents via Rhetorical Roles
Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校);West Bengal National University of Juridical Sciences (WBNUJS)(西孟加拉国立法律科学大学);Indian Institute of Management Ranchi (IIM-R)(印度管理学院兰契分校)
法律文档是非结构化的,使用法律术语,并且具有相当长的长度,使得它们难以通过传统的文本处理技术来自动处理。如果文件能够被分割成连贯的信息单元,法律文件处理系统将大大受益。本文提出了一个新的法律文件语料库注释(法律专家的帮助下)与一组13个语义连贯的单位标签(称为修辞角色),例如,事实、论据、法规、问题、先例、裁决和比例。我们对语料库和注释进行了全面的分析。为了实现法律文本的自动切分,我们尝试了修辞角色预测的任务:给定一个文本,预测对应于不同角色的文本片段。使用创建的语料库,我们对任务的各种基于深度学习的基线模型进行了广泛的实验。此外,我们开发了一个基于多任务学习(MTL)的深度模型,其中文档修辞角色标签偏移作为分割法律文档的辅助任务。所提出的模型表现出优越的性能比现有的模型。我们还对域转移和模型蒸馏技术的情况下的模型性能进行了实验,以查看有限数据条件下的模型性能。
2022-11-07 cs.AI cs.CL cs.LG
Specialized Document Embeddings for Aspect-based Similarity of Research Papers
DFKI GmbH(德国人工智能研究中心);Ernst & Young GmbH WPG(安永会计师事务所(德国));University of Wuppertal(伍珀塔尔大学);University of Göttingen(哥廷根大学)
文档嵌入和相似性度量支持基于内容的推荐系统,其中文档通常表示为单个通用嵌入。然而,在单个向量表示上计算的相似性仅提供了关于文档相似性的一个视角,忽略了哪些方面使两个文档相似。为了解决这一限制,已经开发了基于方面的相似性措施,使用文档分割或成对多类文档分类。虽然分割损害了文档的连贯性,但成对分类方法对大规模语料库的扩展性很差。在本文中,我们把基于方面的相似性作为一个经典的向量相似性问题,在特定方面的嵌入空间。我们不是将文档表示为单个通用嵌入,而是表示为多个专用嵌入。我们的方法避免了文件分割和规模线性w.r.t.语料库的大小。在实证研究中,我们使用包含157,606篇研究论文的Papers with Code语料库,并将各自研究论文的任务,方法和数据集作为其方面。我们比较和分析三个通用的文档嵌入,六个专门的文档嵌入和成对的分类基线的背景下,研究论文的建议。作为通用文档嵌入,我们考虑FastText,SciBERT和SPECTER。为了计算专门的文档嵌入,我们比较了三种替代方法,灵感来自改造,微调和暹罗网络。在我们的实验中,Siamese SciBERT获得了最高的分数。额外的分析表明,对数据集方面和对每个研究论文的方法方面的通用文档嵌入的隐含偏见。我们的方法基于方面的文档嵌入减轻潜在的风险所产生的隐性偏见,使他们明确。
2022-03-28 cs.CL cs.IR
DMRST: A Joint Framework for Document-Level Multilingual RST Discourse Segmentation and Parsing
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
文本语篇分析对于理解自然语言中的信息流和论证结构具有重要意义,有利于后续任务的完成。虽然以前的工作显着提高了文本话语解析的性能,但它们并不容易应用于实际用例:(1)EDU分割没有集成到大多数现有的树解析框架中,因此在新出现的数据上应用这些模型并不简单。(2)大多数解析器不能用于多语言场景,因为它们只使用英语开发。(3)从单域树库训练的解析器不能很好地泛化域外输入。在这项工作中,我们提出了一个文档级的多语言的文本分析框架,进行EDU分割和话语树分析联合。此外,我们提出了一个跨翻译增强策略,使框架,以支持多语言解析,提高其领域的通用性。实验结果表明,我们的模型实现了最先进的性能在所有子任务的文档级的多语言文本分析。
2021-10-09 cs.CL
Zero-Shot Cue-Grounded Topic Segmentation of Spoken Documents
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对口语文档主题分割中粒度适应性差的问题,提出无需训练的线索引导分割框架CGS,先利用显式主题转换短语定位边界,线索不足时回退至语义分割,在六个基准和六个LLM上持续超越基线且对ASR噪声鲁棒、API成本低。
2026-09-29 cs.AI cs.CL
Cross-lingual and cross-domain discourse segmentation of entire documents
University of Copenhagen(哥本哈根大学)
语篇切分是构建端到端语篇分析器的关键步骤。然而,语篇切分器只存在于少数语言和领域。通常情况下,它们只检测内部段边界,假设黄金标准的句子和标记分割,并依赖于高质量的句法分析和丰富的语法分析,这些分析通常不适用于不同的语言和领域。在本文中,我们提出了五种语言和三个领域,不依赖于黄金预注释的统计话语分割。我们还考虑了当没有标记数据可用于语言时学习话语分割器的问题。我们的全监督系统在英语新闻中获得了89.5%的F1,在其他领域的性能略有下降,我们总共报告了五种语言的监督和非监督(跨语言)结果。
2017-04-24 cs.CL
SLIDE: Sliding Localized Information for Document Extraction
University of Florida(佛罗里达大学)
针对长文本和低资源语言下LLM上下文受限导致知识图谱构建效果差的问题,提出基于重叠窗口的分块方法SLIDE,可保留关键上下文,显著提升多语言场景下的实体、关系抽取及问答性能。
2025-03-23 cs.CL
BN-HTRd: A Benchmark Dataset for Document Level Offline Bangla Handwritten Text Recognition (HTR) and Line Segmentation
我们引入了一个新的数据集,用于从孟加拉语脚本的图像中进行离线手写文本识别(HTR),该图像包括单词,线条和文档级注释。BN-HTRd数据集基于BBC孟加拉新闻语料库,旨在充当地面实况文本。这些文本随后被用来生成注释,由人们用手写体填写。我们的数据集包括大约150个不同作家制作的788张手写页面图像。它可以作为各种手写分类任务的基础,如端到端的文档识别,单词定位,单词或行分割,等等。我们还提出了一个计划,孟加拉国的手写文档图像分割成相应的行在一个无监督的方式。我们的线分割方法照顾到不同的书写风格,准确地分割复杂的手写文本线的曲线性质的变化。通过一系列的预处理和形态学操作,Hough直线和圆变换被用来区分不同的线性分量。为了将这些组件排列到相应的行中,我们采用了无监督聚类方法。我们的分割技术的平均成功率为81.57%,在FM指标(类似于F-测量)方面,平均平均精度(mAP)为0.547。
2022-05-29 cs.CL cs.CV
Chat3GPP: An Open-Source Retrieval-Augmented Generation Framework for 3GPP Documents
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
Chat3GPP是一个开源检索增强生成框架,通过分块、混合检索和高效索引,无需微调即可高效处理3GPP文档,在电信数据集上表现优于现有方法,并可扩展至其他标准。
2025-01-20 cs.AI cs.CL cs.DC
SECTOR: A Neural Model for Coherent Topic Segmentation and Classification
University of Fribourg(弗里堡大学)
在搜索信息时,人类读者首先浏览文档,找出相关部分,然后专注于几个句子来解决她的意图。然而,文档结构的高度变化使得一目了然地识别给定部分的突出主题变得复杂。为了应对这一挑战,我们提出了部门,一个模型来支持机器阅读系统分割成连贯的部分,并分配主题标签的每一部分的文件。我们的深度神经网络架构在文档过程中学习潜在主题嵌入。这可以用来从纯文本中分类本地主题,并在主题转换时对文档进行分段。此外,我们贡献了WikiSection,这是一个公开可用的数据集,包含来自两个不同领域(疾病和城市)的242k英语和德语标记部分。从我们对20个架构的广泛评估中,我们报告了来自英语城市领域的30个主题的分割和分类的最高分数为71.6%F1,由我们的SECTOR LSTM模型与布隆过滤器嵌入和双向分割进行评分。与具有基线分割的最先进的CNN分类器相比,这是29.5点F1的显著改进。
2019-02-13 cs.CL
BEAR: Budgeted Evidence Allocation for Multi-Document Reasoning
Qiyuan Tech(启元科技)
提出BEAR框架,通过构建分层语义索引并在查询时进行由粗到细的证据访问,在固定证据预算下实现高效的多文档推理。
2026-05-27 cs.CL
Towards a Joint Khmer Text Recognition and Word Segmentation
Techo Startup Center(德科创业中心);Ministry of Economy and Finance(经济与财政部);Osaka Metropolitan University(大阪公立大学)
本文提出一种采用CTC解码器的统一模型,实现高棉语文本识别与分词联合,可在不同模态基准数据集上同时完成字符识别与词边界定位,无需额外分词步骤。
2026-09-01 cs.CL cs.CV
Improving Long Document Topic Segmentation Models With Enhanced Coherence Modeling
Alibaba Group(阿里巴巴集团)
本文提出TSSP和CSSL方法,从逻辑结构和语义相似性增强监督模型的连贯性捕获能力,在多个数据集上显著提升了长文档主题分割性能并超越SOTA。
2023-10-23 cs.CL