S2 Chunking: A Hybrid Framework for Document Segmentation Through Integrated Spatial and Semantic Analysis
Indian Institute of Technology, Patna(印度理工学院巴特那分校)
本文提出 S2 Chunking 混合框架,融合 bbox 空间布局、文本语义与元素关系构建加权图并进行谱聚类,在多样版式文档上提升分块准确性并满足 token 长度限制。
2025-01-08 cs.CL cs.IR cs.LG
MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
Human-inspired AI Research(人机协同人工智能研究所);Department of Computer Science and Engineering(计算机科学与工程系);School of Software(软件学院)
针对长工业文档结构复杂的问题,提出MultiDocFusion分块流程,结合视觉解析、OCR提取、层次结构重建和DFS分组,提升RAG检索精度和问答质量。
2026-04-14 cs.AI cs.CL
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)(计算与智能研究院,哈尔滨工业大学(深圳));Shenzhen Loop Area Institute (SLAI)(深圳环形区研究院(SLAI))
本文提出一种篇章意识层次检索框架,利用修辞结构理论处理长文档问答,通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合,实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中,基于聚类的语义分块是否优于固定大小和递归分块,通过RAGAs框架在长结构化学术论文上评估检索和答案质量,发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
Tencent Youtu Lab(腾讯优图实验室)
针对RAG分块缺乏有效评估的问题,提出HiCBench基准和基于微调LLM的HiChunk层次化分块框架,结合自动合并检索,提升分块质量与RAG整体性能。
2025-10-09 cs.AI cs.CL
Intent-Driven Dynamic Chunking: Segmenting Documents to Reflect Predicted Information Needs
University of Limerick(利默里克大学);SAP(思爱普)
本文提出基于意图的动态分块方法,通过预测用户查询优化文档分块,提升检索性能,尤其在长文档中效果显著。
2026-08-19 cs.AI cs.CL cs.IR
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo(东京大学);Kyoto University(京都大学);Riken(理化学研究所);Tohoku University(东北大学)
本文提出固定范围分块(FRC)方法,通过动态规划将文档划分为长度一致的块,减少训练与推理长度不匹配,并配合双边界匹配算法和多种训练策略,显著提升7B大语言模型的文档级翻译质量,在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
TopoChunker: Topology-Aware Agentic Document Chunking Framework
Independent Researcher(独立研究者)
本文提出TopoChunker,通过结构化中间表示保留跨段依赖,提升RAG的结构感知能力,实验显示其在生成准确率和召回率上优于现有方法,同时降低token开销。
2026-08-06 cs.CL
Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents
本研究通过因子实验联合评估解析器、分块和嵌入模型在印度政府监管文档RAG中的交互作用,发现无单一检索器占优且证据保留近饱和,检索差异主要由排序质量决定。
2026-09-29 cs.AI cs.CL cs.IR
Grounding Language Model with Chunking-Free In-Context Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Academy of Artificial Intelligence(北京智源人工智能学院)
本文提出无分块上下文检索方法(CFIC),通过利用文档隐藏状态和自回归解码直接定位证据文本,结合两种解码策略提升效率与保真度,在开放问答数据集上显著优于传统RAG方法。
2024-02-15 cs.AI cs.CL cs.IR
Passage Segmentation of Documents for Extractive Question Answering
Ecole Polytechnique(巴黎综合理工学院);BNP Paribas CIB(法国巴黎银行企业与投资银行);Paris Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院)
针对RAG流程中分块环节受关注不足的问题,提出多粒度分块框架LGMGC,实验证明其可提升检索及端到端RAG性能。
2025-01-17 cs.CL cs.IR
A Systematic Investigation of Document Chunking Strategies and Embedding Sensitivity
Open Source Institute(开源研究所);Faculty of Science and Technology(科学与技术学院);University of Canberra(堪培拉大学)
本文系统研究了文档分块策略与嵌入敏感性,发现内容感知分块显著提升检索效果,段落分组分块在多个领域表现最优。
2026-03-07 cs.AI cs.CL
Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents
Department of Big Data, Chungbuk National University, Cheongju-si, South Korea(大数据系, Chungbuk国立大学,韩国Cheongju市);Department of Computer Science, Chungbuk National University, Cheongju-si, South Korea(计算机科学系, Chungbuk国立大学,韩国Cheongju市);BigDataLabs Co., Ltd. Department of Management Information Systems, Chungbuk National University, South Korea(BigDataLabs公司 管理信息系, Chungbuk国立大学,韩国)
本研究比较了四种文本分块方法在Khmer农业文档中的性能,通过检索增强生成(RAG)框架评估分块策略对密集检索优化的影响,发现基于字符的递归分块方法在低资源语言中表现最佳。
2026-05-21 cs.CL
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab(金山办公曙光人工智能实验室)
本文提出基于Qwen3-0.6B的判别分割模型,通过跨窗口上下文融合和重叠滑动窗口策略,实现超长文档的高效段落边界检测,并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
Comparing Chunking and Embedding Strategies for Turkish RAG Systems
Data Science and Innovation Ata Technology Platforms(阿塔技术平台数据科学与创新部门)
该研究针对土耳其语RAG系统,对比三种分块策略、五种嵌入模型和两种生成器LLM,发现布局感知分块可压缩嵌入模型差异,最优配置依内容类型而定,最佳单个组件无法组合出最优整体配置,准确率达87.0%。
2026-08-31 cs.AI cs.CL
Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering
Computer Science (EECS) University of Toledo Toledo, OH, USA
本文通过实证评估,比较了RAG架构在政策文件问答中的有效性,发现Advanced RAG在忠实度上表现更优,但文档分段限制影响多步骤推理。
2026-01-21 cs.AI cs.CL cs.IR
A New HOPE: Domain-agnostic Automatic Evaluation of Text Chunking
Centre for Artificial Intelligence Research, University of Agder(人工智能研究中心,阿格德大学);Norkart AS(Norkart公司)
本文提出领域无关的自动评估指标HOPE,从内在属性、外在属性和段落-文档连贯性三个层面量化文本分块质量,实验证明其与RAG性能显著相关,并揭示段落间语义独立性比段内概念统一性对系统表现更重要。
2025-05-04 cs.AI cs.CL
Text Chunking for Document Classification for Urban System Management using Large Language Models
Colorado State University(科罗拉多州立大学);Scarsdale High School(斯卡斯代尔高中)
针对城市系统管理中文本定性编码的资源与一致性难题,提出基于分块的LLM提示方法,经多模型实验验证其可达到与人类编码者相当的一致性,有效缓解上下文聚合偏差。
2025-03-31 cs.CL cs.HC
Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception
School of Information, Renmin University of China(中国人民大学信息学院);Institute for Advanced Algorithms Research(高级算法研究所)
针对RAG系统中文本分块质量不足的问题,提出Meta-Chunking框架,结合基于不确定性的自适应分块、动态合并及全局信息补偿机制,提升分块的语义完整性与逻辑连贯性,且验证了小模型实现高质量分块的可行性。
2025-05-21 cs.CL
cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree
针对现有代码RAG基于行的分块方法易破坏语义结构的问题,提出基于抽象语法树的结构感知分块方法cAST,跨任务生成语义连贯的检索单元,显著提升代码检索与生成性能。
2025-10-02 cs.AI cs.CL cs.IR
Breaking It Down: Domain-Aware Semantic Segmentation for Retrieval Augmented Generation
International Institute of Information Technology, Hyderabad, India(国际信息科技学院,海得拉巴,印度)
本文提出两种高效的语义分块方法PSC和MFC,通过PubMed数据训练,提升了检索增强生成的性能和跨领域泛化能力。
2025-11-29 cs.CL cs.IR
Structure-Aware Chunking for Tabular Data in Retrieval-Augmented Generation
Altumatim;University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
本文提出一种结构感知表格分块框架,通过行级单位构建层次化行树表示,提升token利用率和检索性能。
2026-05-01 cs.CL cs.IR
Knowledge Compression via Question Generation: Enhancing Multihop Document Retrieval without Fine-tuning
Instituto Politécnico Nacional (IPN)(国家理工学院(IPN))
本研究提出基于问题生成的知识编码方法,无需微调即可增强RAG系统的多跳检索,结合句法重排序与paper-cards,在多项检索任务上性能显著优于基线,同时大幅降低存储与延迟。
2025-06-09 cs.AI cs.CL cs.IR
Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation
Department of Computer Science and Engineering, University of Bologna(计算机科学与工程系,博洛尼亚大学)
本研究评估了RAG中late chunking与contextual retrieval两种高级分块策略,发现前者效率高但牺牲相关性,后者语义连贯性更好但计算成本更高。
2025-04-28 cs.AI cs.CL cs.IR
Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
在本文中,我们研究了长文本上的机器阅读理解(MRC),其中模型将长文档和问题作为输入,然后从文档中提取文本跨度作为答案。现有技术的模型倾向于使用预训练的Transformer模型(例如,BERT)对文档和问题的联合上下文信息进行编码。然而,这些基于变换器的模型只能采用固定长度(例如,512)文本作为输入。为了处理更长的文本输入,以前的方法通常将它们分成等间距的片段,并根据每个片段独立预测答案,而不考虑其他片段的信息。因此,它们可能会形成无法覆盖正确答案范围或在其周围保留不足上下文的片段,这会显着降低性能。此外,他们回答需要跨部门信息的问题的能力较低。我们建议通过强化学习让模型以更灵活的方式学习分块:模型可以决定它想要在任何方向上处理的下一个片段。我们还采用循环机制,使信息能够跨部门流动。在三个MRC数据集上的实验- CoQA,QuAC和TriviaQA -证明了我们提出的循环分块机制的有效性:我们可以获得更有可能包含完整答案的片段,同时在地面真相答案周围提供足够的上下文以进行更好的预测。
2020-05-19 cs.CL cs.LG
ChunkNorris: A High-Performance and Low-Energy Approach to PDF Parsing and Chunking
Wikit;Laboratoire Hubert Curien(Hubert Curien实验室);Université Jean Monnet(Jean Monnet大学);INSA Rouen Normandie(Rouen Normandie国立理工学院)
ChunkNorris通过高效启发式方法实现PDF解析与分块的高性能低能耗,优于现有技术,适用于资源受限的检索增强生成任务。
2025-11-28 cs.AI cs.CL cs.IR
Fast and Accurate Factual Inconsistency Detection Over Long Documents
ASAPP;Abstractive Health
提出SCALE模型,基于NLI和分块策略,实现长文档事实不一致的快速准确检测,并在多个基准及新数据集上超越现有方法。
2023-10-23 cs.AI cs.CL
MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems
School of Information, Renmin University of China, Beijing, China(中国人民大学信息学院);MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)技术有限公司);Institute for Advanced Algorithms Research, Shanghai(上海先进算法研究所)
针对RAG被动分块限制知识内化的问题,提出MoM框架,通过LLM模拟专家生成大纲、多路径采样评估及反向推理训练SLM,构建场景感知文档记忆,经三层检索机制在三个领域验证,提升语义完整性与智能处理能力。
2025-10-16 cs.CL
ProcTag: Process Tagging for Assessing the Efficacy of Document Instruction Data
College of Computer Science, Zhejiang University(浙江大学计算机科学学院);Alibaba Group(阿里巴巴集团)
本文提出ProcTag方法,通过对指令执行过程而非文本进行标记来评估文档指令数据效用,并结合DocLayPrompt提示策略,实现高效采样,仅需30.5%指令即可达到完整数据集100%的效用。
2025-03-12 cs.CL cs.CV
Multi-view Content-aware Indexing for Long Document Retrieval
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对长文档问答中固定长度分块忽略内容结构的问题,提出无需训练的即插即式多视图内容感知索引方法,通过内容结构分割和多视图表示提升检索性能,在多种检索器上显著提高召回率。
2024-04-23 cs.CL
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China(中国科学技术大学)
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval,用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
Studying quantization trade-offs for efficient inference deployment in machine translation
该研究针对EuroLLM和Hy-MT2等5款1.7B至22B的翻译模型,结合文档分块与W4A8/W8A8量化,发现量化效率与翻译质量的权衡还受分块策略影响,且Hy-MT2比EuroLLM更耐量化。
2026-09-15 cs.CL cs.PF
Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions
The Key Laboratory of Linguistic and Cultural Computing of Ministry of Education(教育部语言与文化计算重点实验室);Institute of Artificial Intelligence(人工智能研究所);Northwest Minzu University(西北民族大学);Soochow University(苏州大学)
本文提出翻译混合指令方法,结合不同长度的句子级和文档级指令微调大语言模型,使其在多达2048个token的文档上保持稳定翻译性能,并在10个语言对上显著提升文档级翻译质量与语篇连贯性。
2024-01-16 cs.CL
InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructions
NTT Corporation(日本电信电话公司);Tohoku University(东北大学)
本文构建涵盖30个公开VDU数据集、12项任务并带统一多样化指令的 InstructDoc,并提出以可训练桥接模块融合文档图像、图像编码器与LLM的 InstructDr,实现指令引导的零样本VDU泛化且性能优于现有多模态LLM和ChatGPT。
2024-01-24 cs.CL cs.CV
Efficient RAG with Intent-Aware Retrieval and Semantics-Preserving Chunking
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Massachusetts General Hospital, Harvard University(哈佛大学马萨诸塞州总医院);Nota AI
提出InSemRAG框架,通过意图感知检索器和语义保持分块模块,结合迭代检索-检查机制,解决传统RAG的信息不足问题,在多跳和证据敏感任务上取得显著提升。
2026-05-31 cs.CL
Sparse Graph Representations for Procedural Instructional Documents
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳格尔分校);Bosch Research and Technology Centre(博世研究技术中心)
针对程序性教学文档的相似度计算,提出将文档对表示为融合顺序信息的稀疏有向联合概念交互图,采用超基因组排序和哈密顿路径算法替换边,并配合孪生编码器与图卷积网络,在顺序数据集上超越基线十分。
2024-02-06 cs.CL
LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding
FA Research(FA研究院);Fast Accounting Co., Ltd.(快会计有限公司)
针对视觉富文本文档理解任务中现有方法需针对不同任务微调且成本高昂的局限,提出LayoutLLM,通过多模态指令数据集微调将文档图像理解与大规模语言模型集成,在单一模型中实现更灵活的文档分析并在多项任务上优于基线。
2024-03-21 cs.AI cs.CL cs.CV
AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学)
AgenticOCR通过动态解析范式提升视觉文档检索增强生成系统的效率和准确性,实现按需提取和解耦检索粒度。
2026-02-27 cs.CL cs.CV
Mix-of-Granularity: Optimize the Chunking Granularity for Retrieval-Augmented Generation
Shanghai AI Laboratory(上海人工智能实验室);Beihang University(北京航空航天大学);theSight Technology(视辰科技)
针对RAG系统多知识源固定检索策略导致信息利用不足的问题,提出MoG方法利用路由器动态确定最佳分块粒度,并扩展为MoGG以图结构检索远距离片段,显著提升下游任务性能。
2025-01-26 cs.AI cs.CL cs.LG
LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
针对LLM/MLLM文档理解中布局信息利用不足的问题,提出LayoutLLM,通过布局感知预训练、监督微调及LayoutCoT提升性能与可解释性。
2024-04-08 cs.CL cs.CV
Instruction-tuned Language Models are Better Knowledge Learners
Carnegie Mellon University(卡内基梅隆大学);FAIR at Meta(Meta FAIR研究院);University of Washington(华盛顿大学)
针对LLM持续学习新知识时标准流程(先文档预训练后指令调优)效果不佳的问题,提出预指令调优(PIT)方法,先问答后文档训练,显著提升知识吸收能力,性能提升17.8%。
2024-05-26 cs.AI cs.CL cs.LG
Improving the Accuracy and Efficiency of Legal Document Tagging with Large Language Models and Instruction Prompts
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
针对法律多标签分类面临的语言复杂、标签依赖及不平衡等挑战,提出Legal-LLM方法,将其重构为结构化生成任务并微调LLM,在两个基准数据集上优于多种基线模型,且在处理标签不平衡等方面有效。
2025-04-12 cs.CL
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University(浙江大学)
针对零样本文档图像问答,提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning,使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
DoG-Instruct: Towards Premium Instruction-Tuning Data via Text-Grounded Instruction Wrapping
Southeast University(东南大学);Tencent AI Lab(腾讯AI实验室)
本文提出DoG-Instruct方法,通过训练LLM基于人工文档生成指令-响应对并包装表达,以减少幻觉并提升数据质量,在AlpacaEval上以1/5训练数据实现10%相对性能提升。
2024-05-25 cs.CL
Instruction Makes a Difference
Luleå University of Technology(吕勒奥理工大学)
该研究提出 iDocVQA 数据集与 LLaDoc 模型,证明指令微调可显著提升 LLaVA-1.5 在文档视觉问答及对象幻觉评估中的表现,但与人类水平仍有差距。
2024-06-13 cs.CL cs.CV
Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models
UC Santa Barbara(加利福尼亚大学圣巴巴拉分校);Adobe Research(奥多比研究院)
本文提出一种用于布局规划的多模态指令遵循框架,通过三个布局推理任务训练模型,使非专业用户能便捷创建定制布局,在 Crello 上 mIoU 比 GPT-4V 高 12%。
2024-04-23 cs.AI cs.CL cs.CV
Not All Documents Are What You Need for Extracting Instruction Tuning Data
Department of Computer Science, Beijing Institute of Technology, Beijing, China(北京理工大学计算机科学系);Sensetime Research, Shenzhen, China(深睿时代研究);Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室);University of Arizona, USA(亚利桑那大学);Meta, USA(Meta)
针对现有指令微调合成数据多样性不足的问题,提出EQUAL框架,通过文档聚类与多臂老虎机策略迭代筛选文档并提取问答对,在降低计算成本的同时提升了大模型下游任务性能。
2025-05-18 cs.AI cs.CL
LumberChunker: Long-Form Narrative Document Segmentation
INESC-ID;Instituto Superior Técnico(高等技术学院);NeuralShift AI;Carnegie Mellon University(卡内基梅隆大学)
提出LumberChunker方法,利用LLM动态分割文档以提升检索性能,并引入GutenQA基准验证其在RAG管道中优于传统分块方法和竞争基线。
2024-06-25 cs.CL cs.IR
TableRAG: A Retrieval Augmented Generation Framework for Heterogeneous Document Reasoning
Huawei Cloud BU(华为云业务部)
针对含文本与表格的异构文档问答,本文提出基于 SQL 的 TableRAG 框架,通过查询分解、文本检索、SQL 执行与答案组合进行多跳推理,并发布 HeteQA 基准,取得新的最优性能。
2025-09-30 cs.CL cs.IR
Industrial-Instruction: An End-to-End Framework for Building Instruction-Tuning and Benchmark Datasets from Industrial Technical Reports
Hamedan University of Technology(哈马丹理工大学);University of Antwerp(安特卫普大学);Flanders Make Strategic Research Center(弗兰德斯制造战略研究中心)
本研究针对工业技术报告无公开指令调优/基准数据集的问题,提出Industrial-Instruction端到端框架,构建两个QA数据集,对比开放与前沿模型的数据生成效果,为工业领域提供可复现的基准与训练数据路径。
2026-08-25 cs.CL
How Calibration Content Shapes Attention-Based Reranking
Google(谷歌);Google DeepMind(谷歌DeepMind);UC San Diego(加州大学圣迭戈分校)
本研究揭示提示内容可破坏基于注意力重排序中的空查询校准,提出插值空校准方法,在指令密集型任务上恢复性能并超越生成式重排序器。
2026-09-17 cs.CL cs.IR
ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs
University of Pittsburgh(匹兹堡大学)
ARC通过评估摘要对关键论点的保留情况,揭示了LLM在长文档摘要中的覆盖不足问题,并为改进摘要策略提供指导。
2026-01-30 cs.CL
Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model
Computer School, Beijing Information Science & Technology University(北京信息科技大学计算机学院);Beihang University(北京航空航天大学)
本文提出 R2S 框架,通过对话逻辑链引导大语言模型从原始文档生成知识密集型多轮对话,构建 G I NSTRUCT 数据集并微调 GLLM,以增强跨领域指令微调效果。
2024-07-03 cs.AI cs.CL
Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers
Shandong University(山东大学);Baidu Inc.(百度公司);Leiden University(莱顿大学)
针对大语言模型零样本排序效率低、依赖复杂提示工程的问题,提出指令蒸馏方法,将成对排序能力蒸馏为高效逐点排序,实现10-100倍效率提升且性能更优。
2023-11-02 cs.CL cs.IR