DLaVA: Document Language and Vision Assistant for Answer Localization with Enhanced Interpretability and Trustworthiness
Department of Computer Science(计算机科学系);Engineering, Ohio State University, Ohio, US(工程系,俄亥俄州立大学,俄亥俄,美国);Department of Computer Science, University of Central Florida, Florida, US(计算机科学系,中央佛罗里达大学,佛罗里达,美国)
DLaVA提出一种免训练、免OCR的流程,利用多模态大语言模型进行零样本答案定位,结合IoU和ANLS评估,以低计算复杂度提升文档VQA的可信度与可解释性。
2025-07-10 cs.AI cs.CV
DocVAL: Validated Chain-of-Thought Distillation for Grounded Document VQA
Department of Computer Science(计算机科学系);Engineering, Ohio State University, Ohio, US(工程系,俄亥俄州立大学,俄亥俄,美国);Department of Computer Science, University of Central Florida, Florida, US(计算机科学系,中央佛罗里达大学,佛罗里达,美国)
提出DocVAL框架,通过验证链式思维蒸馏将大型教师模型的空间推理能力转移到紧凑学生模型,结合规则验证器和两阶段训练,在文档VQA任务上提升定位性能。
2026-05-22 cs.AI cs.CV
Generative AI for FFRDCs
Institute for Defense Analyses (IDA)(国防分析研究所)
针对FFRDC文本密集型工作负载,利用大型语言模型通过少量示例加速摘要、分类、提取和意义构建,并采用OnPrem$.$LLM框架确保安全,案例验证了其提升监督与战略分析的效果。
2025-09-25 cs.AI cs.CL
Intelligent Clinical Documentation: Harnessing Generative AI for Patient-Centric Clinical Note Generation
AWS AI & ML(AWS 人工智能与机器学习部门);IEEE CIS(IEEE 计算智能学会)
本研究探索生成式AI结合NLP和ASR技术自动生成SOAP和BIRP临床笔记,以减轻医生负担,提高文档质量,并强调伦理考量,有望革新临床文档实践。
2024-05-28 cs.AI
Evaluation of Embedding-Based and Generative Methods for LLM-Driven Document Classification: Opportunities and Challenges
本文比较了基于嵌入和生成模型在地学技术文档分类中的表现,发现增强的生成视觉-语言模型在零样本准确率上表现更优,但监督微调对训练数据不平衡敏感。
2026-04-05 cs.AI cs.CL cs.CV
Information-Theoretic Generative Clustering of Documents
Waseda University(早稻田大学)
本文提出生成式聚类(GC),利用大语言模型生成的文本进行聚类,通过KL散度定义相似度并结合重要性采样算法,取得了超越现有方法的SOTA性能,并有效提升了生成式文档检索的准确率。
2024-12-18 cs.CL cs.IR cs.IT
When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);Yale University(耶鲁大学)
本文首次全面分析基于大语言模型的查询与文档扩展,发现扩展对弱检索器有益但对强检索器有害,并提出按模型强弱和数据集分布差异选择性使用扩展的实用建议。
2024-02-26 cs.AI cs.CL cs.IR
Designing Production-Scale OCR for India: Multilingual and Domain-Specific Systems
Krutrim AI
本文提出两种多语言OCR训练策略,通过Chitrapathak系列在印度多语言文档中实现SOTA性能,并展示了Parichay在政府文档中的高效提取能力。
2026-02-18 cs.AI cs.CV
FMEA Builder: Expert Guided Text Generation for Equipment Maintenance
IBM Research Europe(IBM欧洲研究院)
本文提出FMEA Builder系统,利用大型语言模型在专家监督下快速生成设备维护的FMEA文档,实证显示可正确生成过半关键内容,且可靠性专家对此持积极态度。
2024-11-07 cs.AI cs.CL
UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models
Renmin University of China(中国人民大学)
针对现有生成式检索与问答方法模块独立、难以同步优化的问题,提出统一生成式框架UniGen,通过共享编码器、双解码器、LLM生成连接模块及迭代增强策略,在MS MARCO和NQ数据集上实现两项任务性能提升。
2023-12-18 cs.AI cs.CL cs.IR
DocLLM: A layout-aware generative language model for multimodal document understanding
JPMorgan AI Research(摩根大通人工智能研究院)
提出轻量级模型DocLLM,通过边界框信息和解耦注意力机制融合文本语义与空间布局,在四项核心文档智能任务中表现优于现有SotA LLM并具备良好泛化能力。
2023-12-31 cs.CL
Generative Ontology Induction: Domain-Agnostic Schema Discovery from Document Corpora Using Large Language Models
Pivots Global(Pivots全球公司)
研究针对本体工程瓶颈,提出领域无关的生成式本体归纳框架GOI,从文档语料库归纳生成蓝图并输出类型化图,引入节点覆盖分数评估,实验表明该方法能高比例覆盖结构主干,且覆盖率不受文档类型熟悉度影响。
2026-07-21 cs.AI
Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval
The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);Queen Mary University of London(伦敦女王学院)
本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果,发现查询长度和提示技术对性能影响显著,且不同语言间存在显著的检索性能差异。
2025-11-24 cs.AI cs.CL cs.IR
From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction
Friedrich-Alexander-Universität Erlangen–Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
该研究针对遗产数字化需求,对比8款最高7B参数的开源轻量级VLMs在文档OCR转结构化JSON上的表现,为遗产机构提供可持续、私有且高性能的替代方案及操作指导。
2026-10-09 cs.AI cs.CV
Generative Retrieval with Few-shot Indexing
Leiden University(莱顿大学);The University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
本文提出了一种无需训练的少样本索引生成检索框架,通过提示LLM生成文档标识符来提升检索性能。
2025-12-23 cs.AI cs.CL cs.IR
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab(金山办公曙光人工智能实验室)
本文提出基于Qwen3-0.6B的判别分割模型,通过跨窗口上下文融合和重叠滑动窗口策略,实现超长文档的高效段落边界检测,并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
GLEN: Generative Retrieval via Lexical Index Learning
Sungkyunkwan University(成均馆大学)
本文提出GLEN方法,通过两阶段动态词表索引学习策略和无冲突推理机制,解决了生成式检索中预训练知识与标识符差异及训练推理差距问题,在多个基准数据集上达到最优或具竞争力的性能。
2023-11-06 cs.CL cs.IR
Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation
Chung-Ang University(中央大学)
本文提出 Topic-VQ-VAE,将 VQ-VAE 隐码本解释为概念词袋以构建生成式主题模型,可通过 BoW 与自回归生成等方式揭示数据结构并支持灵活的主题引导文档生成。
2024-01-21 cs.AI cs.CL cs.LG
The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications
Miami University(迈阿密大学);University at Buffalo(布法罗大学)
研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡,发现长上下文虽准确率更高(73.1% vs 65.4%),但Token成本增加26倍。
2026-06-23 cs.AI cs.CL cs.CY
Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Futurewei Technologies Inc.(星网锐捷技术公司)
本文提出Graph-DPEP框架,通过分解式即插和集成式玩法,利用思维图推理,解决小样本文档级关系抽取中结构化输出转换和关系类型区分难题,在公开基准上表现优越。
2024-11-05 cs.AI cs.CL cs.IR
Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search
LUMIA Lab, Shanghai Jiao Tong University(LUMIA实验室,上海交通大学)
本文提出融合知识蒸馏推理与决策智能体后处理的优化 GR 框架,以缓解支付宝搜索中基于 LLM 的生成式检索幻觉,并通过离线与在线实验验证其效果。
2025-05-13 cs.AI cs.IR
Enhancing Surgical Documentation through Multimodal Visual-Temporal Transformers and Generative AI
ETH Zürich(苏黎世联邦理工学院);University of Calabria(卡拉布里亚大学);Cambridge University(剑桥大学)
提出一种结合视觉Transformer和大语言模型的多模态框架,通过提取帧级视觉特征、生成帧级描述并聚合时间特征,在CholecT50数据集上实现了高精度的手术视频自动摘要与报告生成。
2025-04-28 cs.AI cs.CV
Detecting Linguistic Bias in Government Documents Using Large language Models
Ministerie van OCW(荷兰教育、文化与科学部);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文构建专家标注的荷兰政府文件偏见检测数据集 DGDB,微调 BERT 类模型并与生成式语言模型比较,证明微调方法性能更优。
2025-02-19 cs.CL
Breaking Bureaucracy: Evaluating open-source LLMs for legal document review
Leiden University(莱顿大学)
本文评估开源生成式大语言模型在法律自然语言推理任务上的表现,发现Gemma-4 26B达到81.2%准确率,证明零样本开源模型在无监督数据时是可行替代方案。
2026-10-06 cs.CL
Query Implied Generative Engine Optimization
San Jose State University(圣何塞州立大学)
本文提出查询隐含的生成引擎优化(QI-GEO),直接从文档推断用户意图,无需显式查询,在GEO-Bench上显著提升内容可见性,客观分数最高提升15.9%,主观分数最高提升17.6%。
2026-09-24 cs.AI cs.IR cs.LG
Academ-AI: documenting the undisclosed use of generative artificial intelligence in academic publishing
MA Kornhauser Health Sciences Library University of Louisville(马尔库斯·科尔纳豪瑟健康科学图书馆路易斯维尔大学)
本文推出Academ-AI项目记录学术出版中未披露的生成式AI使用情况,通过分析768个疑似案例发现该问题普遍存在于高影响力高收费期刊且更正不足,呼吁出版商严格执行相关政策。
2025-11-15 cs.AI cs.CY cs.DL
Efficient Rationale-based Retrieval: On-policy Distillation from Generative Rerankers based on JEPA
Geely AI Lab(吉利人工智能实验室)
本文提出Rabtriever,通过在线蒸馏从生成重排序器中学习,将查询和文档独立编码,提升检索效率,同时在多个任务中表现优异。
2026-06-15 cs.CL cs.IR cs.LG
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida(佛罗里达大学)
提出RAMQA统一框架,结合学习排序与生成式排列增强技术,用于多模态检索增强问答,在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
Purely Semantic Indexing for LLM-based Generative Recommendation and Retrieval
本文针对生成式推荐与检索中的语义ID冲突问题,提出纯语义索引方法,通过穷举候选匹配和递归残差搜索实现唯一ID分配,在不引入非语义token的情况下提升整体及冷启动性能。
2025-09-19 cs.CL cs.IR
Generative Query Reformulation Using Ensemble Prompting, Document Fusion, and Relevance Feedback
Department of Computer Science(计算机科学系);Emory University(埃默里大学)
本文提出基于集成提示的查询重构方法GenQREnsemble和GenQRFusion,利用释义生成多组关键词并整合相关反馈,在多个基准上将检索效果提升最多18%,超越了现有最先进结果。
2024-05-27 cs.CL cs.IR
Plans for Evaluating Structured Generative Search Summaries
Waseda University/Naver Corporation(早稻田大学/NAVER公司);Waseda University(早稻田大学);Naver Corporation(NAVER公司)
提出一个评估大型语言模型生成的结构化搜索摘要的框架,该摘要包含概述、带标题的章节和引用源文档列表,并描述了实施和评估该框架的计划。
2026-05-26 cs.AI cs.IR
The State of Generative AI in Software Development: Insights from Literature and a Developer Survey
Bucharest University of Economic Studies(布加勒斯特经济大学)
研究通过文献综述和65名开发者的调查,发现生成式AI在设计、实现、测试和文档中影响最大,显著减少重复性任务时间,但早期SDLC阶段收益较低,需加强治理以应对风险。
2026-03-17 cs.AI cs.CY cs.ET
UniGDD: A Unified Generative Framework for Goal-Oriented Document-Grounded Dialogue
The Chinese University of Hong Kong(香港中文大学)
面向目标的基于文档的对话旨在基于对话上下文和支持文档来响应用户查询。现有的研究通过将其分解为两个子任务来解决这个问题:知识识别和响应生成。然而,这样的流水线方法将不可避免地遭受错误传播问题。本文提出了统一这两个子任务,通过顺序生成接地知识和响应。我们进一步开发了一个多任务连接的学习策略,以模拟不同任务的特性和连接,并引入线性温度调度,以减少不相关的文档信息的负面影响。实验结果证明了我们的框架的有效性。
2022-04-16 cs.AI cs.CL
SCORE: A Semantic Evaluation Framework for Generative Document Parsing
Unstructured Technologies
SCORE提出一个解释无关的语义评估框架,通过编辑距离、令牌诊断、表格空间容差和层级一致性检查,纠正传统指标对生成式文档解析中有效多样性的误罚,实现公平且可解释的基准测试。
2025-09-16 cs.AI cs.CL
Event GDR: Event-Centric Generative Document Retrieval
Tsinghua University(清华大学);Shanxi University(山西大学)
针对生成式文档检索存在的文档内容关联弱、标识符语义结构不明确的问题,提出融入事件知识的Event GDR模型,采用多智能体交互-反思法抽取事件,用事件与关系建模文档、映射事件分类体系构建标识符,在两个数据集上性能显著优于基线。
2024-05-11 cs.AI cs.CL cs.IR
Schema-Guided Hierarchical Information Extraction and Semantic Evaluation Using Generative AI
该研究提出模式引导的生成式AI框架,可零样本提取分层结构化信息并自动语义评估,在NICE文档上F1超90%,速度为人类专家30倍,具通用性与可迁移性。
2026-08-07 cs.AI cs.CL
Combining Deep Generative Models and Multi-lingual Pretraining for Semi-supervised Document Classification
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Imperial College London(帝国理工学院);Technion, IIT(以色列理工学院)
通过深度生成模型和多语言预训练技术的半监督学习在NLP的不同领域取得了巨大的成功。尽管如此,它们的发展是孤立发生的,而两者的结合可能有效地解决特定任务标记的数据短缺问题。为了弥合这一差距,我们将半监督深度生成模型和多语言预训练相结合,形成了一个文档分类任务的管道。与强大的监督学习基线相比,我们的半监督分类框架具有很强的竞争力,在几种语言的低资源环境中表现优于最先进的同行。
2021-01-26 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University(康奈尔大学)
我们重新审视经典的问题,文档级的角色填充实体提取(REE)模板填充。我们认为,文本级的方法是不适合的任务,并引入了一个生成的基于转换器的编码器-解码器框架(GRIT),其目的是在文档级的上下文建模:它可以跨句子边界提取决策,是隐含地知道名词短语的共指结构,并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法,并表明我们的模型比以前的工作表现得更好。我们还表明,我们的建模选择有助于模型性能,例如,通过隐式地捕获语言知识,例如识别共指实体提及。
2021-01-28 cs.CL
GMN: Generative Multi-modal Network for Practical Document Information Extraction
Tencent YouTu Lab(腾讯优图实验室);University of Science and Technology of China(中国科学技术大学)
文档信息抽取(DIE)由于其在现实世界中的各种高级应用而受到越来越多的关注。虽然最近的文献已经取得了有竞争力的结果,这些方法通常失败时,处理复杂的文件与嘈杂的OCR结果或可变的布局。本文提出了生成多模态网络(GMN)的现实世界的场景,以解决这些问题,这是一个强大的多模态生成方法没有预定义的标签类别。通过精心设计的空间编码器和模式感知掩码模块,GMN可以处理难以序列化的复杂文档。此外,GMN容忍OCR结果中的错误,并且不需要字符级注释,这是至关重要的,因为许多文档的细粒度注释是费力的,甚至需要具有专业领域知识的注释者。大量的实验表明,GMN在几个公开的DIE数据集上实现了新的最先进的性能,并在很大程度上超过了其他方法,特别是在现实场景中。
2022-07-11 cs.CL
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面,主题建模通过利用同一文档中的全局词语搭配模式,将文档映射到低维主题空间。这两种模式是互补的。在本文中,我们提出了一个生成式的主题嵌入模型,结合这两种类型的模式。在我们的模型中,主题由嵌入向量表示,并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中,我们的方法比现有的八种方法性能更好,功能更少。此外,我们用一个例子说明,我们的方法可以生成连贯的主题,即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
DORE: Document Ordered Relation Extraction based on Generative Framework
Amazon AWS AI(亚马逊AWS人工智能);Fudan University(复旦大学)
近年来,基于生成的信息抽取工作激增,这允许更直接地使用预训练的语言模型并有效地捕获输出依赖关系。然而,以前的生成方法使用词汇表示不自然适合文档级关系抽取(DocRE),其中有多个实体和关系事实。在本文中,我们调查了现有生成式DocRE模型表现不佳的根本原因,并发现罪魁祸首是训练范式的不足,而不是模型的能力。我们建议从关系矩阵中生成一个符号化的有序序列,这是确定性的,更容易让模型学习。此外,我们设计了一种并行行生成方法来处理过长的目标序列。此外,我们还介绍了几种负采样策略,以改善平衡信号的性能。在四个数据集上的实验结果表明,我们提出的方法可以提高生成式DocRE模型的性能。我们已经在https://github.com/ayyyq/DORE上发布了我们的代码。
2022-11-09 cs.CL
Identification of Regulatory Requirements Relevant to Business Processes: A Comparative Study on Generative AI, Embedding-based Ranking, Crowd and Expert-driven Methods
Technical University of Munich(慕尼黑工业大学);University of Queensland(昆士兰大学)
本研究针对识别业务流程相关监管要求的人工成本高的问题,比较了基于嵌入的NLP排序、GPT-4生成式AI、众包与专家纯手动四种方法在两个真实案例中的表现,为不同场景下选择最优方法组合提供了指导原则。
2024-01-02 cs.AI cs.CL
LBMT team at VLSP2022-Abmusu: Hybrid method with text correlation and generative models for Vietnamese multi-document summarization
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所);Viettel Group(越南军用电子电信集团)
本文针对越南语多文档摘要任务,提出结合改进PageRank与文本相关性的抽取式方法,并利用BARTpho和ViT5构建抽象式模型,在VLSP 2022竞赛中取得有竞争力的效果。
2023-04-11 cs.CL
Bottleneck-Minimal Indexing for Generative Document Retrieval
Waseda Research Institute for Science and Engineering, Waseda University(早稻田大学科学与工程研究所);The University of Tokyo(东京大学);Waseda University(早稻田大学)
本研究从信息论视角分析生成式文档检索的索引瓶颈问题,基于香农率失真理论提出瓶颈最小化索引方法,在NQ320K与MARCO数据集上表现优于现有索引方法。
2024-05-21 cs.AI cs.CL cs.IR
Visually Guided Generative Text-Layout Pre-training for Document Intelligence
The Chinese University of Hong Kong(香港中文大学)
提出视觉引导的生成式文本-版面预训练方法ViTLP,通过层次化建模与多段生成方案处理长文档,实现文本定位识别并提升多种文档理解任务性能。
2024-03-27 cs.CL cs.CV
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);ATR(ATR(先进电信研究所))
本文提出JDocQA,一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集,要求同时利用视觉与文本信息,并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
From Matching to Generation: A Survey on Generative Information Retrieval
Renmin University of China(中国人民大学);Tsinghua University(清华大学)
本文综述了生成式信息检索(GenIR)的最新进展,将其分为生成式文档检索和可靠响应生成两方面,系统总结了模型训练、知识增强等核心技术及未来挑战,为该领域提供了全面参考。
2025-03-04 cs.AI cs.CL cs.IR
Generative Interest Estimation for Document Recommendations
Hasso Plattner Institute(哈索·普拉特纳研究院)
文档的分布式表示学习已经推动了自然语言处理任务的发展,并且最近被成功地应用于推荐系统领域。在本文中,我们提出了一种新的基于内容的推荐系统的基础上学习表示和用户兴趣的生成模型。我们的方法工作原理如下:首先,我们学习文本文档语料库的表示。然后,我们捕捉用户的兴趣作为一个生成模型的空间中的文档表示。特别是,我们为每个用户的兴趣分布建模为高斯混合模型(GMM)。可以通过从用户的生成模型中采样来直接获得推荐。使用潜在语义分析(LSA)作为比较,我们计算和探索的美味书签数据集,推荐系统的标准基准的文档表示。然后,我们在这两个空间中进行密度估计,并表明学习表示在预测性能方面优于LSA。
2017-11-28 cs.CL cs.IR cs.LG
GenKIE: Robust Generative Multimodal Document Key Information Extraction
University of Michigan(密歇根大学);National University of Defense Technology(国防科技大学);Zhejiang University(浙江大学);University of Glasgow(格拉斯哥大学)
本文提出GenKIE,一种序列到序列的多模态生成式模型,通过多模态编码器融合视觉、布局和文本特征,并利用提示作为弱监督信号引导关键信息生成,有效纠正OCR错误并免去token级标注,在多数据集上达到SOTA且展现强鲁棒性。
2023-10-24 cs.CL
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
无数据文本分类,即,弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词(称为种子词)进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验,然而,这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题,在本文中,我们提出了一种新的制定类别先验。首先,对于每个文件,我们认为它的标签隶属度,不仅计算种子词的出现,但也使用一种新的原型计划,它捕获伪最近邻类别。其次,对于每个标签,我们考虑其语料库的频率先验知识,这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中,我们提出了一种新的生成式无数据方法,即弱监督原型主题模型(WSPTM)。在真实数据集上的实验结果表明,WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
Summarization-Based Document IDs for Generative Retrieval with Language Models
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究提出基于摘要的生成式内容文档ID(ACID),用自然语言摘要/关键短语替代传统整数ID,在MSMARCO和NQ 100k检索任务上显著提升召回率,同时发现文档特征会影响检索效果。
2024-10-30 cs.CL cs.IR
SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization
University of Information Technology(信息科技大学);VNU - HCM(胡志明市国家大学);Deakin University(迪肯大学);National Institute of Informatics(情报学研究所);University of Göttingen(哥廷根大学);University of Würzburg(维尔茨堡大学)
本文提出SKT5SciSumm混合框架,利用SPECTER编码和k-means聚类进行抽取式摘要,并结合T5模型生成抽象式摘要,在Multi-XScience数据集上达到最先进性能。
2024-09-27 cs.CL
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich(苏黎世联邦理工学院)
大多数生成式文档模型作用于词袋输入,试图专注于语义内容,从而部分放弃句法信息。我们认为,它是更可取的,以保持原来的词序完整,而明确的句法结构,而不是。我们提出了对神经变分文档模型的扩展(Miao等人,2016年),它正是这样做的,以分离本地(语法)上下文从全局(语义)表示的文件。我们的模型建立在变分自编码器框架上,定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器,因为与其前身相比,它对真实的输入序列进行操作。在一系列的实验中,我们观察到更强的时事性的学习表示,以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
Document Hashing with Mixture-Prior Generative Models
School of Data and Computer Science, Sun Yat-sen University(中山大学数据与计算机学院);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室);ECE Department, Duke University(杜克大学电气与计算机工程系);CSE Department, SUNY at Buffalo(纽约州立大学布法罗分校计算机科学与工程系)
由于二进制代码之间距离评估的效率,散列对于大规模信息检索任务是有希望的。生成式散列通常用于以无监督的方式生成散列代码。然而,现有的生成哈希方法只考虑使用简单的先验,如高斯和伯努利先验,这限制了这些方法进一步提高其性能。在本文中,提出了两个混合先验生成模型的目标下,产生高质量的散列代码的文件。具体而言,高斯混合先验首先施加到变分自动编码器(VAE),然后通过单独的步骤将VAE的连续潜在表示转换为二进制代码。为了避免单独铸造造成的性能损失,使用伯努利混合先验的模型进一步发展,其中端到端的训练是通过诉诸直通(ST)离散梯度估计器。在几个基准数据集上的实验结果表明,所提出的方法,特别是使用伯努利混合先验的方法,始终优于现有的一个很大的保证金。
2019-08-29 cs.CL cs.IR