Literature Retrieval for Precision Medicine with Neural Matching and Faceted Summarization
University of Kentucky(肯塔基大学)
精准医疗(PM)的信息检索(IR)通常涉及寻找表征患者病例的多个证据。这通常至少包括病症的名称和适用于患者的遗传变异。其他因素,如人口统计学属性、合并症和社会决定因素也可能相关。因此,检索问题通常被公式化为ad hoc搜索,但具有多个方面(例如,疾病,突变),可能需要纳入。在本文中,我们提出了一个文档重排序的方法,结合神经查询文档匹配和文本摘要对这样的检索场景。我们的架构建立在基本的BERT模型上,有三个特定的组件用于重新排序:(a)。文档-查询匹配(b)。关键词提取和(c).分面条件抽象概括。(b)和(c)的结果用于将候选文档基本上转换为简明摘要,该简明摘要可以与手头的查询进行比较以计算相关性分数。组件(a)直接生成查询的候选文档的匹配分数。完整的架构受益于文档查询匹配的互补潜力和新的文档转换方法的基础上总结沿PM方面。使用NIST的TREC-PM跟踪数据集(2017- 2019)进行的评估表明,我们的模型达到了最先进的性能。为了促进可重复性,我们的代码可以在这里获得:https://github.com/bionlproc/text-summ-for-doc-retrieval。
2020-12-17 cs.CL cs.IR
Context-augmented Retrieval: A Novel Framework for Fast Information Retrieval based Response Generation using Large Language Model
针对RAG问答系统因语料库增大导致回答质量下降的问题,提出结合经典文本分类与LLM的上下文增强检索(CAR)框架,通过实时分类分区向量数据库实现快速检索并提升生成质量。
2024-07-31 cs.IR
Summarization-Based Document IDs for Generative Retrieval with Language Models
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究提出基于摘要的生成式内容文档ID(ACID),用自然语言摘要/关键短语替代传统整数ID,在MSMARCO和NQ 100k检索任务上显著提升召回率,同时发现文档特征会影响检索效果。
2024-10-30 cs.CL cs.IR
Applying Vector Space Model (VSM) Techniques in Information Retrieval for Arabic Language
信息检索(IR)允许存储、管理、处理和检索信息、文档、网站等。这是显而易见的,通过大量的努力,建立IR系统使用任何模型,是有效的某些语言。本报告提出了一个实现的核心IR技术,这是向量空间模型(VSM)。我们选择VSM模型为我们的项目,因为它是一个术语加权方案,检索到的文档可以根据其相关度排序。这种技术的另一个重要特征是能够从系统的用户获得相关反馈;用户可以判断检索到的文档是否与他们的需要相关。开发的系统已通过使用服务器端脚本建立一个阿拉伯IR网站进行验证。实验结果表明,该系统能够有效地应用向量空间模型的所有技术,并对阿拉伯语有效。
2018-01-15 cs.IR
Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
代码摘要在给定源代码片段的情况下生成简短的自然语言描述,而代码检索在给定自然语言查询的情况下获取相关源代码。由于这两个任务的目的是建立自然语言和程序设计语言之间的联系,最近的研究已经结合这两个任务,以提高其性能。然而,研究人员还没有能够有效地利用这两个任务之间的内在联系,因为他们训练这些任务在一个单独的或管道的方式,这意味着他们的表现不能很好地平衡。在本文中,我们提出了一个新的端到端的模型,这两个任务,通过引入一个额外的代码生成任务。更具体地说,我们明确地利用代码摘要和代码生成与双重学习之间的概率相关性,并利用两个编码器的代码摘要和代码生成训练的代码检索任务,通过多任务学习。我们已经在现有的SQL和Python数据集上进行了广泛的实验,结果表明,我们的模型可以显着提高代码检索任务的结果超过最先进的模型,以及实现竞争力的性能方面的BLEU得分的代码摘要任务。
2020-02-25 cs.CL cs.IR cs.SE
Towards a Robust Retrieval-Based Summarization System
North Carolina State University(北卡罗来纳州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文提出LogicSumm评估框架和SummRAG系统,通过构建训练对话并微调模型,系统性地提升大语言模型在基于检索增强生成的摘要任务中的鲁棒性与摘要质量。
2024-03-29 cs.AI cs.CL cs.IR
Code-Craft: Hierarchical Graph-Based Code Summarization for Enhanced Context Retrieval
本文提出层次代码图摘要生成方法HCGS,通过自底向上构建代码库多层表示并结合语言服务器协议与并行算法,在大规模代码检索中显著提升精度。
2025-04-11 cs.IR cs.SE
SVD-RAG: Efficient Tree-Organized Retrieval-Augmented Generation via Singular Value Decomposition
研究提出SVD-RAG,通过对密集句子嵌入矩阵应用奇异值分解进行层次RAG抽取式摘要。该方法具确定性、成本效益高、内容自适应特点,实验表明其检索质量与RAPTOR相近,构建树速度更快且在多主题基准上性能提升显著。
2026-07-14 cs.IR
Efficient course recommendations with T5-based ranking and summarization
本文提出一个基于 RankT5 重排序和自动摘要的两阶段课程推荐检索流水线,在标注数据集上显著超越 BM25 基线,并通过量化实现 40% 加速。
2024-06-27 cs.IR
Overview of TREC 2025 Biomedical Generative Retrieval (BioGen) Track
National Library of Medicine, NIH(美国国家医学图书馆);Oregon Health & Science University(俄勒冈健康与科学大学);UTHealth Houston(休斯顿德州大学健康科学中心)
本文探讨了大型语言模型在生物医学任务中的最新进展,指出尽管模型在处理和综合复杂生物医学信息方面表现出色,但生成陈述的可验证性仍是关键挑战,特别是在医疗问答等高风险领域。
2026-03-23 cs.IR
MMSRARec: Summarization and Retrieval Augumented Sequential Recommendation Based on Multimodal Large Language Model
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学技术学院)
本文提出MMSRARec,基于多模态大语言模型,通过摘要与检索增强序列推荐,提升推荐性能、可解释性与计算效率。
2025-12-24 cs.IR cs.MM
A Unified Retrieval Framework with Document Ranking and EDU Filtering for Multi-document Summarization
Institute of Science(科学研究所);The University of Tokyo(东京大学);Center for Spatial Information Science(空间信息科学中心)
提出统一检索框架,利用潜在查询指导文档排序并过滤不相关EDU,解决多文档摘要的上下文长度限制,提升ROUGE指标。
2025-04-23 cs.IR cs.LG
Nyay-Darpan: Enhancing Decision Making Through Summarization and Case Retrieval for Consumer Law in India
Indian Institute of Technology Bombay(印度理工学院孟买学院);National Law School of India University(印度国家法律学校大学)
本文提出Nyay-Darpan框架,通过总结消费者案件档案和检索相似案件判决,辅助印度消费者纠纷决策,填补了消费者法AI工具的空白。
2025-08-08 cs.CL cs.IR
Iterative Expectation for Multi Period Information Retrieval
许多信息检索(IR)模型利用离线统计技术对文档进行评分以在单个时段内进行排名,而不是使用随时间响应用户的在线动态系统。在本文中,我们明确地制定了一个一般的多周期信息检索问题,我们认为检索作为一个随机而可控的过程。在该过程中的排名动作不断控制检索系统的动态,并找到最佳的排名策略,以最大限度地提高整体用户的满意度在多个时期尽可能多。我们的推导显示了有趣的属性,如何从用户的反馈,通过点击后验概率的文档相关性的演变,并提供了一个插件框架,将不同的点击模型。基于多臂强盗理论,我们提出了一个简单的实现我们的框架,使用一个动态的排名规则,考虑到排名偏见和探索的文件。我们使用TREC数据为我们的模型学习一个合适的探索参数,然后使用搜索日志数据集分析其性能和一些变体;实验表明,随着时间的推移,使用用户反馈以一种可以处理排名偏差的方式动态探索文档相关性的能力。
2013-03-21 cs.IR
Re-ranking the Context for Multimodal Retrieval Augmented Generation
University of Maryland College Park(马里兰大学帕克分校);NEC Laboratories America(美国NEC实验室)
针对多模态 RAG 检索无关条目的问题,本文利用相关性分数 RS 替代嵌入余弦相似度,并自适应选择至多 k 个条目重排上下文,在 COCO 上显著提升相关性与回答准确性。
2025-01-08 cs.CV cs.IR cs.IT
RAG-Check: Evaluating Multimodal Retrieval Augmented Generation Performance
University of Maryland(马里兰大学);NEC Laboratories America(美国NEC实验室)
本文提出RAG-Check框架,通过相关性分数RS和正确性分数CS评估多模态RAG可靠性,并构建5000条人工标注数据验证其接近人类判断。
2025-01-07 cs.CV cs.IR cs.IT
Horizon Scans can be accelerated using novel information retrieval and artificial intelligence tools
NIHR Innovation Observatory(NIHR创新观测站);Newcastle University(纽卡斯尔大学)
针对医疗保健地平线扫描中信息检索与分析效率低的问题,本研究开发了开源工具 SCANAR 和 AIDOC,通过自动化检索及 AI 语义排序显著提升效率并减少人工审查,验证了其优化扫描流程的潜力。
2026-10-14 cs.AI cs.CL cs.IR
Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Amazon Alexa AI(亚马逊Alexa AI)
本文提出一种摘要增强个性化方法,利用大语言模型离线生成任务感知的用户摘要,并与运行时检索结合,在减少75%检索数据的情况下,在LaMP基准上达到或超越现有检索增强方法的个性化性能。
2023-10-30 cs.AI cs.CL cs.IR
Using Generic Summarization to Improve Music Information Retrieval Tasks
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院);INESC-ID Lisboa(INESC-ID里斯本)
为了满足处理时间的限制,许多MIR任务只处理整个音乐信号的一段。这种做法可能会导致性能下降,因为任务的最重要的信息可能不在这些处理的片段中。在本文中,我们利用通用摘要算法,以前应用于文本和语音摘要,总结音乐数据集中的项目。这些算法通过从输入信号中选择适当的片段来构建既简洁又多样的摘要,这使得它们也是总结音乐的良好候选者。我们评估二进制和多类音乐流派分类任务的摘要过程,通过比较使用总结数据集获得的性能与使用连续片段(这是用于解决前面提到的时间限制的传统方法)和相同原始数据集的完整歌曲获得的性能。我们表明,GRASSHOPPER,LexRank,LSA,MMR和基于支持集的中心性模型与选定的30秒基线相比,提高了分类性能。我们还表明,汇总数据集导致的分类性能的差异是不使用完整的歌曲在统计上显着。此外,我们提出了一个论点,说明共享汇总数据集的优势,为未来的MIR研究。
2016-03-09 cs.IR cs.LG cs.SD
Beyond Relevant Documents: A Knowledge-Intensive Approach for Query-Focused Summarization using Large Language Models
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能);University of Edinburgh(爱丁堡大学)
提出一种知识密集型查询聚焦摘要方法,通过检索模块从大规模语料库获取文档,结合LLM摘要控制器生成准确摘要,无需预先相关文档,实验验证其优越性能。
2024-08-19 cs.CL cs.IR
A Data Science Approach to Calcutta High Court Judgments: An Efficient LLM and RAG-powered Framework for Summarization and Similar Cases Retrieval
A.K.Choudhury School of IT(A.K.Choudhury信息科技学院);University of Calcutta(加尔各答大学);Department of Computer Science(计算机科学系);Bangabasi Morning College(Bangabasi晨学院)
本文提出一种结合微调Pegasus模型与RAG技术的框架,用于加尔各答高等法院判决的摘要生成和相似案件检索,以提升法律研究效率。
2025-06-28 cs.AI cs.IR cs.LG
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究文档摘要技术,提出基于 rank aggregation 与相关性反馈的图像推荐方法,并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求,在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
A Hybrid Citation Retrieval Algorithm for Evidence-based Clinical Knowledge Summarization: Combining Concept Extraction, Vector Similarity and Query Expansion for High Precision
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院);Bluhm Cardiovascular Institute of Northwestern Medicine(西北大学布鲁姆心血管研究所);University of Kansas Medical Center(堪萨斯大学医学中心)
新的信息检索方法,以确定引文相关的临床主题,可以克服知识差距之间存在的主要文献(MEDLINE)和在线临床知识资源,如UpToDate。直接检索MEDLINE数据库或使用查询扩展方法检索MEDLINE数据库会返回大量与查询无关的引文。目前的研究提出了一个引文检索系统,检索引文的循证临床知识总结。该方法结合了查询扩展、基于概念的筛选算法和基于概念的向量相似度。我们还提出了一个信息抽取框架自动概念(人口,干预,比较和疾病)提取。我们评估了我们提出的系统上的所有主题(查询)从UpToDate两种疾病,心力衰竭(HF)和心房颤动(AFib)。根据UpToDate中可用的引用金标准,该系统在HF主题上的总体F分数为41.2%,在AFib主题上的总体F分数为42.4%。与基于查询扩展的基线(HF的F评分为1.3%,AFib为2.2%)和使用疾病下位词和期刊名称、基于概念的筛选和基于术语的向量相似性系统(HF的F评分为37.5%,AFib为39.5%)的查询扩展的系统相比,这一数值显著较高。使用前K个相关引文评估系统,其中K是金标准中的引文数量,HF主题的总体F分数为69.9%,AFib主题为75.1%。此外,当对10个HF和6个AFib临床主题进行测试时,系统每个主题检索到多达18个新的相关引文。
2016-09-06 cs.CL cs.IR
Cross-platform epistemic verification for improving factual reliability in AI-generated news summarization
Bank of Changsha Co., Ltd.(长沙银行);College of Communication, Emerging Media Studies, Boston University(波士顿大学传播学院新兴媒体研究)
本研究提出多源证据共识验证(MECV)框架,通过多异构来源证据聚合与多LLM陪审团机制修正AI生成新闻摘要的幻觉,在SummEdits基准上提升了事实一致性,为可信AI与自动化新闻研究提供了新方法。
2026-08-07 cs.IR
MiCRO: Multi-interest Candidate Retrieval Online
在项目表现出短暂性和时间相关性的环境中提供个性化推荐(例如在社交媒体中)提出了一些独特的挑战:(1)在频繁创建新项目的环境中归纳地理解对项目的短暂吸引力,(2)适应项目可能经历相关性的时间变化的参与模式内的趋势,(3)在用户可以表达多种兴趣的项目空间上精确地建模用户偏好。在这项工作中,我们介绍了MiCRO,一个生成的统计框架,模型多兴趣的用户偏好和时间多兴趣项表示。我们的框架是专门制定的,以适应新的项目和时间的参与模式。MiCRO在两个大规模用户-项目数据集上进行的候选检索实验中表现出了强大的经验性能:(1)(用户,用户)关注交互的开源时间数据集和(2)(用户,推文)最喜欢的交互的时间数据集,我们将开源作为对社区的额外贡献。
2022-10-28 cs.IR cs.SI
A Cascaded Architecture for Extractive Summarization of Multimedia Content via Audio-to-Text Alignment
Brac University(BRAC大学)
本文提出一种结合Azure Speech音频转文本与Whisper、Pegasus、BART XSum等抽取式摘要模型的多媒体内容级联摘要架构,实验表明其ROUGE和F1分数优于传统方法。
2025-03-06 cs.AI cs.IR cs.SD
CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization
Salesforce Research(赛富时研究院)
2019冠状病毒病全球大流行促使国际社会努力了解、跟踪和减轻这种疾病,产生了跨科学学科的2019冠状病毒病和SARS-CoV-2相关出版物的重要语料库。截至2020年5月,已通过COVID-19开放研究数据集挑战收集了128,000篇与冠状病毒相关的出版物。在这里,我们介绍了CO-Search,这是一个检索器-排名器语义搜索引擎,旨在处理对COVID-19文献的复杂查询,可能有助于负担过重的卫生工作者在危机时期找到科学答案。检索器是建立从Siamese-BERT编码器,是线性组成的TF-IDF矢量化,和倒数秩融合的BM 25矢量化。该排名器是由一个多跳问答模块,连同多段摘要摘要调整检索分数。为了解决特定领域和相对有限的数据集,我们生成了文档段落和引用的二分图,创建了130万个(引用标题,段落)元组用于训练编码器。我们根据TREC-COVID信息检索挑战的数据评估了我们的系统。CO-Search在第一轮和第二轮的数据集上获得了最佳性能,包括几个关键指标:归一化折扣累积增益、精度、平均精度和二进制偏好。
2020-06-17 cs.AI cs.CL cs.IR
Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出跨模态循环网络学习联合嵌入,以弱对齐音频-乐谱对实现长乐段摘要,有效处理速度差异,在合成与真实钢琴数据上均取得更准确的检索效果。
2023-09-21 cs.IR cs.LG cs.SD
TREC 2020 Podcasts Track Overview
Spotify(声田);CLARIN ERIC;Dublin City University(都柏林城市大学)
Podcast Track是2020年文本检索会议(TREC)的新内容。播客轨道的目的是鼓励研究播客在信息检索和NLP研究社区。该曲目由两个共享任务组成:片段检索和摘要,两者都基于与曲目同时发布的超过100,000个播客集(元数据,音频和自动转录)的数据集。这条赛道引起了相当大的兴趣,吸引了数百名新注册的TREC和15个团队,大多是搜索和总结之间的分离,进行了最终提交的评估。深度学习是搜索实验和摘要的主要实验方法。本文概述了任务和参与者的实验结果。这条赛道将在TREC 2021中返回相同的两项任务,并根据参与者的反馈进行轻微修改。
2021-03-29 cs.CL cs.IR
Tackling Query-Focused Summarization as A Knowledge-Intensive Task: A Pilot Study
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能);University of Edinburgh(爱丁堡大学)
本研究将查询聚焦摘要(QFS)作为知识密集型任务处理,无需预先提供相关文档,构建了新数据集KI-QFS,实验表明现有模型在该设置下表现显著下降,揭示了知识密集型QFS的挑战与改进空间。
2023-07-31 cs.CL cs.IR
SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG
University of British Columbia(不列颠哥伦比亚大学);ServiceNow Research(ServiceNow研究院)
提出SproutRAG,通过注意力引导构建句子级分块树,实现多粒度检索,无需额外LLM调用,平均信息效率提升6.1%。
2026-06-18 cs.CL cs.IR
FG-RAG: Enhancing Query-Focused Summarization with Context-Aware Fine-Grained Graph RAG
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出FG-RAG框架,通过上下文感知实体扩展和查询级细粒度摘要,解决现有GraphRAG在查询聚焦摘要任务中缺乏查询感知和上下文信息的问题,并在多个指标上优于其他RAG系统。
2025-03-13 cs.AI cs.CL cs.IR
The Effect of Document Summarization on LLM-Based Relevance Judgments
The University of Queensland(昆士兰大学);University of Udine(乌迪内大学)
本文研究了文档摘要对基于大语言模型的相关性判断可靠性及IR评估的影响,发现摘要判断在稳定性上与完整文档判断相当,但引入了系统性的标签偏见。
2025-12-05 cs.AI cs.CL cs.IR
TCRA-LLM: Token Compression Retrieval Augmented Large Language Model for Inference Cost Reduction
Meetyou AI Lab(美柚人工智能实验室);Xiamen Key Laboratory of Women’s Internet Health Management(厦门市女性互联网健康管理重点实验室);Osaka University(大阪大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
提出TCRA-LLM词元压缩方案,通过摘要压缩和语义压缩两种方法,有效降低检索增强LLMs的输入词元大小和推理成本,在Food-Recommendation DB数据集上实现65%的词元缩减且准确率提升0.3%,或20%缩减仅损失1.6%准确率。
2023-10-25 cs.CL cs.IR
Document-Level Abstractive Summarization
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Instituto de Telecomunicações(电信研究所)
自动文本摘要的任务产生一个简洁流畅的文本摘要,同时保留关键信息和整体意义。近年来,通过使用基于Transformer体系结构的模型,文档级摘要的最新方法有了显著的改进。然而,相对于序列长度的二次存储器和时间复杂度使得它们的使用非常昂贵,特别是对于文档级摘要所需的长序列。我们的工作解决了文档级摘要的问题,通过研究如何有效的Transformer技术可以用来提高自动摘要的很长的文本。特别是,我们将使用arXiv数据集(由多篇科学论文和相应的摘要组成)作为这项工作的基线。然后,我们提出了一种新的检索增强方法的基础上的架构,通过处理较小的块,降低了整个文档的摘要生成的成本。结果低于基线,但表明更有效的记忆,消费和诚实。
2022-12-06 cs.CL cs.IR
Discourse-Aware Scientific Paper Recommendation via QA-Style Summarization and Multi-Level Contrastive Learning
Institute of Communication Studies, Communication University of China(中国传媒大学通信学院);Beijing Renhe Information Technology Co., Ltd.(北京润和信息技术有限公司);Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals(科技期刊数字出版总流程管理重点实验室)
本文提出OMRC-MR框架,通过QA式OMRC摘要、多层级对比学习和结构感知重排序,将论文转化为语篇一致的表示,在多个数据集上显著提升了科学论文推荐的精度与可解释性。
2025-11-05 cs.AI cs.IR
Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
George Washington University(乔治·华盛顿大学)
该2023年秋的研究构建了结合LLM与RAG的财经新闻摘要流程,测试多种模型与方法,发现Summarize Chains的Falcon-7B表现最优,RAG存在缺陷,且相关失效模式至今仍具参考价值。
2026-08-21 cs.AI cs.CL cs.IR
Annotation of Scientific Summaries for Information Retrieval
我们提出了一种结合表面NLP和机器学习技术的方法,用于基于注释语料库对摘要进行排名和生成摘要。语料库中标注了元语义标签,表明句子承载的信息类别(目标,发现,新事物,假设,结论,未来的工作,相关工作)。标注后的语料被输入自动摘要器,用于面向查询的摘要排序和多摘要摘要。为了使摘要器适应这两个任务,设计了两个新的加权函数,以考虑语料库中标签的分布。结果,虽然仍然是初步的,鼓励我们追求这条线的工作,并找到更好的方法来建立IR系统,可以考虑到语义标注的语料库。
2011-10-26 cs.IR
TTQA-RS- A break-down prompting approach for Multi-hop Table-Text Question Answering with Reasoning and Summarization
University of Florida(佛罗里达大学)
本文提出TTQA-RS模型,通过分解提示、检索增强生成和表格-文本摘要,结合推理与子问题答案,在多跳表格-文本问答任务上以开源LLM取得最优性能。
2024-09-30 cs.CL cs.IR
Meta Knowledge for Retrieval Augmented Large Language Models
本研究针对RAG系统难综合大量多样化文档的问题,提出含元知识摘要的“准备-改写-检索-阅读”新型数据-centric RAG工作流,验证其检索与答案质量更优且成本低,可适配微调进一步提效。
2024-08-16 cs.IR
Hybrid Context Retrieval Augmented Generation Pipeline: LLM-Augmented Knowledge Graphs and Vector Database for Accreditation Reporting Assistance
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对商学院AACSB认证报告耗时问题,提出混合上下文检索增强生成流水线,结合向量数据库与LLM增强知识图谱,经RAGAs评估在答案相关性和正确性上表现最佳。
2024-05-24 cs.AI cs.IR
IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
University College London(伦敦大学学院);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Tianjin University(天津大学);Birkbeck, University of London(伦敦大学伯贝克学院)
本文对信息检索建模中的两个思想流派进行了统一的阐述:生成式检索侧重于预测给定查询的相关文档,判别式检索侧重于预测给定查询-文档对的相关性。我们提出了一个博弈论的极大极小博弈迭代优化这两个模型。一方面,旨在从标记和未标记数据中挖掘信号的判别模型为训练生成模型提供指导,以在给定查询的文档上拟合潜在的相关性分布。另一方面,生成模型作为当前判别模型的攻击者,通过最小化其判别目标,以对抗的方式为判别模型生成困难的示例。随着这两个模型之间的竞争,我们表明,统一的框架利用了两个学派的思想:(i)生成模型学习通过来自判别模型的信号来拟合文档的相关性分布,以及(ii)判别模型能够利用生成模型选择的未标记数据来实现对文档排序的更好估计。我们的实验结果表明,在包括Web搜索、项目推荐和问答在内的各种应用中,与强基线相比,Precision@5和MAP的性能分别提高了23.96%和15.50%。
2018-02-22 cs.IR cs.LG
Biomedical Question Answering via Multi-Level Summarization on a Local Knowledge Graph
University of Michigan(密歇根大学)
本文提出一种利用命题主张从检索文档构建局部知识图谱,并通过逐层摘要上下文化小型语言模型以执行生物医学问答的新方法,在多个基准上性能优于RAG基线。
2025-04-02 cs.AI cs.CL cs.IR
Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present?
Cascade Research(Cascade研究)
研究在强重排序器存在下,多种RAG检索增强方法是否仍有效。构建异构基准HetDocQA,发现仅查询扩展和SSCC(新提出的逐源校准校正器)能带来可靠提升。
2026-06-14 cs.AI cs.IR
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
文档自动摘要技术的发展日趋成熟,为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档,向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本,为用户提供有用信息的过程,而多文档摘要是从一组文档中生成摘要,提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具,本文考虑了词汇衔接特征在自动文摘中的作用,并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义,然后构造词汇链,去除得分较低的词汇链,从词汇链中粗略地检测出主题,并根据主题对文本进行分割,选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明,与最先进的摘要方法相比,我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature
Stanford University(斯坦福大学);Mayo Clinic(梅奥诊所);Stanford Healthcare(斯坦福医疗中心)
针对医学文献快速增长且缺乏高质量评估数据集的问题,提出了开源检索增强LLM系统Clinfo.ai,并构建了PubMedRS-200数据集与基准任务来评估其及其他OpenQA系统在回答临床问题上的表现。
2023-10-24 cs.AI cs.CL cs.IR
Query Focused Multi-Document Summarization with Distant Supervision
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们认为,更好地建模查询集群的相互作用,以促进查询为重点的多文档摘要(QFS)的问题。由于缺乏训练数据,现有的工作在很大程度上依赖于检索式的方法来估计查询和文本段之间的相关性。在这项工作中,我们利用远程监督从问答,其中各种资源可以更明确地捕捉查询和文档之间的关系。我们提出了一个由粗到细的建模框架,它引入了单独的模块,用于估计片段是否与查询相关,可能包含答案和中心。在此框架下,经过训练的证据估计器进一步辨别哪些检索到的片段可能回答摘要中的最终选择的查询。我们证明,我们的框架优于强比较系统的标准QFS基准。
2020-04-06 cs.CL cs.IR cs.LG
Joint Workshop on Bibliometric-enhanced Information Retrieval and Natural Language Processing for Digital Libraries (BIRNDL 2017)
大量的学术出版物对学者的信息寻求和意义建构提出了挑战。文献计量学、信息检索(IR)、文本挖掘和自然语言处理技术可以帮助这些搜索和查找活动,但尚未得到广泛使用。本次研讨会旨在激励IR研究人员和数字图书馆专业人员详细阐述自然语言处理、信息检索、科学计量学、文本挖掘和推荐技术方面的新方法,这些方法可以大规模地推进学术文档理解、分析和检索方面的最新技术。SIGIR 2017的BIRNDL研讨会将包括特邀演讲,论文会议和第三版计算语言学(CL)科学总结共享任务。
2017-06-08 cs.DL cs.IR
Conversational Text Extraction with Large Language Models Using Retrieval-Augmented Systems
School of Computer Engineering, Kalinga Institute of Industrial Technology(卡林加工业技术学院计算机工程学院)
本文提出基于 RAG 与 LLM 的 PDF 对话式文本提取系统,通过句子嵌入向量检索和上下文生成高亮相关段落,并取得具有竞争力的 ROUGE 表现。
2025-01-16 cs.CL cs.IR
Advanced ingestion process powered by LLM parsing for RAG system
Applus+ IDIADA
针对 RAG 系统处理多模态文档的难题,提出基于 LLM 驱动 OCR 的多策略解析方法,利用节点提取、Multimodal Assembler Agent 和灵活嵌入策略增强文档理解与检索,在多个知识库上提升了答案相关性与信息忠实度。
2024-12-16 cs.AI cs.CL cs.IR
Towards Debiasing Frame Length Bias in Text-Video Retrieval via Causal Intervention
Institute for Infocomm Research(信息通信研究院);A*STAR(新加坡科技研究局);Nanyang Technological University(南洋理工大学)
本文首次系统研究文本-视频检索中训练与测试集帧长度不一致导致的时间偏差,提出因果去偏方法,在多个数据集上超越基线和SOTA,有效缓解偏差。
2023-09-17 cs.CV cs.IR cs.MM
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
阿拉伯文文档聚类是一项重要的任务,以获得良好的效果与传统的信息检索(IR)系统,特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响,文档上的有用信息往往伴随着大量的噪声,因此有必要在保留有用信息的同时消除这些噪声,以提高文档聚类的性能。在本文中,我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估,以解决上述问题,使用五个相似性/距离的措施:欧几里德距离,余弦相似性,Jaccard系数,皮尔逊相关系数和平均Kullback-Leibler发散,两次:没有和词干。实验结果表明,该方法有效地解决了噪声信息和文档长度的问题,从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
Microsoft Research(微软研究院);Microsoft Strategic Missions and Technologies(微软战略任务与技术部);Microsoft Office of the CTO(微软首席技术官办公室)
针对RAG处理全局问题失效、现有QFS方法扩展性不足的问题,提出GraphRAG方法,通过LLM构建实体知识图并预生成社区摘要,在100万token数据集的全局问题上,生成答案的全面性和多样性显著优于传统RAG。
2025-02-19 cs.AI cs.CL cs.IR
Natural Language Summarization Enables Multi-Repository Bug Localization by LLMs in Microservice Architectures
Yildiz Technical University, Dept. of Computer Eng.(Yildiz技术大学,计算机工程系);Yildiz Technical University, Department of Computer Engineering(Yildiz技术大学,计算机工程系)
利用自然语言摘要和LLM技术,通过多仓库微服务架构实现更高效的Bug定位,显著提升定位准确率和透明度。
2025-12-05 cs.AI cs.CL cs.IR