Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology(库尔纳工程技术大学)
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中,我们提出了一种新的技术,从一个单一的Web文档,使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重(SW)和主题权重(SuW)的组合函数来确定句子的排序,其中SW是句子中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数,SuW是主题中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要,并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明,68%的摘要,我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
MeSHup: A Corpus for Full Text Biomedical Document Indexing
University of Western Ontario(西安大略大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Unity Health Toronto(多伦多联合健康中心)
医学主题词(MeSH)索引是指从一个非常大的MeSH术语集合中为给定的生物医学文档分配最相关的标签的问题。目前,PubMed数据库中的大量生物医学文章都是由人类策展人手动注释的,这既耗时又昂贵;因此,可以辅助索引的计算系统非常有价值。在开发有监督的MeSH索引系统时,需要大规模的注释文本语料库。一个公开的,大型语料库,允许强大的评估和比较各种系统是很重要的研究社区。我们发布了一个大规模带注释的MeSH索引语料库MeSHup,其中包含1,342,667篇英文全文文章,以及从MEDLINE数据库收集的相关MeSH标签和元数据,作者和出版地点。我们训练一个端到端模型,该模型将来自文档的特征及其在语料库上的关联标签相结合,并报告新的基线。
2022-04-28 cs.CL cs.IR
SAUCE: Truncated Sparse Document Signature Bit-Vectors for Fast Web-Scale Corpus Expansion
Virginia Tech(弗吉尼亚理工大学);IBM Research Almaden(IBM阿尔马登研究院);eBay Inc(eBay公司)
文本表示的最新进展表明,对大量文本的训练对于自然语言理解至关重要。然而,在没有预定义的主题感兴趣的概念的情况下训练的模型在转移到专门领域时通常需要仔细的微调。当足够量的域内文本可能不可用时,从大规模web数据扩展相关文档的种子语料库带来了几个挑战。首先,语料库扩展需要对集合中的每个文档进行评分和排名,随着网络语料库大小的增长,这种操作很快就会变得计算昂贵。依赖于密集向量空间和成对相似性增加了计算开销。其次,随着领域概念变得更加细致入微,捕捉特定领域稀有术语的长尾变得不容易,特别是在有限的种子语料库场景下。在本文中,我们考虑的问题,快速近似语料库扩展给定一个小的种子语料库与一些相关的文件作为查询,捕捉长尾的特定领域的一组概念术语的目标。为了有效地收集大规模特定领域的语料库有限的相关反馈,我们提出了一种新的截断稀疏文档位向量表示,称为签名辅助无监督语料库扩展(SAUCE)。实验结果表明,SAUCE在保证域内词汇覆盖率的同时,降低了计算负担。
2021-08-26 cs.CL cs.IR
AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning
University of Amsterdam(阿姆斯特丹大学)
研究针对RAG系统中的知识库污染攻击,提出AdversarialCoT方法,通过单文档污染影响LLM推理,揭示其安全风险并提供改进方案。
2026-04-14 cs.IR
Group-Aware Adaptive Retrieval for Evidence Navigation
Sungkyunkwan University(成均馆大学)
针对推理密集型检索的召回率受限问题,提出GAREN方法,通过组级扩展探索语料库图,在BRIGHT数据集上较最强基线提升达8.0%。
2026-09-03 cs.IR
Follow the Entities: A Corpus Map for Agentic Search
KAIST(韩国科学技术院);Microsoft(微软)
针对大型文档集合中证据分散的问题,提出CorpusMap导航层,以实体为中心组织语料库,构建实体-文档图,使智能体高效收集证据,提升检索质量并减少token消耗。
2026-09-30 cs.AI cs.CL cs.IR
Named Entity Recognition Using Web Document Corpus
Institut Superieur de Gestion de Tunis(突尼斯高等管理学院)
介绍了一种文本语料库中的命名实体识别方法。该命名实体(NE)可以是命名的:位置、人、组织、日期、时间等,以实例为特点。NE出现在伴随着上下文的文本中:NE左边或右边的词。本文的工作主要是为了确定诱发东北性质的语境。因此,在文本中出现单词“President”意味着该单词或上下文可以后跟总统的名字“Obama”。类似地,前面有字符串“footballer”的单词会导致这是一个footballer的名字。NE识别可以被视为一种分类方法,其中每个单词都被分配到NE类,关于上下文。本研究的目的是识别和分类的背景下,最相关的识别NE,那些经常发现与NE。然后提出了一种使用训练语料库的学习方法:从学习示例构建的Web文档。使用频率表示和修改的tf-idf表示来计算与语料库中的上下文频率、学习示例频率和文档频率相关联的上下文权重。
2011-02-28 cs.IR cs.LG
On Listwise Reranking for Corpus Feedback
Seoul National University(首尔大学);Delft University of Technology(代尔夫特理工大学)
L2G通过隐式诱导文档图实现高效基于图的检索,无需显式图计算开销,且在效果上与基于oracle的图方法相当。
2025-12-21 cs.IR
Beyond Chunk-Then-Embed: A Comprehensive Taxonomy and Evaluation of Document Chunking Strategies for Information Retrieval
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织);Google(谷歌)
本文研究了文档片段化策略在信息检索中的分类与评估,发现任务依赖性和分段方法差异影响效果,提出统一框架并提供公开基准。
2026-02-19 cs.IR
Zero-Shot Contextual Embeddings via Offline Synthetic Corpus Generation
Delft University of Technology(代尔夫特理工大学)
提出零样本上下文适应框架ZEST,通过离线合成紧凑代理语料库替代真实语料库访问,在无需微调或重训练的情况下生成领域适应嵌入,性能接近完全访问目标语料库的模型。
2025-06-30 cs.CL cs.IR
Corpus structure, language models, and ad hoc information retrieval
大多数以前的工作,最近开发的语言建模方法信息检索的重点是特定于文档的特征,因此没有考虑到周围的语料库的结构。我们提出了一种新的算法框架,在该框架中,基于文档的语言模型所提供的信息被增强了从相似文档的集群中提取的信息。使用这个框架,我们开发了一套新的算法。即使是最简单的方法在精确度和召回率方面也优于标准的语言建模方法,我们的新插值算法在所有三个测试语料库中的两个指标都有统计学上的显着改进。
2004-05-12 cs.CL cs.IR
Method for Customizable Automated Tagging: Addressing the Problem of Over-tagging and Under-tagging Text Documents
University of North Carolina(北卡罗来纳大学);Kennesaw State University(肯尼索州立大学);MD&I (IBM)(MD&I(IBM公司))
使用作者提供的标记来预测新文档的标记通常会导致标记的过度生成。在作者没有提供任何标签的情况下,我们的文档面临着严重的标签不足问题。在本文中,我们提出了一种方法来生成一个通用的标签,可以广泛应用于一个大型的文档语料库。使用IBM Watson的NLU服务,首先,我们从语料库中的8,854个流行报告中收集我们称之为“复杂文档标签”的关键字/短语。我们将LDA模型应用于这些复杂的文档标签,生成一组765个唯一的“简单标签”。在将标记应用于文档语料库时,我们通过IBM Watson NLU运行每个文档并应用适当的简单标记。仅使用765个简单的标签,我们的方法允许我们在语料库中的88,583个文档中使用至少一个标签标记87,397个。在总共87,397份文件中,约有92.1%也被确定为被标记。最后,我们讨论了我们的方法的性能及其局限性。
2020-04-30 cs.CL cs.IR
Learning Multi-Step Query Rewriting via Corpus Feedback for Conversational Search
INESC-ID;Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
该研究将对话式查询重写转化为序列检索问题,提出基于语料反馈的多步重写智能体,无需人工标注,在多个数据集上优于基线且可泛化,提升了检索效果。
2026-10-09 cs.IR
Driving the Herd: Search Engines as Content Influencers
在竞争激烈的搜索环境中,如Web,许多文档的作者(出版商)选择让他们的文档在某些查询中排名靠前。为此,他们修改文档-特别是它们的内容-以响应诱导的排名。因此,搜索引擎通过其排名决定影响语料库中的内容。我们提出了第一个研究的能力,搜索引擎驱动预定义的,有针对性的,内容的效果,在语料库中使用简单的技术。第一个是基于羊群效应-一个著名的结果,从经济学文献-第二个是基于偏置的相关性排名功能。我们研究的内容影响类型要么是主题的,要么涉及特定的文档属性-长度和查询词的包含。对我们在受激励的出版商之间组织的排名竞争的分析表明,我们所针对的内容效果类型确实可以通过应用我们建议的技术来实现。这些发现对于搜索引擎在语料库形成中的作用具有重要意义。
2021-10-21 cs.IR
Towards Retrieving Interaction Spaces for Agentic Search
提出RISE方法,通过BM25构建有边界的交互空间,并预处理文档支持shell式导航,在BrowseComp-Plus上以约四分之一成本达到78%准确率,优于纯shell基线。
2026-06-05 cs.IR
Thematic Analysis and Visualization of Textual Corpus
文档的语义分析是当前研究的热点。这个领域的工作可以采取几个方向,并触及几个粒度级别。在目前的工作中,我们感兴趣的正是文本文件的主题分析。在我们的方法中,我们建议研究主位关联在语篇中的变化,以确定主位和语篇中所唤起的所有次位。这使我们能够在第二个层次的分析,以确定在语篇语料库中的主位关联的关系。通过对这些关联关系的识别和分析,我们建议生成主题路径,允许用户在信息搜索系统的框架内,根据他们感兴趣的主题来探索语料库,并通过导航主题关联关系来发现新知识。
2011-12-09 cs.IR
Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
针对演化语料库中检索结果不可复现的问题,提出结合Lucene与列存储版本化索引的混合检索系统,支持时间旅行查询并保持原始排名,实现完全可复现。
2024-11-06 cs.IR
Extracting Document Relations from Search Corpus by Marginalizing over User Queries
The University of Electro-Communications(东京电波通信大学)
提出 EDR-MQ 框架,通过 MC-RAG 技术对用户查询进行边缘化来估计文档间的联合概率,无需标注数据即可揭示传统方法难以发现的文档关系与跨领域联系。
2025-07-14 cs.IR cs.LG
Adaptive Re-Ranking with a Corpus Graph
搜索系统通常采用重新排名流水线,其中来自初始候选池的文档(或段落)被分配新的排名分数。该过程使得能够使用高效但昂贵的评分函数,该评分函数不适合直接用于像倒排索引或近似最近邻索引的结构中。然而,重新排名管道固有地受到初始候选池的召回的限制;不能识别未被初始检索功能识别为重新排名的候选的文档。我们提出了一种新的方法来克服召回限制的基础上建立的聚类假设。在整个重新排名过程中,我们的方法将与最高得分文档最相似的文档添加到池中。这个反馈过程使候选人库适应那些也可能产生高排名分数的候选人,即使他们不在初始库中。它还可以增加出现在池中更深处的文档的分数,否则由于有限的重新排名预算而被跳过。我们发现,我们的基于图的自适应重新排名(GAR)方法在面向精度和召回的措施方面显着提高了重新排名管道的性能,是对各种现有技术的补充(例如,稠密检索)对它的超参数是鲁棒的,并且对计算和存储成本的贡献最小。例如,在MS MARCO传代排名数据集上,当应用monoT 5排名器时,GAR可以将BM 25候选池的nDCG提高高达8%。
2022-08-18 cs.IR
VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models
Capital One;University of Utah(犹他大学);Snowflake Inc.(Snowflake公司)
本研究提出VerTox框架,将语料库污染转化为可验证奖励引导强化学习问题,微调LLM生成高流畅度低困惑度的对抗文档,可高效污染神经排序模型并损害下游RAG应用性能。
2026-09-02 cs.CL cs.IR
Corpus Conversion Service: A machine learning platform to ingest documents at scale [Poster abstract]
IBM Research(IBM研究院)
在过去的几十年里,科学文章和技术文献的数量呈指数级增长。因此,非常需要能够大规模摄取这些文档并使其内容可共享的系统。不幸的是,这些文件的格式(例如PDF格式或位图图像)以及数据的呈现方式(例如复杂的表格)使得定性和定量数据的提取极具挑战性。我们提出了一个平台,以摄取文件的规模,这是由机器学习技术,并允许用户训练自定义模型的文档集合。我们显示,在转换为结构化格式方面,精确率/召回率超过97%,以及构成平台的每个微服务的扩展证据。
2018-05-15 cs.CL cs.CV cs.DC
Corpus-level and Concept-based Explanations for Interpretable Document Classification
Virginia Tech(弗吉尼亚理工大学)
使用注意力权重来识别对模型决策重要的信息是解释基于注意力的神经网络的一种流行方法。在实践中,这通常通过基于注意力权重为每个文档生成热图来实现。但这种解释方法是脆弱的,并且容易发现矛盾的例子。在本文中,我们提出了一个语料库级的解释方法,其目的是捕捉关键字和模型预测之间的因果关系,通过学习关键字的重要性,预测标签在训练语料库的基础上的注意力权重。基于这一思想,我们进一步提出了一种基于概念的解释方法,可以自动学习更高级别的概念及其重要性,以建模预测任务。我们的基于概念的解释方法建立在一个新的抽象聚合网络,它可以在端到端的训练过程中自动聚类重要的关键字。我们将这些方法应用于文档分类任务,并表明它们在提取语义上有意义的关键字和概念方面是强大的。我们基于基于注意力的朴素贝叶斯分类器的一致性分析结果也证明了这些关键词和概念对模型预测的重要性。
2021-05-31 cs.CL cs.IR cs.LG
Approximating Document Frequency with Term Count Values
对于有界数据集,如TREC Web Track(WT 10 g),词频(TF)和逆文档频率(IDF)的计算并不困难。然而,当语料库是整个网络时,直接计算IDF是不可能的,必须估计值。大多数可用的数据集提供术语计数(TC)的值,这意味着某个术语在整个语料库中出现的次数。直觉上,这个值不同于文档频率(DF),文档的数量(例如,网页)中出现某个术语。我们进行了比较研究TC和DF值在Web作为语料库(WaC)。我们发现Spearman rho >0.8(p<0.005)的相关性非常强,这使我们有信心声称,对于最近创建的语料库,TC和DF值可以互换使用来计算IDF值。这些结果对基于TF-IDF方案的准确的词汇签名的生成是有用的。
2008-07-23 cs.DL cs.IR
Corpus-Steered Query Expansion with Large Language Models
University of Amsterdam(阿姆斯特丹大学);Tencent IEG(腾讯互动娱乐事业群);University of Maryland(马里兰大学);University of Technology Sydney(悉尼科技大学)
针对LLM生成查询扩展存在幻觉和语料错位的问题,本文提出CSQE,结合初始检索文档中的关键句与LLM知识扩展查询,在无需训练的情况下提升检索性能。
2024-02-28 cs.CL cs.IR
Privacy at Scale: Introducing the PrivaSeer Corpus of Web Privacy Policies
本文构建了包含超百万份英语隐私政策的 PrivaSeer 语料库,设计了抓取、过滤与去重流程,并通过可读性、相似度和主题建模分析其构成,以支持隐私政策理解研究。
2024-03-30 cs.CR cs.IR
Multilingual Medical Documents Classification Based on MesH Domain Ontology
本文讨论语义Web和本体。它解决了多语言Web文档的分类问题,基于领域本体。目标是能够使用模型对不同语言的文件进行分类。我们将尝试使用两种不同的方法来解决这个问题。这两种方法将有两个基本阶段:在标记语料库上使用机器学习算法创建模型,然后在检测其语言并将其术语映射到参考语言(英语)的概念后对文档进行分类。但每一个国家都将以不同的方式处理多语制问题。一种认为本体是单语的,而另一种认为它是多语言的。为了展示我们工作的可行性和重要性,我们在一个领域上实现了它,这个领域现在吸引了数据采掘社区的很多关注:生物医学领域。所选文档来自生物医学基准语料库Ohsumed,相关本体是同义词库MeSH(医学主题词)。我们工作的主要思想是一个新的文档表示,所有好的分类的杰作,基于概念。实验结果表明,所推荐的思路是有前途的。
2012-06-21 cs.IR
Cross-Document Neural Re-Ranking via Query-Induced Subgraphs
Sapienza University of Rome(罗马第一大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Cambridge(剑桥大学);Istituto Nazionale di Geofisica e Vulcanologia(国家地球物理与火山学研究所);University of Pisa(比萨大学)
提出GNRR框架,利用查询诱导子图和GNN传播跨文档信号,实现线性复杂度重排序,在TREC-DLHard上比TCT-ColBERT提升5.2% AP,优于自注意力方法。
2026-09-15 cs.IR
Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Haifa, Israel(数据与决策科学学院,技术Ion-以色列理工学院,海法,以色列)
本文提出SDAG方法,通过稀疏注意力机制有效防御RAG中的语料知识污染攻击,显著提升防御性能。
2026-08-27 cs.AI cs.IR
A German Corpus for Text Similarity Detection Tasks
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔理工学院);Universidad Nacional Autónoma de México(墨西哥国立自治大学);University of Applied Sciences Fulda(富尔达应用技术大学)
文本相似性检测的目的是度量一对文本之间的相似程度。文本相似性检测语料库的设计是为了评估文本之间的释义水平的算法。在本文中,我们提出了一个文本德语语料库的相似性检测。该语料库的目的是自动评估一对文本之间的相似性,并评估不同的相似性度量,无论是整个文档还是单个句子。因此,我们已经计算了几个简单的措施,我们的语料库的基础上的相似性函数库。
2017-03-11 cs.CL cs.IR
PluriHopRAG: Exhaustive, Recall-Sensitive QA Through Corpus-Specific Document Structure Learning
Turbit Systems GmbH
本文提出PluriHopRAG,通过学习语料库特定文档结构分解查询,改进多跳问答任务的召回敏感性和全面性,在PluriHopWIND和Loong基准上取得显著提升。
2026-04-01 cs.CL cs.IR cs.LG
Less LLM, More Documents: Searching for Improved RAG
School of Computer Science, Carnegie Mellon University(计算机科学系,卡内基梅隆大学)
本文研究了扩大检索器文档库对RAG性能的影响,发现增大文档库可提升性能,甚至在某些情况下优于使用更大模型,但存在边际效益递减的问题。
2026-01-16 cs.CL cs.IR
Discovering topic structures of a temporally evolving document corpus
Deakin University(迪肯大学);University of St Andrews(圣安德鲁斯大学)
在本文中,我们描述了一个新的框架发现的主题内容的数据语料库,并跟踪其复杂的结构变化的时间维度。与以前的工作相比,我们的模型没有对文档添加到语料库的速率施加先验,也没有采用马尔可夫假设,该假设过度限制了模型可以捕获的变化类型。我们的关键技术贡献是一个框架的基础上(i)离散化的时间到时代,(ii)时代明智的主题发现使用分层的Dirichlet过程为基础的模型,(iii)时间相似性图,允许建模复杂的主题变化:出现和消失,演变,分裂,合并。所提出的框架的力量证明了两个医学文献语料库关注自闭症谱系障碍(ASD)和代谢综合征(MetS)-这两个日益重要的研究课题具有显着的社会和医疗后果。除了收集ASD和代谢综合征的文献语料库,我们免费提供,我们的贡献还包括一个广泛的实证分析的建议框架。我们描述了一个详细的和仔细的检查,我们的算法的自由参数对其输出的影响,并讨论了我们的算法的实际应用的背景下,以及在现有的工作机构的时间主题分析的背景下的调查结果的意义。我们的定量分析之后是几个定性的案例研究高度相关的ASD和MetS,我们的算法被证明可以很好地捕捉这些领域的实际发展的当前研究。
2015-12-25 cs.IR cs.LG
Doc2Vec on the PubMed corpus: study of a new approach to generate related articles
University Hospital(大学医院);OmicX(OmicX公司);Sorbonne Université(索邦大学);INSA(法国国立应用科学学院)
PubMed是全球最大和最常用的书目数据库,拥有超过2600万种生物医学出版物。其有用的功能之一是“类似文章”部分,允许最终用户根据上下文找到与所参考的文件相关联的科学文章。本研究的目的是分析是否有可能取代统计模型PubMed相关文章(pmra)的文档嵌入方法。Doc 2 Vec算法用于训练模型,允许矢量化文档。它的六个参数是通过遵循网格搜索策略来优化的,训练了1,900多个模型。使用导致最佳准确度的参数组合对PubMed数据库的摘要进行训练模型。定义了四项评估任务,以确定哪些因素会影响或不会影响Doc 2 Vec和pmra文档之间的接近度。这两种不同的Doc 2 Vec架构在链接关于公共上下文的文档方面具有不同的能力。在pmra和Doc 2 Vec PV-DBOW架构之间,链接文档的术语索引、单词和词干内容高度相似。这些算法也更有可能使具有类似大小的文档更接近。相反,手动评估显示pmra算法的结果要好得多。虽然pmra算法通过在其公式中显式使用术语索引来链接文档,但Doc 2 Vec不需要预先索引。它可以推断共享类似索引的文档之间的关系,而无需任何关于它们的知识,特别是关于PV-DBOW架构的知识。相反,人类评价(评价者之间没有任何明确的一致性)意味着未来的研究可以更好地理解PV-DBOW和pmra算法之间的差异。
2019-11-26 cs.CL cs.IR
Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
Syntheia Pty Ltd(合成有限公司)
研究如何在交易法律文件分析中高效检索,对比全语料库注入与两种结构化检索模式(NAVEMBED和NAVINDEX),发现NAVINDEX在令牌占用、上下文及成本方面优势明显,还得出缓存交叉规则。
2026-07-08 cs.CL cs.IR
Semantic Word Clouds with Background Corpus Normalization and t-distributed Stochastic Neighbor Embedding
Heidelberg University(海德堡大学);LMU Munich(慕尼黑大学)
许多单词云不提供单词放置的语义,而是使用仅出于美学目的而优化的随机布局。我们提出了一种新的方法来模型的词的重要性和词的亲和力在一个文件中,并在一个大型的背景语料库相比。我们证明了它的有用性,生成更有意义的词云作为一个给定的文档的视觉摘要。然后,我们根据关键词的重要性选择关键词,并根据派生的亲和力构建词云。基于修改的t分布随机邻居嵌入(t-SNE),我们生成语义词放置。对于共现显着的话,我们包括边缘,并根据它们的共现聚类的话。为此,我们设计了一个可扩展的和内存高效的基于草图的方法,可用于商品硬件聚合所需的语料库统计数据进行规范化,并确定关键字以及显着的cooccupancy。我们经验验证我们的方法使用大型维基百科语料库。
2017-08-11 cs.CL cs.IR
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法,通过优化保持文档嵌入几何距离和最大化词级差异,提升攻击效率和效果,实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
Query Drift Compensation: Enabling Compatibility in Continual Learning of Retrieval Embedding Models
Computer Vision Center, Barcelona, Spain(巴塞罗那计算机视觉中心);Department of Computer Science, Universitat Autònoma de Barcelona, Spain(巴塞罗那自治大学计算机科学系);IDEAS Research Center, Warsaw, Poland(华沙IDEAS研究中心)
针对检索嵌入模型持续学习中模型更新与旧索引语料不兼容、需重索引的问题,提出查询漂移补偿方法,结合嵌入蒸馏将新查询嵌入投影到旧空间,无需重索引即可提升性能并减轻遗忘。
2025-10-05 cs.IR cs.LG
Corpus-Level End-to-End Exploration for Interactive Systems
Georgetown University(乔治城大学)
构建人工智能(AI)代理的核心兴趣是让它们与人类交互并帮助人类。一个例子是动态搜索(DS),它模拟了人类与搜索引擎代理合作完成复杂和面向目标的任务的过程。早期使用强化学习(RL)的DS代理只取得了有限的成功,因为(1)它们缺乏对返回哪些文档的直接控制,以及(2)难以从错误的搜索轨迹中恢复。在本文中,我们提出了一种新的语料库级端到端的探索(CE3)方法来解决这些问题。在我们的方法中,整个文本语料库被压缩成一个全球性的低维表示,这使得代理获得访问完整的状态和动作空间,包括未开发的领域。我们还提出了一种新形式的检索函数,其线性近似允许端到端的文档操作。在文本检索会议(TREC)动态域(DD)跟踪上的实验表明,CE3优于最先进的DS系统。
2021-06-09 cs.AI cs.IR
ICICLE: Expanding Retrieval with In-Context Documents
National Taiwan University(台湾大学);Johns Hopkins University(约翰霍普金斯大学)
提出ICICLE框架,通过上下文文档的docid生成实现增量式生成检索,避免重新训练和灾难性遗忘。
2026-08-20 cs.AI cs.IR
Leveraging web resources for keyword assignment to short text documents
检索与文档相关的关键词对于文档的高效检索、聚类和管理非常重要。特别是随着网络语料库充斥着数字文档,自动化这项任务是至关重要的。关键词分配是一个广泛的研究课题,它是指用关键词、关键短语或主题对文档进行标注。对于文本文档,关键字分配技术已经在两个子主题下发展:自动关键字提取(AKE)和自动关键短语抽象。然而,在文献中为全文文档开发的方法不能用于将关键字分配给低文本内容文档,如twitter提要、新闻剪辑、产品评论甚至短学术文本。在这项工作中,我们指出了在标记这些低文本内容的文档中遇到的几个实际挑战。作为这些挑战的解决方案,我们表明,所提出的方法,利用知识,从几个开源的网络资源,提高质量的标签(关键字)分配给低文本内容的文档。所提出的方法的性能进行了测试,在现实世界的语料库组成的学术文件的文本内容范围从只有文本的标题文件(5-10字)的摘要文本/摘要(100- 150字)。我们发现,所提出的方法不仅提高了关键字分配的准确性,但提供了一个计算效率高的解决方案,可用于现实世界中的应用。
2017-06-19 cs.DL cs.IR
SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark
Independent researcher(独立研究者)
本文提出了SomaliWeb v1,一个经过质量过滤的索马里语语料库,包含匹配的BPE-16K分词器和首个公开的索马里语言识别基准,揭示了现有分布中的质量问题。
2026-05-18 cs.AI cs.CL cs.IR
Arabic Text Categorization Algorithm using Vector Evaluation Method
Isra University(伊斯拉大学);University of Jordan(约旦大学);Al-Ahliyya Amman University(艾哈利亚安曼大学)
文本分类是将文档根据其内容进行分类的过程。这个过程对于使信息检索更容易是很重要的,并且由于在线可获得的大量文本信息,它变得更加重要。文本分类中的主要问题是如何提高分类精度。阿拉伯语文本分类是一个新兴的研究领域,但相关的研究却很少。提出了一种基于向量评估的阿拉伯文文本分类方法。该方法利用一个已分类的阿拉伯语文档语料库,通过计算待测文档词的权值来确定文档关键词,并将其与已分类的语料库中的关键词进行比较,从而确定待测文档的最佳类别。
2015-01-06 cs.CL cs.IR
Open-World Evaluation for Retrieving Diverse Perspectives
Department of Computer Science(计算机科学系);New York University(纽约大学)
本研究构建BERDS基准并设计基于语言模型的评估器,在开放世界语料上评估检索器覆盖多元视角的能力,发现现有方法仅覆盖40%示例,并探索了查询扩展与重排序的改进策略。
2025-04-22 cs.CL cs.IR
Generative Dense Retrieval: Memory Can Be a Burden
Beijing Institute of Technology(北京理工大学);Xiaohongshu Inc(小红书公司);Carnegie Mellon University(卡内基梅隆大学)
针对生成式检索记忆细粒度信息不准、规模扩展时混淆及更新成本高的问题,本文提出GDR,结合GR簇间记忆匹配与DR无记忆簇内匹配,并辅以簇标识符构建和自适应负采样,在NQ上平均提升3.0 R@100。
2024-01-19 cs.CL cs.IR
Semantic Document Distance Measures and Unsupervised Document Revision Detection
Northwestern University(西北大学);Intel Corporation(英特尔公司)
在本文中,我们将文档修订检测问题建模为依赖于计算文档距离的最小成本分支问题。此外,我们提出了两个新的文档距离的措施,基于词向量的动态时间弯曲(wDTW)和基于词向量的树编辑距离(wTED)。我们的修订检测系统是为大规模语料库设计的,并在Apache Spark中实现。我们证明,我们的系统可以更精确地检测修订比国家的最先进的方法,利用维基百科的修订转储https://snap.stanford.edu/data/wiki-meta.html和模拟数据集。
2017-11-22 cs.CL cs.IR
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Medical School(马萨诸塞大学医学院)
在任何科学中,寻找相关的已发表文章都是一项重要的任务,但随着生物医学领域新工作的爆炸式增长,它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而,生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中,我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准,我们然后评估的方法,使用文本相似度排名的相关性的文章。最后,我们开发和评估了一个新的监督模型,自动排名相关的科学文章。我们的研究结果表明,作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型,我们发现最好的监督学习排名模型(SVM-Rank)显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
A Representation Sharpening Framework for Zero Shot Dense Retrieval
Information Sciences Institute, University of Southern California(信息科学研究所,南加州大学);Amazon(亚马逊)
本文提出一种无需训练的表示锐化框架,通过增强文档表示以区分相似文档,在零样本稠密检索中显著提升性能,并在 BRIGHT 基准上达到最优,同时兼容现有方法且不增加推理成本。
2025-11-07 cs.CL cs.IR
Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents
本研究通过因子实验联合评估解析器、分块和嵌入模型在印度政府监管文档RAG中的交互作用,发现无单一检索器占优且证据保留近饱和,检索差异主要由排序质量决定。
2026-09-29 cs.AI cs.CL cs.IR
Information Terra: A Narrative-Anchored Semantic-First Projection of Document Embeddings
Virginia Tech(弗吉尼亚理工大学)
提出一种将文档嵌入投影到类地球球体的方法,以用户选择的端点文档为两极,经线为嵌入超球面上的大圆测地线,通过核密度估计恢复主题特征并构建叙事轨迹,在540篇古巴抗议文章语料上验证了从奥巴马访问到国际援助的叙事线。
2026-07-01 cs.CL cs.HC cs.IR
Unveiling the semantic structure of text documents using paragraph-aware Topic Models
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
经典的主题模型是在词袋假设下构建的,为了简单起见,忽略了词的位置。此外,在大多数应用中通常使用对称先验。为了更容易地学习同一语料库中具有不同属性的主题,我们提出了一种新的工作路线,其中利用段落结构。我们的建议是基于以下假设:在许多文本文档语料库中,有正式的约束共享所有的集合,例如节。当这个假设得到满足时,一些段落可能与语料库中所有文档共享的一般概念有关,而另一些段落则包含文档的真实描述。假设每个段落在语义上可以更一般、更具体或更混合,我们寻找方法来衡量这一点,将这种区别转移到主题上,并能够学习我们所谓的具体主题和一般主题。实验表明,这是一个适当的方法来突出结构化文档中的某些段落,同时我们学习有趣的和更多样化的主题。
2018-06-26 cs.CL cs.IR cs.LG
Progressively Optimized Bi-Granular Document Representation for Scalable Embedding Based Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Microsoft Research Asia(微软亚洲研究院);Microsoft STCA(微软STCA);University of Science and Technology of China(中国科学技术大学)
特设搜索要求从一个大规模的语料库中选择适当的答案。如今,基于嵌入的检索(EBR)成为一种很有前途的解决方案,其中基于深度学习的文档表示和ANN搜索技术相结合来处理这一任务。然而,一个主要的挑战是,人工神经网络索引可能太大,以适应内存,考虑到相当大的答案语料库。在这项工作中,我们使用双粒度文档表示来解决这个问题,其中轻量级稀疏嵌入被索引并在内存中待机,用于粗粒度候选搜索,而重量级密集嵌入则托管在磁盘中,用于细粒度后验证。为了达到最佳的检索精度,设计了一个渐进式优化框架。稀疏嵌入是提前学习的,用于高质量的候选搜索。以稀疏嵌入引起的候选分布为条件,连续学习密集嵌入以优化从入围候选中区分地面实况。此外,还有两种技术:对比量化和局部中心采样被引入用于稀疏和密集嵌入的学习,这实质上有助于它们的性能。由于上述特征,我们的方法有效地处理了100万规模的EBR,在准确率方面具有很强的优势:在百万规模的语料库上,召回率提高了+4.3%,在十亿规模的语料库上,召回率提高了+17.5%。此外,我们的方法被应用于一个主要的赞助搜索平台,收入(+1.95%),召回(+1.01%)和CTR(+0.49%)大幅增长。我们的代码可在https://github.com/microsoft/BiDR上获得。
2022-03-02 cs.AI cs.CL cs.IR
VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能省部共建国家重点实验室)
该研究提出VisDocAgentBench基准,对比静态与智能体检索,发现视觉检索优于OCR文本检索,智能体可改善双桥项检索性能,为检索智能体发展提供方向。
2026-08-27 cs.AI cs.CV cs.IR
Test-time Corpus Feedback: From Retrieval to RAG
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Glasgow(格拉斯哥大学)
针对RAG流水线将检索与推理分离导致复杂任务性能受限的问题,本综述结构化概述整合反馈的先进检索与排序机制,分类反馈信号作用,旨在连接IR与NLP视角,强调检索在RAG系统中的动态可学习性。
2025-08-24 cs.AI cs.IR cs.LG
Topic Modeling the Hàn diăn Ancient Classics
Indiana University(印第安纳大学)
中国古代文献为有兴趣利用计算方法来帮助发展新的见解和对文化重要材料的解释的人文学者提供了巨大的挑战和机遇。在本文中,我们描述了印第安纳大学和西安交通大学之间的合作,以支持对包含18,000多篇中国古代文献的数字语料库的探索和解释,我们将其称为“汉典”古代经典语料库(Hàn diăn gjí,即“汉典”或“中国经典”)。它包含了中国古代哲学的经典,历史和传记意义的文件,以及文学作品。我们首先描述了这个联合项目的数字人文背景,以及使这个项目可行的人文计算的进步。我们描述了语料库,并介绍了我们的应用概率主题建模这个语料库,注意建模古代中国的文件所带来的特殊挑战。我们给出了一个具体的例子,我们开发的软件可以用来帮助发现和解释的语料库中的主题。我们概述了更先进的形式的计算机辅助解释,也有可能由我们的系统提供的编程接口,以及这些方法的一般含义,理解这些文本中的含义的性质。
2017-02-02 cs.CL cs.CY cs.DL