Impact of the Query Set on the Evaluation of Expert Finding Systems
专业知识是一个定义松散的概念,很难形式化。许多研究都集中在设计有效的算法,在大型数据库中的专家发现在各种应用领域。这种推荐系统的评价大部分时间取决于与主题相关的人工注释专家集。评估协议包括使用这些主题的命名或简短描述作为原始查询,以便对可用的候选集进行排名。然后应用从信息检索领域采取的若干措施来对候选人的排名与专家的地面实况集进行评级。在本文中,我们将此主题查询评估方法与AMiner数据,并探讨了一种新的文档查询方法来评估专家检索从一组查询直接从专家文档采样。具体来说,我们描述了两个数据集提取AMiner,三个基线算法从文献中的几个文件表示的基础上,并提供实验结果表明,使用范围广泛的更现实的查询提供了不同的评价结果,通常的主题查询。
2018-06-28 cs.IR
Paragraph-level Citation Recommendation based on Topic Sentences as Queries
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Text Analysis and Knowledge Engineering Lab(文本分析与知识工程实验室)
提出段落级引文推荐任务作为全局和局部CR的折中方案,以主题句为输入,使用四元组损失微调模型并在ACL数据集上取得优于基线的性能。
2023-05-20 cs.CL cs.IR
Natural language processing for word sense disambiguation and information extraction
Jai Narain Vyas University(贾伊·纳拉扬·维亚斯大学);M.B.M. Engineering College(M.B.M.工程学院)
本研究工作涉及自然语言处理(NLP)和以显式形式提取基本信息。最常见的信息管理策略是文档检索(DR)和信息过滤。DR系统可以作为联合收割机工作,从广阔的原材料领域带回有用的材料。随着大量的潜在有用的信息在手,信息抽取(IE)系统可以转换的原始材料,通过提炼和减少它的原始文本的胚芽。文档检索系统从文本库中收集携带所需信息的相关文档。然后,IE系统将它们转换为更容易消化和分析的信息。它分离出相关的文本片段,从片段中提取相关信息,然后将目标信息排列在一个连贯的框架中。本文提出了一种基于叙词表的词义消歧方法。最后通过实例验证了该方法的有效性。本文介绍了一种基于模糊逻辑的文献检索方法,并举例说明了它的应用。问答系统描述了从检索到的文本文档中进行信息抽取的操作。通过使用结构化描述语言(SDL),用于回答查询的信息抽取的过程被大大简化,该结构化描述语言基于以谁、什么、何时、何地和为什么的形式的查询的基数。本文最后提出了一种基于证据推理理论的文档检索和信息抽取策略。这种策略允许放松许多限制,这是固有的贝叶斯概率方法。
2020-04-05 cs.AI cs.CL cs.IR
Topical Result Caching in Web Search Engines
在信息检索系统中采用缓存搜索结果来加快查询处理并减少后端服务器的工作量。出于观察,属于不同的主题有不同的时间-局部性模式的查询,我们研究了一种新的缓存模型称为STD(静态主题动态缓存)。它改进了传统的静态-动态缓存(SDC),在一个静态缓存中存储流行的查询的结果,并管理动态缓存的替换策略,拦截查询流中的时间变化。我们提出的缓存方案包括用于基于主题的缓存的另一层,其中条目被分配给不同的主题(例如,天气,教育)。以主题为特征的查询的结果被保存在专用于它的高速缓存的部分中。这允许使高速缓存空间利用率适应各种主题的时间局部性,并减少由于那些既不足够流行以在静态部分中也不在短时间间隔内被请求以在动态部分中的查询而导致的高速缓存未命中。我们模拟不同的配置STD使用两个现实世界的查询流。实验表明,我们的方法优于SDC的增加高达3%的命中率,和高达36%的差距减少w.r.t.从理论上讲SDC是最优缓存算法.
2020-01-09 cs.DB cs.IR
Validating Simulations of User Query Variants
面向系统的IR评估仅限于对真实用户行为的相当抽象的理解。作为一种解决方案,模拟用户交互提供了一种具有成本效益的方式,在没有交互日志可用时,通过更真实的指令来支持面向系统的实验。虽然有几个模拟点击或结果列表交互的用户模型,很少有人尝试对查询模拟,它还没有调查,如果这些可以重现真实查询的属性。在这项工作中,我们验证模拟用户查询变种的帮助下,TREC测试集合参考真实的用户查询,相应的主题。此外,我们引入了一个简单而有效的方法,提供了更好的再现真实的查询比建立的方法。我们的评估框架验证了模拟的检索性能,再现性的主题分数分布,共享任务的效用,努力和效果,查询词相似性相比,与真实的用户查询变体。虽然检索的有效性和统计特性的主题得分分布以及经济方面接近真实的查询,它仍然是具有挑战性的模拟精确的术语匹配和以后的查询重构。
2022-03-24 cs.IR
Efficient Conversational Search via Topical Locality in Dense Retrieval
针对会话搜索响应时间瓶颈,利用查询的主题局部性动态限制搜索空间至相关文档簇,在 TREC CAsT 数据集上实现高达 10.4 倍提速且几乎无性能损失。
2025-04-30 cs.HC cs.IR
Boolean queries are all you need?
University of Waterloo(滑铁卢大学)
研究在TREC 2024 RAG赛道任务中,为基于大语言模型的搜索代理配备布尔检索引擎,仅依据语料库子串与查询匹配密度排名,无需监督学习等,结果表明简单模式匹配或足以用于智能搜索。
2026-07-14 cs.IR
Paper evolution graph: Multi-view structural retrieval for academic literature
学术文献检索涉及到选择最有可能符合用户信息需求的论文。大多数检索系统都局限于列表输出模型,在这种模型中,检索结果是相互隔离的。在这项工作中,我们的目标是揭示检索结果的关系,并提出了一种方法,为学术文献,我们称之为论文进化图(PEG)的结构化检索结果。PEG描述了通过几个进化链的论文输入查询的各个方面的演变。通过利用作者、引文和内容信息,PEG可以揭示论文之间的各种潜在关系,并从多个角度呈现文章的演变。我们的系统支持三种类型的输入查询:关键字,单篇论文和两篇论文的查询。PEG的构建主要包括三个步骤。首先,通过元因子分解对论文进行软聚类,得到每篇论文的主题分布;其次,从与查询相关的社区中提取主题内聚进化链。每条链都关注查询的一个方面。最后,将提取的链组合以生成PEG,其完全覆盖查询的所有主题。在真实数据集上的实验结果表明,该方法能够构建有意义的PEG。
2017-11-24 cs.IR
Assessing the behavior and performance of a supervised term-weighting technique for topic-based retrieval
本文分析和评价了FDD \b{eta},一种有监督的术语加权方案,可用于基于主题的检索中的查询术语选择。FDD \b{eta}根据两个因素对术语进行加权,这两个因素表示术语相对于给定主题的描述力和区分力。然后,它结合这两个因素,通过使用一个可调参数,允许有利于不同方面的检索,如精度,召回或两者之间的平衡。本文的主要贡献在于:(1)对FDD \b{eta}作为其可调参数的函数的行为进行了广泛的分析;(2)将FDD \b{eta}与18种传统的和最先进的加权方案进行了比较;(3)对使用分析的方法选择的术语组合构建的析取查询的性能进行了评估;(4)它引入了一个新的公共数据集,其中的新闻被标记为与经济领域相关或不相关。分析和评价是在三个数据集上进行的:两个著名的文本数据集,即20个新闻组和路透社-21578,以及新发布的数据集。可以得出这样的结论:尽管FDD \b{eta}简单,但它与最先进的方法相比具有竞争力,并且具有在适应特定任务目标时提供灵活性的重要优势。结果还表明,FDD \b{eta}提供了一个有用的机制,探索不同的方法来建立复杂的查询。
2020-07-16 cs.IR
AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning
Munich Reinsurance Co-Canada(慕尼黑再保险公司加拿大分公司)
AT-RAG 通过 BERTopic 主题过滤与迭代推理提升多跳问答的检索效率与答案质量,在通用及医学问答中均显著优于现有方法。
2024-10-16 cs.CL cs.IR cs.LG
DRAFT: Dense Retrieval Augmented Few-shot Topic classifier Framework
Seoul National University(首尔国立大学);VRCREW Inc.(VRCREW公司);Neosapience(Neosapience公司)
本文提出 DRAFT 框架,通过密集检索与多查询检索算法从少量示例构建定制数据集并微调分类器,以远少于 GPT-3 175B 等模型的参数量在少样本主题分类任务上取得有竞争力或更优的性能。
2023-12-05 cs.CL cs.IR
AutoBool: An Reinforcement-Learning trained LLM for Effective Automated Boolean Query Generation for Systematic Reviews
The University of Queensland(昆士兰大学);University of Tübingen(蒂宾根大学);CSIRO(澳大利亚联邦科学与工业研究组织)
AutoBool通过强化学习训练LLM生成高效的布尔查询,显著优于传统方法并接近专家水平。
2025-11-21 cs.IR
CIRCLE: Multi-Turn Query Clarifications with Reinforcement Learning
针对用户搜索时初始查询表述不清、现有查询澄清模型交互自然性不足的问题,本文提出基于强化学习的多轮查询澄清生成模型CIRCLE,通过用户模拟框架利用多轮交互,以微调的预训练语言模型生成多样化澄清,并与谷歌搜索建议对比评估。
2023-11-05 cs.IR
Data Fusion of Synthetic Query Variants With Generative Large Language Models
本研究探索利用指令微调大语言模型生成合成查询变体,通过数据融合提升信息检索效果,在TREC基准上优于单查询基线和伪相关反馈方法。
2024-11-06 cs.IR
User Intent Inference for Web Search and Conversational Agents
Emory University(埃默里大学)
用户意图理解是设计会话代理和搜索引擎的关键步骤。检测或推断用户意图是具有挑战性的,因为用户话语或查询可能是简短的、模糊的并且依赖于上下文。针对这些研究挑战,本文的研究工作主要集中在:1)会话主体的话语主题和意图分类; 2)Web搜索引擎的查询意图挖掘和分类,主要针对电子商务领域。为了解决第一个问题,我提出了新的模型,将实体信息和会话上下文线索,以预测用户的话语的主题和意图。对于第二个研究主题,我计划将现有的Web搜索意图预测方法扩展到电子商务领域,通过:1)开发一个联合学习模型来预测搜索查询的意图和与之相关的产品类别,2)发现新的隐藏用户的意图。所有的模型都将在一个主要的电子商务网站搜索引擎的真实查询上进行评估。来自这些研究的结果可以被利用来提高各种任务的性能,诸如自然语言理解、查询范围确定、查询建议和排名,从而产生丰富的用户体验。
2020-07-08 cs.CL cs.IR
Domain-specific queries and Web search personalization: some investigations
主要的搜索引擎部署个性化的Web结果,通过向用户显示与他们兴趣相关的数据来增强用户的体验。即使这一过程可能会给用户带来好处,同时浏览,它也提出了对搜索结果的选择的关注。特别地,用户可能在不知不觉中被搜索引擎困在被称为“过滤气泡”的保护性信息气泡中,这可能具有将用户与不符合其偏好的信息分离的不期望的效果。本文从早期的结果量化的个性化在谷歌搜索查询结果。受以前作品的启发,我们进行了一些实验,包括由一组具有不同准备配置文件的Google帐户执行的搜索查询。匹配查询结果,我们量化的个性化程度,根据主题的查询和帐户的配置文件。这项工作报告的初步结果,这是更广泛的调查,以衡量Web搜索个性化的第一步。
2015-08-17 cs.IR
Online Learning of Optimally Diverse Rankings
KTH Royal Institute of Technology(瑞典皇家理工学院);Spotify AB(Spotify 公司)
搜索引擎通过列出相关项目(例如文档、歌曲、产品、网页等)来回答用户的查询。这些引擎依赖于学习对项目进行排名的算法,以便呈现一个有序列表,最大化它包含相关项目的概率。学习排名算法设计中的主要挑战来自于这样一个事实,即查询对于不同的用户通常具有不同的含义。在没有关于查询的任何上下文信息的情况下,通常必须遵守{ \it多样性}原则,即,返回一个包含查询的各种可能主题或含义的列表。为了形式化这个学习排名问题,我们提出了一个自然的模型,其中(i)项目被分类为主题,(ii)用户发现项目相关,只有当他们匹配的主题,他们的查询,和(iii)引擎是不知道的主题到达查询,也不知道的频率,查询相关的各种主题到达,也不知道的主题相关的点击率的项目。对于这个问题,我们设计了LDR(学习多样性排名),一个算法,有效地学习最佳列表的基础上用户的反馈。我们发现,$T$查询后,遗憾的LDR规模为$O((N-L)\log(T))$其中$N$是所有项目的数量。我们进一步确定,这种缩放无法改进,即,LDR是阶最优的。最后,使用人工和真实世界的数据的数值实验,我们说明了LDR的优越性相比,现有的学习排名算法。
2021-09-13 cs.IR cs.LG stat.ML
Enhancing Retrieval-Augmented Generation for Electric Power Industry Customer Support
Pachira (International) Technology Ltd.(百川(国际)科技有限公司)
本研究针对电力行业客服,结合意图识别、RAG Fusion和重排序构建基于图的RAG系统,在GPT-4和真实FAQ数据集上分别取得97.9%和89.6%的准确率,显著优于基线。
2025-08-01 cs.AI cs.CL cs.IR
Characterising Topic Familiarity and Query Specificity Using Eye-Tracking Data
本研究仅用瞳孔扩张和注视速度等眼动特征,在不依赖上下文信息的情况下预测用户主题熟悉度与查询特异性,并提出了面向问答的查询标注指南,验证了眼动追踪在搜索认知分析中的可行性。
2025-05-06 cs.IR
Learning to Rank Query Recommendations by Semantic Similarities
Yahoo! JAPAN Research(雅虎日本研究院);Yahoo! Labs(雅虎实验室);Yahoo! Research(雅虎研究院)
对与搜索引擎交互的分析表明,用户经常重新表达他们的查询。检查这些重新表达表明,精确查询焦点的建议是有帮助的,就像那些基于原始查询扩展的建议一样。但它也表明,查询,表达一些主题转移相对于原始查询可以帮助用户更快地访问他们需要的信息。我们提出了一种方法来确定从过去的用户查询的查询日志,无论是重点或转移的初始查询主题。该方法结合了各种基于点击、基于主题和基于会话的排序策略,并使用监督学习来最大化查询和推荐之间的语义相似性,同时使它们多样化。我们评估我们的方法使用的查询/点击日志的日本网络搜索引擎,我们表明,提出的三种方法的组合是显着优于任何单独采取。
2012-04-12 cs.AI cs.HC cs.IR
WordNet-Based Information Retrieval Using Common Hypernyms and Combined Features
HCMC University of Technology(胡志明市理工大学);John von Neumann Institute(约翰·冯·诺依曼研究所)
基于关键词词汇匹配的文本搜索由于词的多义和同义而不能令人满意。一般来说,利用单词含义的语义搜索提高了搜索性能。在本文中,我们调查基于WordNet的信息检索系统,它采用了词义消歧的方法来处理查询和文档。问题是,在许多情况下,一个词有不止一个可能的直接意义,只选择其中一个可能会给这个词一个错误的意义。此外,以前的系统只使用词的形式来表示词义及其上位词。我们提出了一种新的方法,使用最具体的共同上位词的剩余未消歧的多个意义的一个词,以及组合WordNet功能来表示词义。在一个基准数据集上的实验表明,在MAP度量方面,我们的搜索引擎比词法搜索好17.7%,比使用WordNet的所有调查搜索系统至少好9.4%。本体,词义消歧,语义标注,语义搜索。
2018-07-15 cs.CL cs.IR
MODS: Moderating a Mixture of Document Speakers to Summarize Debatable Queries in Document Collections
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出有争议查询聚焦摘要(DQFS)任务及多LLM框架MODS,通过模拟小组讨论让文档作为说话者LLM、调节者LLM协调定制查询与观点追踪,在ConflictingQA和DebateQFS数据集上主题覆盖率和平衡性比SOTA提升38-59%。
2025-02-01 cs.CL cs.IR
When Should Queries Be Decomposed? A Stage-Aware Study of Query Decomposition for Multi-Condition Retrieval
Eastern Institute of Technology, Ningbo(宁波东方理工学院);Shanghai Jiao Tong University(上海交通大学);Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin(浙江省工业智能与数字孪生重点实验室)
本文通过阶段感知实验发现,查询分解在初始检索阶段因语义稀释损害性能,但在重排序阶段通过细粒度约束验证显著提升效果,据此提出阶段感知分解框架,在初始检索保留整体查询,仅在重排序使用子查询,在MultiConIR和SSRB基准上一致提升组合查询的排序性能。
2026-08-28 cs.IR
Session-based Suggestion of Topics for Geographic Exploratory Search
University of Turin(都灵大学)
探索性信息搜索可能会对用户制定有效的搜索查询提出挑战。此外,复杂的信息空间,例如由地理信息系统管理的信息空间,可能会使人们迷失方向,难以找到相关数据。为了解决这些问题,我们开发了一个基于会话的建议模型,该模型通过考虑用户以前的查询,提出了“您可能也感兴趣”的功能。我们的模型可以应用于在交互式搜索中增量生成建议。它可以用于查询扩展,并且通常指导用户探索可能复杂的数据类别空间。我们的模型是基于一个概念共现图,描述了如何频繁的概念一起搜索搜索会话。从本体论域表示开始,我们通过分析一个主要的搜索引擎的查询日志来生成图。此外,我们确定集群的本体概念,经常共同出现在会话的日志通过社区发现的图形。我们的模型的评估提供了令人满意的精度结果。
2020-03-25 cs.IR cs.LG
EXCISE: Query-Side Exclusion for Late-Interaction Retrieval
University of Innsbruck(因斯布鲁克大学)
EXCISE是一种查询端排除机制,通过两个查询端模块和无参数规则纠正晚交互检索的排除倒置问题,在多数据集、多骨干模型上性能优于基线,还发布了含多种排除类型的基准X-BENCH。
2026-08-07 cs.IR
Policy-Grounded Dynamic Facet Suggestions for Job Search
LinkedIn Corporation(LinkedIn公司)
本文提出动态面建议(DFS)以提高求职搜索中的意图识别和相关职位检索,通过实时个性化语义属性推荐,结合离线分类整理、嵌入检索和小语言模型评分,提升建议精度和用户参与度。
2026-05-15 cs.AI cs.IR
Inferring individual attributes from search engine queries and auxiliary information
互联网数据已经成为调查人类行为不同方面的主要来源。这些研究的关键一步是找到一个合适的队列(即,一组用户)共享研究人员感兴趣的共同特性。然而,直接识别共享此特征的用户通常是不可能的,因为研究人员可用的数据通常是匿名的,以保护用户隐私。为了促进对感兴趣的特定主题的研究,特别是在医学领域,我们介绍了一种算法,用于识别匿名用户的兴趣特征。我们说明了如何一个小的一组标记的例子,连同整个人口的统计信息,可以聚合,以获得标签上看不见的例子。我们使用来自政治领域的标记数据来验证我们的方法。我们提供了两个应用所提出的算法的医疗领域。首先,我们演示了如何识别搜索模式表明他们可能患有某些类型的癌症的用户。在第二部分中,我们详细介绍了一种算法来预测疾病的分布,因为它们在研究人群的一个子集中的发病率,使得从部分流行病学数据预测疾病传播成为可能。
2016-10-26 cs.IR
Generative AI Search Engines as Arbiters of Public Knowledge: An Audit of Bias and Authority
本研究审计了ChatGPT、Bing Chat和Perplexity等生成式AI搜索引擎,发现其在公共话题回应中存在情感偏见及来源的商业和地理偏见,并提醒用户需批判性审视其输出。
2024-05-22 cs.HC cs.IR
Overview of the TREC 2022 NeuCLIR Track
本文概述了首届 TREC NeuCLIR 评测任务,该任务研究神经方法在跨语言信息检索中的作用,以英语查询检索中、波斯、俄语新闻文档,十二支团队共提交 172 组结果。
2023-09-24 cs.IR
Research Method Usage across Academic Ages in Library and Information Science: An Empirical Study (1990-2023)
Department of Information Management, Nanjing University of Science and Technology(南京理工大学信息管理学院)
基于26,677篇论文,使用CogFT模型和Top2Vec方法,分析不同学术年龄阶段学者在研究方法使用上的动态趋势,发现理论方法占比下降,实验和文献计量方法上升,中期学者方法多样性最高。
2026-06-23 cs.CL cs.DL cs.IR
Doc2Query++: Topic-Coverage based Document Expansion and its Application to Dense Retrieval via Dual-Index Fusion
National Taiwan University(國立臺灣大學)
提出Doc2Query++框架,通过无监督主题建模和混合关键词选择结构化LLM查询生成,并采用双索引融合策略隔离噪声,显著提升稀疏与稠密检索性能。
2025-10-13 cs.IR
Learning Better Context Characterizations: An Intelligent Information Retrieval Approach
Universidad Nacional del Sur(南方国立大学);CONICET - Consejo Nacional de Investigaciones Científicas y Técnicas(国家科学技术研究委员会)
本文提出了一种增量的方法,可以使用智能系统来学习更好的描述的主题上下文。该方法从分析主题的简单描述中选择少量术语开始,并将此描述用作初始搜索上下文。使用这些术语,构建一组查询并将其提交给搜索引擎。新的文件和术语被用来完善学习词汇。对大量主题进行的评估表明,在构建查询以检索相关材料时,所学词汇比原始词汇更有效。
2010-04-27 cs.AI cs.IR
Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search
Amazon(亚马逊)
提高搜索结果的质量可以显著增强用户体验和与搜索引擎的互动。尽管最近在机器学习和数据采掘领域中取得了一些进展,但是正确地对特定用户搜索查询的项目进行分类一直是一个长期存在的挑战,这仍然具有很大的改进空间。本文介绍了“购物搜索数据集”,这是一个大型的亚马逊搜索查询和结果数据集,公开发布,旨在促进提高搜索结果质量的研究。该数据集包含大约13万个独特的查询和260万个手动标记的(查询,产品)相关性判断。该数据集是多语言的,可使用英语、日语和西班牙语进行查询。KDDCup'22挑战赛之一正在使用购物体验数据集。在本文中,我们描述了数据集,并提出了三个评估任务以及基线结果:(i)排名的结果列表,(ii)分类产品结果到相关类别,以及(iii)确定替代产品为给定的查询。我们预计,这些数据将成为未来产品搜索研究的黄金标准。
2022-06-14 cs.IR cs.LG
FinCPRG: A Bidirectional Generation Pipeline for Hierarchical Queries and Rich Relevance in Financial Chinese Passage Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Value Simplex Technology Co. Ltd(北京价值简单科技有限公司)
本文提出FinCPRG双向生成流水线,通过自下而上和自上而下方法生成三级层次化查询,并挖掘间接正例丰富相关性标签,构建了高质量金融段落检索数据集。
2025-08-04 cs.AI cs.CE cs.IR
Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling
TU Wien(维也纳工业大学);University of Waterloo(滑铁卢大学)
广泛采用神经检索模型的关键一步是在整个训练,索引和查询工作流程中的资源效率。近年来,神经检索界在训练有效的双编码器稠密检索(DR)模型方面取得了很大进展。密集文本检索模型使用每个查询和段落的单个向量表示来对匹配进行评分,这使得具有最近邻搜索的低延迟第一阶段检索成为可能。越来越常见的训练方法需要巨大的计算能力,因为它们要么从不断更新的刷新索引中进行负通道采样,要么需要非常大的批量进行批量负采样。而不是依赖于更多的计算能力,我们引入了一个有效的主题感知查询和平衡的利润率采样技术,称为TAS平衡。我们在训练之前对查询进行一次聚类,并在每个批次中对聚类中的查询进行采样。我们用一种新颖的双教师监督来训练我们的轻量级6层DR模型,该监督结合了成对和批量的负教师。我们的方法可以在48小时内在单个消费级GPU上训练(而不是8 x V100的常见配置)。我们证明了我们的TAS-Balanced训练方法在两个TREC深度学习Track查询集上实现了最先进的低延迟(每个查询64 ms)结果。在NDCG@10上进行评估,我们的表现比BM 25好44%,比普通训练的DR好19%,比docT 5 query好11%,比之前最好的DR模型好5%。此外,TAS-Balanced还生成了第一个密集检索器,该检索器在TREC-DL的任何截止点上的召回率都优于其他所有方法,并允许更多资源密集型重新排序模型在更少的段落上…
2021-05-26 cs.CL cs.IR
When should I search more: Adaptive Complex Query Optimization with Reinforcement Learning
Tencent Youtu Lab(腾讯云图实验室);The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学)
本文提出自适应复杂查询优化框架ACQO,通过强化学习解决复杂查询优化中的子查询数量确定、文档排序与合并问题,实现更稳定高效的查询处理。
2026-01-29 cs.AI cs.IR
Microblog Topic Identification using Linked Open Data
广泛使用社交媒体来分享和获取信息,导致了主题检测模型的发展,以促进对大量简短和分布式帖子的理解。概率主题模型(如潜在狄利克雷分配)和基于矩阵分解的方法(如潜在语义分析和非负矩阵分解)将主题表示为对许多自动化过程有用的术语集。然而,确定一个主题是关于什么的是一个进一步的任务。或者,产生摘要的技术是人类可以理解的,但不太适合自动化处理。这项工作提出了一种方法,利用链接的开放数据(LOD)资源,提取语义表示的主题,从集合的微帖子。所提出的方法利用实体链接来识别来自微帖子的主题元素。这些元素通过共现图相关联,共现图被处理以产生主题。主题表示使用的本体,是为此目的而引入的。该方法的原型用于从11个数据集中识别主题,这些数据集包括在各种事件中从Twitter收集的100多万个帖子,例如2016年美国大选辩论和Carrie Fisher的死亡。详细描述了该方法生成超过5000个主题的特点。语义主题在揭示信息方面的潜力,这是不容易观察到的,表现出各种复杂性的语义查询。从36个随机选择的时间间隔中对主题进行人工评估,结果精确度为81.0%,F1得分为93.3%。此外,他们从相同的数据集从一种方法,从微博帖子集合产生人类可读的主题生成的主题进行比较。
2020-09-21 cs.IR cs.SI
Extracting Document Relations from Search Corpus by Marginalizing over User Queries
The University of Electro-Communications(东京电波通信大学)
提出 EDR-MQ 框架,通过 MC-RAG 技术对用户查询进行边缘化来估计文档间的联合概率,无需标注数据即可揭示传统方法难以发现的文档关系与跨领域联系。
2025-07-14 cs.IR cs.LG
Qunits: queried units in database search
针对结构化数据库的关键字搜索已经成为一个流行的研究主题,因为许多用户发现结构化查询太难表达,并且享受可以输入搜索词的"Google式“查询框的自由。解决这一问题的努力面临着一个根本性的困境。数据库查询是基于谓词求值的逻辑,对于给定的查询有一个精确定义的答案集。另一方面,在信息检索方法中,排序查询结果长期以来被认为远优于基于布尔查询评估的结果。因此,当针对数据库尝试关键字查询时,发明了相对特设的排名机制(如果使用排名的话),并且关于如何对查询结果进行排名的大量IR文献中几乎没有利用。我们的建议是在排名和数据库查询之间建立一个明确的分离。这将问题分为两个部分,并允许我们分别解决这些问题。第一个任务是在概念上将数据库表示为独立的“查询单元”或“qunits”的集合,每个单元表示针对数据库的某些查询的期望结果。第二个任务是评估关键字查询对一个集合的qunits,这可以被视为独立的文件查询的目的,从而允许使用标准的IR技术。我们提供的见解,鼓励使用这种查询范式,并讨论初步调查的有效性,基于原型实现的qunits的框架。
2009-09-09 cs.DB cs.IR
Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation
Sichuan University(四川大学)
本文通过混合结构摘要与基于LLM的数据增强方法,提升社交搜索中查询与文档的主题相关性建模性能。
2025-12-10 cs.CL cs.IR
Novelty in news search: a longitudinal study of the 2020 US elections
本研究通过纵向分析2020年美国大选期间五个搜索引擎的新闻搜索结果,发现选举相关查询的新颖性更高,并揭示了不同搜索引擎和地区间存在的候选人可见性不平衡问题。
2022-11-09 cs.CY cs.IR
MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval
University of British Columbia(不列颠哥伦比亚大学);University of Salerno(萨莱诺大学);ServiceNow Research(ServiceNow研究院)
提出MCompassRAG框架,通过主题元数据增强段落表示,利用LLM蒸馏训练轻量检索器,实现主题感知检索,在六个基准上平均信息效率提升8.24%,延迟降低5倍以上。
2026-06-18 cs.CL cs.IR
Efficient Continual Top-$k$ Keyword Search in Relational Databases
关系数据库中的关键字搜索由于不要求用户既不掌握某种结构化查询语言,也不需要知道复杂的底层数据模式,近年来得到了广泛的研究。现有的大多数方法都是针对静态数据库中的快照关键字查询。但实际上,数据库经常更新,用户可能对特定主题有长期兴趣。为了应对这种情况,有必要在数据库系统中建立有效和高效的设施,以支持连续的关键字查询评估。提出了一种有效的关系数据库上连续关键字查询应答方法。该方法由两个核心算法组成。第一个计算一组潜在的前$k$结果通过评估的范围内的未来相关性得分为每个查询结果,并创建一个轻量级状态为每个关键字查询。第二种方法使用这些状态在数据库不断增长时维护关键字查询的前$k$结果。实验结果验证了该方法的有效性和效率。
2011-09-07 cs.DB cs.IR
Cross-Document Topic-Aligned Chunking for Retrieval-Augmented Generation
本文提出跨文档主题对齐分块技术,通过语料层面的知识重建提升检索增强生成系统的忠实度和信息密度,实验显示其在多跳推理和法律文本任务中均取得显著性能提升。
2025-11-08 cs.AI cs.CL cs.IR
Know Your Personalization: Learning Topic level Personalization in Online Services
Bell Labs Research(贝尔实验室研究院)
在线服务平台(OSP),例如搜索引擎、新闻网站、广告提供商等,基于从用户与OSP的历史中提取的简档,向用户提供高度个性化的内容。虽然个性化(通常)会带来更好的用户体验,但它也会引起用户的隐私问题-他不知道他的个人资料中有什么,更重要的是,他不知道什么被用来个性化内容。在本文中,我们捕获OSP的个性化用户在一个新的数据结构,称为个性化向量($η$),这是一个加权向量的一组主题,并提出技术来计算它的用户的OSP。我们的方法将OSP视为黑盒,并通过只挖掘其输出来提取$η$,具体地,个性化(针对用户)和普通(没有任何用户信息)内容以及这些内容的差异。我们制定了一个新的模型,称为潜在主题个性化(LTP),捕捉到一个学习框架的个性化向量,并提出了有效的推理算法it.We做了大量的实验,搜索结果个性化使用的数据,从真正的谷歌用户和合成数据集。我们的研究结果表明,高精度(R-pre = 84%)的LTP在寻找个性化的主题。对于Google数据,我们的定性结果显示了LTP如何也可以识别证据--对具有高$η$值的主题结果的查询被重新排序。最后,我们展示了我们的方法可以用来建立一个新的隐私评估框架,专注于最终用户的隐私商业OSP。
2012-12-14 cs.IR cs.LG
Topic-FlipRAG: Topic-Orientated Adversarial Opinion Manipulation Attacks to Retrieval-Augmented Generation Models
Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);Worcester Polytechnic Institute(沃思堡理工学院)
本文提出Topic-FlipRAG,一种针对检索增强生成模型的面向主题对抗性观点操控攻击方法,通过两阶段流程影响模型输出观点,揭示了RAG系统安全防护的迫切需求。
2025-12-29 cs.CL cs.CR cs.IR
Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?
The University of Queensland(昆士兰大学);Leipzig University(莱比锡大学);CSIRO(联邦科学与工业研究组织)
系统性综述是对高度集中的研究问题的文献的全面综述。这些综述通常被视为循证医学中最高形式的证据,是回答医学领域研究问题的关键策略。为了创建高质量的系统综述,通常构建复杂的布尔查询来检索综述主题的研究。然而,系统评价研究人员往往需要很长时间才能构建高质量的系统评价布尔查询,而且生成的查询往往效果不佳。不良查询可能导致偏倚或无效的审查,因为他们错过了检索关键证据,或审查成本的广泛增加,因为他们检索了太多不相关的研究。基于transformer的生成模型的最新进展已经显示出巨大的潜力,可以有效地遵循用户的指令,并根据所做的指令生成答案。在本文中,我们调查的有效性,最新的这样的模型,ChatGPT,在生成有效的布尔查询系统综述文献检索。通过对该任务的标准测试集合进行大量实验,我们发现ChatGPT能够生成导致高搜索精度的查询,尽管这是为了召回。总的来说,我们的研究证明了ChatGPT在系统综述文献检索中生成有效布尔查询的潜力。ChatGPT能够遵循复杂的指令并以高精度生成查询,这使得它成为进行系统评价的研究人员的一个有价值的工具,特别是对于时间有限的快速评价,并且通常可以接受较高的精度和较低的召回率。
2023-02-09 cs.AI cs.IR
QueryBuilder: Human-in-the-Loop Query Development for Information Retrieval
Raytheon BBN Technologies(雷神BBN技术公司);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);National Institute of Standards and Technology(美国国家标准与技术研究院);Amazon AWS AI Labs(亚马逊AWS AI实验室)
本文提出交互式人在回路系统 QueryBuilder,通过近实时检索、句子相关性标注、查询词与事件特征加权及神经检索迭代细化,帮助新手低成本构建跨语言细粒度查询。
2024-09-10 cs.CL cs.IR cs.LG