A New Benchmark and Approach for Fine-grained Cross-media Retrieval
Peking University（北京大学）
跨媒体检索是指对任意媒体类型的查询，返回相应的各种媒体类型的结果。现有的研究一般集中在粗粒度的跨媒体检索。当用户提交“Slaty-backed Gull”的图像作为查询时，粗粒度跨媒体检索将其视为“Bird”，这样用户只能得到“Bird”的结果，其中可能包括其他具有相似外观（图像和视频）、描述（文本）或声音（音频）的鸟类物种，例如“Herring Gull”。这种粗粒度的跨媒体检索与人类的生活方式不一致，在人类的生活方式中，我们通常具有返回“Slaty-backed Gull”而不是“Herring Gull”的精确相关结果的细粒度要求。然而，细粒度的跨媒体检索是一个极具挑战性和实用性的课题，却鲜有研究。因此，本文首先构建了一个新的细粒度跨媒体检索基准，它由“鸟”的200个细粒度子类别组成，包含图像、文本、视频和音频4种媒体类型。据我们所知，它是第一个具有4种媒体类型的细粒度跨媒体检索基准。然后，我们提出了一个统一的深度模型，即FGCrossNet，它可以同时学习4种类型的媒体，而不会进行区分处理。为了更好地进行公共表示学习，我们综合考虑了三个约束：分类约束保证了区分性特征的学习，中心约束保证了同一子类别特征的紧凑性，排序约束保证了不同子类别特征的稀疏性。大量的实验验证了新基准的实用性和我们的FGCrossNet的有效性。这些报告将在https://github.com/PKU-I…
2019-10-31 cs.CV cs.IR cs.LG
Deep Learning Techniques for Future Intelligent Cross-Media Retrieval
Namal Institute（纳马尔学院）；University of Bradford（布拉德福德大学）；Beijing University of Technology（北京工业大学）；Ghulam Ishaq Khan Institute of Engineering Sciences and Technology（古拉姆·伊沙克·汗工程科学与技术学院）；Prince Sultan University（苏丹亲王大学）；CISTER/INESC TEC（CISTER/INESC TEC 研究中心）；ISEP-IPP（波尔图理工学院高等工程学院）；Sarhad University of Science and IT（萨哈德科技大学）；Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Houston（休斯顿大学）
随着技术的进步和广播的扩大，跨媒体检索得到了广泛的关注。它在大数据应用中发挥着重要作用，包括从不同类型的媒体中搜索和查找数据。在本文中，我们提供了一个新的分类，根据所面临的挑战，多模态深度学习方法在解决跨媒体检索，即：表示，对齐和翻译。这些挑战在基于深度学习（DL）的方法上进行评估，这些方法分为四个主要组：1）无监督方法，2）监督方法，3）基于成对的方法，以及4）基于秩的方法。然后，我们提出了一些著名的跨媒体数据集用于检索，考虑到这些数据集在基于深度学习的跨媒体检索方法的背景下的重要性。此外，我们还提出了一个广泛的审查最先进的问题和相应的解决方案，鼓励跨媒体检索中的深度学习。本研究的基本目标是利用深度神经网络（DNN）来弥合“媒体鸿沟”，并为研究人员和开发人员提供更好地理解深度学习辅助跨媒体检索的潜在问题和潜在解决方案。据我们所知，这是第一个全面的调查，以解决跨媒体检索下的深度学习方法。
2020-07-21 cs.CV cs.IR cs.LG
RATE: An LLM-Powered Retrieval Augmented Generation Technology-Extraction Pipeline
Dept. of Management, Science and Technology（管理、科学与技术系）；Amirkabir University of Technology（阿姆尔卡比尔科技大学）；Dept. of Electrical Engineering（电气工程系）；Sharif University of Technology（沙里夫科技大学）
针对技术图谱构建所需的自动化技术抽取需求，本文提出融合RAG与多定义LLM验证的RATE流水线，在BCI-XR文献案例中F1值达91.27%，远超BERT基线，为技术抽取与领域趋势分析提供新方案。
2025-07-19 cs.AI cs.IR cs.LG
Joint Audio-Video Fingerprint Media Retrieval Using Rate-Coverage Optimization
在这项工作中，我们提出了一个联合音频和视频指纹自动内容识别（ACR）技术的媒体检索。该问题的重点是如何平衡查询精度和指纹的大小，以及如何将指纹的比特分配到视频帧和音频帧中，以达到最佳的查询精度。通过构造一个新的概念称为覆盖，这是高度相关的查询精度，我们能够形成一个率覆盖模型，将原来的问题转化为一个优化问题，可以解决的动态规划。据我们所知，这是第一个工作，使用联合音频-视频指纹ACR技术的媒体检索与理论问题制定。实验结果表明，与参考算法相比，该方法在使用60%总码率的情况下，查询准确率提高了25%;在达到85%准确率的情况下，码率降低了25%;且性能明显优于使用单一音频或视频源指纹的解决方案。
2016-09-05 cs.IR
Unsupervised Cross-Media Hashing with Structure Preservation
Institute for Infocomm Research（信息通信研究院）
近年来，异构多媒体数据呈指数级增长。从异构数据源中进行有效、准确的数据检索的需求吸引了跨媒体检索的研究兴趣。在这里，给定任何媒体类型的查询，跨媒体检索试图从异构数据源中找到不同媒体类型的相关结果。为了便于大规模的跨媒体检索，我们提出了一种新的无监督跨媒体哈希方法。我们的方法将局部亲和力和距离排斥的限制到一个矩阵分解框架。相应地，所提出的方法学习散列函数，从不同的媒体类型生成统一的散列码，同时确保数据分布的固有几何结构被保留。这些散列码使不同媒体类型的数据之间的相似性能够被直接评估。在两个大规模多媒体数据集上的实验结果表明了该方法的有效性，优于现有的方法。
2016-03-18 cs.CV cs.IR
DS@GT at CheckThat! 2025: Exploring Retrieval and Reranking Pipelines for Scientific Claim Source Retrieval on Social Media Discourse
Georgia Institute of Technology（佐治亚理工学院）
针对社交媒体科学声明缺乏来源的问题，DS@GT团队在CheckThat! 2025任务4b中探索多种数据增强、检索重排序流水线并微调双编码器，MRR@5达0.58，较BM25基线提升0.15。
2025-07-09 cs.CL cs.IR
Contextual Media Retrieval Using Natural Language Queries
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
手持和头戴式设备中摄像头的广泛集成以及在线共享内容的能力，使数百万用户每天共同构建的世界能够实现大规模和多样化的视觉捕捉。我们设想这些图像以及相关的Meta信息，如GPS坐标和时间戳，形成一个集体的视觉记忆，可以查询，同时自动考虑到不断变化的移动用户的上下文。作为实现这一愿景的第一步，在这项工作中，我们提出了Xplore-M-自我：一种新的媒体检索系统，允许用户查询动态数据库的图像和视频使用时空自然语言查询。我们评估我们的系统使用一个新的数据集的真实用户查询，以及通过可用性研究。一个关键的发现是，有相当数量的用户间的变化，例如在自然语言话语的空间关系的分辨率。我们表明，我们的检索系统可以通过一个基于在线学习的检索配方使用个性化来应对这种变化。
2016-02-16 cs.AI cs.CL cs.CV
Modality-dependent Cross-media Retrieval
Beijing Jiaotong University（北京交通大学）；China Three Gorges University（三峡大学）；University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
在本文中，我们研究了图像和文本之间的跨媒体检索，使用图像搜索文本（I2T）和使用文本搜索图像（T2I）。现有的跨媒体检索方法通常学习一对投影，通过投影图像和文本的原始特征可以被投影到一个共同的潜在空间来测量内容相似性。然而，对于两个不同的检索任务（I2T和T2I）使用相同的投影可能导致它们各自的性能之间的折衷，而不是它们的最佳性能。与以往的工作不同，我们提出了一个模态依赖的跨媒体检索（MDCR）模型，其中两对投影学习不同的跨媒体检索任务，而不是一对投影。具体而言，通过联合优化图像和文本之间的相关性以及从一个模态空间（图像或文本）到语义空间的线性回归，学习两对映射，以将图像和文本从其原始特征空间投影到两个公共潜在子空间（一个用于I2T，另一个用于T2I）。大量的实验表明，所提出的MDCR的优越性与其他方法相比。特别地，基于4，096维卷积神经网络（CNN）视觉特征和100维LDA文本特征，所提出的方法的mAP达到41.5%，这是维基百科数据集上的新的最先进性能。
2015-06-23 cs.CV cs.IR cs.LG
Efficient Media Retrieval from Non-Cooperative Queries
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；eBay Research Labs（eBay研究实验室）
文本在人工世界中无处不在，当涉及到书名和作者姓名时，文本很容易获得。使用来自Stanford Mobile Visual Search数据集的书籍封面集的图像以及来自openlibrary.org的其他书籍封面和元数据，我们构建了一个大规模的书籍封面检索数据集，每个数据集包含10万个干扰项封面以及标题和作者字符串。由于我们的查询图像是不好的条件，干净的文本提取，我们提出了一种方法，用于提取匹配的噪声和错误的OCR读数，并匹配它对干净的作者和书名字符串在一个标准的文档查找问题设置。最后，我们演示了如何使用这种文本匹配作为一个功能，结合流行的检索功能，如VLAD使用一个简单的学习设置，以实现检索精度的显着改善，无论是VLAD或单独的文本。
2014-11-19 cs.CV cs.IR
Prospective Study for Semantic Inter-Media Fusion in Content-Based Medical Image Retrieval
University of Besançon（贝桑松大学）；IPAL-Image Perception, Access and Language, UMI CNRS 2955, NUS, UJF, I2R - A*STAR, Singapore（新加坡国立大学、法国国家科研中心、约瑟夫·傅里叶大学、新加坡资讯通信研究院、新加坡科技研究局联合成立的IPAL机构）；Faculty of Sciences, University of Besançon（贝桑松大学理学院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
现代基于内容的医学图像检索（CBMIR）方法中的一个重要挑战是与医学知识的复杂性相关的语义鸿沟。在CBMIR中能够缩小这一差距的方法中，由于访问在线更新的相关Web服务和提取实时医学语义结构化信息的可能性，使用医学词库/本体具有有趣的前景。本文提出的CBMIR方法使用统一医学语言系统（UMLS）的元词库进行语义索引和医学媒体的融合。这种融合在查询处理（检索）之前进行，并在符合UML的概念索引级别上工作。我们的目的是研究各种技术相关的语义数据对齐，预处理，融合，聚类和检索，通过评估各种技术和突出未来的研究方向。对齐和预处理基于部分文本/图像检索反馈和数据结构。我们分析了各种概率，模糊和基于证据的方法的融合过程和不同的相似性函数的检索过程。所有提出的方法进行评估的跨语言评估论坛（CLEF）的医学图像检索基准，也专注于一个更同质的组件医学图像数据库：病理学教育教学资源（PEIR）。
2008-11-28 cs.CL cs.IR
Learning Discriminative Representations for Semantic Cross Media Retrieval
不同模态之间的异质性间隙是现代人工智能问题中的关键问题之一。与传统的单模态情况下，原始特征提取和直接测量，跨模态任务的异构性需要在一个统一的框架内进行比较的内在语义表示。本文研究了跨不同情态内容的不同表征的学习。提出了一种在Hilbert空间中引入显式线性语义投影的跨模态表示挖掘方法。我们的见解是，不同模态数据的判别结构可以在适当的高维希尔伯特空间中线性表示，其中线性运算可以用于近似原始空间中的非线性决策。因此，针对多模态数据联合学习有效的线性语义向下映射，从而产生可以比较它们的公共空间。"特征上抬下射"机制作为一个整体无缝地工作，很好地完成了跨模态检索任务。该方法被命名为共享判别语义表示学习（\textbf{SDSRL}），在两个公开的多模态数据集上进行测试，用于模态内和模态间检索。实验表明，在大多数情况下，它的性能优于几种最先进的方法。
2015-11-18 cs.IR
AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking
TU Wien（维也纳技术大学）
本研究提出双编码器与神经重排序的两阶段检索流程，用于社交媒体隐含科学声明的证据检索，在CheckThat! 2025中显著提升MRR@5至0.6828。
2025-09-23 cs.AI cs.IR cs.LG
Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；Deutsches GeoForschungsZentrum（德国地球科学研究中心）
由于传感器的粗略分布或传感器故障，对洪水等自然灾害的及时分析通常会受到数据有限的影响。利用社交媒体平台上发布的事件图像中所含的信息，即所谓的“嵌入式地理信息"，可以缓解这一限制。为了节省分析师从需要检查所有的图像在线手动发布，我们建议使用基于内容的图像检索的可能性，相关反馈检索事件的相关图像进行分析。为了评估这种方法，我们引入了一个新的3,710幅洪水图像的数据集，由领域专家注释了它们与三项任务（确定淹没区域，淹没深度，水污染）的相关性。我们在该数据集上比较了几种图像特征和相关反馈方法，混合了97，085张干扰图像，并且能够将前100个检索结果的准确率从基线检索的55%提高到5轮反馈后的87%。
2019-08-09 cs.CV cs.IR cs.MM
An Edge-First Multimodal Asset Management Studio and Retrieval Engine for Heterogeneous AI-Generated Media
该研究提出基于Vue等技术的边缘优先多模态资产管理系统Berry AI Studio，通过多项机制优化异构AI生成媒体的本地管理与检索，实验验证其性能优异且相关资源公开可用。
2026-10-14 cs.HC cs.IR cs.MM
An Analysis of a BERT Deep Learning Strategy on a Technology Assisted Review Task
University of Strathclyde（斯特拉斯克莱德大学）
文件筛选是循证医学的中心任务，循证医学是一门临床学科，它补充了科学证据来支持医疗决策。鉴于应用于信息检索任务的DL（深度学习）方法的最新进展，我提出了一种具有BERT或PubMed BERT嵌入的DL文档分类方法以及使用SBERT嵌入的DL相似性搜索路径，以减少医生筛选和分类大量文档以回答临床查询的任务。我测试和评估了我的DL策略在2017年和2018年CLEF电子健康集合上的检索有效性。我发现，建议的DL策略的作品，我比较它最近成功的BM 25加RM3模型，并得出结论，建议的方法完成先进的检索性能的初步排名的文章与上述数据集，为CLEF电子健康技术辅助审查经验医学任务。
2021-04-16 cs.IR cs.LG
KOSMOS: Knowledge-graph Oriented Social media and Mainstream media Overview System
我们介绍了KOSMOS，一个知识检索系统的基础上构建的知识图谱的社会媒体和主流媒体文件。该系统首先通过聚类从文档中识别每个时间帧的关键事件，提取一个文档来表示每个聚类，然后根据5W1H（谁，什么，何时，何地，为什么，如何）来描述文档。以事件为中心的知识图谱通过关系三元组和来自代表性文档的实体消歧来增强。这种知识检索是由一个网络界面，提出了一个图形可视化的相关节点和相关的文章的基础上，用户查询的支持。该界面有助于通过KOSMOS信息抽取管道了解主流媒体和社交媒体新闻报道的事件之间的关系，这对了解媒体倾向和公众意见很有价值。最后，我们探索了一个从文档中提取事件和关系的用例，以了解媒体和社区对2020年COVID-19大流行的看法。
2020-12-17 cs.IR
The Literary Theme Ontology for Media Annotation and Information Retrieval
文学主题的识别与阐释是文学研究的一个重点。古典形式的文学研究，如细读，蓬勃发展，几乎没有任何需要共同定义的文学主题。然而，随着对小说作品中文学主题的协作和算法分析的普及，以及对大型语料库的计算搜索和索引设施的需求，需要收集共享的文学主题，以确保共同的术语和定义。为了满足这一需求，我们在这里介绍了文学主题本体论的初稿。受传统文学理论框架的启发，本体论包括从作者自己的分析，参考书和在线资源中提取的文学主题。该本体在知识共享署名4.0国际许可（CC BY 4.0）下可在https://github.com/theme-ontology/lto上获得。
2019-08-19 cs.DL cs.IR
Deploying Large Language Models With Retrieval Augmented Generation
University of South Florida（南佛罗里达大学）
本文通过一个集成LLM与RAG的试点项目，总结了在真实场景中部署检索增强生成的最佳实践与AI治理模型，并分析了其对信息价值链的影响。
2024-11-07 cs.CL cs.IR
A Qualitative Representation and Similarity Measurement Method in Geographic Information Retrieval
现代地理信息检索技术是建立在定量模型和方法基础上的。Web文档和查询中的语义信息不能被有效地表示，导致信息丢失或误解，从而导致结果不可靠或不一致。提出了一种基于定性表示、语义匹配和定性推理的地理信息检索的定性方法。定义了一种定性表示模型和相应的相似性度量方法。文档中的信息和用户查询使用命题逻辑表示，综合考虑了主题和地理语义。在领域本体的基础上，将主题信息表示为主题命题。同样，空间信息在地理知识库的支持下表示为地理空间命题。然后将相似性分为主题相似性和空间相似性。前者通过领域本体中命题关键词的加权距离计算，后者的相似度进一步分为概念相似度和空间相似度。相似性度量以命题和信息单元为代表，可以采用证据理论和模糊逻辑来组合所有子相似性，得到文档和查询之间的最终相似性。该检索方法主要用于检索定性地理信息，支持语义匹配和结果排序。它不涉及几何计算，符合人类的常识认知，从而可以提高地理信息检索技术的效率。
2013-11-19 cs.IR
Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval
Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）；Charles University（查尔斯大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所）；University of Parma（帕尔马大学）
本文考虑通过学习视觉-文本嵌入空间来匹配图像和句子的任务，用于跨模态检索。找到这样的空间是一项具有挑战性的任务，因为文本和图像的特征和表示是不可比较的。在这项工作中，我们引入了一个端到端的深度多模态卷积递归网络，用于同时学习视觉和语言表示，以推断图像-文本相似性。该模型使用基于铰链的三重排序来学习哪些对是匹配的（阳性），哪些是不匹配的（阴性）。为了了解联合表示，我们利用我们从Twitter新提取的推文集合。我们数据集的主要特点是图像和推文没有标准化，与基准测试相同。此外，与描述组织良好的基准相反，图片和推文之间可能存在更高的语义相关性。在MS-COCO基准数据集上的实验结果表明，我们的模型优于以前提出的某些方法，并具有竞争力的性能相比，最先进的。代码和数据集已公开。
2020-02-23 cs.AI cs.CL cs.CV
An Information Retrieval Approach to Short Text Conversation
Huawei Technologies（华为技术有限公司）
人机对话被认为是人工智能中最困难的问题之一。在本文中，我们解决它的一个关键的子问题，被称为短文本会话，其中给定的消息从人类，计算机返回一个合理的响应消息。我们利用社交媒体上大量的简短对话数据来研究这个问题。我们建议在第一步将短文本会话形式化为搜索问题，并采用最先进的信息检索（IR）技术来执行任务。我们调查的意义，以及限制IR方法。我们的实验表明，检索为基础的模型可以使系统的行为，而“智能”，当与一个巨大的存储库的会话数据从社交媒体。
2014-08-29 cs.CL cs.IR
Overview of EIREX 2012: Social Media
第三个信息检索教育通过实验轨道（EIREX 2012）在马德里卡洛斯三世大学运行，在2012年春季学期。EIREX 2012是一系列旨在培养新的信息检索（IR）教育方法和资源的实验中的第三个，其具体目标是从实验的角度教授本科IR课程。对于EIREX实验背后的动机的介绍，参见[Urbano et al.，2011年a]。有关EIREX其他版本和相关数据的信息，请访问网站http://ir.kr.inf.uc3m.es/eirex/。EIREX系列有以下目标：a）帮助学生了解信息检索过程，就像他们在真实世界场景（工业或学术）中发现的那样; b）让学生意识到计算机科学实验室实验的重要性，并在执行和分析中启动它们; c）创建公共资源库来教授信息检索课程; d）寻求其他大学的合作和积极参与这一努力。本概述总结了EIREX 2012轨道的结果，重点是测试集合的创建和分析，以评估其可靠性。
2013-02-05 cs.IR
Technology Mapping with Large Language Models
针对传统关键词搜索难以应对海量数据的新兴技术映射问题，提出STARS框架，结合大语言模型、Sentence-BERT、实体提取、思维链提示与语义排序，精准定位技术并构建公司画像，显著提升跨行业技术检索准确率。
2025-01-25 cs.DB cs.ET cs.IR
Text Extraction and Retrieval from Smartphone Screenshots: Building a Repository for Life in Media
Stanford University（斯坦福大学）
日常生活体验与移动终端的使用日益交织。以秒为单位的屏幕捕获正在用于行为研究和实施“及时”健康干预措施。数字信息的心理广度不断增加，将继续使人们观看的实际屏幕成为生活经验数据的首选来源。有效和高效的信息抽取和检索从数字屏幕截图是一个至关重要的先决条件，成功地使用屏幕数据。在本文中，我们提出的实验工作流程，我们利用：（一）预处理一个独特的收集屏幕截图，（二）提取嵌入在图像中的非结构化文本，（三）组织图像文本和元数据的基础上结构化的模式，（四）索引所产生的文档集合，（五）允许图像检索通过一个专门的垂直搜索引擎应用程序。所采用的程序集成了不同的开放源码库的传统图像处理，光学字符识别（OCR），图像检索。我们的目的是评估是否以及如何将最先进的方法应用于这一新的数据集。我们展示了如何将基于OpenCV的预处理模块与基于Tesseract OCR的长短期记忆（LSTM）版本相结合，而无需专门的训练，从而使提取的文本具有74%的字符级准确度。此外，我们使用处理后的存储库作为专用图像检索系统的基线，供行为和预防科学家立即使用和应用。我们讨论了文本信息抽取和检索的问题，特别是截图图像的情况下，并提出了重要的未来工作。
2018-01-04 cs.CV cs.DL cs.IR
Information Retrieval (IR) through Semantic Web (SW): An Overview
大量的数据存在于网络上。它包含了大量的网页，从中找到合适的信息是非常繁琐的任务。有必要以正式方式组织数据，以便用户能够容易地访问和使用它们。为了从文档中检索信息，我们有许多信息检索（IR）技术。目前的IR技术还没有那么先进，他们可以利用文档中的语义知识，并给出精确的结果。IR技术是主要因素负责处理语义Web（SW）语言的注释，并在本文中用于检索信息的知识表示语言进行了讨论。
2014-03-27 cs.IR
The 3rd Place Solution of CCIR CUP 2025: A Framework for Retrieval-Augmented Generation in Multi-Turn Legal Conversation
本文提出一个用于多轮法律对话的检索增强生成框架，结合信息检索与大型语言模型，基于法律法规回答用户问题，并在CCIR CUP 2025中取得第三名。
2025-10-17 cs.IR
Migration-Related Semantic Concepts for the Retrieval of Relevant Video Content
移徙，特别是非正常移徙，是边境机构和整个社会面临的一个关键问题。与移徙有关的情况和决定受到各种因素的影响，包括对移徙路线和目标国的看法。通过对媒体和社交媒体渠道以及其中发布的视频和图像进行系统的自动分析，可以更好地了解这些因素。然而，移民的多面性和移民相关方面的各种方式在图像和视频中表达，使移民相关的多媒体内容的查找和自动分析成为一项具有挑战性的任务。我们提出了一种新的方法，有效地弥合之间的差距，一个充实的域理解-封装成一组迁移相关的语义概念-和表达这样的概念在视频中，通过引入先进的视频分析和检索方法。
2020-11-13 cs.CY cs.IR
Carbon Footprint Accounting Driven by Large Language Models and Retrieval-augmented Generation
本文提出LLMs-RAG-CFA方法，结合大语言模型与检索增强生成技术，实现碳足迹的实时、专业且经济高效的核算，在五个行业中优于传统方法，降低信息与核算偏差。
2024-08-20 cs.IR
GORAG: Graph-based Online Retrieval Augmented Generation for Dynamic Few-shot Social Media Text Classification
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong Polytechnic University（香港理工大学）；Guangzhou HKUST Fok Ying Tung Research Institute（广州HKUST福ying顿研究 institute）
GORAG提出一种基于图的在线检索增强生成框架，用于动态少样本社交媒体文本分类，通过构建关键词和标签的加权图并动态检索上下文以提升分类性能。
2026-01-29 cs.CL cs.IR cs.LG
Streamlining Social Media Information Retrieval for COVID-19 Research with Deep Learning
Harvard Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布列根和妇女医院）；Zhejiang University School of Medicine（浙江大学医学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出一个基于深度学习的系统化流程，从COVID-19相关推文中自动整理口语化症状词典，通过命名实体识别、归一化和UMLS映射，构建了含38,175个表达、准确率达95%的词典，并能有效识别焦虑等精神疾病，优于预定义词典。
2024-03-18 cs.AI cs.CL cs.IR
Unsupervised Visual and Textual Information Fusion in Multimedia Retrieval - A Graph-based Point of View
多媒体收藏在规模和多样性上比以往任何时候都要增长。因此，有效的多媒体检索系统是至关重要的访问这些数据集从最终用户的角度来看，并在一个可扩展的方式。我们感兴趣的图像/文本多媒体对象的存储库，我们研究多模态信息融合技术的背景下，基于内容的多媒体信息检索。我们专注于基于图形的方法，已被证明提供最先进的性能。我们特别研究了其中两种方法：跨媒体相似性和基于随机游走的分数。从理论的角度来看，我们提出了一个统一的基于图的框架，其中包括上述两种方法。我们的建议使我们能够突出的核心功能时，应该考虑使用基于图形的技术结合视觉和文本信息。我们使用三个不同的现实世界的数据集比较跨媒体和随机游走的结果。从实用的角度来看，我们扩展的实证分析，使我们能够提供见解和指导方针，使用基于图的方法，多模态信息融合在基于内容的多媒体信息检索。
2014-01-27 cs.IR
KhyontekAI at CheckThat! 2026: Multilingual Dense Retrieval and Cross-Encoder Reranking for Scientific Web Claims
Tezpur University（特兹普尔大学）
该研究针对社交媒体科学断言的多语言来源检索难题，提出结合微调密集检索与交叉编码器重排序的两阶段框架，经实验验证元数据丰富化及交叉编码器重排序可提升效果，在CLEF 2026任务中取得多语言MRR@5的优异成绩。
2026-10-14 cs.CL cs.IR
Spotting Information biases in Chinese and Western Media
Newswire和社交媒体是我们这个时代的主要信息来源。虽然西方媒体的主题人口是过去的研究主题，但对中国媒体的了解较少。本文应用事件检测和跟踪技术，考察了中西方传统媒体和社交媒体的信息重叠和差异。我们的实验揭示了中国对西方的偏见，这在比较对名人的兴趣时变得特别明显。
2017-01-06 cs.IR
A Survey of Large Language Model Empowered Agents for Recommendation and Search: Towards Next-Generation Information Retrieval
本文首次系统综述了大语言模型智能体在推荐与搜索中的应用，提出分类框架并展望其在下一代信息检索中的潜力与研究方向。
2025-04-11 cs.IR
Natural language technology and query expansion: issues, state-of-the-art and perspectives
Faculty of IT, Monash University（莫纳什大学信息技术学院）；University of Lyon（里昂大学）；CNRS（法国国家科学研究中心）
丰富的知识资源的可用性促使人们在信息检索技术的开发和增强方面做出了大量的努力。用户的信息需求是用自然语言表达的，成功的检索在很大程度上取决于预期目的的有效沟通。自然语言查询由多个语言特征组成，用于表示预期的搜索目标。造成语义歧义和误解的查询，以及其他因素，如缺乏熟悉的搜索环境的语言特征影响用户的能力，准确地表示他们的信息需求，创造的概念意图差距。后者直接影响返回的搜索结果的相关性，这可能不是用户满意的，因此是影响信息检索系统的有效性的主要问题。我们讨论的核心是识别表征查询意图的重要成分，并通过添加有意义的术语、短语甚至潜在表示来丰富它们，手动或自动地捕获它们的预期含义。具体来说，我们讨论的技术，以实现丰富，特别是那些利用从统计处理的长期依赖关系的文档语料库或从外部知识源，如本体收集的信息。我们放下解剖的通用语言学为基础的查询扩展框架，并提出其基于模块的分解，覆盖的主题问题，从查询处理，信息检索，计算语言学和本体工程。对于每个模块，我们回顾了文献中最先进的解决方案，并根据所使用的技术进行了分类和分析。
2020-04-23 cs.CL cs.IR
Content Based Multimedia Information Retrieval to Support Digital Libraries
Universiti Brunei Darussalam（文莱达鲁萨兰大学）
基于内容的多媒体信息检索是一个有趣的研究领域，因为它允许基于多媒体对象的固有特性进行检索。例如，基于图像中对象的颜色、形状或纹理等视觉特征的检索，或基于媒体（图像或视频剪辑）中对象之间的空间关系的检索。本文回顾了在图像和视频检索方面所做的一些工作，然后提出了一个集成的模型，可以处理图像和视频剪辑统一。使用该模型可以基于相同的框架对图像或视频片段进行检索。
2012-07-18 cs.CV cs.IR
Text Information Retrieval in Tetun: A Preliminary Study
本文针对低资源语言德顿语缺乏信息检索方案的问题，开展即席检索实验并报告初步结果，为构建德顿语搜索解决方案提供基础。
2024-06-11 cs.IR
Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences
文档检索是六十年代以来最成熟的信息检索活动之一，遍及所有搜索引擎。它的目的是从文本文档的集合中获取与模式查询最相关的文本文档。当前技术主要面向“自然语言“文本集合，其中倒排索引是优选的解决方案。尽管这种范式取得了成功，但它未能正确处理某些东亚语言和其他“自然语言“假设不成立的情况。在这次调查中，我们涵盖了最近的研究，在扩展的文件检索技术，以更广泛的一类序列集合，它有应用生物信息学，数据和Web挖掘，化学信息学，软件工程，多媒体信息检索，和许多其他。我们专注于算法方面的技术，揭示了丰富的世界之间的关系，文件检索的挑战和基本问题的树，字符串，范围查询，离散几何，和其他。
2013-09-27 cs.DS cs.IR
Dataset and Case Studies for Visual Near-Duplicates Detection in the Context of Social Media
Technion（以色列理工学院）；Cornell Tech（康奈尔科技校区）
视觉内容通过网络和社交媒体的大规模传播既带来了挑战，也带来了机遇。跟踪视觉上相似的内容是研究和分析与这种内容的传播相关的社会现象的重要任务。在本文中，我们通过构建社交媒体图像数据集并基于图像检索和几种先进的视觉特征提取方法评估视觉近似重复检索方法来满足这一需求。我们使用我们从社交媒体上抓取的大规模图像数据集及其生成的操纵版本来评估这些方法，在召回方面呈现出有希望的结果。我们在两个案例研究中展示了这种方法的潜力：一个案例研究展示了创建支持手动内容审查的系统的价值，另一个案例研究展示了自动大规模数据分析的实用性。
2022-03-14 cs.CV cs.IR cs.LG
Preserving Semantic Neighborhoods for Robust Cross-modal Retrieval
University of Pittsburgh（匹兹堡大学）
丰富的多模态数据（例如社交媒体帖子）激发了人们对跨模态检索方法的兴趣。流行的方法依赖于各种度量学习损失，这些度量学习损失规定了在学习空间中图像和文本的接近度应该是多少。然而，大多数先前的方法都集中在图像和文本传达冗余信息的情况下，相比之下，现实世界的图像-文本对传达互补信息，几乎没有重叠。此外，新闻文章和媒体中的图像以视觉上多样化的方式描绘主题;因此，我们需要特别注意确保有意义的图像表示。我们提出了新的模态内损失，鼓励在文本和图像子空间，这并不一定符合视觉连贯性的语义连贯性。我们的方法不仅确保了配对的图像和文本是接近的，而且还观察到了预期的图像-图像和文本-文本关系。我们的方法提高了跨模态检索的结果相比，五个基线的四个数据集。
2020-07-16 cs.CL cs.CV cs.IR
Design Theory to improve health evidence retrieval
目的：我们的研究目的是为卫生组织设计一种可行的技术解决方案，以消除循证临床信息检索的障碍，并提高循证实践。研究方法：回顾了2010年至2020年的文献，以确定循证临床信息检索中存在的问题，并使用文献中的建议来确定解决方案目标。设计科学研究用于使用云服务完成研究流中的三个项目，如Web规模发现，内容管理系统，联合访问，全球知识库和文档交付。采用设计思维、系统思维和面向用户的信息需求理论构建设计理论。结果如下：研究流产生了三个新颖的和创新的人工制品：上下文模型，统一的架构，和上下文感知的统一架构，我们评估的一部分，学术评论，学术出版物和会议论文集在各个研究流阶段。第四个人工制品或设计理论，提出了概括的结果作为成熟的知识。
2021-11-10 cs.IR
Robust Candidate Generation for Entity Linking on Short Social Media Texts
University of Waterloo（滑铁卢大学）；Twitter（推特）
实体链接（EL）是进入知识库的门户。EL的最新进展利用稠密检索方法进行候选生成，这解决了将NER提及与预先计算的字典进行匹配的基于XML的方法的一些缺点。在这项工作中，我们表明，在域的推文，这样的方法遭受用户往往包括非正式的拼写，有限的上下文，缺乏特异性，以及其他问题。我们调查了这些挑战的一个大的和最近的推文基准EL，经验评估查找和稠密检索的方法，并证明了一个混合的解决方案，使用长的上下文表示维基百科是必要的，以实现相当大的收益比以前的工作，实现0.93召回。
2022-10-14 cs.AI cs.CL cs.IR
Speech User Interface for Information Retrieval
随着信息技术的飞速发展，在给定的时间内产生的信息量远远超过了人类在没有自动化系统的帮助下组织、搜索和处理的能力。现在有很多工具和技术可用于存储和检索信息。用户使用界面与这些技术进行交互，主要是文本用户界面（TUI）或图形用户界面（GUI）。在这里，我试图介绍一个新的接口，即语音信息检索。本项目的目标是开发一个语音界面，可以有效地，高效地，更友好地从数据库中搜索和读取所需信息。这个工具将是非常有用的盲人，他们将能够要求的信息，计算机通过语音命令/s（关键字）通过麦克风和听所需的信息使用扬声器或耳机。
2013-05-07 cs.IR
Guiding Data-Driven Design Ideation by Knowledge Distance
数据驱动的概念设计方法和工具旨在通过提供外部灵感刺激来激发人类对新设计概念的构思。在以前的研究中，刺激的覆盖范围，粒度和检索指导方面受到限制。在这里，我们提出了一个知识为基础的专家系统，提供设计刺激的语义，文档和领域的水平，同时从所有领域的工程和技术，并遵循创造力理论，以指导检索和使用的刺激，根据知识的距离。该系统以专利分类系统中所有技术领域的网络为中心，根据统计估计的技术领域之间的知识距离，在总专利数据库中存储和组织关于技术知识，概念和解决方案的世界累积数据。反过来，知识距离引导基于网络的探索和检索灵感刺激，以通过类比和组合产生新的设计理念。通过两个案例研究，我们展示了使用该系统探索和检索多层次灵感刺激的有效性，并为解决问题和开放式创新产生新的设计思路。这些案例研究还展示了计算机辅助构思过程，该过程是数据驱动的，计算增强的，理论基础的，视觉上鼓舞人心的，快速的。
2022-10-18 cs.IR cs.SI
Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track
Alibaba Group（阿里巴巴集团(Alibaba Group)）
针对TREC 2022深度学习赛道任务，提出融合稀疏与稠密检索的混合检索方案，搭配全交互排序模型加轻量子排序模块的多阶段排序方法，在段落、文档排序测试集上分获第1、第4名。
2023-08-23 cs.CL cs.IR
Deep-learning-based classification and retrieval of components of a process plant from segmented point clouds
Jeonbuk National University（全北国立大学）；Kyungpook National University（庆北国立大学）
在基于激光扫描的过程工厂竣工模型重建过程中，需要识别由点云表示的部件类型的技术。基于激光扫描的过程工厂重构过程分为点云配准、点云分割和零件类型识别与放置三个部分。从大型设施采集的点云数据普遍存在形状数据丢失或点云密度不平衡的问题。在这项研究中，我们尝试了应用基于3D深度学习网络的物体识别技术的可能性，这些技术最近表现出了高性能，并分析了结果。对于训练数据，我们使用了一个分段的点云存储库，我们通过扫描过程工厂构建的组件。对于网络，我们选择了多视图卷积神经网络（MVCNN），这是一种基于视图的方法，以及PointNet，旨在允许直接输入点云数据。在MVCNN的情况下，我们还对两种类型的多视图图像的生成方法进行了实验，这些图像可以补充分割点云的形状遮挡。在这个实验中，MVCNN显示出最高的检索准确率，约为87%，而PointNet显示出最高的检索平均精度，约为84%。此外，当有足够的训练数据时，两种网络对植物成分的分割点云都表现出很高的识别性能。
2019-12-13 cs.CV cs.IR
System Analysis And Design For Multimedia Retrieval Systems
VJTI（维瓦拉尔·尼赫鲁理工学院）
由于信息技术的广泛使用和多媒体系统的最新发展，用户可用的多媒体数据量呈指数级增长。视频是多媒体数据的一个例子，因为它包含几种数据，如文本、图像、元数据、视觉和音频。基于内容的视频检索是一种方便在WWW上搜索和浏览大量多媒体集合的方法。为了建立一个有效的视频检索系统，必须考虑视觉感知。我们认为，采用多个特征进行索引和检索的技术将更有效地在视频的歧视和搜索任务。为了验证这一点，实现了基于内容的索引和检索系统，使用颜色直方图，纹理特征（GLCM），边缘密度和运动。
2013-12-31 cs.CV cs.IR cs.MM
Bridging the Gap: Leveraging Retrieval-Augmented Generation to Better Understand Public Concerns about Vaccines
Murdoch Children's Research Institute（默多克儿童研究所）；The University of Melbourne（墨尔本大学）
本文提出基于检索增强生成的 VaxPulse Query Corner 工具，通过分析 35,103 条 Shingrix 社交媒体帖子，帮助公共卫生管理者理解公众疫苗担忧并实施针对性干预，在答案忠实度和相关性上分别达到 0.96 和 0.94。
2025-07-17 cs.IR cs.LG cs.SI
Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs
Terraprompt AI（泰拉prompt人工智能公司）
本文综述信息检索技术演变，聚焦LLMs如何弥合传统搜索与答案检索的鸿沟，并展望未来方向。
2024-02-07 cs.CL cs.IR cs.LG
