User Long-Term Multi-Interest Retrieval Model for Recommendation
针对检索模型难以处理超长行为序列的问题,提出ULIM框架,通过类别感知分层双兴趣学习和指针增强级联检索实现千级行为建模,显著提升淘宝小程序的点击量、订单量和GMV。
2025-07-14 cs.IR
Delving into E-Commerce Product Retrieval with Vision-Language Pre-training
本文提出一种基于对比学习的视觉-语言预训练方法,结合定制负采样方案,用于解决淘宝搜索中的大规模产品检索问题,并已在线部署服务数亿用户。
2023-04-17 cs.IR
FORGE: Forming Semantic Identifiers for Generative Retrieval in Industrial Datasets
Zhejiang University(浙江大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
提出FORGE基准,通过多视角分类和离线实验研究语义标识符构建策略,并设计无需完整GR训练的新评估指标,在淘宝线上A/B测试中实现交易量提升0.35%。
2026-05-27 cs.IR
LEAPS: An LLM-Empowered Adaptive Plugin in Taobao AI Search
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团)
LEAPS通过'拓宽与精炼'范式优化搜索流程,提升购物对话体验,同时保持传统检索性能并支持低成本集成。
2026-05-12 cs.IR
PI2I: A Personalized Item-Based Collaborative Filtering Retrieval Framework
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
PI2I通过两阶段检索框架提升个性化推荐效果,优于传统CF方法并接近双塔模型,部署后提升淘宝交易率1.05%。
2026-01-23 cs.IR
ZOOMER: Boosting Retrieval on Web-scale Graphs by Regions of Interest
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
我们介绍ZOOMER,这是一个部署在中国最大的电子商务平台淘宝上的系统,用于在网络规模的图上训练和提供基于GNN的推荐。ZOOMER旨在解决淘宝海量用户数据带来的两个挑战:由于图的规模巨大而导致的低训练/服务效率,以及由于信息过载而导致的低推荐质量,这分散了推荐模型对特定用户意图的注意力。ZOOMER通过在GNN中引入一个关键概念,即用于推荐的感兴趣区域(ROI)来实现这一点,即,图中与强用户意图显著相关的邻域区域。ZOOMER缩小了整个图的焦点,并“放大”了更相关的ROI,从而降低了培训/服务成本,同时减轻了信息过载。通过精心设计的机制,ZOOMER识别每个推荐请求所表达的兴趣,通过对兴趣进行采样来构建ROI子图,并通过多层次注意力模块引导GNN对ROI的不同部分进行重新加权。作为一个大规模的分布式系统部署,ZOOMER支持具有数十亿个节点的图形进行训练,每秒可处理数千个请求。ZOOMER在缩小采样规模时实现了高达14倍的加速,与基线方法相比具有相当(甚至更好)的AUC性能。此外,离线评估和在线A/B测试都证明了ZOOMER的有效性。
2022-03-20 cs.AI cs.IR cs.LG
KARMA: Knowledge-Action Regularized Multimodal Alignment for Personalized Search at Taobao
Taobao \& Tmall Group of Alibaba Hangzhou China;Taobao \& Tmall Group of Alibaba
KARMA通过知识-行动正则化多模态对齐框架,解决个性化搜索中知识与行动冲突问题,提升语义可解性与行动指标,实现GMV增长。
2026-03-31 cs.AI cs.IR cs.LG
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索(UniversalVision-Language Dense Retrieval,UniVL-DR),为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码,用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索,UniVL-DR提出了两种技术:1)通用嵌入优化策略,使用模态平衡的硬否定对比优化嵌入空间; 2)图像动词化方法,弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平,在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明,通用多模态搜索是可行的,以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
RankGR: Rank-Enhanced Generative Retrieval with Listwise Direct Preference Optimization in Recommendation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
RankGR通过列表级直接偏好优化提升生成检索的推荐效果,实现更精确的用户偏好建模和高效候选评估。
2026-02-09 cs.IR
BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval
Amazon(亚马逊)
研究针对双塔检索器不能满足多样兴趣、多兴趣模型硬路由训练有缺陷的问题,提出BACH模型,通过变分推理拟合用户在头之上的混合分布,在多基准测试中提升了检索性能,改进了训练方式。
2026-07-10 cs.IR cs.LG
Prompt Generation Technical Report
Taobao Search Team(淘宝搜索团队)
研究针对工业搜索等系统中特征工程复杂的问题,提出提示生成(PG)框架,通过两个JSON文件解耦特征处理逻辑与模型架构,经组织特征和组件实现三个层面加速,并在淘宝搜索应用取得收益,成为迭代框架。
2026-07-14 cs.IR
SERVAL: Surprisingly Effective Zero-Shot Visual Document Retrieval Powered by Large Vision and Language Models
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SERVAL零样本视觉文档检索方法,利用视觉-语言模型生成文档图像描述并由文本编码器嵌入,在ViDoRe-v2上以63.4% nDCG@5超越专用多向量编码器,同时具备更好的扩展性和多语言覆盖能力。
2025-09-18 cs.IR
Beyond Text: Text-Image Fusion for Scalable Two-Tower Retrieval
Target(塔吉特)
研究电子商务领域双塔检索模型的统一文本-图像融合,指出特定领域微调及查询与产品文本和图像模态的两阶段对齐很关键,提出新型模态融合网络并验证其有效性。
2026-11-17 cs.IR
MUSE: A Simple Yet Effective Multimodal Search-Based Framework for Lifelong User Interest Modeling
Wuhan University(武汉大学);Alibaba Group(阿里巴巴集团)
MUSE通过简单有效的多模态搜索框架,实现超长用户行为序列建模,提升推荐系统指标性能。
2025-12-08 cs.IR cs.LG
PerSRV: Personalized Sticker Retrieval with Vision-Language Model
本文提出个性化表情包检索框架PerSRV,通过微调LLaVA-1.5-7B生成语义、众包效用评估与历史交互聚类建模,在WeChat数据集上显著提升了多模态表情包检索性能。
2025-06-02 cs.IR
UniRAG: Universal Retrieval Augmentation for Large Vision Language Models
本文提出UniRAG,一种即插即用的检索增强技术,通过为大型视觉语言模型提示添加相关少样本示例,在MSCOCO常见实体上显著提升GPT-4o、LLaVA等多类模型的生成质量。
2025-03-09 cs.IR
Learning to Trust: Dynamic Utilization of Retrieval-Augmented Generation for E-commerce Search Relevance
Shanghai Jiao Tong University(上海交通大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团)
本文提出DyKnow-RAG框架,通过动态利用外部知识使LLM学会信任,提升电子商务搜索相关性评估的准确性和效率。
2026-04-04 cs.IR
Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval
University of Innsbruck(因斯布鲁克大学);Chungbuk National University(忠北国立大学)
提出Argus系列查询条件后期交互检索器,通过区域感知混合专家模块使文档表示依赖查询,在ViDoRe基准上以更低维度和更少训练数据取得领先性能。
2026-06-03 cs.IR
Generative vector search to improve pathology foundation models across multimodal vision-language tasks
Science for Life Laboratory, School of Engineering Sciences in Chemistry, Biotechnology, and Health, Royal Institute of Technology – KTH(皇家理工学院);Department of Microbiology, Tumor and Cell Biology, Karolinska Institutet(卡罗林斯卡学院)
STHLM通过生成向量搜索方法提升多模态视觉-语言任务中病理基础模型的检索性能,实现10-30%的性能提升和10倍的维度压缩
2025-12-22 cs.IR
MaRU: A Manga Retrieval and Understanding System Connecting Vision and Language
Stanford University(斯坦福大学)
针对漫画分格结构带来的内容检索难题,提出多阶段多模态系统MaRU,集成目标检测、文本识别与多模态编码模块,实现高效的对话与场景检索,在相关任务上表现优异。
2023-10-22 cs.AI cs.IR
Leveraging Large Vision-Language Model as User Intent-aware Encoder for Composed Image Retrieval
提出CIR-LVLM框架,利用大型视觉-语言模型作为用户意图感知编码器,通过混合意图指令模块满足组合图像检索中全面提取视觉信息和忠实遵循用户意图的双重要求,在三个基准上取得最先进性能。
2024-12-15 cs.IR
MIRACL-VISION: A Large, multilingual, visual document retrieval benchmark
The Thørväld Group(Thørväld集团);Inria Paris-Rocquencourt(巴黎-罗克琴库尔Inria);Rajiv Gandhi University Doimukh(拉朱·甘地大学多伊穆克);Tsinghua University(清华大学);Palmer Research Laboratories(Palmer研究实验室);The Kumquat Consortium(Kumquat联盟)
针对现有视觉文档检索基准语言单一、依赖合成问题、语料规模小的局限,该研究推出覆盖18种语言的MIRACL-VISION基准,设计易负样本剔除方法平衡难度与算力成本,实验发现当前VLM嵌入模型多语言检索性能显著低于文本模型。
2025-05-21 cs.CV cs.IR
TBGRecall: A Generative Retrieval Model for E-commerce Recommendation Scenarios
Shanghai Jiaotong University(上海交通大学);Alibaba Inc.(阿里巴巴公司)
TBGRecall通过整合下一会话预测,提升电商推荐系统的生成检索能力,有效解决传统模型在多会话生成中的局限性。
2025-11-23 cs.AI cs.IR
Enhancing Subsequent Video Retrieval via Vision-Language Models (VLMs)
Case Western Reserve University(凯斯西储大学)
针对视觉-语言模型难以应对自适应、时间敏感视频检索的问题,本文提出结合向量相似度搜索与图数据结构的框架,利用VLM嵌入初检并建模片段上下文关系实现自适应查询优化,经实验验证具备良好精度、扩展性与鲁棒性。
2025-03-21 cs.AI cs.CV cs.IR
Geometric Analysis of Self-Supervised Vision Representations for Semantic Image Retrieval
Universidad de Costa Rica(哥斯达黎加大学)
研究评估现代自监督学习方法在图像检索中的表现,发现高各向异性表示会损害基于分区和哈希的搜索性能,而更各向同性表示能提升语义检索效果。
2026-04-27 cs.CV cs.IR
Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval
Inception AI;Mubadala
VisionRAG是一种无OCR、模型无关的多模态检索系统,通过三阶段金字塔索引提升文档检索效率和准确性。
2026-01-06 cs.AI cs.IR
Towards Sustainable Growth: A Multi-Value-Aware Retrieval Framework for E-Commerce Search
Taobao \& Tmall Group of Alibaba HangZhou China;Taobao \& Tmall Group of Alibaba
本文提出了一种多价值感知的检索框架,旨在平衡即时转化与长期商品增长,通过引入ItemLTV模块和MultiGR模块,提升电子商务搜索系统的可持续增长能力。
2026-05-18 cs.AI cs.IR
Investigating the Vision Transformer Model for Image Retrieval Tasks
Democritus University of Thrace(德谟克利特色雷斯大学);Neapolis University Pafos(帕福斯尼亚波利斯大学)
本文介绍了一种即插即用的描述符,可以有效地通过图像检索任务,无需事先初始化或准备。该描述方法利用了最近提出的视觉Transformer网络,而它不需要任何训练数据来调整参数。在图像检索任务中,手工全局和局部描述符的使用在过去几年中已经被基于卷积神经网络(CNN)的方法非常成功地取代。然而,本文在几个基准数据集上对文献中的36个最先进的描述符进行的实验评估表明,不包含卷积层的神经网络,如视觉Transformer,可以塑造全局描述符并实现有竞争力的结果。由于不需要微调,所提出的方法的低复杂性,鼓励采用的架构作为图像检索基线模型,取代传统的和良好采用的基于CNN的方法,开创了一个新时代的图像检索方法。
2021-01-11 cs.CV cs.IR cs.RO
Towards Vision-Free CIR: Attribute-Augmented Scoring and LLM-Based Reranking for Zero-Shot Composed Image Retrieval
The University of Tokyo(东京大学);Kioxia Corporation(铠侠株式会社)
研究如何让无视觉方法有效处理合成图像检索任务,通过属性增强混合评分和基于大语言模型的重排两项关键技术构建框架,在开放域CIRR数据集实验中优于现有零样本方法,在FashionIQ上凸显语义推理与视觉匹配权衡,消融研究验证技术有效性。
2026-07-15 cs.CV cs.IR
EvdCLIP: Improving Vision-Language Retrieval with Entity Visual Descriptions from Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science & Tech, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学)
提出EvdCLIP,利用大语言模型生成实体视觉描述(EVDs)增强查询,并设计可训练的EVD感知重写器(EaRW)降低噪声,在图像-文本检索基准上验证了其优越性。
2025-05-24 cs.CV cs.IR
HVD: Human Vision-Driven Video Representation Learning for Text-Video Retrieval
Zhejiang University(浙江大学);Southwestern University of Finance and Economics(西南财经大学)
HVD通过模拟人类视觉感知机制,提出了一种人视觉驱动的视频表示学习方法,以提升文本-视频检索的性能。
2026-01-22 cs.CV cs.IR
Developing Visual Augmented Q&A System using Scalable Vision Embedding Retrieval & Late Interaction Re-ranker
Fidelity Investments(富达投资)
本文提出一种多步骤定制方案,利用混合搜索与后期交互重排序器检索最佳匹配页面,并使用多模态大语言模型生成答案,解决了视觉增强问答中检索可扩展性与效率的问题。
2025-07-16 cs.CL cs.IR
A Little More Like This: Text-to-Image Retrieval with Vision-Language Models Using Relevance Feedback
Maastricht University(马斯特里赫特大学)
本文提出基于相关反馈机制提升视觉语言模型文本到图像检索性能的方法,通过四种反馈策略在Flickr30k和COCO数据集上验证,提升了检索效果并增强了多轮检索的鲁棒性。
2025-11-21 cs.CV cs.IR
ColPali: Efficient Document Retrieval with Vision Language Models
Illuin Technology(伊卢因科技);CentraleSupélec, Paris-Saclay(巴黎萨克雷中央高等电力学院);ETH Zürich(苏黎世联邦理工学院)
针对视觉丰富文档检索的挑战,提出ColPali视觉语言模型,直接嵌入文档页面图像生成多向量嵌入,结合晚期交互匹配,在ViDoRe基准上大幅超越现有流程,且更简单、更快、可端到端训练。
2025-02-28 cs.CL cs.CV cs.IR
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
Mazelone(马泽隆)
研究针对视觉丰富的长文档问答的多模态检索增强生成,提出VLD-RAG框架,构建多模态索引并采用混合检索策略,经智能体工作流程协调,在相关基准上提升了证据页面检索及问答表现,凸显协调验证与混合检索的重要性。
2026-07-29 cs.AI cs.CL cs.IR
Boosting vision transformers for image retrieval
Dealicious Inc.(Dealicious公司);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高等研究院);Athena RC(雅典娜研究中心)
视觉Transformer在图像分类和检测等视觉任务中取得了显著的进展。然而,在实例级图像检索中,与卷积网络相比,Transformers尚未表现出良好的性能。我们提出了一些改进,使Transformers首次超越了最先进的技术。(1)我们表明,一个混合架构是更有效的平原Transformers,由一个很大的利润。(2)我们引入了两个分支,收集全球(分类令牌)和本地(补丁令牌)的信息,我们形成了一个全球性的图像表示。(3)在每个分支中,我们从Transformer编码器中收集多层特征,对应于跨越远距离层的跳过连接。(4)我们在编码器的更深层增强了交互的局部性,这是视觉Transformer的相对弱点。我们在所有常用的训练集上训练我们的模型,并且第一次对每个训练集分别进行公平的比较。在所有情况下,我们都优于基于全局表示的先前模型。公共代码可在https://github.com/dealicious-inc/DToP上获得。
2022-10-21 cs.CV cs.IR cs.LG
Unified Vision-Language Representation Modeling for E-Commerce Same-Style Products Retrieval
Alibaba Group(阿里巴巴集团)
同类商品检索是电子商业平台中的一个重要环节,其目的是识别出可能具有不同文字描述或图片的同类商品。可用于不同供应商的同类产品检索或同一供应商的重复产品检测。常用的方法以图像为检测对象,但只考虑了图像的视觉特征,忽略了文本描述中包含的属性信息,对于机械、五金工具、电子元器件等图像不太重要的行业,即使增加文本匹配模块,效果也很差。本文提出了一种面向电子商业同类商品检索的统一视觉语言建模方法,该方法旨在用文本描述和视觉内容来表示同一商品。它包含一个抽样技术,收集积极的对用户点击日志与类别和相关性的约束,和一个新的对比损失单位模型的图像,文本,图像+文本表示到一个联合嵌入空间。它能够进行跨模态的产品到产品检索,以及风格转换和用户交互式搜索。离线测试表明它具有更好的检索性能,在线测试表明它可以吸引更多的点击和转换。此外,该模型已经在世界上最大的B2B电子商业平台alibaba.com上在线部署,用于类似产品检索。
2023-02-20 cs.AI cs.IR cs.MM
RAVEN: Multitask Retrieval Augmented Vision-Language Learning
Princeton University(普林斯顿大学);AWS AI Labs(AWS人工智能实验室);Apple(苹果公司)
本文提出多任务检索增强VLM框架RAVEN,通过高效任务特定微调整合检索样本,无需额外参数即提升图像描述和VQA性能。
2024-06-27 cs.AI cs.CV cs.IR
VLDeformer: Vision-Language Decomposed Transformer for Fast Cross-Modal Retrieval
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Co., Ltd(华为技术有限公司)
跨模型检索已经成为纯文本搜索引擎(SE)最重要的升级之一。最近,通过早期交互,视觉语言(VL)Transformers的准确性已经超过了现有的文本图像检索方法,具有强大的表示成对文本图像输入。然而,当相同的范例用于推理时,VL Transformers的效率仍然太低而不能应用于真正的交叉模态SE中。受人类学习机制的启发,利用跨模态知识,提出了一种新的视觉语言分解的Transformer(VLDemformer),在保持视觉语言变换器精确性的同时,大大提高了视觉语言Transformers的效率。该方法将跨模型检索分为两个阶段:VL Transformer学习阶段和VL分解阶段。后一阶段起着单模态索引的作用,在某种程度上类似于文本SE的术语索引。该模型从早期交互预训练中学习跨模态知识,然后分解为单个编码器。该分解方法只需要少量的目标数据集进行监督,并实现了$1000+$倍的加速和小于$0.6$ \%的平均召回率下降。VLDefformer还优于COCO和Flickr30k上最先进的视觉语义嵌入方法。
2021-11-25 cs.CL cs.CV cs.IR
DamageScope: Vision-Language Retrieval at Scale for Disaster Damage Assessment from Satellite Imagery
NEC Laboratories America(美国 NEC 实验室)
DamageScope是一种结合VLMs与LLMs的检索增强框架,通过多向量嵌入聚类和双存储架构,实现了卫星图像灾害损失评估的高效自动化,可扩展性与运营效率优异。
2026-08-25 cs.CL cs.CV cs.IR
Image Retrieval on Real-life Images with Pre-trained Vision-and-Language Models
Australian National University(澳大利亚国立大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学);Idiap Research Institute(伊迪亚普研究所)
我们扩展了合成图像检索的任务,其中输入查询由图像和如何修改图像的简短文本描述组成。现有的方法只适用于非复杂的图像在狭窄的领域,如时尚产品,从而限制了深入的视觉推理在丰富的图像和语言背景下的研究范围。为了解决这个问题,我们收集了真实图像上的合成图像检索(CIRR)数据集,该数据集由超过36,000对众包的开放域图像和人类生成的修改文本组成。为了将当前的方法扩展到开放域,我们提出了CIRPLANT,这是一个基于Transformer的模型,它利用丰富的预先训练的视觉和语言(V&L)知识来修改基于自然语言的视觉特征。检索,然后通过最近邻查找修改后的功能。我们证明,通过相对简单的架构,CIRPLANT在开放域图像上的性能优于现有方法,同时在现有的窄数据集(如时尚)上匹配最先进的精度。随着CIRR的发布,我们相信这项工作将激发对组合图像检索的进一步研究。
2021-08-09 cs.CL cs.CV cs.IR
Approximate Nearest Neighbor Search under Neural Similarity Metric for Large-Scale Recommendation
Alibaba group(阿里巴巴集团)
基于模型的推荐系统已经被广泛研究了很多年。现代推荐系统通常采用表示学习模型和基于嵌入的近似最近邻(Approximate Nearest Neighbor,ANN)搜索来解决大规模语料库带来的效率问题。在提供高效检索的同时,基于嵌入的检索模式也限制了模型容量,因为用户项偏好度量的形式受限于它们的嵌入表示之间的距离。然而,对于其他更精确的用户项目偏好度量,例如,直接从深度神经网络导出的偏好分数,由于缺乏有效的检索方法,它们在计算上是难以处理的,并且对所有用户-项目对的穷举搜索是不切实际的。在本文中,我们提出了一种新的方法来扩展人工神经网络搜索任意匹配功能,例如,深度神经网络。我们的主要思想是执行一个贪婪的步行与匹配功能的相似性图构造的所有项目。为了解决图构造和用户-项目匹配函数的相似性度量异构的问题,提出了一种可插入的对抗训练任务,以确保具有任意匹配函数的图搜索能够达到相当高的精度。在开源和工业数据集上的实验结果证明了该方法的有效性。该方法已在淘宝展示广告平台中全面部署,并带来了可观的广告收入增长。我们还总结了我们的部署在本文中的详细经验。
2022-02-28 cs.IR cs.LG
COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
大规模的单流预训练在图像-文本检索中表现出了惊人的性能。遗憾的是,它面临着低的推理效率,由于沉重的注意层。最近,像CLIP和ALIGN这样具有高推理效率的双流方法也表现出了很好的性能,但是,它们只考虑了两个流之间的实例级对齐(因此仍有改进的空间)。为了克服这些局限性,我们提出了一种新的COLLaborative双流视觉语言预训练模型称为COTS的图像-文本检索,通过增强跨模态的互动。除了通过动量对比学习进行实例级对齐之外,我们还在COTS中利用了两个额外级别的跨模态交互:(1)令牌级交互-在不使用跨流网络模块的情况下设计了一个掩码视觉语言建模(MVLM)学习目标,其中对视觉编码器施加变分自编码器以生成每个图像的视觉令牌。(2)任务级交互-在文本到图像和图像到文本检索任务之间设计KL对齐学习目标,其中每个任务的概率分布是用动量对比学习中的负队列计算的。在公平的比较设置下,我们的COTS在所有双流方法中实现了最高的性能,并且具有相当的性能(但推理速度快10,800倍)。最新的单流方法。重要的是,我们的COTS也适用于文本到视频检索,在广泛使用的MSR-VTT数据集上产生新的最先进的技术。
2022-05-20 cs.CL cs.CV cs.IR
Tree-based Text-Vision BERT for Video Search in Baidu Video Advertising
Baidu Research(百度研究院);Baidu Inc.(百度公司)
通信技术的进步和智能手机的普及促进了视频广告的蓬勃发展。百度作为全球领先的搜索引擎公司之一,每天接收数十亿次搜索查询。如何将视频广告与用户搜索进行配对是百度视频广告的核心任务。由于模态鸿沟,查询到视频检索比传统的查询到文档检索和图像到图像检索更具挑战性。传统的视频检索是通过视频标题检索来实现的,当视频块的质量不高时,视频标题检索是不可靠的。近年来,随着计算机视觉和自然语言处理技术的飞速发展,基于内容的检索方法在查询到视频的检索中有着广阔的应用前景。得益于大规模数据集上的预训练,一些基于跨模态注意的visionBERT方法在许多视觉语言任务中取得了优异的性能,不仅在学术界,而且在工业界。然而,跨模态注意力的昂贵计算成本使得其在工业应用中的大规模搜索不切实际。在这项工作中,我们提出了一个基于树的组合注意力网络(TCAN),最近已经在百度的动态视频广告平台上推出。它为大规模查询到视频搜索提供了一个实用的解决方案。引入基于树的组合注意力网络后,网站的点击率提高了2.29%,转化率提高了2.63%。
2022-09-19 cs.CV cs.IR
CoMOGrad and PHOG: From Computer Vision to Fast and Accurate Protein Tertiary Structure Retrieval
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学)
由于技术的进步,蛋白质结构数据库中的条目数量日益增加。蛋白质三级结构的检索方法是蛋白质结构比较分析的关键,对了解蛋白质及其功能具有重要作用。在本文中,我们提出了快速,准确的方法检索蛋白质从一个大型的数据库与三级结构相似的查询蛋白质。我们提出的方法借用了计算机视觉领域的思想。我们的方法的速度和准确性来自两个新引入的功能,共生矩阵的定向梯度和金字塔直方图的定向梯度和使用欧几里德距离作为距离度量。实验结果清楚地表明,我们的方法在运行时间和准确性的优越性。我们的方法可在以下网站上使用:http://research.buet.ac.bd:8080/Comograd/。
2014-09-02 cs.CE cs.CV cs.IR
PiTL: Cross-modal Retrieval with Weakly-supervised Vision-language Pre-training via Prompting
Aalto University(阿尔托大学)
针对视觉语言预训练依赖大量标注图文对的问题,提出PiTL弱监督方法,通过提示大语言模型生成图像描述构建数据集,在跨模态检索任务上以更少监督超越现有弱监督方法。
2023-07-14 cs.CV cs.IR
Accurate and Scalable Multimodal Pathology Retrieval via Attentive Vision-Language Alignment
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学计算机科学与工程系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Department of Radiology, Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属同济医院放射科);Department of Pathology, Sir Run Run Shaw Hospital, School of Medicine, Zhejiang University(浙江大学医学院附属邵氏医院病理科);Department of Pathology, The Central Hospital of Wuhan, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属武汉中心医院病理科);Department of Pathology, The First Affiliated Hospital, School of Medicine, Zhejiang University(浙江大学医学院附属第一医院病理科);Department of Chemical and Biological Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学化学与生物工程系);Division of Life Science, The Hong Kong University of Science and Technology(香港科学与技术大学生命科学系)
PathSearch通过注意力马赛克和视觉-语言对比学习,实现准确且可扩展的多模态病理切片检索,在八个任务中优于现有方法。
2026-09-15 cs.CV cs.IR
Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval
The Catholic University of Korea(韩国天主教大学);Korea University(韩国大学);AIGEN Sciences Inc.(AIGEN科技公司)
研究视觉语言检索中多向量方法存储和评分成本高的问题,提出对象感知令牌合并框架SaMer,压缩图像侧令牌同时保留交互接口,实验证明其能降成本且提升性能。
2026-09-09 cs.AI cs.CL cs.CV
Toward Automatic Relevance Judgment using Vision--Language Models for Image--Text Retrieval Evaluation
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
本文评估了CLIP、LLaVA和GPT-4V等视觉-语言模型在零样本图像-文本检索评估中的相关性判断能力,发现LLM驱动的VLMs在多项指标上优于CLIPScore,展现出增强相关性判断的潜力。
2024-08-02 cs.CL cs.CV cs.IR
V-Agent: An Interactive Video Search System Using Vision-Language Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
V-Agent通过多智能体协作和视觉-语言模型提升视频搜索性能,实现多模态交互与零样本性能。
2026-01-07 cs.AI cs.CV cs.IR
Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering
University of Technology Sydney(悉尼大学);East China Normal University(华东师范大学);The Education University of Hong Kong(香港教育大学)
本文提出了一种统一的检索增强视觉问答框架,通过协作参数知识校准来充分利用KB-VQA中的跨任务协同效应,从而提升问答准确性。
2025-07-01 cs.CV cs.IR cs.MM
Hydra: Unifying Document Retrieval and Generation in a Single Vision-Language Model
Independent Researcher(独立研究者)
Hydra通过单一视觉-语言模型实现文档检索与生成的统一,减少内存和系统复杂性,通过LoRA适配器在推理时切换,提升效率并保持生成质量。
2026-04-19 cs.AI cs.CV cs.IR
Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers
Institut National de l'Audiovisuel(法国国家视听研究所);Institut National de Recherche et Informatique et Robotique(法国国家信息与机器人研究中心)
本文基于预训练视觉Transformer重新审视人机协同目标检索任务,探讨了在多目标数据集中如何通过主动学习选择样本以提升检索性能,比较了不同表征策略的优劣。
2026-04-29 cs.CV cs.HC cs.IR
UCDR-Adapter: Exploring Adaptation of Pre-Trained Vision-Language Models for Universal Cross-Domain Retrieval
Zhejiang University(浙江大学);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Dalian University of Technology(大连理工大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Microsoft Research(微软研究院)
提出UCDR-Adapter,通过两阶段训练(源适配器学习和目标提示生成)动态生成提示,增强预训练视觉-语言模型,在通用跨域检索中超越现有方法。
2024-12-14 cs.CV cs.IR cs.MM