Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval
University of Oxford(牛津大学);Google Research(谷歌研究院);École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
我们在这项工作中的目标是视频文本检索-特别是联合嵌入,使有效的文本到视频检索。该领域的挑战包括视觉架构的设计和训练数据的性质,因为可用的大规模视频-文本训练数据集(例如HowTo 100 M)是嘈杂的,因此只有通过大量计算才能在规模上实现有竞争力的性能。我们在本文中解决这两个挑战。我们提出了一个端到端的可训练模型,该模型旨在利用大规模图像和视频描述数据集。我们的模型是最近的ViT和Timesformer架构的适应和扩展,包括在空间和时间的注意。该模型是灵活的,可以在图像和视频文本数据集上单独或联合训练。它使用课程学习时间表进行训练,该时间表首先将图像视为视频的“冻结”快照,然后在视频数据集上进行训练时逐渐学会关注增加的时间上下文。我们还提供了一个新的视频-文本预训练数据集WebVid-2 M,由从互联网上抓取的200多万个带有弱字幕的视频组成。尽管在小一个数量级的数据集上进行了训练,但我们表明,这种方法在标准的下游视频检索基准测试(包括MSR-VTT,MSVD,DiDeMo和LSMDC)上产生了最先进的结果。
2022-05-13 cs.CV
How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context
IBM Research AI(IBM研究院人工智能部门);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对个性化上下文融入文档对话系统研究不足的问题,提出上下文感知段落检索任务,构建专用数据集并提出PCAS方法,实验证明其在段落检索和相关上下文识别上均优于基线,可为该方向研究提供支撑。
2023-08-26 cs.AI cs.CL cs.IR
OMAD: Object Model with Articulated Deformations for Pose Estimation and Retrieval
Shanghai Jiao Tong University(上海交通大学)
铰接式物体在日常生活中无处不在。然而,由于固有的高自由度的结构,关节的物体的关节状态是很难估计。为了对关节型物体进行建模,需要考虑两种形状变形,即几何变形和姿态变形。在这项工作中,我们提出了一种新的类别特定的参数表示称为对象模型与关节变形(OMAD)明确建模的关节对象。在OMAD中,一个类别与具有共享形状基的线性形状函数和非线性联合函数相关联。这两个函数都可以从大规模对象模型数据集中学习,并固定为特定于类别的先验。然后,我们提出了一个OMADNet预测的形状参数和联合状态从一个对象的单一观察。随着对象形状和关节状态的完整表示,我们可以解决几个任务,包括类别级的对象姿态估计和铰接对象检索。为了评估这些任务,我们创建了一个基于PartNet-Mobility的合成数据集。大量的实验表明,我们简单的OMADNet可以作为这两个任务的强有力的基线。
2021-12-14 cs.CV
Learning TFIDF Enhanced Joint Embedding for Recipe-Image Cross-Modal Retrieval Service
Georgia Institute of Technology(佐治亚理工学院);Wuhan University of Technology(武汉理工大学)
人们普遍认为,由于烹饪过程中成分的多样性和变形,学习具有图像的食谱的联合嵌入具有挑战性。我们提出了一种多模态语义增强的联合嵌入方法(MSJE),用于学习两种模态(文本和图像)之间的共同特征空间,最终目标是提供高性能的跨模态检索服务。我们的MSJE方法有三个独特的特点。首先,我们从菜谱的标题、配料和烹饪说明中提取TFIDF特征。通过将LSTM学习的特征与TFIDF特征相结合来确定单词序列的重要性,我们将食谱编码为TFIDF加权向量,以捕获重要的关键术语以及这些关键术语如何在相应的烹饪指令中使用。其次,我们将配方TFIDF特征与通过两阶段LSTM网络提取的配方序列特征相结合,这可以有效地捕获配方及其相关图像之间的独特关系。第三,我们进一步结合TFIDF增强的类别语义,以改善图像模态的映射,并在跨模态联合嵌入的迭代学习过程中调节相似性损失函数。在基准数据集Recipe1M上的实验表明,该方法优于现有的方法。
2021-08-02 cs.CV cs.IR
Joint Moment Retrieval and Highlight Detection Via Natural Language Queries
Georgia Institute of Technology(佐治亚理工学院)
提出一种基于自然语言查询、利用多模态变换器联合进行视频摘要与高光检测的新方法,在YouTube Highlights和TVSum数据集上验证了其灵活性。
2023-05-08 cs.CL cs.CV cs.LG
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur(印度理工学院坎普尔分校);University of Warwick(华威大学);NEC Labs America(NEC美国实验室)
我们提出了一种视听多模态方法的零拍学习(ZEROSHOT LEARNING)的分类和检索的视频任务。近年来,人们已经对视觉感知进行了广泛的研究,但主要局限于视觉模态和图像。我们证明,音频和视觉方式都是重要的,为视频的OWL。由于目前还没有研究该任务的数据集,因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集,其中包含156,416个视频。我们的经验表明,通过添加音频模态的zeroshot分类和检索的任务,使用嵌入式学习方法的多模态扩展时,性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力,因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力,这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
ViSeRet: A simple yet effective approach to moment retrieval via fine-grained video segmentation
Twelve Labs;KAIST(韩国科学技术院)
视频文本检索有许多现实世界的应用,如媒体分析,监控和机器人。本文介绍了ICCV Value Challenge 2021视频检索赛道的第一名解决方案。我们提出了一个简单而有效的方法来联合处理两个视频文本检索任务(视频检索和视频语料库矩检索),利用模型只训练视频检索任务。此外,我们还创建了一个集成模型,在Value Challenge中提出的所有四个数据集(TVr,How2r,YouCook2r和VATEXr)上实现了最先进的性能。
2021-10-12 cs.AI cs.CL cs.CV
VoiceTrace: A Benchmark and Retrieval Framework for Who-Said-What Speech Retrieval
Zhejiang University(浙江大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出VoiceTrace基准与两阶段检索框架,联合文本与参考语音实现“谁说了什么”的混合语音检索,在语义和混合检索任务上均达最优性能。
2026-09-17 cs.AI cs.SD eess.AS
Non-rigid 3D shape retrieval based on multi-view metric learning
Dalian University of Technology(大连理工大学)
本文提出了一种新的多视角度量学习算法,旨在提高三维非刚体形状检索的效率。随着非刚体三维形状分析的发展,出现了许多形状描述子。本征描述符可以被探索以构造用于非刚性3D形状检索任务的各种本征表示。不同的内在表示(特征)集中在不同的几何属性来描述同一个3D形状,这使得表示是相关的。因此,联合学习不同表示的多个度量是可能的和必要的。我们提出了一种有效的多视图度量学习算法,通过扩展边缘Fisher分析(MFA)到多视图域,并探索希尔伯特-施密特独立准则(HSCI)作为一个多样性项,以共同学习新的度量。在我们的方法中,不同的类可以通过MFA分离。同时,HSCI被用来使多个表示是一致的。学习的度量可以减少多个表示之间的冗余,并提高检索结果的准确性。在SHREC的10个基准上进行了实验,结果表明,该方法优于现有的非刚性三维形状检索方法。
2019-03-20 cs.CV
Joint-Dataset Learning and Cross-Consistent Regularization for Text-to-Motion Retrieval
ISTI-CNR;Masaryk University(马萨里克大学)
针对文本-动作检索训练数据不足的问题,提出多数据集联合学习、CCCL正则化及MoT++动作编码器,并在KIT Motion-Language与HumanML3D上验证有效性。
2024-07-02 cs.CV cs.IR cs.MM
Composed Vision-Language Retrieval for Skin Cancer Case Search via Joint Alignment of Global and Local Representations
本文提出一种基于Transformer的框架,通过联合对齐全局和局部表示,提升皮肤癌病例检索的准确性和效率,实验表明在Derm7pt数据集上优于现有方法。
2026-04-20 cs.AI cs.CV
Scale-Semantic Joint Decoupling Network for Image-text Retrieval in Remote Sensing
Ocean University of China(中国海洋大学)
遥感图文检索的目的是为数据分析和应用提供灵活的信息。近年来,最新的方法致力于“规模匹配”和“语义匹配”策略,以进一步提高表示能力。然而,这些先前的方法集中在解纠缠规模或语义,但忽略了合并这两个想法在一个联合模型,这极大地限制了跨模态检索模型的性能。为了解决这些问题,我们提出了一种新的尺度-语义联合解耦网络(SSJDN)的遥感图文检索。具体来说,我们设计了双向尺度解耦(BSD)模块,该模块利用显著性特征提取(SFE)和显著性引导抑制(SGS)单元自适应地提取潜在的特征,并在其他尺度上以双向模式抑制繁琐的特征,以产生不同的尺度线索。此外,我们设计了标签监督语义解耦(LSD)模块,利用类别语义标签作为先验知识来监督图像和文本探测重要的语义相关信息。最后,设计了语义引导的三重损失(STL),自适应地产生一个常数来调整损失函数,以提高语义相同的图像和文本的匹配概率,缩短检索模型的收敛时间。我们提出的SSJDN优于国家的最先进的方法在四个基准遥感数据集进行的数值实验。
2022-12-12 cs.AI cs.CV
VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval
North South University(北南大学);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究 institute)
VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制,提升视频亮点检测与时刻检索的性能。
2025-11-24 cs.AI cs.CV
CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval
Space Applications Centre, Indian Space Research Organisation(印度空间研究组织空间应用中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买资源工程研究中心)
提出CR-JEPA架构,通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持,在BEN-14K等数据集上显著提升跨模态检索性能。
2026-06-06 cs.CV
A Joint Sequence Fusion Model for Video Question Answering and Retrieval
Seoul National University(首尔国立大学)
我们提出了一种名为JSFusion(联合序列融合)的方法,可以测量任何对多模态序列数据(例如,视频剪辑和语言句子)之间的语义相似性。我们的多模态匹配网络由两个关键组件组成。首先,联合语义张量将两个序列数据的密集成对表示组成3D张量。然后,卷积分层解码器通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似性得分。这两个模块都利用了分层的注意力机制,该机制学习促进良好匹配的表示模式,同时以自下而上的方式修剪掉不对齐的表示模式。虽然JSFusion是一个通用的模型,适用于任何多模态序列数据,这项工作的重点是视频语言的任务,包括多模态检索和视频QA。我们在LSMDC中的三个检索和VQA任务中评估了JSFusion模型,我们的模型达到了迄今为止报告的最佳性能。我们还为MSR-VTT数据集执行多项选择和电影检索任务,我们的方法优于许多最先进的方法。
2018-08-07 cs.CV
Scene Text Retrieval via Joint Text Detection and Similarity Learning
Huazhong University of Science and Technology(华中科技大学);Huawei Cloud & AI(华为云与人工智能)
场景文本检索的目标是从图像库中定位和搜索与给定查询文本相同或相似的所有文本实例。这样的任务通常通过将查询文本与由端到端场景文本定位器输出的识别的单词进行匹配来实现。在本文中,我们通过直接学习查询文本和自然图像中的每个文本实例之间的跨模态相似度来解决这个问题。具体来说,我们建立了一个端到端的可训练网络,共同优化场景文本检测和跨模态相似性学习的过程。以这种方式,场景文本检索可以简单地通过将检测到的文本实例与学习到的相似性进行排名来执行。在三个基准数据集上的实验表明,我们的方法始终优于最先进的场景文本定位/检索方法。特别是,所提出的联合检测和相似性学习的框架实现了显着更好的性能比单独的方法。代码可从以下网址获得:https://github.com/lanfeng4659/STR-TDSL。
2021-04-04 cs.CV
Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
Technical University of Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学)
当前最先进的跨模态检索方法联合处理文本和视觉输入,依赖于具有跨注意力机制的基于变换器的架构,该跨注意力机制关注图像中的所有单词和对象。虽然提供了无与伦比的检索性能,但这些模型:1)通常从头开始进行预训练,因此可扩展性较差,2)存在巨大的检索延迟和效率低下的问题,这使得它们在现实应用中不切实际。为了解决这些关键的差距,以改善和有效的跨模态检索,我们提出了一种新的微调框架,把任何预训练的文本图像多模态模型变成一个有效的检索模型。该框架基于合作检索和重新排序方法,该方法结合:1)孪生网络(即,双向编码器)以单独地对语料库的所有项进行编码,从而实现有效的初始检索,以及2)用于更细微差别的交叉编码器组件(即,更聪明的)检索到的小项目集的排序。我们还建议联合微调共享权重的两个组件,从而产生一个更有效的参数模型。我们在单语,多语言和zero-shot设置中对一系列标准跨模态检索基准进行的实验表明,与最先进的交叉编码器相比,该方法提高了准确性和巨大的效率优势。
2022-02-19 cs.CL cs.CV
Joint Learning of 3D Shape Retrieval and Deformation
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);KAIST(韩国科学技术院);IIT Bombay(印度理工学院孟买分校)
我们提出了一种新的技术,用于生产高质量的3D模型,匹配给定的目标对象的图像或扫描。我们的方法是基于从3D模型数据库中检索现有形状,然后使其部件变形以匹配目标形状。与以前的方法,独立地专注于形状检索或变形,我们提出了一个联合学习过程,同时训练神经变形模块以及检索模块使用的嵌入空间。这使我们的网络能够学习一个变形感知的嵌入空间,以便检索到的模型在适当的变形后更容易匹配目标。实际上,我们使用嵌入空间来引导用于训练变形模块的形状对,使得变形模块将其能力投资于学习有意义的形状对之间的变形。此外,我们的新的部件感知变形模块可以与源形状上的不一致和不同的部件结构一起工作。我们不仅在我们的新框架上,而且在近年来提出的其他最先进的神经变形模块上证明了我们的联合训练的好处。最后,我们还证明了我们的联合训练方法优于各种非联合基线。
2021-04-13 cs.CV
Joint Fusion and Encoding: Advancing Multimodal Retrieval from the Ground Up
The University of Tokyo(东京大学)
本文提出从底层融合视觉与文本的联合融合编码检索框架,采用单塔架构和两阶段训练,在复杂多模态检索中优于传统方法,尤其提升需模态融合的任务。
2025-02-27 cs.CV
A Sub-block Based Image Retrieval Using Modified Integrated Region Matching
Rajagiri College of Social Sciences(拉吉吉里社会科学学院);Cochin University of Science and Technology(科钦科技大学)
本文提出了一种基于内容的图像检索系统(CBIR),该系统利用选定图像子块的局部颜色和纹理特征以及图像的全局颜色和形状特征。通过将图像分割成不同配置的分区来粗略地识别图像子块,使用边缘阈值化然后进行形态学膨胀来找到每个分区中的边缘密度。分别从量化的HSV颜色空间和灰度共生矩阵(GLCM)的直方图中计算所识别区域的颜色和纹理特征。计算每个区域的颜色和纹理特征向量。从边缘直方图描述符(EHD)计算的形状特征。一种改进的综合区域匹配算法(IntegratedRegionMatching,简称IRFM)被用来寻找查询子块和目标图像子块之间的最小距离。实验结果表明,该方法比现有的一些检索方法具有更好的检索效果。
2013-07-05 cs.CV cs.IR
Retina-RAG: Retrieval-Augmented Vision-Language Modeling for Joint Retinal Diagnosis and Clinical Report Generation
Friedrich-Alexander-Universität(弗里德里希-亚历山大大学)
Retina-RAG通过整合高精度视网膜分类器和参数高效视觉语言模型,实现糖尿病视网膜病变分级、黄斑水肿检测及报告生成,优于现有方法,且在单块消费级GPU上运行。
2026-05-08 cs.AI cs.CV
VEDJE: Video-Efficient Discriminative Joint Encoder for Scalable Video-Text Retrieval
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Texas A&M University(德克萨斯农工大学);Decart AI(德卡特人工智能公司)
该研究提出VEDJE模型,通过压缩视频帧特征并结合特征变化预测辅助训练,在多个视频-文本检索数据集上提升R@1指标,缩小缓存规模后仍保持较高召回率,实现高效可扩展的视频检索。
2026-10-14 cs.CV
Tri-Modal Motion Retrieval by Learning a Joint Embedding Space
ShanghaiTech University(上海科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对文本与运动跨模态对齐不足的问题,本文提出 LAVIMO 三模态框架,引入以人为中心的视频并结合专用注意力机制学习联合嵌入空间,在 HumanML3D 和 KIT-ML 上取得多项检索任务的最优性能。
2024-03-01 cs.AI cs.CV
Fine-grained Motion Retrieval via Joint-Angle Motion Images and Token-Patch Late Interaction
Aalto University(阿尔托大学);Fudan University(复旦大学);Georgia Institute of Technology(佐治亚理工学院)
提出一种可解释的关节角度运动表示,结合预训练视觉Transformer和令牌级后期交互机制,实现文本与3D运动之间的细粒度对齐,在HumanML3D和KIT-ML上超越现有方法。
2026-11-03 cs.CV cs.IR
Joint Triplet Autoencoder for Histopathological Colon Cancer Nuclei Retrieval
Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院)
深度学习在视觉任务的性能方面表现出了很大的改善。图像检索是从数据库中提取与查询图像在视觉上相似的图像的任务。执行特征匹配以对图像进行排序。过去已经衍生出各种手工设计的特征来表示图像。如今,在生物医学图像分析领域,深度学习的力量正被用于从数据中自动特征学习。Autoencoder和Siamese网络是两个深度学习模型来学习潜在空间(即,特征或嵌入)。自动编码器的工作原理是从潜在空间重建图像。Siamese网络利用三元组来学习类内相似性和类间差异性。此外,Autoencoder是无监督的,而Siamese网络是有监督的。我们提出了一个联合三元组自动编码器网络(JTANet),促进三元组学习的自动编码器框架。对Siamese网络进行了有监督学习,对Autoencoder进行了无监督学习。此外,Autoencoder的Encoder网络与Siamese网络共享,称为Siamcoder网络。特征提取使用训练Siamcoder网络检索的目的。实验在病理学常规结肠癌数据集上进行。我们已经观察到使用所提出的JTANet模型对Autoencoder和Siamese模型在组织病理学图像中进行结肠癌细胞核检索的有前途的性能。
2021-05-24 cs.CV
Joint Retrieval of Cloud properties using Attention-based Deep Learning Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文提出带有注意力模块的紧凑UNet模型CAM,通过注意力机制和专用损失函数联合反演云光学厚度与云有效半径,在大涡模拟数据集上显著优于现有深度学习方法与IPA物理方法。
2025-04-09 cs.CV
ShapeMatcher: Self-Supervised Joint Shape Canonicalization, Segmentation, Retrieval and Deformation
Tsinghua University(清华大学);Northwestern Polytechnical University(西北工业大学)
针对任意姿态部分观测物体的多形状任务协同处理难题,提出自监督框架ShapeMatcher,联合完成规范化、分割、检索与变形,通过跨任务一致性损失互监督,在多个数据集上性能显著优于现有方法。
2024-03-11 cs.CV
J-RAS: Mutual Adaptation for Medical Image Segmentation via Contrastive Retrieval-Augmented Joint Optimization
Laurier University(劳里尔大学)
提出J-RAS框架,通过交替对比学习和监督学习联合优化分割与检索模型,实现检索与分割的互适应,提升医学图像分割的边界描绘、鲁棒性和跨数据集泛化能力。
2026-08-17 cs.CV
Learning to embed semantic similarity for joint image-text retrieval
Bar-Ilan University(巴伊兰大学)
我们提出了一种深度学习方法,用于学习图像和字幕在欧氏空间中的联合语义嵌入,使得语义相似性由嵌入空间中的L2距离近似。为此,我们引入了一个度量学习方案,利用多任务学习学习使用中心损失嵌入相同的语义概念。通过将可微量化方案引入端到端可训练网络,我们推导出欧几里得空间中语义相似概念的语义嵌入。我们还提出了一种新的度量学习公式,使用自适应边缘铰链损失,这是在训练阶段完善。该方案被应用于MS-COCO,Flicke 30 K和Flickr 8 K数据集,并与当代最先进的方法进行了比较。
2022-10-07 cs.CV
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology(佐治亚理工学院);Wuhan University of Technology(武汉理工大学)
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法,称为JEMA,用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入,并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化,以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐,作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明,所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
Multi-Modal Motion Retrieval by Learning a Fine-Grained Joint Embedding Space
Southern University of Science and Technology(南方科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学);Faculty of Computer Science and Control Engineering, Shenzhen University of Advanced Technology(计算机科学与控制工程学院,深圳大学先进技术学院)
针对现有运动检索方法交互模式单一、忽略模态序列表示的问题,提出融合文本、音频、视频、运动四模态的细粒度联合嵌入框架,通过序列级对比学习实现跨模态对齐,在自建数据集上多项检索指标优于现有方法,验证了多模态对运动获取的提升作用。
2025-07-31 cs.CV
Optimizing CLIP Models for Image Retrieval with Maintained Joint-Embedding Alignment
HTW Berlin(柏林工程应用科学大学)
本文针对CLIP模型在图像检索中难以区分视觉不同但标题相似的图像的问题,提出顺序微调和伪标题对齐两种优化方法,在保持文本-图像对齐的同时提升图像检索、k-NN分类和零样本分类性能,并简化多模态检索系统基础设施。
2024-09-03 cs.CV cs.LG
MOON: Multi-Hash Codes Joint Learning for Cross-Media Retrieval
Jiangnan University(江南大学);University of Surrey(萨里大学)
近年来,跨媒体哈希技术以其高计算效率和低存储成本而受到越来越多的关注。然而,现有的方法仍然存在一些局限性,需要加以探讨。1)固定散列长度(例如,16位或32位)是在学习二进制代码之前预定义的。因此,当哈希长度发生变化时,这些模型需要重新训练,这会消耗额外的计算能力,降低了实际应用中的可扩展性。2)现有的跨模态方法只探索原始多媒体数据中的信息来执行散列学习,而不利用所学习的散列码中包含的语义信息。为此,我们开发了一种新的多哈希码jOint学习方法(MOON)的跨媒体检索。具体而言,开发的MOON在统一的框架中同步学习具有多种长度的哈希码。此外,为了提高潜在的歧视,我们结合了来自多模态数据,语义标签和学习哈希码的哈希学习的线索。据我们所知,提出的MOON是第一个同时学习不同长度的哈希码而无需重新训练跨媒体检索的工作。几个数据库上的实验表明,我们的MOON可以实现有前途的性能,优于最近的一些竞争浅和深的方法。
2021-08-17 cs.CV
HotelMatch-LLM: Joint Multi-Task Training of Small and Large Language Models for Efficient Multimodal Hotel Retrieval
Leiden University(莱顿大学)
本文提出 HotelMatch-LLM,通过多任务目标与 SLM/LLM 非对称架构实现自然语言多模态酒店检索,并在四个测试集上显著优于 VISTA 和 MARVEL。
2025-06-08 cs.AI cs.CV cs.IR
Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning
Hangzhou Institute of Technology, Xidian University, Hangzhou, China(杭州理工大学、西安电子科技大学、杭州,中国);Xidian University, Xi'an, China(西安电子科技大学、西安,中国);Hohai University, Nanjing, China(河海大学、南京,中国)
本文提出基于金字塔Shapley-Taylor学习的细粒度动语言检索方法,通过分层对齐捕捉局部细节与层次结构,提升检索性能。
2026-02-04 cs.CV
Three-Stream Joint Network for Zero-Shot Sketch-Based Image Retrieval
Shandong University(山东大学);Shandong Jianzhu University(山东建筑大学)
由于草图和自然图像之间存在较大的领域鸿沟,以及可见和不可见类别之间的语义不一致性,基于零镜头草图的图像检索(Zero-Shot Sketch-based Image Retrieval,简称ZSBIR)是一项具有挑战性的任务。以前的文献通过语义嵌入来连接可见和不可见的类别,这需要确切的类名和额外的提取工作的先验知识。大多数作品通过构造草图-图像对将草图和自然图像映射到一个公共的高层空间来缩小域间隙,忽略了图像和草图之间的非配对信息。为了解决这些问题,在本文中,我们提出了一种新的三流联合训练网络(3 JOIN)的EST-SBIR任务。为了缩小草图和图像之间的领域差异,我们提取自然图像的边缘图,并将其作为图像和草图之间的桥梁,这些草图与图像具有相似的内容和相似的风格。为了充分利用草图、自然图像和边缘图的组合,提出了一种新型的三流联合训练网络。此外,我们使用教师网络来提取样本的隐式语义,而无需其他语义的帮助,并将学习到的知识转移到看不见的类。在两个真实数据集上进行的大量实验证明了我们所提出的方法的优越性。
2022-04-12 cs.CV
MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);Department of Computer Science, University of California, Los Angeles, USA(加州大学洛杉矶分校计算机科学系);Sun Yat-sen University Shenzhen Campus, School of Cyber Science and Technology, Shenzhen, China(中山大学深圳校区信息科学与技术学院)
针对零样本组合图像检索中组合查询表示未直接优化的问题,提出MVFT-JI方法,利用MLLM构建两个互补训练任务微调VLM,并在推理时联合MLLM生成文本与相似度计算,提升检索性能。
2025-05-26 cs.CV cs.IR
A Novel Framework to Jointly Compress and Index Remote Sensing Images for Efficient Content-Based Retrieval
遥感影像通常以压缩格式存储,以减少档案的存储量。因此,现有的基于内容的图像检索(CBIR)系统在RS应用CBIR(这是大规模的CBIR问题的情况下,计算要求)之前,需要解码图像。为了解决这个问题,在本文中,我们提出了一个联合框架,同时学习RS图像压缩和索引。因此,它消除了在应用CBIR之前解码RS图像的需要。拟议框架由两个模块组成。第一个模块基于自动编码器架构压缩RS图像。第二模块通过采用软成对、位平衡和分类损失函数来产生具有高鉴别能力的散列码。我们还介绍了一个两阶段的学习策略与梯度操作技术,以获得图像表示,是兼容的RS图像索引和压缩。实验结果表明,该框架的有效性相比,广泛使用的方法在RS。拟议框架的代码见https://git.tu-berlin.de/rsim/RS-JCIF。
2022-06-03 cs.CV
Dual-task Mutual Reinforcing Embedded Joint Video Paragraph Retrieval and Grounding
Kunming University of Science and Technology(昆明理工大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳校区);Yunnan University(云南大学)
针对视频段落定位依赖大规模标注时间标签及已知视频-段落对应关系的问题,提出DMR-JRG方法,通过检索与定位双任务互增强,减少模态差异并构建粗细粒度特征空间,大幅降低标注需求并实现精准匹配定位。
2024-11-26 cs.CV
Personalizing Retrieval using Joint Embeddings or "the Return of Fluffy"
Visual Geometry Group(视觉几何组);University of Oxford(牛津大学)
本文提出 pi-map 映射网络,将对象实例的图像嵌入转为文本标记,结合自然语言查询实现个性化图像检索,在两项基准上达到最优性能。
2025-10-06 cs.CV
Semi Supervised Phrase Localization in a Bidirectional Caption-Image Retrieval Framework
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们引入了一种新的深度神经网络架构,该架构将视觉区域与包括短语和单词在内的相应文本片段联系起来。为了完成这一任务,我们的架构利用丰富的语义信息,可在联合嵌入空间的多模态数据。从这个联合嵌入空间中,我们提取自然发展的关联定位映射,而无需在定位任务的训练期间明确提供监督。关节空间使用双向排名目标来学习,该双向排名目标使用$N$ -配对损失公式来优化。这种训练机制展示了这样的想法,即在优化双向检索目标的同时,本地化信息是固有地学习的。该模型的检索和本地化性能进行评估MSCOCO和Flickr 30 K实体数据集。该架构优于半监督短语定位设置中的现有技术结果。
2019-08-08 cs.CV eess.IV
Efficient Discriminative Joint Encoders for Large Scale Vision-Language Reranking
INSIGHT Lab, Ben-Gurion University of the Negev(本·古里安内盖夫大学INSIGHT实验室)
EDJE通过离线预计算和轻量级注意力适配器,实现了高效视觉-语言重排序,显著降低存储和计算成本,提升大规模检索性能。
2026-02-22 cs.CV cs.LG
Cross-Modal Food Retrieval: Learning a Joint Embedding of Food Images and Recipes with Semantic Consistency and Attention Mechanism
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
食品检索是一项重要的任务,执行分析食品相关的信息,在这里,我们有兴趣在检索有关的信息查询食品项目,如成分,烹饪说明等,在本文中,我们探讨食品图像和烹饪食谱之间的跨模态检索。目标是学习图像和配方在公共特征空间中的嵌入,使得对应的图像-配方嵌入彼此接近。解决这个问题的两个主要挑战是1)跨跨模态食物数据的大的内部方差和小的内部方差;以及2)难以获得有区别的食谱表示。为了解决这两个问题,我们提出了语义一致和基于注意力的网络(SCAN),它通过调整输出语义概率来规范两种模态的嵌入。此外,我们利用一个自我注意力机制,以改善嵌入的食谱。我们评估了所提出的方法在大规模Recipe 1 M数据集上的性能,并表明我们可以显著优于几种最先进的食品图像和烹饪食谱的跨模态检索策略。
2021-09-21 cs.CV cs.MM
Generative Editing in the Joint Vision-Language Space for Zero-Shot Composed Image Retrieval
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
Fusion-Diff通过联合视觉-语言空间中的生成编辑策略,实现了高效的零样本复合图像检索,提升了多模态对齐的性能和可解释性。
2025-12-01 cs.CV
Text-to-Motion Retrieval: Towards Joint Understanding of Human Motion Data and Natural Language
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);Masaryk University(马萨里克大学)
本文提出文本到运动检索新任务,构建BERT、CLIP等基线并提出基于划分式时空注意力的MoT方法,在两个数据集上建立评估协议,推动人体运动与自然语言的联合理解。
2023-10-04 cs.CV
KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Tsinghua University(清华大学)
提出KP-RED框架,利用类别一致的语义关键点联合完成3D CAD模型检索与神经笼变形,可稳健处理完整及含噪部分扫描,并在PartNet和Scan2CAD上显著优于现有方法。
2024-12-03 cs.CV
REJEPA: A Novel Joint-Embedding Predictive Architecture for Efficient Remote Sensing Image Retrieval
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出自监督框架REJEPA,通过空间上下文token预测目标抽象表示并引入VICReg正则化,在降低计算复杂度的同时显著提升了多基准遥感图像检索精度。
2025-05-30 cs.CV
Learning Text-Image Joint Embedding for Efficient Cross-Modal Retrieval with Deep Feature Engineering
Georgia Institute of Technology(佐治亚理工学院)
本文介绍了一种用于语义增强联合嵌入高效学习的两阶段深度特征工程框架,该框架将数据预处理中的深度特征工程与文本-图像联合嵌入模型的训练明确分离。我们使用Recipe 1 M数据集进行技术描述和实证验证。在预处理中,我们通过将深度特征工程与从原始文本图像输入数据中获得的语义上下文特征相结合来执行深度特征工程。我们利用LSTM来识别关键词,使用BERT家族的深度NLP模型,TextRank或TF-IDF来生成关键词的排名分数,然后使用word 2 vec为每个关键词生成矢量表示。我们利用wideResNet 50和word 2 vec来提取和编码食物图像的图像类别语义,以帮助在联合潜在空间中学习食谱和图像嵌入的语义对齐。在联合嵌入学习中,我们通过优化具有软边缘和双负采样的批量硬三元组损失函数来执行深度特征工程,同时考虑到基于类别的对齐损失和基于鉴别器的对齐损失。大量的实验表明,我们的SEJE方法与深度特征工程显着优于国家的最先进的方法。
2021-10-22 cs.CV cs.IR
MS-DETR: Towards Effective Video Moment Retrieval and Highlight Detection by Joint Motion-Semantic Learning
Fudan University(复旦大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出MS-DETR框架,通过统一学习捕获运动-语义特征,显式建模模态内相关性并利用跨维度任务相关性,结合生成策略与对比去噪学习解决稀疏性困境,在视频片段检索与高光检测任务上超越了现有最先进模型。
2025-07-16 cs.CV
TR-DETR: Task-Reciprocal Transformer for Joint Moment Retrieval and Highlight Detection
Central China Normal University(华中师范大学);Hubei University of Technology(湖北工业大学)
本文提出TR-DETR模型,通过局部-全局多模态对齐、视觉特征细化和任务协作模块探索视频时刻检索与高光检测间的互惠性,在多个数据集上优于现有最先进方法。
2024-01-05 cs.CV cs.MM
Zero-Shot Satellite Image Retrieval through Joint Embeddings: Application to Crisis Response
Trillium Technologies;University of Cambridge(剑桥大学);Universidad de Antioquia(Antioquia大学)
本文提出GeoQuery系统,通过两阶段语义和视觉搜索,在无需配对数据和计算资源的情况下实现全球范围内的自然语言查询,利用部分全球数据的自然语言嵌入,优化描述生成提示以使文本嵌入空间与冻结CLAY视觉嵌入空间的距离相关联,从而在灾难地点查询中实现高精度检索。
2026-05-20 cs.CV
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Beihang University(北京航空航天大学)
文本-图像跨模态检索是语言和视觉领域的一个具有挑战性的课题。大多数先前的方法独立地将图像和句子嵌入到联合嵌入空间中,并比较它们的相似性。然而,以前的方法很少探索图像和句子之间的相互作用之前,计算在联合空间中的相似性。直观地说,当图像和句子之间的匹配,人类会交替地关注图像中的区域和句子中的单词,并选择最显着的信息,考虑两种模式之间的相互作用。在本文中,我们提出了跨模态自适应消息传递(CAMP),它自适应地控制跨模态消息传递的信息流。我们的方法不仅考虑到全面和细粒度的跨模态的相互作用,但也适当地处理负对和不相关的信息与自适应门控方案。此外,而不是传统的联合嵌入方法的文本图像匹配,我们推断的匹配分数的基础上融合的功能,并提出了一个最难的负二进制交叉熵损失的训练。COCO和Flickr 30 k的结果显着超过了最先进的方法,证明了我们的方法的有效性。
2019-09-12 cs.CV
Cross-Modal Coherence for Text-to-Image Retrieval
Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学)
常见的图像-文本联合理解技术假定图像和相关文本可以普遍地由单个隐式模型表征。然而,共现图像和文本可以以不同的方式联系在一起,明确地对其建模可以提高当前联合理解模型的性能。在本文中,我们训练一个跨模态的连贯性模型的文本到图像检索任务。我们的分析表明,与图像-文本连贯性关系训练的模型可以检索图像最初配对的目标文本更经常比连贯性不可知模型。我们还表明,通过人类的评价,图像检索所提出的一致性感知模型是首选的一致性不可知的基线由一个巨大的利润。我们的研究结果提供了不同的方式,沟通和连贯关系的作用,在捕捉常识推理的文本和图像的见解。
2022-04-15 cs.CV
Content Based Multimedia Information Retrieval to Support Digital Libraries
Universiti Brunei Darussalam(文莱达鲁萨兰大学)
基于内容的多媒体信息检索是一个有趣的研究领域,因为它允许基于多媒体对象的固有特性进行检索。例如,基于图像中对象的颜色、形状或纹理等视觉特征的检索,或基于媒体(图像或视频剪辑)中对象之间的空间关系的检索。本文回顾了在图像和视频检索方面所做的一些工作,然后提出了一个集成的模型,可以处理图像和视频剪辑统一。使用该模型可以基于相同的框架对图像或视频片段进行检索。
2012-07-18 cs.CV cs.IR