Catalog Phrase Grounding (CPG): Grounding of Product Textual Attributes in Product Images for e-commerce Vision-Language Applications
Amazon(亚马逊)
提出CPG模型,利用自监督多模态Transformer将产品文本属性定位到图像区域,通过教师模型知识迁移,在品牌匹配任务中提升召回率平均5%。
2023-08-30 cs.CV
Position-aware Location Regression Network for Temporal Video Grounding
Seoul National University(首尔国立大学);Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI))
视频监控成功接地的关键是理解与重要角色和对象相对应的语义短语。传统的方法忽略了短语的综合上下文,或者需要对多个短语进行大量计算。为了理解只有一个语义短语的综合上下文,我们提出了位置感知位置回归网络(PLRN),它利用查询和视频的位置感知功能。具体地,PLRN首先使用字和视频片段的位置信息对视频和查询两者进行编码。然后,语义短语特征提取的编码查询与注意。语义短语特征和编码视频被合并,并通过反映局部和全局上下文而成为上下文感知特征。最后,PLRN预测接地边界的开始、结束、中心和宽度值。我们的实验表明,PLRN实现了竞争力的性能比现有的方法具有更少的计算时间和内存。
2022-04-12 cs.CV
Generate to Ground: Multimodal Text Conditioning Boosts Phrase Grounding in Medical Vision-Language Models
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗赖堡-亚历山大大学埃尔兰根-纽伦堡);Imperial College London(伦敦帝国理工学院)
提出利用生成式扩散模型结合冻结的领域特定语言模型进行零样本医学短语定位,并引入BBM后处理技术对齐文本与图像偏差,使mIoU翻倍,显著提升了疾病定位精度。
2025-07-16 cs.CV
Extending Phrase Grounding with Pronouns in Visual Dialogues
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
传统的短语定位方法是将字幕中的名词短语定位到相应的图像区域,近年来取得了很大的成功。显然,对于跨模态视觉语言理解来说,单一的名词短语基础是不够的。在这里,我们通过考虑代词来扩展任务。首先,我们构建了一个包含名词短语和代词的短语接地数据集来图像区域。基于数据集,我们测试了短语接地的性能,通过使用最先进的文献模型,这条线。然后,我们增强了基线接地模型与共指信息,这应该有助于我们的任务潜在的,建模的共指结构与图卷积网络。有趣的是,在我们的数据集上进行的实验表明,代词比名词短语更容易接地,其中可能的原因可能是这些代词的歧义要少得多。此外,我们最终的模型与共指信息可以显着提高接地性能的名词短语和代词。
2022-10-23 cs.CL cs.CV
What is Where by Looking: Weakly-Supervised Open-World Phrase-Grounding without Text Inputs
Tel-Aviv University(特拉维夫大学)
给定一个输入图像,我们的方法返回图像中对象的边界框和描述对象的短语。这是在开放世界范例内实现的,其中在定位机制的训练期间可能没有遇到输入图像中的对象。此外,训练发生在弱监督设置中,其中不提供边界框。为了实现这一点,我们的方法结合了两个预先训练的网络:CLIP图像到文本匹配分数和BLIP图像描述工具。培训基于COCO图像及其标题,并基于CLIP。然后,在推理过程中,BLIP用于生成关于当前图像的各个区域的假设。我们的工作概括了弱监督分割和短语接地,经验表明,在这两个领域的最先进的。在我们的工作中提出的弱监督开放世界纯视觉短语接地的新任务中,它也显示了非常令人信服的结果。例如,在用于基准短语接地的数据集上,与使用人类字幕作为额外输入的方法相比,我们的方法导致了非常适度的退化。我们的代码可以在https://github.com/talshaharabany/what-is-where-by-looking上找到,现场演示可以在https://replicate.com/talshaharabany/what-is-where-by-looking上找到。
2022-06-27 cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology(佐治亚理工学院);SRI International(SRI国际);Facebook AI Research(Facebook人工智能研究院)
我们解决了接地的问题,自由形式的文本短语,通过使用弱监督图像标题对。我们提出了一种新的端到端的模型,使用标题到图像检索作为“下游”的任务,以指导短语本地化的过程。我们的方法,作为第一步,推断感兴趣的区域(ROI)和标题中的短语之间的潜在对应关系,并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中,该(学习的)表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码,它紧密耦合的任务,并允许弱监督,以有效地指导视觉接地。我们提供了广泛的实证和定性分析,以调查我们提出的模型的不同组成部分,并将其与竞争基线进行比较。对于短语本地化,我们报告了VisualGenome数据集上比现有技术水平提高了4.9%(绝对值)。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
Toward Explainable and Fine-Grained 3D Grounding through Referring Textual Phrases
CUHK-Shenzhen(香港中文大学(深圳));Shanghai Jiao Tong University(上海交通大学)
本文提出3D短语感知定位(3DPAG)任务,通过构建约227K短语级标注数据集,并设计短语-物体对齐优化与短语特定预训练方法,在Nr3D、Sr3D和ScanRefer上显著提升了3D视觉定位性能。
2023-05-27 cs.CV
Knowledge Aided Consistency for Weakly Supervised Phrase Grounding
University of Southern California(南加利福尼亚大学)
给定自然语言查询,短语基础系统旨在定位图像中提到的对象。在弱监督场景中,图像区域之间的映射(即,建议)和语言在培训集中不可用。先前的方法通过训练基础系统来解决这个缺陷,该基础系统通过学习从预测的建议重构输入查询中包含的语言信息来训练。然而,优化仅仅是由语言模态的重建损失,并忽略了丰富的视觉信息中包含的建议和有用的线索,从外部知识。在本文中,我们探讨了视觉和语言形式的一致性,并利用互补的外部知识,以促进弱监督接地。提出了一种新的知识辅助一致性网络(KAC网),通过重构输入查询和建议的信息进行优化。为了利用视觉特征中包含的互补知识,我们引入了基于知识的池(KBP)门,专注于查询相关的建议。实验表明,KAC网在两个流行的数据集上提供了显着的改进。
2018-03-11 cs.CV
Query-guided Regression Network with Context Policy for Phrase Grounding
University of Southern California(南加州大学);Institute for Robotics and Intelligent Systems(机器人与智能系统研究所)
给定图像的文本描述,短语接地定位描述中的查询短语所引用的图像中的对象。最先进的方法通过基于与每个查询的相关性对一组建议进行排名来解决这个问题,这受到独立建议生成系统的性能的限制,并且忽略了来自描述中的上下文的有用线索。在本文中,我们采用了空间回归方法来打破性能限制,并引入强化学习技术,以进一步利用语义上下文信息。我们提出了一种新的带有上下文策略的查询引导回归网络(QRC Net),它联合学习建议生成网络(PGN),查询引导回归网络(QRN)和上下文策略网络(CPN)。实验表明,QRC Net在两个流行的数据集上提供了显着的准确性提高:Flickr30K实体和引用游戏,分别比最先进的提高了14.25%和17.14%。
2017-08-04 cs.CV
Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding
College of Computer Science, Sichuan University(四川大学计算机学院);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Department of Radiology, West China Hospital, Sichuan University(四川大学华西医院放射科);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);Department of Mathematics, Sichuan University(四川大学数学系);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-Sen University(中山大学深圳校区网络科学与技术学院);Department of Ophthalmology, Yong Loo Lin School of Medicine, National University of Singapore and the Singapore Eye Research Institute, Singapore National Eye Centre(新加坡国立大学 Yong Loo Lin 医学院眼科系及新加坡眼科研所、新加坡国家眼科中心)
本文提出医学报告定位新任务及uMedGround框架,利用多模态大模型和不确定性感知预测,直接从报告识别诊断短语并生成定位框,优于现有方法,并适用于视觉问答和类别定位。
2025-08-06 cs.CV
Learning Cross-modal Context Graph for Visual Grounding
ShanghaiTech University(上海科技大学);Queen’s University(女王大学)
视觉背景是许多视觉语言任务中普遍存在的组成部分,但由于背景实体的视觉和语言特征差异大,语境效应强以及由此产生的语义歧义,视觉背景仍然具有挑战性。以前的工作通常集中在学习表示的个别短语与有限的上下文信息。为了解决它们的局限性,本文提出了一种语言引导的图形表示来捕获接地实体及其关系的全局上下文,并为多短语视觉接地任务开发了一种跨模态图匹配策略。特别是,我们引入了一个模块化的图神经网络来计算上下文感知表示的短语和对象的建议,分别通过消息传播,其次是基于图的匹配模块生成全局一致的本地化接地短语。我们在两阶段策略中联合训练整个图神经网络,并在Flickr 30K Entities基准上对其进行评估。大量的实验表明,我们的方法优于现有技术的一个相当大的保证金,证明了我们的接地框架的功效。代码可在“https://github.com/youngfly11/LCMCG-PyTorch“上获得。
2019-11-23 cs.CV
Enriching Phrases with Coupled Pixel and Object Contexts for Panoptic Narrative Grounding
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Meituan(美团);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
针对全景叙事定位任务中现有方法上下文聚合存在噪声、语义错位的问题,提出融合像素与物体上下文的PPO-TD结构及POCL损失,在基准上取得大幅领先的SOTA性能。
2024-03-10 cs.CV
Grounding Visual Explanations (Extended Abstract)
EECS, University of California Berkeley(加州大学伯克利分校电气工程与计算机科学系);Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学机器学习实验室)
生成文本解释的现有模型通过判别项损失函数来执行任务相关性,但是这样的机制仅弱地约束所提到的对象部分实际上存在于图像中。在本文中,提出了一种新的模型,用于生成解释,利用本地化接地的组成短语在生成的解释,以确保图像的相关性。具体来说,我们引入了一个短语评论模型来细化(重新评分/重新排名)生成的候选解释,并采用相对属性启发的排名损失使用“翻转”短语作为负面的例子进行训练。在测试时,我们的短语评论模型将图像和候选解释作为输入,并输出一个分数,表明候选解释在图像中的基础有多好。
2017-11-17 cs.CV
Phrase Decoupling Cross-Modal Hierarchical Matching and Progressive Position Correction for Visual Grounding
Kunming University of Science and Technology(昆明理工大学);Yunnan University(云南大学)
针对现有视觉定位方法忽略不同层级文本图像特征关联对跨模态匹配促进作用的问题,提出短语解耦跨模态层级匹配与渐进式位置校正方法,经多数据集实验验证性能优于当前最优方法。
2024-10-31 cs.CV
PhraseStereo: The First Open-Vocabulary Stereo Image Segmentation Dataset
Centre Inria d’Universite Cote d’Azur(法国国家信息与自动化技术研究所(Inria))
针对现有短语定位研究多局限于单视图、忽略立体几何线索的问题,本文提出首个立体图像短语-区域分割数据集PhraseStereo,基于PhraseCut用GenStereo生成右视图,为语言、视觉与3D感知交叉研究奠基。
2025-10-01 cs.CV
A Joint Study of Phrase Grounding and Task Performance in Vision and Language Models
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Kotoba Technologies, Inc.(Kotoba科技公司);Tel-Aviv University(特拉维夫大学)
提出联合研究任务性能与短语定位的框架及三个基准,发现当代模型在定位短语与解决任务间存在不一致,并通过暴力训练解决该问题。
2024-05-30 cs.CL cs.CV
Weakly Supervised Attention Learning for Textual Phrases Grounding
Arizona State University(亚利桑那州立大学);University of California, Irvine(加州大学欧文分校)
视觉内容中的文本短语接地是一个有意义但具有挑战性的问题,具有各种潜在的应用,如图像-文本推理或文本驱动的多媒体交互。现有的方法大多采用监督学习机制,在训练过程中需要像素级的地面实况。然而,细粒度水平地面实况注释是相当耗时的,并且严重缩小了更一般应用的范围。在这个扩展的摘要中,我们探索了使用弱监督注意力学习机制从自上而下的信号(以单热标签或自然语言的形式)灵活定位图像区域的方法。在我们的模型中,使用了两种类型的模块:用于视觉特征捕获的骨干模块和基于正则化双线性池生成地图的注意模块。我们以端到端的方式构建模型,通过鼓励空间注意地图转移并专注于由自上而下信号最匹配的视觉特征组成的区域来训练模型。我们展示了初步的,但有希望的结果与多标签MNIST数据合成的测试平台。
2018-05-01 cs.CV
Conditional Image-Text Embedding Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Ebay Inc.(eBay公司)
本文提出了一种用于在图像中接地短语的方法,该方法在单个端到端模型中联合学习多个文本条件嵌入。为了区分文本短语到语义上不同的子空间,我们提出了一个概念的权重分支,自动分配短语嵌入,而以前的作品,这样的分配。我们提出的解决方案简化了对单个嵌入的表示要求,并允许未充分代表的概念在将其馈送到概念特定层之前利用共享表示。综合实验验证了我们的方法在三个短语接地数据集上的有效性,Flickr30K实体,ReferIt游戏和Visual Genome,其中我们获得了(分别)。与强区域短语嵌入基线相比,接地性能提高了4%、3%和4%。
2018-07-28 cs.CV
InterPartAbility: Phrase-Region Grounding for Interpretable Text-to-Image Person Re-Identification
LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada(LIVIA系统工程系,蒙特利尔ÉTS学院,加拿大);Genetec Inc.(Genetec公司)
本文提出InterPartAbility,通过显式部分匹配和短语-区域绑定提升TI-ReID的可解释性,引入PPIM模块实现概念级指导,生成 grounded 解释图谱,实验表明在CUHK-PEDES等基准上达到SOTA可解释性性能。
2026-06-27 cs.CV
Grounding of Textual Phrases in Images by Reconstruction
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
在视觉内容中的任意、自由形式的文本短语的基础(即,定位)对于人机交互和图像-文本参考解析的许多应用是具有挑战性的问题。很少有数据集提供短语的真实空间定位,因此希望在没有或很少有基础监督的情况下从数据中学习。我们提出了一种新的方法,学习接地重建一个给定的短语使用注意力机制,这可以是潜在的或直接优化。在训练过程中,我们的方法使用递归网络语言模型对短语进行编码,然后学习关注相关图像区域以重建输入短语。在测试时,正确的注意力,即,接地进行评估。如果接地监督可用,则可以通过注意力机制上的损失直接应用。我们证明了我们的方法的有效性Flickr 30 k实体和ReferItGame数据集与不同级别的监督,从没有监督到部分监督到全面监督。我们的监督变体在两个数据集上都比最先进的变体有很大的改进。
2017-02-17 cs.CL cs.CV cs.LG
A Comparison of Object Detection and Phrase Grounding Models in Chest X-ray Abnormality Localization using Eye-tracking Data
Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所);Kahlert School of Computing, University of Utah(犹他大学卡勒特计算学院);University of Utah(犹他大学)
本文比较了目标检测与短语定位模型在胸部X光异常定位中的性能与可解释性,利用眼动追踪数据构建基线,证明文本能有效提升定位效果。
2025-03-02 cs.CV cs.LG
Grounding Visual Explanations
UC Berkeley(加州大学伯克利分校);University of Amsterdam(阿姆斯特丹大学)
现有的视觉解释生成代理学习流利地证明类预测。然而,他们可能会提到反映强烈类别先验的视觉属性,尽管证据可能实际上并不存在于图像中。这是特别令人担忧的,因为最终这些代理无法与人类用户建立信任。为了克服这一限制,我们提出了一个短语评论模型来改进生成的候选解释,这些解释用翻转的短语来增强,我们在训练时将其用作负面示例。在推理时,我们的短语评论模型将图像和候选解释作为输入,并输出一个分数,指示候选解释在图像中的基础。我们可解释的人工智能智能体能够为另一种预测提供反论据,即反事实,以及证明正确分类决策的解释。我们的模型通过提及图像中的短语来提高CUB数据集上细粒度分类决策的文本解释质量。此外,在FOIL任务中,我们的智能体检测句子中的错误,为不正确的短语提供理由,并比其他模型更好地纠正它。
2018-08-02 cs.CV
Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation
The Chinese University of Hong Kong(香港中文大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tencent AI Lab(腾讯AI实验室);University of Rochester(罗切斯特大学)
弱监督短语接地旨在仅使用图像-句子对来学习区域-短语对应关系。因此,一个主要的挑战在于训练过程中图像区域和句子短语之间的缺失链接。为了解决这一挑战,我们利用一个通用的对象检测器在训练时,并提出了一个对比学习框架,占区域短语和图像句子匹配。我们的核心创新是学习区域短语得分函数,在此基础上进一步构建图像句子得分函数。重要的是,我们的区域-短语得分函数是通过从图像-句子对内检测到的对象名称和候选短语之间的软匹配得分中提取来学习的,而图像-句子得分函数是由地面实况图像-句子对监督的。这种评分函数的设计消除了在测试时进行目标检测的需要,从而显著降低了推理成本。在没有花里胡哨的情况下,我们的方法在视觉短语基础上实现了最先进的结果,超过了以前在测试时需要昂贵的对象检测器的方法。
2021-04-25 cs.CV cs.LG
Revisiting Image-Language Networks for Open-ended Phrase Detection
Boston University(波士顿大学);NVIDIA Corporation(英伟达公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大多数现有的工作,理由自然语言短语的图像开始的假设,该短语的问题是相关的图像。在本文中,我们解决了一个更现实的版本的自然语言接地任务,我们必须既确定短语是否是相关的图像和本地化的短语。这也可以被看作是目标检测到开放式词汇的概括,引入了少量和zero-shot检测的元素。我们为此任务提出了一种方法,该方法扩展了Faster R-CNN以关联图像区域和短语。通过使用典型相关分析(CCA)仔细初始化我们网络的分类层,我们鼓励在相似短语之间进行推理时更具识别力的解决方案,与三个流行短语基础数据集Flickr 30 K Entities,ReferIt Game和Visual Genome相比,性能提高了一倍以上,测试时短语词汇量为5 K,32 K和159 K。分别
2020-10-12 cs.CV
Disentangled Motif-aware Graph Learning for Phrase Grounding
Zhejiang University(浙江大学);City Cloud Technology (China) Co., Ltd(城市云技术(中国)有限公司)
在本文中,我们提出了一个新的图学习框架,短语接地的图像。从顺序图模型发展到稠密图模型,现有的工作捕获粗粒度的上下文,但不能区分短语和图像区域之间的上下文的多样性。相比之下,我们特别注意不同的图案隐含在场景图的上下文中,并设计了解纠缠图网络,将图案感知的上下文信息集成到表示中。此外,我们还在特征和结构层面上采取干预策略,以巩固和概括表征。最后,跨模态注意网络被用来融合模态内特征,其中每个短语可以被计算与区域的相似度以选择最佳接地。我们通过一系列消融研究验证了解纠缠和介入图网络(DIGN)的效率,我们的模型在Flickr30K实体和ReferIt游戏基准测试中达到了最先进的性能。
2021-04-13 cs.CL cs.CV
Generalised Medical Phrase Grounding
The University of Queensland(昆士兰大学);Australian e-Health Research Centre, CSIRO Health and Biosecurity(澳大利亚电子健康研究中心,CSIRO健康与生物安全)
针对现有医学短语定位方法无法处理多区域、非诊断性及不可定位短语的问题,提出通用医学短语定位任务及MedGrounder模型,采用两阶段训练策略,在零样本迁移和多区域/不可定位短语上优于基线方法。
2026-06-25 cs.CL cs.CV
MAGNet: Multi-Region Attention-Assisted Grounding of Natural Language Queries at Phrase Level
Syracuse University(雪城大学)
接地自由形式的文本查询需要理解这些文本短语及其与视觉线索的关系,以可靠地推理所描述的位置。空间注意力网络可以学习这种关系,并将目光集中在图像中的显著对象上。因此,我们建议利用空间注意力网络的图像级视觉-文本融合保留本地(词)和全球(短语)的信息,以完善区域建议与网络区域建议网络(RPN)和检测单个或多个区域的短语查询。我们只关注短语查询-地面真值对(引用表达式)对于独立于数据集的约束(即,附加属性、上下文等)的模型。对于这样的引用表达式数据集ReferIt游戏,我们的多区域注意力辅助接地网络(MAGNet)比现有的没有来自Flickr 30 k实体中的图像标题和属性信息的上下文,与最先进的技术相比,我们仍然获得了具有竞争力的结果。
2020-06-06 cs.CL cs.CV cs.LG
Contrastive Learning for Weakly Supervised Phrase Grounding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);Bar Ilan University(巴伊兰大学)
短语基础,将图像区域与字幕词相关联的问题,是视觉语言任务的重要组成部分。我们表明,短语接地可以通过优化字区域的注意,以最大限度地提高图像和字幕词之间的互信息的下限。给定成对的图像和字幕,我们最大限度地提高了注意力加权区域和相应字幕中的单词的兼容性,相比于非对应的图像和字幕对。其核心思想是通过语言模型指导的词替换来构造有效的负面字幕。与来自训练数据的随机采样负数相比,使用我们的负数进行训练会在准确性方面产生$\sim10\%$绝对增益。我们在COCO-Captions上训练的弱监督短语接地模型显示了$5.7\%$的健康增益,以在Flickr 30 K Entities基准上实现$76.7\%$准确性。
2020-08-05 cs.CL cs.CV cs.LG
PPMN: Pixel-Phrase Matching Network for One-Stage Panoptic Narrative Grounding
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
全景叙事背景(PNG)是一个新兴的任务,其目标是分割由密集的静态图像的叙事字幕描述的事物和材料类别的视觉对象。该方法首先通过一个现成的全景分割模型提取分割区域,然后进行粗略的区域-短语匹配以确定每个名词短语的候选区域。然而,两阶段流水线通常受到第一阶段低质量建议的性能限制和区域特征池造成的空间细节损失,以及分别为事物和材料类别设计的复杂策略。为了克服这些缺点,我们提出了一个一级端到端的像素短语匹配网络(PPMN),它直接匹配每个短语到其对应的像素,而不是区域建议和输出全景分割通过简单的组合。因此,我们的模型可以利用足够的和更精细的跨模态语义对应关系的监督密集注释的像素短语对,而不是稀疏的区域短语对。此外,我们还提出了一个兼容的像素聚合(LCPA)模块,以进一步提高短语特征的区分能力,通过多轮细化,选择最兼容的像素为每个短语自适应聚合相应的视觉上下文。大量的实验表明,我们的方法在PNG基准测试中获得了新的最先进的性能,绝对平均召回率为4.0。
2022-08-11 cs.CV cs.MM
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University(上海交通大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加州大学伯克利分校)
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难,我们开发了一个多模态对齐框架(MAF),以利用更广泛可用的标题图像数据集,然后可以用作弱监督的形式。我们首先提出的算法,利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标,我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明,与现有的弱监督方法相比,该方法有显着的改进。在视觉感知语言表示的帮助下,我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究,以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Phrase Grounding-based Style Transfer for Single-Domain Generalized Object Detection
School of Computer, National University of Defense Technology, Changsha, China(国防科技大学计算机学院,中国长沙);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University, Shenzhen, China(中山大学深圳校区计算机科学与技术学院,中国深圳);Hong Kong Polytechnic University, Department of Computing, Hong Kong(香港理工大学计算学院,香港);College of Computer Science and Electronic Engineering, Hunan University, Changsha, China(湖南大学计算机科学与电子工程学院,中国长沙)
本文提出基于短语定位的风格迁移方法,通过学习目标域风格提升模型泛化能力,实验表明在多个天气驾驶基准上取得最佳性能。
2024-02-05 cs.CV
Exploring Phrase-Level Grounding with Text-to-Image Diffusion Model
School of Informatics, Xiamen University(厦门大学信息学院);Youtu Lab, Tencent(腾讯优图实验室)
本文提出DiffPNG框架,利用文本到图像扩散模型的交叉与自注意力及SAM细化模块,实现零样本短语级全景叙事定位。
2024-07-07 cs.CV cs.MM
Empower Words: DualGround for Structured Phrase and Sentence-Level Temporal Grounding
Yonsei University(延世大学);LG Electronics(LG电子)
针对视频时间定位中文本标记统一处理导致细粒度对齐不足的问题,提出双分支架构DualGround,分离句子级与短语级语义,在QVHighlights和Charades-STA上实现最先进性能。
2025-10-23 cs.CV cs.LG
Detector-Free Weakly Supervised Grounding by Separation
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Tel-Aviv University(特拉维夫大学);Weizmann Institute of Science(魏茨曼科学研究所);Boston University(波士顿大学);Technion(以色列理工学院)
如今,有大量的数据涉及图像和周围的自由形式的文本弱对应于这些图像。弱监督短语基础(WSG)处理的任务是使用此数据来学习本地化(或基础)图像中的任意文本短语,而无需任何额外的注释。然而,大多数最近的WSG SotA方法都假设存在一个预先训练的对象检测器,依靠它来产生ROI进行定位。在这项工作中,我们专注于无检测器WSG(DF-WSG)的任务,以解决WSG而不依赖于预先训练的检测器。我们直接从图像和相关的自由文本对中学习一切,从而可能在检测器不支持的类别上获得优势。我们提出的分离接地(GbS)方法背后的关键思想是通过任意图像对的随机阿尔法混合来合成“文本到图像区域”的关联,并使用该对的相应文本作为条件,通过分割网络从混合图像中恢复阿尔法图。在测试时,这允许使用查询短语作为非混合查询图像的条件,从而将测试图像解释为对应于短语的区域和补语区域的组合。使用这种方法,我们证明了针对Flickr 30 K、Visual Genome和ReferIt等一系列基准测试的准确性比之前的DF-WSG SotA有了显着的提高,最高可达$8.5\%$,并且比基于检测器的WSG方法有显着的补充改进(高于$7\%$)。
2021-04-20 cs.CV
Team PKU-WICT-MIPL PIC Makeup Temporal Video Grounding Challenge 2022 Technical Report
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
在这份技术报告中,我们简要介绍了我们的团队“PKU-WICT-MIPL”为ACM-MM 2022的PIC化妆临时视频接地(MTVG)挑战赛提供的解决方案。给定未修剪的化妆视频和步骤查询,MTVG旨在定位视频中的目标化妆步骤的时间时刻。为了解决这个问题,我们提出了一个短语关系挖掘框架,利用时间定位关系的细粒度短语和整个句子。此外,我们还提出了一种动态规划算法来约束不同步骤语句查询的定位结果不相互重叠。实验结果证明了该方法的有效性。我们最终提交的作品在排行榜上排名第二,与第一名的差距仅为0.55%。
2022-07-06 cs.CV
Dynamic Prompting of Frozen Text-to-Image Diffusion Models for Panoptic Narrative Grounding
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);School of Software, Beihang University(北京航空航天大学软件学院);Meituan(美团);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程学院)
针对全景叙事定位任务中冻结扩散模型静态提示存在任务差距、视觉-语言交互不足的问题,提出抽取-注入短语适配器动态更新提示并回注多模态线索,结合多级互聚合模块优化分割,在基准上取得新SOTA。
2024-09-12 cs.CV
Scaling 3D Visual Grounding in Abdominal CT
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出利用常规PACS二维标注自动生成大规模三维视觉定位训练数据,并构建LocusCT模型,在腹部CT基准上显著优于对比方法。
2026-10-06 cs.CV cs.LG
Multi-level Multimodal Common Semantic Space for Image-Phrase Grounding
Columbia University(哥伦比亚大学)
我们通过学习文本和视觉模态共享的多层次公共语义空间来解决短语接地问题。我们利用深度卷积神经网络的多个层次的特征映射,以及从基于字符的语言模型中提取的上下文化单词和句子嵌入。以下专用的非线性映射的视觉特征在每个级别,单词和句子嵌入,我们获得多个实例,我们共同的语义空间中,任何目标文本和视觉内容之间的比较进行余弦相似性。我们通过一个多层次的多模态注意力机制来引导模型,该机制在每个层次上输出被关注的视觉特征。选择最佳水平与文本内容进行比较,以最大化地面真相的图像-句子对的相关性得分。在三个公开可用的数据集上进行的实验显示,在短语本地化方面,与最先进的方法相比,性能有了显著的提高(相对提高20%-60%),并在这些数据集上创造了新的性能记录。我们提供了详细的消融研究,以显示我们方法中每个元素的贡献,并在GitHub上发布我们的代码。
2019-05-29 cs.CL cs.CV cs.LG
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学)
本文提出CompART,通过分解标题为以对象为中心的短语并构建复合短语,提升多对象定位能力,验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
Zero-Shot Grounding of Objects from Natural Language Queries
University of Southern California(南加州大学);Facebook Inc.(脸书公司)
短语基础系统定位由自然语言查询引用的图像中的特定对象。在以前的工作中,这些短语仅限于在训练中遇到的名词,我们将任务扩展到零射击接地(Zero-Shot Grounding,简称ZRG),其中可以包括新颖的“看不见”的名词。当前短语基础系统在2阶段框架中使用显式目标检测网络,其中一个阶段生成稀疏建议,另一个阶段评估它们。在BLOG设置中,生成适当的建议本身成为一个障碍,因为建议生成器是在检测和接地数据集中常见的实体上进行训练的。我们提出了一个新的单阶段模型,称之为CNOGNet,它结合了检测器网络和接地系统,并预测分类得分和回归参数。由于查询和学习类别之间的关系的影响,评估的BLOG系统带来了额外的微妙之处;我们定义了四个不同的条件,将不同程度的难度。我们还引入了新的数据集,从Flickr 30 k实体和Visual Genome中进行子采样,可以对四种条件进行评估。我们的实验表明,在通常的“seen”设置下,RIGNet在Flickr 30 k和ReferIt上实现了最先进的性能,并且在zero-shot设置下的性能明显优于基线。
2019-08-20 cs.CL cs.CV
Phrase Localization and Visual Relationship Detection with Comprehensive Image-Language Cues
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个框架,本地化或接地的短语在图像中使用大量的语言和视觉线索。我们模型的外观,大小和实体的边界框,包含属性信息的形容词,以及由动词或介词连接的实体对之间的空间关系的位置。特别注意人物与服装或身体部位之间的关系,因为它们有助于区分个人。我们自动学习组合这些线索的权重,并在测试时对标题中的所有短语执行联合推理。由此产生的系统在Flickr 30 k实体数据集上的短语本地化和斯坦福VRD数据集上的视觉关系检测上产生最先进的性能。
2017-08-09 cs.CV
Context-Infused Visual Grounding for Art
University of Amsterdam(阿姆斯特丹大学)
本文提出CIGAr方法,通过在训练中利用艺术品描述作为上下文实现面向艺术的视觉定位,并构建新数据集Ukiyo-eVG,在两个艺术品数据集上取得目标检测新SOTA。
2024-10-16 cs.CV
PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
Inria, École normale supérieure, CNRS, PSL Research University(法国国家信息与自动化研究所,巴黎高等师范学院,法国国家科学研究中心,巴黎文理研究大学);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克信息学、机器人与控制论研究所,布拉格捷克理工大学)
针对视觉-语言模型在图像描述中缺乏像素级接地的问题,提出全景接地描述任务,构建PanoCaps基准并设计PANORAMA模型,通过从短语条件掩码提议中选择实现高质量接地,达到最优性能。
2026-09-17 cs.CL cs.CV
Context Does Matter: End-to-end Panoptic Narrative Grounding with Deformable Attention Refined Matching Network
Duke Kunshan University(昆山杜克大学)
针对全景叙事定位中忽略上下文导致短语与像素错配的问题,提出可变形注意力精炼匹配网络(DRMN),通过迭代式引入可变形注意力整合多尺度上下文信息,在PNG基准上实现3.5%的平均召回率提升。
2023-10-25 cs.CL cs.CV
Zero-Shot Medical Phrase Grounding with Off-the-shelf Diffusion Models
School of Engineering, University of Edinburgh(爱丁堡大学工程学院);Canon Medical Research Europe Ltd.(佳能医疗欧洲研究有限公司)
本研究提出利用冻结权重的 Latent Diffusion Model 进行零样本医学短语定位,通过特征选择与后处理策略在胸部X光基准上取得与SOTA相当甚至更优的性能。
2025-01-30 cs.CV cs.LG
OV-VG: A Benchmark for Open-Vocabulary Visual Grounding
Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学);University of Liverpool(利物浦大学)
本文提出开放词汇视觉定位与短语定位任务,构建包含7,272张OV-VG和1,000张OV-PL图像的基准,并开发集成文本-图像查询选择与语言引导特征注意力的新框架,在OV-VG任务上达到SOTA性能。
2023-10-22 cs.CV
Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement
University of Padova(帕多瓦大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
针对弱监督视觉-文本定位缺少区域-短语标注的问题,提出融合未训练粗对齐模块与训练优化模块的 SPRM,并在 Flickr30k Entities 和 ReferIt 上取得最优性能。
2023-09-26 cs.AI cs.CL cs.CV
Learning Unsupervised Visual Grounding Through Semantic Self-Supervision
The Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学);Kohli Center of Intelligent Systems (KCIS)(科利智能系统中心(KCIS));IIIT-Hyderabad(海得拉巴国际信息技术学院)
在图像中定位自然语言短语是一个具有挑战性的问题,需要对文本和视觉模态的联合理解。在无监督环境中,缺乏监督信号加剧了这一困难。在本文中,我们提出了一个新的框架,无监督的视觉接地使用概念学习作为代理任务,以获得自我监督。这个想法背后的简单直觉是鼓励模型本地化到可以解释数据中某些语义属性的区域,在我们的例子中,属性是一组图像中存在的概念。我们提出了全面的定量和定性实验来证明我们的方法的有效性,并显示出比Visual Genome数据集的当前最先进水平提高了5.6%,比ReferItGame数据集提高了5.8%,与Flickr30k数据集的最先进性能相当。
2018-11-16 cs.CV
A Fast and Accurate One-Stage Approach to Visual Grounding
我们提出了一个简单,快速,准确的一步视觉接地方法,灵感来自以下见解。现有的建议和排名两阶段方法的性能受到他们在第一阶段提出的区域候选人的质量的限制-如果没有候选人可以覆盖地面真实区域,那么在第二阶段就没有希望将正确的区域排名到顶部。为了避免这种警告,我们提出了一个单阶段模型,可以实现端到端的联合优化。其主要思想就像将文本查询嵌入到YOLOv 3对象检测器中一样简单,通过空间特征进行增强,以便考虑查询中的空间提及。尽管很简单,这种一阶段的方法显示出巨大的潜力,在准确性和速度方面的短语定位和指涉表达理解,根据我们的实验。鉴于这些结果,以及仔细调查一些流行的区域的建议,我们主张视觉接地的范式转变,从传统的两阶段的方法,一个阶段的框架。
2019-08-18 cs.CV
What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining
Soongsil University(顺斯尔大学)
本文研究了在视觉语言预训练中如何通过反事实短语干预来改进组合数据选择,提出了CPI方法以解决现有方法中全局过滤信号失效的问题,从而提升模型在关系识别任务上的表现。
2026-05-21 cs.CV
Adapting CLIP For Phrase Localization Without Further Training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
用于短语定位(文本基础)的监督或弱监督方法依赖于人类注释或一些其他监督模型,例如,物体探测器获得这些注释是劳动密集型的,并且在实践中可能难以扩展。我们建议利用对比语言视觉模型CLIP的最新进展,CLIP是在从互联网上收集的图像和标题对上进行预训练的。在其原始形式中,CLIP仅输出图像级嵌入,而没有任何空间分辨率。我们适应CLIP生成高分辨率的空间特征图。重要的是,我们可以从ViT和ResNet CLIP模型中提取特征图,同时保持图像嵌入的语义属性。这为短语本地化提供了一个自然的框架。我们的短语本地化方法不需要人工注释或额外的训练。大量的实验表明,我们的方法优于现有的无训练方法在zero-shot短语定位,在某些情况下,它甚至优于监督方法。代码可在https://github.com/pals-ttic/adapting-CLIP上获得。
2022-04-07 cs.AI cs.CV
Visually Grounded Compound PCFGs
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
利用视觉基础来理解语言理解近年来受到了广泛的关注。在这项工作中,我们研究视觉接地语法归纳和学习选区分析器从无标签的文本及其视觉接地。关于这项任务的现有工作(Shi等人,2019)通过Reinforce优化解析器,并仅从图像和句子的对齐中获得学习信号。虽然他们的模型总体上相对准确,但其误差分布非常不均匀,对某些成分类型的性能较低(例如,26.2%的回忆动词短语,VP)和高的其他(例如,名词短语的回忆率为79.6%。这并不奇怪,因为学习信号可能不足以导出短语结构语法的所有方面,并且梯度估计是有噪声的。我们表明,使用概率上下文无关文法模型的扩展,我们可以做完全可区分的端到端的视觉接地学习。此外,这使我们能够用语言建模目标来补充图文对齐损失。在MSCOCO测试标题,我们的模型建立了一个新的国家的艺术,优于其非接地版本,从而证实了选区语法归纳视觉接地的有效性。它也大大优于以前的扎根模型,在更“抽象”的类别上有最大的改进(例如,VP的回忆率为+55.1%)。
2020-09-25 cs.CL cs.CV
SceneProp: Combining Neural Network and Markov Random Field for Scene-Graph Grounding
The University of Tokyo(东京大学);RIKEN AIP(日本科学技术研究所(RIKEN)先进研究所(AIP))
SceneProp通过将场景图接地重新公式化为马尔可夫随机场的MAP推断问题,有效提升了复杂查询下的视觉接地性能。
2025-11-30 cs.CV
Vision-Language Grounding as Bidirectional Concept Correspondence
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);FAIR at Meta(Meta FAIR实验室)
本研究将视觉-语言 Grounding 建模为双向概念对应,提出 ConCor-1 模型统一相关任务,在长文本数据集和零样本 LVIS 上对应 F1 分别提升 48%、29%,性能优于基线。
2026-08-11 cs.AI cs.CL cs.CV