MOC-GAN: Mixing Objects and Captions to Generate Realistic Images
Shanghai AI Laboratory(上海人工智能实验室);SenseTime(商汤科技)
基于条件描述的图像生成技术近年来受到越来越多的关注。然而,现有的条件输入遭受非结构化形式(字幕)或有限的信息和昂贵的标签(场景图)。对于一个目标场景,核心项目,对象,通常是明确的,而它们的相互作用是灵活的,很难清楚地定义。因此,我们引入了一个更合理的设置,从对象和标题生成逼真的图像。在此设置下,对象显式定义目标图像中的关键角色,标题隐式描述其丰富的属性和连接。相应地,提出了一种MOC-GAN来混合两种模态的输入以生成逼真的图像。该方法首先从字幕中推断出对象对之间的隐含关系,建立隐藏状态场景图。因此,一个包含对象,关系和字幕的多层表示被构造,其中场景图提供场景的结构和字幕提供图像级的指导。然后设计了一个级联的注意生成网络,通过关注字幕中最相关的词来从粗到精生成短语补丁。此外,一个短语明智的DAMSM提出了更好地监督细粒度的短语补丁的一致性。在COCO数据集上,我们的方法在Inception Score和FID上都优于最先进的方法,同时保持高的视觉质量。大量的实验证明了我们所提出的方法的独特功能。
2021-06-06 cs.CV
Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval
Fudan University(复旦大学);Zhejiang Lab(之江实验室);Princeton University(普林斯顿大学)
现有的图像文本检索研究主要依靠文本级监督来区分查询图像的匹配和不匹配句子。然而,图像和句子之间的语义不匹配通常发生在更细的粒度中,即,短语级。在本文中,我们探索引入额外的短语级监督,以更好地识别文本中的不匹配单元。在实践中,多粒度的语义标签自动构建的查询图像在句子级和短语级。我们为匹配的句子构建文本场景图,并提取实体和三元组作为短语级标签。为了整合句子级和短语级的监督,我们提出了语义结构感知多模态Transformer(SSAMT)多模态表示学习。在SSAMT中,我们利用不同类型的注意力机制来加强视觉和语言双方多粒度语义单元的交互。对于训练,我们从全局和局部角度提出了多尺度匹配损失,并惩罚不匹配的短语。在MS-COCO和Flickr 30 K上的实验结果表明了该方法的有效性。
2021-09-12 cs.CL cs.CV
MotionCharacter: Fine-Grained Motion Controllable Human Video Generation
Meituan(美团)
MotionCharacter通过解耦动作类型与运动强度,实现高保真人体视频生成,提升细粒度运动控制与身份一致性。
2026-01-03 cs.CV
SegMo: Segment-aligned Text to 3D Human Motion Generation
University of Sheffield(谢菲尔德大学);University of Glasgow(格拉斯哥大学);Queen Mary University of London(伦敦大学Queen Mary)
SegMo通过段落对齐实现文本与3D人体运动的精细生成与对齐,提升生成效果并拓展应用范围。
2025-12-24 cs.CV
Graph Structured Network for Image-Text Matching
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University of Science and Technology of China(中国科学技术大学);Xiaomi AI Lab(小米人工智能实验室)
图文匹配作为视觉和语言之间的桥梁,越来越受到人们的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的作品学习粗糙的对应关系的基础上对象共现统计,而无法学习细粒度的短语对应关系。在本文中,我们提出了一种新的图结构匹配网络(GSMN)学习细粒度的对应。GSMN将对象、关系和属性显式地建模为结构化短语,不仅可以分别学习对象、关系和属性的对应关系,而且有利于学习结构化短语的细粒度对应关系。这通过节点级匹配和结构级匹配来实现。节点级匹配将每个节点与来自另一模态的其相关节点相关联,其中节点可以是对象、关系或属性。然后,相关节点通过在结构级匹配处融合邻域关联来联合推断细粒度对应。综合实验表明,GSMN在基准测试中的性能优于最先进的方法,在Flickr30K和MSCOCO上的相对Recall@1分别提高了近7%和2%。代码将在https://github.com/CrossmodalGroup/GSMN上发布。
2020-04-01 cs.CV
Fine-grained CLIP fine-tuning with self-annotated region alignment
City University of Hong Kong(香港城市大学);Hong Kong University of Science & Technology(香港科技大学)
研究针对CLIP在细粒度表示上的局限,提出SFF-CLIP方法,仅用图像-文本对输入,通过运行时区域-短语对齐方案提升其细粒度表示能力,在相关任务中性能显著提升且维持原CLIP图像级任务表现。
2026-08-12 cs.CV
Towards Improved Text-Aligned Codebook Learning: Multi-Hierarchical Codebook-Text Alignment with Long Text
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);SiFar Company(思法公司)
本文提出 TA-VQ 框架,通过视觉-语言模型生成长文本,并以词、短语、句子多粒度编码和层级对齐策略实现细粒度码本-文本对齐,在重建和下游任务中优于现有方法。
2025-03-11 cs.CV
MoGen: A Unified Collaborative Framework for Controllable Multi-Object Image Generation
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工学院);College of Computer Science, Sichuan University(四川大学计算机学院);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系);School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(上海交通大学信息科学与电子工程学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
MoGen通过区域语义锚和自适应多模态引导模块,实现了对多对象图像生成的可控性和灵活性。
2026-01-09 cs.CV
LoFi: Location-Aware Fine-Grained Representation Learning for Chest X-ray
The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出LoFi,通过联合优化sigmoid、标注和位置感知标注损失,提升胸部X光的检索和短语接地性能,实验表明在MIMIC-CXR和PadChest-GR数据集上表现优异。
2026-04-24 cs.AI cs.CV
LAIP: Learning Local Alignment from Image-Phrase Modeling for Text-based Person Search
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对文本行人搜索中全局对齐细节区分不足、现有局部对齐方法信息利用不充分或掩码策略有偏的问题,提出含双向注意力加权局部对齐和掩码短语建模模块的LAIP框架,在多个数据集上取得优于现有方法的性能。
2024-06-23 cs.CV
Weakly Supervised Attention Learning for Textual Phrases Grounding
Arizona State University(亚利桑那州立大学);University of California, Irvine(加州大学欧文分校)
视觉内容中的文本短语接地是一个有意义但具有挑战性的问题,具有各种潜在的应用,如图像-文本推理或文本驱动的多媒体交互。现有的方法大多采用监督学习机制,在训练过程中需要像素级的地面实况。然而,细粒度水平地面实况注释是相当耗时的,并且严重缩小了更一般应用的范围。在这个扩展的摘要中,我们探索了使用弱监督注意力学习机制从自上而下的信号(以单热标签或自然语言的形式)灵活定位图像区域的方法。在我们的模型中,使用了两种类型的模块:用于视觉特征捕获的骨干模块和基于正则化双线性池生成地图的注意模块。我们以端到端的方式构建模型,通过鼓励空间注意地图转移并专注于由自上而下信号最匹配的视觉特征组成的区域来训练模型。我们展示了初步的,但有希望的结果与多标签MNIST数据合成的测试平台。
2018-05-01 cs.CV
Layout-to-Image Generation with Localized Descriptions using ControlNet with Cross-Attention Control
Ruhr University Bochum(波鸿鲁尔大学)
本文针对 ControlNet 无法利用局部文本描述的问题,提出一种无需训练的交叉注意力操控方法,在保持图像质量的同时提升布局到图像生成的控制精度。
2024-02-20 cs.CV
Fine-Grained Image Captioning with Global-Local Discriminative Objective
Sun Yat-Sen University(中山大学);DarkMatter Research(暗物质研究);University of Electronic Science and Technology of China(电子科技大学)
图像描述是视觉和语言领域的一个活跃课题,近年来取得了重大进展。然而,现有的方法往往会产生过于笼统的标题,并且由一些最常见的单词/短语组成,从而导致描述不准确且难以区分(见图1)。这主要是由于(i)传统训练目标的保守特性,它驱动模型为类似图像生成正确但几乎没有区别的字幕,以及(ii)地面实况字幕的不均匀单词分布,这鼓励生成高频率的单词/短语,同时抑制不太频繁但更具体的单词/短语。在这项工作中,我们提出了一种新的全球-本地歧视性的目标,制定了一个参考模型,以促进生成细粒度的描述性字幕。具体来说,从全局的角度来看,我们设计了一个新的全局判别约束,它可以拉动生成的句子,以更好地从整个数据集中的所有其他图像中辨别出相应的图像。从本地的角度来看,提出了一个本地的歧视性约束,以增加注意力,使它强调不太频繁,但更具体的单词/短语,从而促进生成的标题,更好地描述给定图像的视觉细节。我们在广泛使用的MS-COCO数据集上评估了所提出的方法,在该数据集上,它的性能比基线方法高出相当大的幅度,并且与现有的领先方法相比具有竞争力。我们还进行了自检索实验,以证明所提出的方法的可辨别性。
2020-07-21 cs.CV cs.MM
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University(上海交通大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Berkeley(加州大学伯克利分校)
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难,我们开发了一个多模态对齐框架(MAF),以利用更广泛可用的标题图像数据集,然后可以用作弱监督的形式。我们首先提出的算法,利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标,我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明,与现有的弱监督方法相比,该方法有显着的改进。在视觉感知语言表示的帮助下,我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究,以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs
York University(约克大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Queen’s University(女王大学)
针对医学大视觉语言模型在事实一致性、视觉定位和临床对齐方面的不足,提出一种结合双向令牌级KL正则化和视觉对比定位目标的细粒度在线偏好优化框架,通过最小编辑模型输出构建偏好对,仅修正临床错误片段,显著提升诊断准确性。
2026-10-09 cs.AI cs.CV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
Kefa: A Knowledge Enhanced and Fine-grained Aligned Speaker for Navigation Instruction Generation
University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学)
本文提出一种知识增强且细粒度对齐的说话者模型Kefa,用于导航指令生成,通过知识精炼模块和自适应时间对齐方法,在R2R和UrbanWalk数据集上取得最先进性能。
2023-07-25 cs.CV
Fine-Grained Semantically Aligned Vision-Language Pre-Training
Zhejiang University(浙江大学);Huawei Cloud(华为云)
大规模的视觉语言预训练在广泛的下游任务中显示出令人印象深刻的进步。现有的方法主要是通过图像和文本的全局表示的相似性或对图像和文本特征的高级跨模态注意来建模跨模态对齐。然而,他们无法明确地学习视觉区域和文本短语之间的细粒度语义对齐,因为只有全局图文对齐信息可用。在本文中,我们介绍了LOUPE,一个细粒度的语义对齐语言PrE训练框架,学习细粒度的语义对齐从博弈论的互动的新视角。为了有效地计算博弈论交互,我们进一步提出了一个不确定性感知的神经Shapley交互学习模块。实验表明,LOUPE实现了各种视觉语言任务的最先进的性能。此外,在没有任何对象级人工注释和微调的情况下,LOUPE在目标检测和视觉基础上实现了具有竞争力的性能。更重要的是,LOUPE开辟了一个新的有前途的方向学习细粒度语义从大规模的原始图像-文本对。本作品的知识库在https://github.com/YYJMJC/LOUPE。
2022-09-19 cs.CV
Phrase-Instance Alignment for Generalized Referring Segmentation
Stony Brook University(石溪大学);UNC Charlotte(北卡罗来纳州立大学 Charlotte 分校)
本文提出通过短语-实例对齐解决通用指称分割问题,通过实例级推理和POA损失实现精确对应,提升分割性能。
2026-03-24 cs.CL cs.CV cs.LG
DAMPER: A Dual-Stage Medical Report Generation Framework with Coarse-Grained MeSH Alignment and Fine-Grained Hypergraph Matching
Shenzhen University(深圳大学);City University of Hong Kong(香港城市大学)
本文提出DAMPER双阶段医疗报告生成框架,通过MeSH引导的粗粒度对齐和超图增强的细粒度对齐模拟临床报告撰写流程,生成全面准确的医疗报告并超越现有方法。
2024-12-23 cs.CV
Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models
The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(矢量研究所)
本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi,构建大规模医学定位数据集MedG,在多项医学视觉任务中性能优于现有模型。
2026-08-04 cs.CV
Fine-grained Multi-Modal Self-Supervised Learning
University of Cambridge(剑桥大学);Huawei R&D UK(华为英国研发中心)
视频的多模态自监督学习已被证明可以提高模型在各种下游任务上的性能。然而,由于未经策划的数据中存在的噪声,这种自监督预训练需要大批量和大量计算资源。这部分是由于流行的训练方案是在粗粒度设置上训练的,其中表示整个视频剪辑或自然语言句子的向量用于计算相似性。这种方案使得训练噪声,因为视频剪辑的一部分可以完全不与其他模态输入(例如文本描述)相关。在本文中,我们提出了一种细粒度的多模态自监督训练方案,该方案在更细的尺度上计算嵌入之间的相似性(例如个体特征图嵌入和短语嵌入),并使用注意力机制来减少噪声对在损失函数中的权重。我们表明,与建议的预训练计划,我们可以训练较小的模型,具有较小的批量大小和更少的计算资源,以实现下游任务的性能媲美国家的最先进的,包括动作识别和文本图像检索的任务。
2021-12-22 cs.AI cs.CV
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes
Nankai University(南开大学)
本文提出TeMO框架,通过DGA跨模态图对齐多物体点与文本名词短语,并结合CGC粗细粒度对比监督,实现高质量文本驱动的多物体3D网格风格化。
2023-12-07 cs.CV
No Detail Left Behind: Revisiting Self-Retrieval for Fine-Grained Image Captioning
IIIT Hyderabad(印度国际信息技术学院);CVIT(视觉信息技术中心)
针对细粒度图像描述中自检索微调导致描述失真与幻觉的问题,本文提出Visual Caption Boosting框架和BagCurri训练课程,在保持忠实度的同时提升细粒度描述能力,并构建TrueMatch基准评估细微视觉差异捕捉能力,以更少参数超越现有开源MLLM。
2025-04-09 cs.CV
Open-Set Image Tagging with Multi-Grained Text Supervision
Fudan University(复旦大学);OPPO Research Institute(OPPO研究院);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA))
本文提出RAM++,一种利用多粒度文本监督的开放集图像标注模型,通过整合个体标签与全局文本监督并借助LLM扩展描述,在多个基准上超越现有SOTA,显著提升识别性能。
2023-11-16 cs.CV
Asymmetric Cross-Scale Alignment for Text-Based Person Search
Tianjin University(天津大学);Anhui University(安徽大学);Swansea University(斯旺西大学);Hefei University of Technology(合肥工业大学)
基于文本的人物搜索(TBPS)在智能监控中具有重要意义,其目的是检索与给定文本描述具有高度语义相关性的行人图像。该检索任务的特点是模式异构性和细粒度匹配。为了实现这个任务,需要从图像和文本域中提取多尺度特征,然后执行跨模态对齐。然而,大多数现有的方法仅考虑限制在其单独尺度上的对准,例如,一个意象-句子或一个区域-短语量表。这种策略在特征提取中采用了可假定的对齐,而忽略了跨尺度对齐,例如,意象短语在本文中,我们提出了一个基于变换的模型来提取多尺度表示,并执行非对称跨尺度对齐(ACSA),以精确地对齐两个模态。ACSA由全局级对齐模块和非对称交叉注意力模块组成,前者在全局范围内对齐图像和文本,后者采用交叉注意力机制在区域/图像-短语范围内动态对齐跨模态实体。在两个基准数据集CUHK-PEDES和RSTPRid上的实验证明了该方法的有效性。代码可从\href{url}{https://github.com/mul-hjh/ACSA}获得。
2022-11-26 cs.CV cs.NI
Coarse-to-Fine Vision-Language Pre-training with Fusion in the Backbone
Microsoft(微软);University of California Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学)
视觉语言(VL)的预训练最近受到了相当大的关注。然而,大多数现有的端到端预训练方法要么仅旨在解决VL任务,例如图像-文本检索,视觉问答(VQA)和图像描述,这些任务测试对图像的高级理解,要么仅针对诸如短语接地和目标检测等任务的目标区域级理解。我们提出了纤维(融合在骨干网为基础的Transformer),一个新的VL模型架构,可以无缝地处理这两种类型的任务。Fiber没有在单模态主干之后使用专用的Transformer层进行融合,而是通过在图像和文本主干中插入交叉注意力,将多模态融合深入到模型中,从而在内存和性能方面带来收益。此外,与以前的工作不同,以前的工作要么只在图像-文本数据上进行预训练,要么只在具有框级注释的细粒度数据上进行预训练,我们提出了一种两阶段的预训练策略,可以有效地使用这两种数据:(i)基于图像-文本数据的粗粒度预训练;其次是(ii)基于图像-文本框数据的细粒度预训练。我们进行了广泛的VL任务的综合实验,从VQA,图像描述,检索,短语接地,涉及表达理解,和目标检测。使用深度多模态融合与两阶段预训练相结合,Fiber在所有任务的强基线上提供一致的性能改进,通常优于使用更多数据的方法。代码可在https://github.com/microsoft/FIBER上获得。
2022-11-18 cs.CL cs.CV cs.LG
Action-GPT: Leveraging Large-scale Language Models for Improved and Generalized Action Generation
IIIT Hyderabad(海得拉巴国际信息技术学院)
我们介绍了一个即插即用的框架,将大语言模型(LLM)到基于文本的动作生成模型。当前运动捕捉数据集中的动作短语包含最少的和中肯的信息。通过精心制作LLM的提示,我们生成了更丰富和细粒度的动作描述。我们表明,利用这些详细的描述,而不是原来的动作短语,导致更好的对齐文本和运动空间。我们介绍了一种通用的方法兼容随机(例如基于VAE)和确定性(例如MotionCLIP)的文本到运动模型。此外,该方法允许使用多个文本描述。我们的实验表明:(i)显着的定性和定量改善的质量合成运动,(ii)利用多个LLM生成的描述的好处,(iii)提示功能的适用性,以及(iv)所提出的方法的zero-shot生成能力。项目页面:https://actiongpt.github.io
2023-03-07 cs.CV cs.GR cs.MM
Improving Description-based Person Re-identification by Multi-granularity Image-text Alignments
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);University of Sydney(悉尼大学)
基于描述的人物再识别是视频监控中的一项重要任务,需要有区别的跨模态表示来区分不同的人。由于模态的异质性(跨模态问题),很难直接度量图像和描述之间的相似性。所有样本都属于一个类别(细粒度问题)使得这个任务比传统的图像描述匹配任务更难。本文提出了一种多粒度图文对齐(MIA)模型,以解决跨模态的细粒度问题,从而更好地评价基于对齐的人的Re-id的相似性。全局-全局、全局-局部和局部-局部对准是分层进行的。首先,全局对比度(GC)模块中的全局-全局对齐用于匹配图像和描述的全局上下文。其次,全局-局部对齐利用局部组件与全局上下文之间的潜在关系,在全局-局部对齐(RGA)模块中自适应地剔除无关组件,突出可区分组件。第三,在局部-局部对齐方面,我们在双向细粒度匹配模块中将视觉人体部位与名词短语进行匹配。整个网络结合了多个粒度,可以进行端到端的训练,而无需复杂的预处理。针对多粒度组合训练的困难,提出了一种有效的分步训练策略,对多粒度组合进行分步训练。大量的实验和分析表明,我们的方法在CUHK-PEDES数据集上获得了最先进的性能,并明显优于以前的方法。
2019-06-23 cs.CV
FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
提出FineMatch基准,用于基于方面的细粒度图文不匹配检测与纠正,并引入ITM-IoU评估指标,实验表明其可提升VLM的细粒度匹配能力并支持幻觉检测。
2024-07-20 cs.CL cs.CV
Discovering Meaningful Units with Visually Grounded Semantics from Image Captions
Idiap Research Institute(日内瓦研究所)
针对现有视觉-语言模型细粒度对齐单元缺乏实际语义的问题,提出内置token分组架构的模型,结合物体发现图像编码器对齐表示,提升了模型细粒度跨模态理解能力,所得token组与可落地短语高度相似。
2025-11-14 cs.CL cs.CV
$β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment
King Abdullah University of Science and Technology (KAUST)(卡布斯大学科学与技术研究院)
$β$-CLIP通过多粒度文本条件对比学习提升视觉-语言对齐,实现从完整描述到短语的层次化对齐,改进细粒度和长文本检索性能。
2026-03-01 cs.CV
See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval
Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学);Anhui University(安徽大学)
基于文本的人物检索的目的是根据文本描述找到查询人。关键是学习视觉-文本模态之间的共同潜在空间映射。为了实现这一目标,现有的作品采用分割来获得明确的跨模态对齐或利用注意力来探索显着的对齐。这些方法有两个缺点:1)标记跨模态对齐是耗时的。2)注意力方法可以探索突出的跨模态对齐,但可能会忽略一些微妙的和有价值的对。为了缓解这些问题,我们引入了一个隐式视觉文本(IVT)框架,基于文本的人检索。与以前的模型不同,IVT利用单个网络来学习两种模态的表示,这有助于视觉-文本交互。为了探索细粒度对齐,我们进一步提出了两种隐式语义对齐范式:多级对齐(MLA)和双向掩码建模(BMM)。MLA模块在句子、短语和单词级别探索更精细的匹配,而BMM模块旨在挖掘视觉和文本模态之间的\textbf{more}语义对齐。在公共数据集上进行了大量的实验来评估所提出的IVT,即,CUHK-PEDES、RSTPReID和ICFG-PEDES。即使没有明确的身体部位对齐,我们的方法仍然达到了最先进的性能。代码可在:https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.
2022-08-26 cs.CV
UniPart: Towards Zero-shot Language-Grounded 3D Part Segmentation for Embodied Interaction
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Peking University(北京大学);Tsinghua University(清华大学);Galbot Inc.(北京银河通用机器人有限公司);Shanghai Jiao Tong University(上海交通大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
提出UniPart,一种以CLIP文本嵌入为条件的跨模态三维Transformer,实现零样本语言引导的部件分割,并构建大规模数据集LangPart-1M及高质量子集LangPart-4K,在开放词汇基准和真实抓取中表现优异。
2026-09-14 cs.AI cs.CV cs.RO