Feature modeling of different modalities is a basic problem in current research of cross-modal information retrieval. Existing models typically project texts and images into one embedding space, in which semantically similar information will have a shorter distance. Semantic modeling of textural relationships is notoriously difficult. In this paper, we propose an approach to model texts using a featured graph by integrating multi-view textual relationships including semantic relations, statistical co-occurrence, and prior relations in the knowledge base. A dual-path neural network is adopted to learn multi-modal representations of information and cross-modal similarity measure jointly. We use a Graph Convolutional Network (GCN) for generating relation-aware text representations, and use a Convolutional Neural Network (CNN) with non-linearities for image representations. The cross-modal similarity measure is learned by distance metric learning. Experimental results show that, by leveraging the rich relational semantics in texts, our model can outperform the state-of-the-art models by 3.4% and 6.3% on accuracy on two benchmark datasets.
Rethinking Fusion: Disentangled Learning of Shared and Modality-Specific Information for Stance Detection
School of Artificial Intelligence, Shenzhen Technology University（深圳技术大学人工智能学院）；School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）
Cross-Modal and Uni-Modal Soft-Label Alignment for Image-Text Retrieval
SKLSDE, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs
University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）；Singapore Management University（新加坡管理大学）；National University of Singapore（新加坡国立大学）
Look Before You Leap: Improving Text-based Person Retrieval by Learning A Consistent Cross-modal Common Manifold
Nanjing Tech University（南京工业大学）；Jinling Institute of Technology（金陵科技学院）；Beihang University（北京航空航天大学）
基于文本的人物检索的核心问题是如何弥合多模态数据之间的异构鸿沟。许多以前的方法设法学习一个潜在的公共流形映射范式遵循\textbf{cross-modal distribution consensus prediction (CDCP)}的方式。当将某一模态的特征分布映射到公共流形时，相反模态的特征分布是完全不可见的。也就是说，如何实现跨模态分布一致性，从而在构造的跨模态公共流形中嵌入和对齐多模态特征，都取决于模型本身的经验，而不是实际情况。这样的方法，这是不可避免的，多模态数据不能很好地对齐在公共流形，这最终导致一个次优的检索性能。为了克服这个\textbf{CDCP dilemma}，我们提出了一种新的算法LBUL学习一致的跨模态公共流形（C $^{3}$ M）的基于文本的人检索。该方法的核心思想是“\textit{san si er hou xing}”，即到\textbf{Look Before yoU Leap (LBUL)}。LBUL的公共流形映射机制包括一个查找步骤和一个跳跃步骤。与基于CDCP的方法相比，LBUL在将特定模态的数据嵌入到C $^{3}$ M中之前，考虑了视觉模态和文本模态的分布特征，实现了更可靠的跨模态分布一致性，从而获得了更高的检索精度.我们评估我们提出的方法上两个基于文本的人检索数据集CUHK-PEDES和RSTPReid。实验结果表明，所提出的…
SEA: Sentence Encoder Assembly for Video Retrieval by Textual Queries
Renmin University of China（中国人民大学）
通过文本查询来检索无标签视频，称为Ad-hoc Video Search（AVS），是多媒体数据管理和检索的核心主题。AVS的成功依赖于跨模态表示学习，该学习将查询语句和视频编码到公共空间中以进行语义相似度计算。受先前少数作品在结合多个句子编码器方面取得的初步成功的启发，本文通过开发一种新的通用方法来有效地利用不同的句子编码器，向前迈出了一步。所提出的方法，我们术语句子编码器组件（SEA）的新颖性，是双重的。首先，与仅使用单个公共空间的现有技术不同，SEA支持多个编码器特定的公共空间中的文本-视频匹配。这样的属性防止匹配被产生比其他编码器长得多的编码向量的特定编码器支配。其次，为了探索个体公共空间之间的互补性，我们提出了多空间多损失学习。在MSR-VTT、TRECVID AVS 2016-2019、TGIF和MSVD四个基准测试上的大量实验表明，SEA超越了最先进的水平。此外，SEA非常容易实现。所有这些都使SEA成为AVS的一个有吸引力的解决方案，并有希望通过收获新的句子编码器来不断推进任务。
