Unifying Latent and Lexicon Representations for Effective Video-Text Retrieval
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
Haowei Liu, Yaya Shi, Haiyang Xu, Chunfeng Yuan, Qinghao Ye, Chenliang Li, Ming Yan, Ji Zhang, Fei Huang, Bing Li, Weiming Hu
In video-text retrieval, most existing methods adopt the dual-encoder architecture for fast retrieval, which employs two individual encoders to extract global latent representations for videos and texts. However, they face challenges in capturing fine-grained semantic concepts. In this work, we propose the UNIFY framework, which learns lexicon representations to capture fine-grained semantics and combines the strengths of latent and lexicon representations for video-text retrieval. Specifically, we map videos and texts into a pre-defined lexicon space, where each dimension corresponds to a semantic concept. A two-stage semantics grounding approach is proposed to activate semantically relevant dimensions and suppress irrelevant dimensions. The learned lexicon representations can thus reflect fine-grained semantics of videos and texts. Furthermore, to leverage the complementarity between latent and lexicon representations, we propose a unified learning scheme to facilitate mutual learning via structure sharing and self-distillation. Experimental results show our UNIFY framework largely outperforms previous video-text retrieval methods, with 4.8% and 8.2% Recall@1 improvement on MSR-VTT and DiDeMo respectively.
TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
MEDBind: Unifying Language and Multimodal Medical Data Embeddings
Peter Munk Cardiac Centre（彼得·芒克心脏中心）；University Health Network (UHN)（大学网络健康中心）；University of Toronto (U of T)（多伦多大学）；Ted Rogers Centre for Heart Research（泰德·罗杰斯心脏研究中心）；Vector Institute（向量研究所）；Toronto General Hospital Research Institute（多伦多总医院研究所）；Toronto General Hospital（多伦多总医院）；Department of Medical Imaging（医学影像系）
LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling
Microsoft（微软）
近年来，统一视觉语言框架有了很大的发展，其中大多数采用编码器-解码器架构，将图像-文本任务统一为序列到序列生成。然而，现有的视频语言（VidL）模型仍然需要在模型架构和每个任务的训练目标的任务特定的设计。在这项工作中，我们探索了一个统一的VidL框架LAVENDER，其中Masked Language Modeling（MLM）被用作所有预训练和下游任务的公共接口。这样的统一导致简化的模型架构，其中在多模态编码器之上仅需要轻量级MLM头，而不是具有更多参数的解码器。令人惊讶的是，实验结果表明，这个统一的框架实现了竞争力的性能在14个VidL基准，涵盖视频问答，文本到视频检索和视频描述。广泛的分析进一步证明了LAVENDER优于现有VidL方法的优点：（i）在多任务微调时仅使用一组参数值支持所有下游任务;（ii）对各种下游任务的Few-Shot泛化;以及（iii）对视频问答任务启用zero-shot评估。代码可在https://github.com/microsoft/LAVENDER上获得。
SkyLink: Unifying Street-Satellite Geo-Localization via UAV-Mediated 3D Scene Alignment
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（多媒体可信感知与高效计算重点实验室，教育部，厦门大学）；School of Electronic and Information Engineering, Foshan University（电子与信息工程学院，佛山大学）
Selecting Relevant Web Trained Concepts for Automated Event Retrieval
Center For Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）
复杂事件检索是一个具有挑战性的研究问题，特别是在没有训练视频的情况下。收集训练视频的替代方案是先验地训练大型语义概念库。给定事件的文本描述，事件检索通过选择与事件描述语言相关的概念并融合看不见的视频上的概念响应来执行。然而，定义一个详尽的概念词典和预训练它需要大量的计算资源。因此，最近的方法自动化的概念发现和训练，利用大量的弱注释的Web数据。紧凑的视觉上突出的概念是自动获得的概念对，或更一般地说，n-gram的使用。然而，并不是所有视觉上突出的n-gram都一定对事件查询有用--一些概念的组合可能在视觉上紧凑但不相关--这会极大地影响性能。我们提出了一个事件检索算法，构造对自动发现的概念，然后修剪这些概念是不太可能有助于检索。修剪取决于查询和正在评估的特定视频实例。我们的方法还解决了校准和领域自适应问题时出现的概念检测器看不见的视频。我们证明了在TRECVID MED 13数据集上比其他基于视觉的系统有很大的改进。
CLIP-GS: Unifying Vision-Language Representation with 3D Gaussian Splatting
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；National University of Singapore（新加坡国立大学）；Meituan（美团）；Georgia Institute of Technology（佐治亚理工学院）；Picsart AI Research (PAIR)（Picsart AI研究（PAIR））
Towards Unifying Medical Vision-and-Language Pre-training via Soft Prompts
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）
Thinking Beyond Videos: Unifying Video Reasoning and Deep Research for Open-World Video Agents
Shandong University（山东大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beihang University（北京航空航天大学）；City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）；Southern University of Science and Technology（南方科技大学）
Unifying Biomedical Vision-Language Expertise: Towards a Generalist Foundation Model via Multi-CLIP Knowledge Distillation
Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine（放射肿瘤科，Winship癌症研究所，埃默里大学医学院）；Department of Biomedical Engineering, College of Engineering, Georgia Institute of Technology（生物医学工程系，工程学院，佐治亚理工学院）；Department of Computer Science and Mathematics, Laney Graduate School, Emory University（计算机科学与数学系，兰尼研究生院，埃默里大学）；School of Electrical and Computer Engineering, College of Engineering, Georgia Institute of Technology（电气与计算机工程系，工程学院，佐治亚理工学院）
MedUnifier: Unifying Vision-and-Language Pre-training on Medical Data with Vision Generation Task using Discrete Visual Representations
MedVisAI Lab（MedVisAI实验室）；ECE, Northwestern University（电子工程系，西北大学）；Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息与通信研究所（I2R），A*STAR，新加坡）；Lee Kong Chian School of Medicine, Nanyang Technological University（Lee Kong Chian医学院，南洋理工大学）
Learning to Evaluate Performance of Multi-modal Semantic Localization
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Institute of Electronics, Chinese Academy of Sciences（中国科学院电子学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
