多模态大模型

TAR3D: Creating High-Quality 3D Assets via Next-Part Prediction

Xuying Zhang, Yutong Liu, Yangguang Li, Renrui Zhang, Yufei Liu, Kai Wang, Wanli Ouyang, Zhiwei Xiong, Peng Gao, Qibin Hou, Ming-Ming Cheng

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； NKIARI, Shenzhen Futian（深圳未来科技研究院） ； USTC（University of Science and Technology of China） ； CUHK MMLab（香港中文大学MMLab） ； VAST（中国科学院自动化研究所） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025. Project page: https://github.com/HVision-NKU/TAR3D

WildSAT: Learning Satellite Image Representations from Wildlife Observations

Rangel Daroya, Elijah Cole, Oisin Mac Aodha, Grant Van Horn, Subhransu Maji

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） ； GenBio AI ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Uncovering Visual-Semantic Psycholinguistic Properties from the Distributional Structure of Text Embedding Space

Si Wu, Sebastian Bruch

机构 * Northeastern University（东北大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

Comments The camera-ready version for ACL 2025 in Vienna

Modality and Task Adaptation for Enhanced Zero-shot Composed Image Retrieval

Haiwen Li, Fei Su, Zhicheng Zhao

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

Distributed AI Agents for Cognitive Underwater Robot Autonomy

Markus Buchholz, Ignacio Carlucho, Michele Grimaldi, Yvan R. Petillot

机构 * School of Engineering & Physical Sciences, Heriot-Watt University（工程与物理科学学院，赫里奥特-瓦特大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

Tabular Data Understanding with LLMs: A Survey of Recent Advances and Challenges

Xiaofeng Wu, Alan Ritter, Wei Xu

机构 * College of Computing, Georgia Institute of Technology（计算学院、佐治亚理工学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation

Hyeon Seong Jeong, Sangwoo Jo, Byeong Hyun Yoon, Yoonseok Heo, Haedong Jeong, Taehoon Kim

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

Learning Transferable Facial Emotion Representations from Large-Scale Semantically Rich Captions

Licai Sun, Xingxun Jiang, Haoyu Chen, Yante Li, Zheng Lian, Biu Liu, Yuan Zong, Wenming Zheng, Jukka M. Leppänen, Guoying Zhao

机构 * University of Oulu（奥卢大学） ； Southeast University（东南大学） ； University of Turku（图尔库大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Perspective from a Higher Dimension: Can 3D Geometric Priors Help Visual Floorplan Localization?

Bolei Chen, Jiaxu Kang, Haonan Yang, Ping Zhong, Jianxin Wang

机构 * School of Computer Science ； Engineering, Central South University Changsha Hunan China ； Engineering, Central South University 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Comments Accepted by ACM MM 2025

LLMs are Also Effective Embedding Models: An In-depth Overview

Chongyang Tao, Tao Shen, Shen Gao, Junshuo Zhang, Zhen Li, Kai Hua, Wenpeng Hu, Zhengwei Tao, Shuai Ma

机构 * Beihang University（北航大学） ； SKLSDE Lab, Beihang University（北航SKLSDE实验室） ； University of Technology Sydney（悉尼大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Peking University（北京大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CL

Comments 38 pages

Visual Adaptive Prompting for Compositional Zero-Shot Learning

Kyle Stein, Arash Mahyari, Guillermo Francia, Eman El-Sheikh

机构 * University of West Florida（乌斯托尔大学） ； Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Large-Vocabulary Segmentation for Medical Images with Text Prompts

Ziheng Zhao, Yao Zhang, Chaoyi Wu, Xiaoman Zhang, Xiao Zhou, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments 74 pages

How does Watermarking Affect Visual Language Models in Document Understanding?

Chunxue Xu, Yiwei Wang, Bryan Hooi, Yujun Cai, Songze Li

机构 * Southeast University, China（东南大学） ； University of California, Merced, USA（加州大学默塞德分校） ； National University of Singapore, Singapore（新加坡国立大学） ； The University of Queensland, Australia（昆士兰大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted to COLM 2025

Perspective-Aware AI in Extended Reality

Daniel Platnick, Matti Gruener, Marjan Alirezaie, Kent Larson, Dava J. Newman, Hossein Rahnama

机构 * Flybits Labs（Flybits实验室） ； Creative Ai Hub（创意人工智能中心） ； Toronto Metropolitan University（多伦多 Metropolitan 大学） ； MIT Media Lab（MIT媒体实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

Comments Accepted to the International Conference on eXtended Reality (2025), 12 pages, 3 figures

A Principled Framework for Multi-View Contrastive Learning

Panagiotis Koromilas, Efthymios Georgiou, Giorgos Bouritsas, Theodoros Giannakopoulos, Mihalis A. Nicolaou, Yannis Panagakis

机构 * Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（信息与通信技术系，雅典国家与卡波迪斯特里亚大学） ； Archimedes AI/Athena Research Center（阿基米德AI/阿塔纳研究中心） ； ILSP/Athena Research Center（ILSP/阿塔纳研究中心） ； The Cyprus Institute（塞浦路斯研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Emergency Department Decision Support using Clinical Pseudo-notes

Simon A. Lee, Sujay Jain, Alex Chen, Kyoka Ono, Jennifer Fang, Akos Rudas, Jeffrey N. Chiang

机构 * Department of Computational Medicine, University of California, Los Angeles, CA 90095 USA（计算医学系，加州大学洛杉矶分校） ； Department of Neurosurgery, University of California, Los Angeles, CA 90095 USA（神经外科系，加州大学洛杉矶分校） ； Department of Electrical and Computer Engineering, University of California at Los Angeles, Los Angeles, CA 90095 USA（电气与计算机工程系，加州大学洛杉矶分校） ； Harbor-UCLA Medical Center, Department of Emergency Medicine, Torrance, CA（Harbor-UCLA医疗中心，急诊医学部） ； University of California, Los Angeles, Department of Emergency Medicine, Los Angeles, California（加州大学洛杉矶分校，急诊医学部） ； Department of Statistics and Data Science University of California, Los Angeles（统计与数据科学系，加州大学洛杉矶分校） ； Department of Natural Sciences International Christian University, Mitaka, Tokyo, Japan（自然科学系，国际基督教大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

Journal ref npj Digital Medicine 8 (1), 394, 2025

Subject Invariant Contrastive Learning for Human Activity Recognition

Yavuz Yarici, Kiran Kokilepersaud, Mohit Prabhushankar, Ghassan AlRegib

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Center for Signal and Information Processing CSIP（信号与信息处理中心） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

DynaCLR: Contrastive Learning of Cellular Dynamics with Temporal Regularization

Eduardo Hirata-Miyasaki, Soorya Pradeep, Ziwen Liu, Alishba Imran, Taylla Milena Theodoro, Ivan E. Ivanov, Sudip Khadka, See-Chi Lee, Michelle Grunberg, Hunter Woosley, Madhura Bhave, Carolina Arias, Shalin B. Mehta

机构 * Chan Zuckerberg Biohub（查纳·泽伯生物枢纽） ； University of California Berkeley（加州大学伯克利分校） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Comments 30 pages, 6 figures, 13 appendix figures, 5 videos (ancillary files)

Spatially Gene Expression Prediction using Dual-Scale Contrastive Learning

Mingcheng Qu, Yuncong Wu, Donglin Di, Yue Gao, Tonghua Su, Yang Song, Lei Fan

机构 * Faculty of Computing, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学计算机学院） ； School of Astronautics, Harbin Institute of Technology, Harbin, China（哈尔滨工业大学航天学院） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院） ； School of Computer Science and Engineering, UNSW, Sydney, Australia（新南威尔士大学计算机科学与工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Comments Our paper has been accepted by MICCAI 2025

FlexRAG: A Flexible and Comprehensive Framework for Retrieval-Augmented Generation

Zhuocheng Zhang, Yang Feng, Min Zhang

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院智能信息处理重点实验室） ； University of Chinese Academy of Sciences, China（中国科学院大学） ； Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室） ； Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen), China（哈尔滨工业大学（深圳）计算机与智能信息研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

Comments Accepted by ACL 2025 Demo

Visual Re-Ranking with Non-Visual Side Information

Gustav Hanning, Gabrielle Flood, Viktor Larsson

机构 * Lund University（吕勒欧大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted at Scandinavian Conference on Image Analysis (SCIA) 2025

CAL-RAG: Retrieval-Augmented Multi-Agent Generation for Content-Aware Layout Design

Najmeh Forouzandehmehr, Reza Yousefi Maragheh, Sriram Kollipara, Kai Zhao, Topojoy Biswas, Evren Korpeoglu, Kannan Achan

机构 * Walmart Global Tech（沃尔玛全球技术） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

DeSPITE: Exploring Contrastive Deep Skeleton-Pointcloud-IMU-Text Embeddings for Advanced Point Cloud Human Activity Understanding

Thomas Kreutz, Max Mühlhäuser, Alejandro Sanchez Guinea

机构 * Telekooperation Lab, Technical University Darmstadt（德累斯顿技术大学电信协作实验室） ； NTT DATA, Luxembourg（NTT DATA卢森堡） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning

Vicente Balmaseda, Bokun Wang, Ching-Long Lin, Tianbao Yang

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

Comments Accepted to ICML 2025

Aug2Search: Enhancing Facebook Marketplace Search with LLM-Generated Synthetic Data Augmentation

Ruijie Xi, He Ba, Hao Yuan, Rishu Agrawal, Yuxin Tian, Ruoyan Kong, Arul Prakash

机构 * North Carolina State University（北卡罗来纳州立大学） ； Meta 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

GD-Retriever: Controllable Generative Text-Music Retrieval with Diffusion Models

Julien Guinot, Elio Quinton, György Fazekas

专题命中 跨模态检索 ：multimodal(abstract)；分类 eess.AS

Comments Accepted to ISMIR 2025

RAG-6DPose: Retrieval-Augmented 6D Pose Estimation via Leveraging CAD as Knowledge Base

Kuanning Wang, Yuqian Fu, Tianyu Wang, Yanwei Fu, Longfei Liang, Yu-Gang Jiang, Xiangyang Xue

机构 * Fudan University（复旦大学） ； NeuhHelium Co.,Ltd.（NeuhHelium公司） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted by IROS 2025

Visual Prompt Engineering for Vision Language Models in Radiology

Stefan Denner, Markus Bujotzek, Dimitrios Bounias, David Zimmerer, Raphael Stock, Klaus Maier-Hein

机构 * Division of Medical Image Computing, German Cancer Research Center, Heidelberg, Germany（德国癌症研究中心医学图像计算部） ； Faculty of Mathematics and Computer Science, Heidelberg University, Heidelberg, Germany（海德堡大学数学与计算机科学学院） ； Medical Faculty Heidelberg, University of Heidelberg, Heidelberg, Germany（海德堡大学医学学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted at ECCV 2024 Workshop on Emergent Visual Abilities and Limits of Foundation Models & Medical Imaging with Deep Learning 2025

A Simple Contrastive Framework Of Item Tokenization For Generative Recommendation

Penglong Zhai, Yifang Yuan, Fanyi Di, Jie Li, Yue Liu, Chen Li, Jie Huang, Sicong Wang, Yao Xu, Xin Li

机构 * AMAP, Alibaba Group（阿里集团AMAP） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.AI

Comments 12 pages,7 figures

Hierarchical Multi-Positive Contrastive Learning for Patent Image Retrieval

Kshitij Kavimandan, Angelos Nalmpantis, Emma Beauxis-Aussalet, Robert-Jan Sips

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； TKH AI（TKH人工智能） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments 5 pages, 3 figures, Accepted as a short paper at the 6th Workshop on Patent Text Mining and Semantic Technologies (PatentSemTech 2025), co-located with SIGIR 2025