多模态大模型

MUCAR: Benchmarking Multilingual Cross-Modal Ambiguity Resolution for Multimodal Large Language Models

Xiaolong Wang, Zhaolu Kang, Wangyuxuan Zhai, Xinyue Lou, Yunghwei Lai, Ziyue Wang, Yawen Wang, Kaiyu Huang, Yile Wang, Peng Li, Yang Liu

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(title,abstract)；image-text(abstract)；分类 cs.CL

Training-Free Multimodal Deepfake Detection via Graph Reasoning

Yuxin Liu, Fei Wang, Kun Li, Yiqi Nie, Junjie Chen, Yanyan Wei, Zhangling Duan, Zhaohong Jia

机构 * School of Internet, Anhui University, Hefei, China（安徽大学互联网学院） ； School of Computer Science and Information Engineering, Hefei University of Technology, Hefei, China（合肥工业大学计算机科学与信息工程学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, Hefei, China（合肥综合国家科学中心人工智能研究院） ； Department of Computer Science, Hong Kong Baptist University, Hong Kong, China（香港 Baptist 大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

Texture or Semantics? Vision-Language Models Get Lost in Font Recognition

Zhecheng Li, Guoxian Song, Yujun Cai, Zhen Xiong, Junsong Yuan, Yiwei Wang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； ByteDance（字节跳动） ； The University of Queensland（昆士兰大学） ； University of Southern California（南加州大学） ； University at Buffalo（布法罗大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted to COLM 2025

Guiding Evolution of Artificial Life Using Vision-Language Models

Nikhil Baid, Hannah Erlebach, Paul Hellegouarch, Frederico Wieser

机构 * University College London（伦敦大学学院） ； Institut Pasteur（巴斯德研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Comments 9 pages, 6 figures. Accepted for publication in the Proceedings of the Artificial Life Conference 2025 (MIT Press)

Action-aware Dynamic Pruning for Efficient Vision-Language-Action Manipulation

Xiaohuan Pei, Yuxing Chen, Siyu Xu, Yunke Wang, Yuheng Shi, Chang Xu

机构 * School of Computer Science, The University of Sydney（悉尼大学计算机科学学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

Resolving Ambiguity in Gaze-Facilitated Visual Assistant Interaction Paradigm

Zeyu Wang, Baiyu Chen, Kun Yan, Hongjing Piao, Hao Xue, Flora D. Salim, Yuanchun Shi, Yuntao Wang

机构 * Key Laboratory of Pervasive Computing, Tsinghua University（清华大学普适计算重点实验室） ； The University of New South Wales（新南威尔士大学） ； SKLSDE Lab, Beihang University（北航SKLSDE实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

Few-Shot Adversarial Low-Rank Fine-Tuning of Vision-Language Models

Sajjad Ghiasvand, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani

专题命中 图文多模态 ：cross-modal(abstract)

Dynamic Multi-Target Fusion for Efficient Audio-Visual Navigation

Yinfeng Yu, Hailong Zhang, Meiling Zhu

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； No. 59 Middle School of Urumqi（乌鲁木齐市第五十九中学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Main paper (8 pages). Accepted for publication by ECAI( European Conference on Artificial Intelligence) 2025

MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions

Ramaneswaran Selvakumar, Ashish Seth, Nishit Anand, Utkarsh Tyagi, Sonal Kumar, Sreyan Ghosh, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学 College Park 分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

video-SALMONN 2: Caption-Enhanced Audio-Visual Large Language Models

Changli Tang, Yixuan Li, Yudong Yang, Jimin Zhuang, Guangzhi Sun, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） ； ByteDance（字节跳动） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、cs.CL

Thinking with Sound: Audio Chain-of-Thought Enables Multimodal Reasoning in Large Audio-Language Models

Zhen Xiong, Yujun Cai, Zhecheng Li, Junsong Yuan, Yiwei Wang

机构 * University of Southern California（南加州大学） ； University of Queensland（昆士兰大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of Buffalo（布法罗大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

Longitudinal and Multimodal Recording System to Capture Real-World Patient-Clinician Conversations for AI and Encounter Research: Protocol

Misk Al Zahidy, Kerly Guevara Maldonado, Luis Vilatuna Andrango, Ana Cristina Proano, Ana Gabriela Claros, Maria Lizarazo Jimenez, David Toro-Tobon, Victor M. Montori, Oscar J. Ponce-Ponte, Juan P. Brito

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL

Comments 23 pages, 2 figures, 2 tables

VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing

Ke Wang, Houxing Ren, Zimu Lu, Mingjie Zhan, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； SenseTime Research（商汤科技研究院） ； CPII under InnoHK（创新香港下的CPII） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

High-Quality Sound Separation Across Diverse Categories via Visually-Guided Generative Modeling

Chao Huang, Susan Liang, Yapeng Tian, Anurag Kumar, Chenliang Xu

机构 * Meta Reality Labs Research（Meta现实实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

Comments Accepted to IJCV

Comprehend and Talk: Text to Speech Synthesis via Dual Language Modeling

Junjie Cao, Yichen Han, Ruonan Zhang, Xiaoyang Hao, Hongxiang Li, Shuaijiang Zhao, Yue Liu, Xiao-Ping Zhng

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； AMAP Speech（AMAP语音） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

Comments conference paper about TTS

X-Streamer: Unified Human World Modeling with Audiovisual Interaction

You Xie, Tianpei Gu, Zenan Li, Chenxu Zhang, Guoxian Song, Xiaochen Zhao, Chao Liang, Jianwen Jiang, Hongyi Xu, Linjie Luo

机构 * ByteDance（字节跳动） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

Comments Project Page at https://byteaigc.github.io/X-Streamer

GLip: A Global-Local Integrated Progressive Framework for Robust Visual Speech Recognition

Tianyue Wang, Shuang Yang, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所） 纠错

专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV

Towards an AI Musician: Synthesizing Sheet Music Problems for Musical Reasoning

Zhilin Wang, Zhe Yang, Yun Luo, Yafu Li, Xiaoye Qu, Ziqian Qiao, Haoran Zhang, Runzhe Zhan, Derek F. Wong, Jizhe Zhou, Yu Cheng

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Sichuan University（四川大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Macau（澳门大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

Comments 34 pages

"She was useful, but a bit too optimistic": Augmenting Design with Interactive Virtual Personas

Paluck Deep, Monica Bharadhidasan, A. Baki Kocaballi

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

Comments The version accepted for publication at International Journal of Human-Computer Studies

Journal ref International Journal of Human-Computer Studies (2025)

On Class Separability Pitfalls In Audio-Text Contrastive Zero-Shot Learning

Tiago Tavares, Fabio Ayres, Zhepei Wang, Paris Smaragdis

机构 * INSPER Institute of Teaching and Research（INSPER教学与研究机构） ； Research University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校研究大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 eess.AS

Lightweight Structured Multimodal Reasoning for Clinical Scene Understanding in Robotics

Saurav Jha, Stefan K. Ehrlich

机构 * SETLabs Resarch GmbH（SETL实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 11 pages, 3 figures

Spiking Neural Networks for Mental Workload Classification with a Multimodal Approach

Jiahui An, Sara Irina Fabrikant, Giacomo Indiveri, Elisa Donati

机构 * Institute of Neuroinformatics, University of Zurich（神经信息学研究所，苏黎世大学） ； ETH Zurich（苏黎世联邦理工学院） ； Digital Society Initiative, University of Zurich（数字社会倡议，苏黎世大学） ； Department of Geography（地理系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)

Comments 8 pages

Pedestrian Attribute Recognition via Hierarchical Cross-Modality HyperGraph Learning

Xiao Wang, Shujuan Wu, Xiaoxia Cheng, Changwei Bi, Jin Tang, Bin Luo

机构 * School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract,comments)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments The First Work that Exploits Multi-modal Knowledge Graph for Pedestrian Attribute Recognition

VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks

Xinlong Chen, Yuanxing Zhang, Yushuo Guan, Weihong Lin, Zekun Wang, Bohan Zeng, Yang Shi, Sihan Yang, Qiang Liu, Pengfei Wan, Liang Wang, Tieniu Tan

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所模式识别实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Peking University（北京大学） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

LG-CD: Enhancing Language-Guided Change Detection through SAM2 Adaptation

Yixiao Liu, Yizhou Yang, Jinwen Li, Jun Tao, Ruoyu Li, Xiangkun Wang, Min Zhu, Junlong Cheng

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments *Corresponding authors: Min Zhu (min.zhu@scu.edu.cn) and Junlong Cheng (jlcheng@scu.edu.cn)

MOSS-ChatV: Reinforcement Learning with Process Reasoning Reward for Video Temporal Reasoning

Sicheng Tao, Jungang Li, Yibo Yan, Junyan Zhang, Yubo Gao, Hanqian Li, ShuHang Xun, Yuxuan Fan, Hong Chen, Jianxiang He, Xuming Hu

机构 * HKUST (GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； HIT（哈尔滨工业大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Efficient Multimodal Dataset Distillation via Generative Models

Zhenghao Zhao, Haoxuan Wang, Junyi Wu, Yuzhang Shang, Gaowen Liu, Yan Yan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Central Florida（中央佛罗里达大学） ； Cisco Research（思科研究） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation

Hyeongcheol Park, Jiyoung Seo, MinHyuk Jang, Hogun Park, Ha Dam Baek, Gyusam Chang, Hyeonsoo Im, Sangpil Kim

机构 * Korea University（韩国大学） ； Sungkyunkwan University（全北大学） ； Hanwha Systems（韩华系统） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

Comments Project Page: https://vatkg.github.io/

Cross-Modal Retrieval with Cauchy-Schwarz Divergence

Jiahao Zhang, Wenzhe Yin, Shujian Yu

机构 * The HongKong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Amsterdam（阿姆斯特丹大学） ； Vrije Universiteit Amsterdam（自由大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

Comments Accepted by ACMMM-25

Unlocking the Essence of Beauty: Advanced Aesthetic Reasoning with Relative-Absolute Policy Optimization

Boyang Liu, Yifan Hu, Senjie Jin, Shihan Dou, Gonglei Shi, Jie Shao, Tao Gui, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Bytedance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI