多模态大模型

Evaluating Keyframe Layouts for Visual Known-Item Search in Homogeneous Collections

Bastian Jäckl, Jiří Kruchina, Lucas Joos, Daniel A. Keim, Ladislav Peška, Jakub Lokoč

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.MM

Comments 28 Pages, 17 Figures

Neural Bayesian Filtering

Christopher Solinas, Radovan Haluska, David Sychrovsky, Finbarr Timbers, Nolan Bard, Michael Buro, Martin Schmid, Nathan R. Sturtevant, Michael Bowling

机构 * University of Alberta（阿尔伯塔大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所） ； Charles University（查尔斯大学） ； EquiLibre Technologies, Inc.（EquiLibre技术公司） ； Allen Institute for AI（艾伦人工智能研究所） ； Sony AI（索尼人工智能） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

ReMoMask: Retrieval-Augmented Masked Motion Generation

Zhengdao Li, Siheng Wang, Zeyu Zhang, Hao Tang

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Learning Representations Through Contrastive Neural Model Checking

Vladimir Krsmanovic, Matthias Cosler, Mohamed Ghanem, Bernd Finkbeiner

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全研究中心） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)

LMM-Incentive: Large Multimodal Model-based Incentive Design for User-Generated Content in Web 3.0

Jinbo Wen, Jiawen Kang, Linfeng Zhang, Xiaoying Tang, Jianhang Tang, Yang Zhang, Zhaohui Yang, Dusit Niyato

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Guangdong University of Technology（广东工业大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Guizhou University（贵州大学） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

OpusAnimation: Code-Based Dynamic Chart Generation

Bozheng Li, Miao Yang, Zhenhan Chen, Jiawang Cao, Mushui Liu, Yi Lu, Yongliang Wu, Bin Zhang, Yangguang Ji, Licheng Tang, Jay Wu, Wenbo Zhu

机构 * Opus AI Research（Opus人工智能研究机构） ； Brown University（布朗大学） ； Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

Comments working in progress

STIV: Scalable Text and Image Conditioned Video Generation

Zongyu Lin, Wei Liu, Chen Chen, Jiasen Lu, Wenze Hu, Tsu-Jui Fu, Jesse Allardice, Zhengfeng Lai, Liangchen Song, Bowen Zhang, Cha Chen, Yiran Fei, Lezhi Li, Yizhou Sun, Kai-Wei Chang, Yinfei Yang

机构 * Apple（苹果公司） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI、cs.MM

Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformers

Juncheng Wang, Chao Xu, Cheng Yu, Zhe Hu, Haoyu Xie, Guoqi Yu, Lei Shang, Shujun Wang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.MM、eess.AS

Comments Accepted to EMNLP 2025

GenQuest: An LLM-based Text Adventure Game for Language Learners

Qiao Wang, Adnan Labib, Robert Swier, Michael Hofmeyr, Zheng Yuan

机构 * Hosei University（立命馆大学） ； King’s College London（伦敦大学国王学院） ； Kindai University（_kindai大学） ； Tokyo Uni. of Science（东京科学大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CL、cs.AI

Comments Workshop on Wordplay: When Language Meets Games, EMNLP 2025

World-To-Image: Grounding Text-to-Image Generation with Agent-Driven World Knowledge

Moo Hyun Son, Jintaek Oh, Sun Bin Mun, Jaechul Roh, Sehyun Choi

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； TwelveLabs 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Latent Visual Reasoning

Bangzheng Li, Ximeng Sun, Jiang Liu, Ze Wang, Jialian Wu, Xiaodong Yu, Hao Chen, Emad Barsoum, Muhao Chen, Zicheng Liu

机构 * University of California, Davis（加州大学戴维斯分校） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

Negative Shanshui: Real-time Interactive Ink Painting Synthesis

Aven-Le Zhou

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Character Mixing for Video Generation

Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·宾·扎耶德人工智能大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Design Process of a Self Adaptive Smart Serious Games Ecosystem

X. Tao, P. Chen, M. Tsami, F. Khayati, M. Eckert

机构 * Research Center on Software Technologies and Multimedia Systems for Sustainability (CITSEM), Universidad Politécnica de Madrid (UPM), Spain（软件技术与多媒体系统可持续性研究所以及马德里理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

Joint Learning of Pose Regression and Denoising Diffusion with Score Scaling Sampling for Category-level 6D Pose Estimation

Seunghyun Lee, Tae-Kyun Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

Rare Text Semantics Were Always There in Your Diffusion Transformer

Seil Kang, Woojung Han, Dayun Ju, Seong Jae Hwang

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

Comments Accepted to NeurIPS 2025

Resolving Task Objective Conflicts in Unified Model via Task-Aware Mixture-of-Experts

Jiaxing Zhang, Hao Tang

机构 * Sichuan University（四川大学） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Revolutionizing Validation and Verification: Explainable Testing Methodologies for Intelligent Automotive Decision-Making Systems

Halit Eris, Stefan Wagner

专题命中 多模态生成 ：multimodal(abstract)

Comments Preprint to be published at SE4ADS

Journal ref 2025 IEEE/ACM 1st International Workshop on Software Engineering for Autonomous Driving Systems (SE4ADS), Ottawa, ON, Canada, 2025, pp. 34-37

Foundation models for equation discovery in high energy physics

Manuel Morales-Alvarado

专题命中 多模态生成 ：multimodal(abstract)

Comments 6 pages

SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning

Zhongwei Wan, Zhihao Dou, Che Liu, Yu Zhang, Dongfei Cui, Qinjian Zhao, Hui Shen, Jing Xiong, Yi Xin, Yifan Jiang, Chaofan Tao, Yangfan He, Mi Zhang, Shen Yan

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

Comments NeurIPS 2025

Improve MLLM Benchmark Efficiency through Interview

Farong Wen, Yijin Guo, Junying Wang, Jiaohao Xiao, Yingjie Zhou, Ye Shen, Qi Jia, Chunyi Li, Zicheng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CL

MapIQ: Evaluating Multimodal Large Language Models for Map Question Answering

Varun Srivastava, Fan Lei, Srija Mukhopadhyay, Vivek Gupta, Ross Maciejewski

机构 * School of Computing and Augmented Intelligence（计算与增强智能学院） ； Arizona State University（亚利桑那州立大学） ； Department of Computer Science（计算机科学系） ； International Institute of Information Technology（国际信息科技研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Published as a conference paper at COLM 2025

Multi-Modal Oral Cancer Detection Using Weighted Ensemble Convolutional Neural Networks

Ajo Babu George, Sreehari J R Ajo Babu George, Sreehari J R Ajo Babu George, Sreehari J R

机构 * Dicemed 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Synthesizing Sentiment-Controlled Feedback For Multimodal Text and Image Data

Puneet Kumar, Sarthak Malik, Balasubramanian Raman, Xiaobai Li

机构 * Center for Machine Vision and Signal Analysis, University of Oulu（机器视觉与信号分析中心，奥卢大学） ； Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

Comprehensive Evaluation of Large Multimodal Models for Nutrition Analysis: A New Benchmark Enriched with Contextual Metadata

Bruce Coburn, Jiangpeng He, Megan E. Rollo, Satvinder S. Dhaliwal, Deborah A. Kerr, Fengqing Zhu

机构 * Purdue University（普渡大学） ； Indiana University（印第安纳大学） ； Curtin University（Curtin大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments The extended full version of the accepted paper in 2025 IEEE BHI conference with title: Evaluating Large Multimodal Models for Nutrition Analysis: A New Benchmark Enriched with Contextual Metadata. Dataset is available at: https://skynet.ecn.purdue.edu/~coburn6/ACETADA/

AgentTypo: Adaptive Typographic Prompt Injection Attacks against Black-box Multimodal Agents

Yanjie Li, Yiming Cao, Dong Wang, Bin Xiao

机构 * Computing Department of Hong Kong Polytechnic University（香港理工大学计算机系） ； Computing Department, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 13 pages, 8 figures. Submitted to IEEE Transactions on Information Forensics & Security

FinCall-Surprise: A Large Scale Multi-modal Benchmark for Earning Surprise Prediction

Dong Shu, Yanguang Liu, Huopu Zhang, Mengnan Du

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.MM

LIAM: Multimodal Transformer for Language Instructions, Images, Actions and Semantic Maps

Yihao Wang, Raphael Memmesheimer, Sven Behnke

机构 * Autonomous Intelligent Systems, Computer Science Institute VI, Center for Robotics, University of Bonn, Germany（自主智能系统，计算机科学研究所第六研究所，机器人中心，波恩大学，德国） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.AI

Comments 12 pages, 4 figures, 2 tables, 19th International Conference on Intelligent Autonomous Systems (IAS), Genoa, Italy, June 2025

The Telephone Game: Evaluating Semantic Drift in Unified Models

Sabbir Mollah, Rohit Gupta, Sirnam Swetha, Qingyang Liu, Ahnaf Munir, Mubarak Shah

机构 * Center For Research in Computer Vision, University of Central Florida, USA（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.CL

GAS-MIL: Group-Aggregative Selection Multi-Instance Learning for Ensemble of Foundation Models in Digital Pathology Image Analysis

Peiran Quan, Zifan Gu, Zhuo Zhao, Qin Zhou, Donghan M. Yang, Ruichen Rong, Yang Xie, Guanghua Xiao

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI