多模态大模型

StreamSense: Streaming Social Task Detection with Selective Vision-Language Model Routing

StreamSense: 基于选择性视觉-语言模型路由的流式社交任务检测

Han Wang, Deyi Ji, Lanyun Zhu, Jiebo Luo, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 StreamSense通过轻量级编码器与选择性路由结合VLM专家，提升流式社交任务检测的准确性和效率。

Comments 10 pages, 4 figures, The Web Conference 2026

Leveraging Data to Say No: Memory Augmented Plug-and-Play Selective Prediction

利用数据说不：基于记忆的插拔式选择预测

Aditya Sarkar, Yi Li, Jiacheng Cheng, Shlok Mishra, Nuno Vasconcelos

机构 * University of Maryland, College Park（马里兰大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Qualcomm AI（高通人工智能） ； Yale University（耶鲁大学） ； Meta AI 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出基于记忆的插拔式选择预测方法，通过增强视觉语言嵌入来减少方差并改进分数校准，提升图像描述、匹配和细粒度分类性能。

Comments ICLR 2026

LAMP: Learning Universal Adversarial Perturbations for Multi-Image Tasks via Pre-trained Models

LAMP: 通过预训练模型学习通用对抗扰动以实现多图像任务

Alvi Md Ishmam, Najibul Haque Sarker, Zaber Ibn Abdul Hakim, Chris Thomas

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 LAMP通过预训练模型学习通用对抗扰动，针对多图像多模态大语言模型实现高效的黑盒攻击，提升了多任务攻击成功率。

Comments Accepted in main technical track AAAI 2026

DiSa: Saliency-Aware Foreground-Background Disentangled Framework for Open-Vocabulary Semantic Segmentation

DiSa：面向开放词汇语义分割的视觉-语义解耦框架

Zhen Yao, Xin Li, Taotao Jing, Shuai Zhang, Mooi Choo Chuah

机构 * Department of Computer Science and Engineering, Lehigh University（计算机科学与工程系，莱恩大学） ； Department of Computer Science（计算机科学系） ； Engineering, Lehigh University（工程系，莱恩大学） ； Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 DiSa通过显著性感知解耦框架和分层细化模块，有效解决开放词汇语义分割中前景偏见和空间定位不足的问题，提升分割精度。

Comments 19 pages, 11 figures

Mixing Importance with Diversity: Joint Optimization for KV Cache Compression in Large Vision-Language Models

融合重要性与多样性：KV缓存压缩的联合优化

Xuyang Liu, Xiyan Gui, Yuchao Zhang, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 MixKV通过融合重要性与多样性，优化KV缓存压缩，提升多模态模型的存储效率与推理性能。

Comments Accepted by ICLR 2026. Our code is available at https://github.com/xuyang-liu16/MixKV

NLPrompt: Noise-Label Prompt Learning for Vision-Language Models

NLPrompt: 噪声标签提示学习用于视觉-语言模型

Bikang Pan, Qun Li, Xiaoying Tang, Wei Huang, Zhen Fang, Feng Liu, Jingya Wang, Jingyi Yu, Ye Shi

机构 * ShanghaiTech University（上海科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； RIKEN Center for Advanced Intelligence Project（日本RIKEN高级智能项目中心） ； University of Technology Sydney（悉尼科技大学） ； University of Melbourne（墨尔本大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 NLPrompt通过结合PromptMAE和PromptOT，提升视觉-语言模型在噪声标签下的提示学习鲁棒性与精度。

EgoHandICL: Egocentric 3D Hand Reconstruction with In-Context Learning

EgoHandICL: 以自身为中心的3D手重建与上下文学习

Binzhu Xie, Shi Qiu, Sicheng Zhang, Yinqiao Wang, Hao Xu, Muzammal Naseer, Chi-Wing Fu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（医学智能与XR研究院，香港中文大学） ； Department of Computer Science, Khalifa University（计算机科学系，哈利法大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 EgoHandICL通过上下文学习框架提升以自身为中心的3D手重建的鲁棒性和一致性，结合视觉语言模型和掩码自动编码器实现更精确的手-物体交互推理。

Comments Accepted in ICLR 2026, Codebase: https://github.com/Nicous20/EgoHandICL

Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision

Youtu-VL: 通过统一的视觉-语言监督释放视觉潜力

Zhixiang Wei, Yi Li, Zhehan Kan, Xinghua Jiang, Zuwei Long, Shifeng Liu, Hongze Shen, Wei Liu, Xiaoyu Tan, Haojia Lin, Yubo Zhu, Qianyu Li, Di Yin, Haoyu Cao, Weibo Gu, Xin Li, Yinsong Liu, Deqiang Jiang, Xing Sun, Yunsheng Wu, Mingkong Tang, Shuangyin Liu, Lexiang Tang, Haodong Lin, Junru Lu, Jiarui Qin, Lingfeng Qiao, Ruizhi Qiao, Bo Ke, Jianfeng He, Ke Li, Yangning Li, Yunhang Shen, Mengdan Zhang, Peixian Chen, Kun Yin, Bing Liu, Yunfei Wu, Huang Chen, Zhongpeng Cai, Xiaotian Li

机构 * Youtu-VL Team（Youtu-VL 团队） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Youtu-VL通过统一视觉-语言自回归监督范式，提升多模态理解能力，实现视觉与语言的协同优化。

Knowledge-enhanced Pretraining for Vision-language Pathology Foundation Model on Cancer Diagnosis

基于知识增强的视觉语言病理基础模型用于癌症诊断

Xiao Zhou, Luoyi Sun, Dexuan He, Wenbin Guan, Ge Wang, Ruifen Wang, Lifeng Wang, Xiaojun Yuan, Xin Sun, Ya Zhang, Kun Sun, Yanfeng Wang, Weidi Xie

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院） ； School of Artificial Intelligence（人工智能学院） ； Department of Pathology（病理学部） ； Department of Oral Pathology（口腔病理学部） ； Department of Pediatric Hematology/Oncology（儿科血液肿瘤科） ； Clinical Research and Innovation Unit（临床研究与创新单元） ； Department of Pediatric Cardiology（儿童心脏病科） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出KEEP模型，通过整合疾病知识图谱提升癌症诊断的视觉语言基础模型性能，显著优于现有方法。

Comments V2: fixed typos, updated experimental results, added ablation

Closing the Modality Gap Aligns Group-Wise Semantics

弥合模态差距以对齐群体语义

Eleonora Grassucci, Giordano Cicchetti, Emanuele Frasca, Aurelio Uncini, Danilo Comminiello

机构 * Department of Information Engineering, Electronics, and Telecommunications（信息工程、电子与电信系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种方法，证明模态差距在群体级任务中显著影响性能，而非实例级任务。

Comments ICLR 2026

ELIP: Efficient Discriminative Language-Image Pre-training with Fewer Vision Tokens

ELIP: 一种更高效的语言-图像预训练方法，使用更少的视觉标记

Yangyang Guo, Haoyu Zhang, Yongkang Wong, Liqiang Nie, Mohan Kankanhalli

机构 * National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 ELIP通过高效修剪视觉标记，减少计算资源消耗，同时保持模型性能，适用于多种下游任务。

BigTokDetect: A Clinically-Informed Vision-Language Modeling Framework for Detecting Pro-Bigorexia Videos on TikTok

BigTokDetect: 一种临床指导的视觉-语言建模框架，用于检测TikTok上促进大肌肉畸形行为的视频

Minh Duc Chu, Kshitij Pawar, Zihao He, Roxanna Sharifi, Ross Sonnenblick, Magdalayna Curry, Laura D'Adamo, Lindsay Young, Stuart B Murray, Kristina Lerman

机构 * USC Information Sciences Institute（USC信息科学研究所） ； Keck School of Medicine, USC（USC凯克医学院） ； Department of Clinical Psychology, Drexel University（德雷塞尔大学临床心理学系） ； Department of Psychiatry and Biobehavioral Sciences, UCLA（UCLA精神病学与生物行为科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 BigTokDetect通过临床指导的视觉-语言模型，检测TikTok上促进大肌肉畸形行为的视频，建立了可扩展的有害内容缓解框架。

Natural Language-Driven Global Mapping of Martian Landforms

基于自然语言的火星地表全球映射

Yiran Wang, Shuoyuan Wang, Zhaoran Wei, Jiannan Zhao, Zhonghua Yao, Zejian Xie, Songxin Zhang, Jun Huang, Bingyi Jing, Hongxin Wei

机构 * School of Science, Southern University of Science and Technology（南方科技大学科学学院） ； China University of Geosciences（中国地质大学） ； University of Hong Kong（香港大学） ； Hubei Key Laboratory of Planetary Geology, China University of Geosciences（湖北省行星地质重点实验室，中国地质大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.AI

AI总结 MarScope通过自然语言驱动的视觉-语言框架，实现了火星地表的全球映射，实现了高效、灵活的地质分析和大规模数据探索。

Towards Understanding Best Practices for Quantization of Vision-Language Models

朝着理解视觉-语言模型量化最佳实践

Gautom Das, Vincent La, Ethan Lau, Abhinav Shrivastava, Matthew Gwilliam

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究探讨了视觉-语言模型量化方法对多模态流水线性能的影响，发现LLM低位量化在减少bpw时仍保持高精度，为高效部署MLLMs提供实践指导。

Comments 15 pages, 12 figures, 1 table

Vision-Language Models on the Edge for Real-Time Robotic Perception

边缘计算上的视觉-语言模型用于实时机器人感知

Sarat Ahmad, Maryam Hafeez, Syed Ali Raza Zaidi

机构 * School of Electronic and Electrical Engineering（电子与电气工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文研究了在边缘计算平台上部署视觉-语言模型以提高机器人感知的实时性与准确性，通过实验对比边缘与云部署的性能差异。

Can Synthetic Images Serve as Effective and Efficient Class Prototypes?

合成图像能否作为有效的高效类别原型？

Dianxing Shi, Dingjie Fu, Yuqiao Liu, Jun Wang

机构 * Beijing Research Institute of Uranium Geology（铀矿北京研究机构） ； Huazhong University of Science and Technology（华中科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Great Bay University（大湾大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 LGCLIP通过大语言模型生成类别特定提示，利用扩散模型合成参考图像，以实现高效的零样本分类。

Comments Accepted by IEEE ICASSP2026

Adaptive Task Balancing for Visual Instruction Tuning via Inter-Task Contribution and Intra-Task Difficulty

面向视觉指令微调的自适应任务平衡：通过跨任务贡献和内在任务难度

Yanqi Dai, Yong Wang, Zebin You, Dong Jing, Xiangxiang Chu, Zhiwu Lu

机构 * Renmin University of China（中国人民大学） ； AMAP, Alibaba Group（阿里妈妈集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出VisATB方法，通过跨任务贡献和内在任务难度实现视觉指令微调的自适应任务平衡，提升整体性能并缓解不平衡问题。

Comments Accepted for the ACM Web Conference 2026 (WWW 2026)

Reasoning or Pattern Matching? Probing Large Vision-Language Models with Visual Puzzles

推理还是模式匹配？通过视觉谜题探测大型视觉-语言模型

Maria Lymperaiou, Vasileios Karampinis, Giorgos Filandrianos, Angelos Vlachos, Chrysoula Zerva, Athanasios Voulodimos

机构 * National Technical University of Athens（国家技术大学雅典） ； Instituto de Telecomunicações（电信研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文通过视觉谜题探测大型视觉-语言模型的推理能力，揭示其在泛化、感知与推理整合及执行一致性方面的局限，并提出未来基准和系统的发展方向。

Disc3D: Automatic Curation of High-Quality 3D Dialog Data via Discriminative Object Referring

Disc3D：通过判别性对象指称自动校准高质量3D对话数据

Siyuan Wei, Chunjie Wang, Xiao Liu, Xiaosheng Yan, Zhishan Zhou, Rui Huang

机构 * PICO, ByteDance, Beijing（字节跳动北京研究院） ； Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 Disc3D通过自动化流程生成高质量3D对话数据，解决视角和对象指称模糊性问题，提升多模态大语言模型性能。

Comments 8 pages

Proxy Robustness in Vision Language Models is Effortlessly Transferable

视觉语言模型中的代理鲁棒性可以轻易转移

Xiaowei Fu, Fuxiang Huang, Lei Zhang

机构 * Chongqing Key Laboratory of Bio-perception（重庆生物感知实验室） ； Multimodal Intelligent Information Processing, Chongqing University, Chongqing 401331, China（多模态智能信息处理，重庆大学，重庆401331，中国） ； School of Microelectronics（微电子学院） ； Communication Engineering, Chongqing University, Chongqing 401331, China（通信工程，重庆大学，重庆401331，中国） ； School of Data Science, Lingnan University, Hong Kong（数据科学学院，岭南大学，香港） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出HPT-GPD框架，通过异构代理转移提升视觉语言模型的对抗鲁棒性，同时缓解过拟合问题，增强零样本自然泛化能力。

REF-VLM: Triplet-Based Referring Paradigm for Unified Visual Decoding

基于三元组的引用范式用于统一视觉解码

Yan Tai, Luhao Zhu, Yunan Ding, Yiying Dong, Guangtao Zhai, Xiaohong Liu, Guodong Guo

机构 * School of Computer Science, Shanghai Jiao Tong University, Shanghai, 200240, China（上海交通大学计算机科学学院） ； Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China（宁波数字孪生研究院） ； School of Information Science and Electronic Engineering, Shanghai Jiao Tong University, Shanghai, 200240, China（上海交通大学信息科学与电子工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 REF-VLM通过引入基于三元组的引用范式，提升多任务视觉解码的性能和适应性。

SVII-3D: Advancing Roadside Infrastructure Inventory with Decimeter-level 3D Localization and Comprehension from Sparse Street Imagery

SVII-3D：利用厘米级3D定位与稀疏街道影像的综合理解，推进道路基础设施库存建设

Chong Liu, Luxuan Fu, Yang Jia, Zhen Dong, Bisheng Yang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS), Wuhan University, Wuhan 430079, China（信息工程测绘遥感国家重点实验室（LIESMARS），武汉大学） ； Research Institute Ltd, Chengdu 610000, China（四川省公路规划设计研究有限公司） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 SVII-3D通过厘米级3D定位与稀疏影像综合理解，提升道路基础设施库存的自动化创建与细粒度状态诊断能力。

STEP3-VL-10B Technical Report

STEP3-VL-10B 技术报告

Ailin Huang, Chengyuan Yao, Chunrui Han, Fanqi Wan, Hangyu Guo, Haoran Lv, Hongyu Zhou, Jia Wang, Jian Zhou, Jianjian Sun, Jingcheng Hu, Kangheng Lin, Liang Zhao, Mitt Huang, Song Yuan, Wenwen Qu, Xiangfeng Wang, Yanlin Lai, Yingxiu Zhao, Yinmin Zhang, Yukang Shi, Yuyang Chen, Zejia Weng, Ziyang Meng, Ang Li, Aobo Kong, Bo Dong, Changyi Wan, David Wang, Di Qi, Dingming Li, En Yu, Guopeng Li, Haiquan Yin, Han Zhou, Hanshan Zhang, Haolong Yan, Hebin Zhou, Hongbo Peng, Jiaran Zhang, Jiashu Lv, Jiayi Fu, Jie Cheng, Jie Zhou, Jisheng Yin, Jingjing Xie, Jingwei Wu, Jun Zhang, Junfeng Liu, Kaijun Tan, Kaiwen Yan, Liangyu Chen, Lina Chen, Mingliang Li, Qian Zhao, Quan Sun, Shaoliang Pang, Shengjie Fan, Shijie Shang, Siyuan Zhang, Tianhao You, Wei Ji, Wuxun Xie, Xiaobo Yang, Xiaojie Hou, Xiaoran Jiao, Xiaoxiao Ren, Xiangwen Kong, Xin Huang, Xin Wu, Xing Chen, Xinran Wang, Xuelin Zhang, Yana Wei, Yang Li, Yanming Xu, Yeqing Shen, Yuang Peng, Yue Peng, Yu Zhou, Yusheng Li, Yuxiang Yang, Yuyang Zhang, Zhe Xie, Zhewei Huang, Zhenyi Lu, Zhimin Fan, Zihui Cheng, Daxin Jiang, Qi Han, Xiangyu Zhang, Yibo Zhu, Zheng Ge

机构 * Multimodal Intelligence Team（多模态智能团队） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 STEP3-VL-10B 是一个轻量级开源基础模型，通过统一预训练和强化学习策略，在紧凑规模下实现多模态智能，超越大规模模型并在复杂推理任务中表现优异。

Comments 50 pages

Semantic Misalignment in Vision-Language Models under Perceptual Degradation

视觉-语言模型在感知退化下的语义错位

Guo Cheng

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究探讨了视觉-语言模型在感知退化下的语义错位问题，发现传统分割指标的下降并未影响下游行为，揭示了像素鲁棒性与多模态语义可靠性之间的脱节。

Comments 10 pages, 4 figures, 6 tables

OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding

OpenVoxel: 一种无需训练的稀疏体素分组与标注算法用于开放词汇3D场景理解

Sheng-Yu Huang, Jaesung Choe, Yu-Chiang Frank Wang, Cheng Sun

机构 * NVIDIA ； National Taiwan University（国立台湾大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 OpenVoxel通过无需训练的多模态大语言模型实现稀疏体素的分组与标注，提升开放词汇3D场景理解的性能。

Comments project page: https://peterjohnsonhuang.github.io/openvoxel-pages/

Scaling Remote Sensing Foundation Models: Data Domain Tradeoffs at the Peta-Scale

在百亿级数据规模下扩展遥感基础模型：在百亿级数据规模下的领域权衡

Charith Wickrema, Eliza Mace, Hunter Brown, Heidys Cabrera, Nick Krall, Matthew O'Neill, Shivangi Sarkar, Lowell Weissman, Eric Hughes, Guido Zarrella

机构 * The MITRE Corporation（MITRE公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究探讨了在百亿级数据规模下扩展遥感基础模型的挑战与权衡，通过训练更大规模的视觉Transformer主干，揭示了数据受限与模型参数受限之间的关系，并提出了优化数据收集和计算资源的策略。

Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization

在所见之地接地：通过标题反馈、多样性感知采样和冲突正则化实现抗幻觉的MLLMs

Miao Pan, Wangjie Gan, Jintao Chen, Wenqi Zhang, Bing Sun, Jianwei Yin, Xuhong Zhang

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出抗幻觉的MLLMs方法，通过标题反馈、多样性感知采样和冲突正则化减少幻觉，提升推理准确性。

Comments AAAI-2026 Poster

Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models

全局压缩指挥者：面向高分辨率大视觉-语言模型的即插即用推理加速

Xuyang Liu, Ziming Wang, Junjie Chen, Yuhang Han, Yingyao Wang, Jiale Yuan, Jun Song, Siteng Huang, Honggang Chen

机构 * Alibaba（阿里巴巴） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出GlobalCom²框架，通过全局缩略图引导局部裁剪压缩，实现高分辨率LVLMs的高效推理加速。

Comments Accepted by AAAI 2026. Code is available at \url{https://github.com/xuyang-liu16/GlobalCom2}

Studying Illustrations in Manuscripts: An Efficient Deep-Learning Approach

研究手稿中的插图：一种高效的深度学习方法

Yoav Evron, Michal Bar-Asher Siegal, Michael Fire

机构 * Faculty of Computer and Information Science, Ben-Gurion University of the Negev, Be’er Sheva, Israel（计算机与信息科学学院，内盖夫本· Gurion大学，贝尔谢巴，以色列） ； The Goldstein-Goren Department of Jewish Thought, Ben-Gurion University of the Negev, Be’er Sheva, Israel（犹太思想Goldstein-Goren部门，内盖夫本· Gurion大学，贝尔谢巴，以色列） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种高效的深度学习方法，用于大规模分析历史插图手稿，通过多模态描述和共享表示空间揭示视觉模式和跨手稿关系。

Comments 17 pages, 5 figures

CLIP-GS: Unifying Vision-Language Representation with 3D Gaussian Splatting

CLIP-GS: 通过3D高斯点划法统一视觉-语言表示

Siyu Jiao, Haoye Dong, Yuyang Yin, Zequn Jie, Yinlong Qian, Yao Zhao, Humphrey Shi, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； National University of Singapore（新加坡国立大学） ； Meituan（美团） ； Georgia Institute of Technology（佐治亚理工学院） ； Picsart AI Research (PAIR)（Picsart AI研究（PAIR）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 CLIP-GS通过3D高斯点划法统一视觉-语言表示，利用对比损失和图像投票损失提升多模态检索和分类性能。