Sparse Attention for Dense Open-Vocabulary Prediction in CLIP
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
研究在CLIP的最终视觉自注意力层用α-entmax变换替代逐行softmax，以解决其在密集开放词汇预测时注意力分散产生噪声的问题，在开放词汇任务评估中，注意力稀疏化增益与基线注意力偏离目标类程度成正比。
2026-07-14 cs.CV
Turning a CLIP Model into a Scene Text Spotter
Huazhong University of Science and Technology（华中科技大学）；Tencent YouTu Lab（腾讯优图实验室）
本研究将CLIP模型改造为FastTCM-CR50骨干网络，通过视觉提示学习、交叉注意力与双模态相似度匹配增强场景文本检测定位，在性能、推理速度、少样本及分布外场景均有提升。
2023-08-21 cs.CV
Target Refocusing via Attention Redistribution for Open-Vocabulary Semantic Segmentation: An Explainability Perspective
本文提出RF-CLIP方法，通过模拟人类注意力重聚焦行为，解决CLIP在开放词汇语义分割中的多模态对齐问题，提升密集预测性能。
2025-11-20 cs.CV
Weakly Supervised Semantic Segmentation for Driving Scenes
Yonsei University（延世大学）；Sogang University（西江大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
针对驾驶场景 WSSS 在图像级标签下性能下降的问题，提出基于 CLIP 的框架，通过全局-局部视图训练和 CARB 抑制噪声，在 Cityscapes 上达到 51.8% mIoU。
2024-01-18 cs.CV
CLIP-RL: Surgical Scene Segmentation Using Contrastive Language-Vision Pretraining & Reinforcement Learning
Department of Surgery（外科部）；Hamad Medical Corporation（哈马德医疗集团）；Department of Computer Science and Engineering（计算机科学与工程系）；Qatar University（卡塔尔大学）
针对微创手术视频的手术场景语义分割问题，提出融合对比语言-视觉预训练、强化学习与课程学习的CLIP-RL模型，在EndoVis数据集上取得优于现有最优模型的性能，可稳健处理复杂光学环境。
2025-07-06 cs.AI cs.CV cs.LG
ATAS: Any-to-Any Self-Distillation for Enhanced Open-Vocabulary Dense Prediction
针对CLIP在开放词汇稠密预测中细粒度区域理解不足的问题，提出仅用无标注图像的任意到任意自蒸馏方法ATAS，同时增强语义一致性与细粒度对齐，在相关基准上性能优于基线CLIP模型。
2025-10-01 cs.CV
Extract Free Dense Labels from CLIP
Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
对比图像预训练（CLIP）在开放词汇量的zero-shot图像识别中取得了突破性的进展。最近的许多研究利用预训练的CLIP模型进行图像级分类和操作。在本文中，我们希望研究的内在潜力CLIP像素级密集预测，特别是在语义分割。为此，只需进行最小的修改，我们就可以证明MaskCLIP在没有注释和微调的情况下，在各种数据集的开放概念上产生令人信服的分割结果。通过添加伪标记和自训练，MaskCLIP+大大超过了SOTA转换zero-shot语义分割方法，例如，PASCAL VOC/PASCAL Context/COCO Stuff上看不见的类的mIoU从35.6/20.7/30.3提高到86.1/66.7/54.7。我们还测试了MaskCLIP的鲁棒性下输入腐败和评估其能力，在区分细粒度的对象和新的概念。我们的发现表明，MaskCLIP可以作为一个新的可靠的监督来源，用于密集预测任务，以实现无注释分割。源代码可在https://github.com/chongzhou96/MaskCLIP上获得。
2022-07-27 cs.CL cs.CV
Semi-supervised Learning for Dense Object Detection in Retail Scenes
ParallelDots, Inc.（ParallelDots公司）
零售场景通常在每个图像中包含密集的大量对象。标准的目标检测技术使用完全监督的训练方法。这是非常昂贵的，因为与标准数据集相比，注释大的密集零售目标检测数据集涉及多一个数量级的工作。因此，我们提出了半监督学习，以有效地利用大量的未标记的数据在零售领域。我们适应一个流行的自我监督的方法，称为嘈杂的学生最初提出的对象分类密集的目标检测的任务。我们表明，使用未标记的数据与嘈杂的学生训练方法，我们可以提高在密集的零售场景中精确检测物体的最新技术水平。我们还表明，模型的性能随着未标记数据量的增加而增加。
2021-07-05 cs.CV
Towards Label-free Scene Understanding by Vision Foundation Models
The University of Hong Kong（香港大学）；Hochschule Bremerhaven（不来梅港应用科学大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；The University of Sydney（悉尼大学）；Texas A&M University（德克萨斯A&M大学）
本文提出跨模态噪声监督（CNS）方法，结合CLIP与SAM协同训练2D和3D网络，通过预测一致性正则化和潜在空间一致性约束，在无标签条件下显著提升室内外场景语义分割性能。
2023-10-30 cs.CV
OpenScene: 3D Scene Understanding with Open Vocabularies
Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Waymo LLC（Waymo有限责任公司）；Simon Fraser University（西蒙菲莎大学）
提出OpenScene，通过将3D场景点特征与CLIP特征空间中的文本和图像像素联合嵌入，实现零样本、开放词汇的3D场景理解，支持语义分割和任意文本查询等应用。
2023-04-06 cs.CV
Model Adaptation with Synthetic and Real Data for Semantic Dense Foggy Scene Understanding
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
研究了浓雾环境下的语义场景理解问题。尽管语义场景理解已经取得了相当大的进展，但它主要涉及晴朗天气场景。将识别方法扩展到雾等恶劣天气条件下对于户外应用至关重要。在本文中，我们提出了一种新的方法，命名为课程模型自适应（CMAda），逐步适应语义分割模型从轻合成雾到稠密的真实雾在多个步骤中，使用合成和真实雾数据。此外，我们提出了其他三个主要的独立贡献：1）一种新的方法来添加合成雾的真实，清晰的天气场景使用语义输入; 2）一个新的雾密度估计器; 3）雾苏黎世数据集包括$3808$真正的雾图像，与像素级的语义注释$16$图像浓雾。我们的实验表明，1）我们的雾模拟略优于国家的最先进的竞争模拟方面的语义雾场景理解（SFSU）的任务; 2）CMAda提高了国家的最先进的模型SFSU的性能显着利用未标记的真实雾数据。数据集和代码是公开的。
2018-08-03 cs.CV
CLIP-DINOiser: Teaching CLIP a few DINO tricks for open-vocabulary semantic segmentation
Warsaw University of Technology（华沙理工大学）；Meta AI；Tooploox（Tooploox公司）；IDEAS NCBR（IDEAS NCBR研究院）
结合CLIP与自监督特征优势，提出无需标注的开放词汇语义分割方法CLIP-DINOiser，在多个细粒度基准上达到SOTA。
2024-03-27 cs.CV
Partial CLIP is Enough: Chimera-Seg for Zero-shot Semantic Segmentation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；AI Thrust, The Hong Kong University of Science and Technology（香港科学与技术大学人工智能研究组）；INSAIT, Sofia University（索菲亚大学INSAIT）
针对零样本语义分割中视觉特征与文本空间对齐及全局局部语义差距问题，提出Chimera-Seg架构与选择性全局蒸馏方法，结合部分CLIP模块保留分割能力并实现语义对齐，在两个基准上hIoU提升0.9%和1.3%。
2025-06-27 cs.CV
un$^2$CLIP: Improving CLIP's Visual Detail Capturing Ability via Inverting unCLIP
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对CLIP视觉细节捕获不足的问题，提出un$^2$CLIP方法，通过反演unCLIP生成模型来改进CLIP图像编码器，在保持与文本编码器对齐的同时显著提升了密集预测和多模态等任务的性能。
2025-05-30 cs.CV
GenCAMO: Scene-Graph Contextual Decoupling for Environment-aware and Mask-free Camouflage Image-Dense Annotation Generation
China University of Petroleum (East China)（中国石油大学（华东））；Southwest Jiaotong University（西南交通大学）；Beijing Information Science and Technology University（北京信息科技大学）；Beihang University（北航）
GenCAMO通过生成模型合成高质量伪装数据，提升复杂伪装场景的密集预测性能。
2026-01-03 cs.CV
ComplETR: Reducing the cost of annotations for object detection in dense scenes with vision transformers
AWS AI Labs（AWS人工智能实验室）；Yonsei University（延世大学）
注释用于目标检测的边界框是昂贵的、耗时的并且容易出错。在这项工作中，我们提出了一个基于DETR的框架，称为COMPLETR，旨在明确地完成部分注释的密集场景数据集缺失的注释。这减少了对场景中的每个对象实例进行注释的需要，从而降低了注释成本。在DETR解码器中，COMPLETR使用图像中对象的补丁信息来增强对象查询。结合匹配损失，它可以有效地找到与输入补丁相似的对象，并完成缺失的注释。我们表明，我们的框架优于最先进的方法，如软采样和无偏见的教师本身，而在同一时间可以与这些方法结合使用，以进一步提高其性能。我们的框架对下游对象检测器的选择也是不可知的;我们在多个密集场景数据集上显示了几种流行检测器的性能改进，例如Faster R-CNN，Cascade R-CNN，CenterNet 2和Deformable DETR。
2022-09-13 cs.CV
Fast and Efficient: Mask Neural Fields for 3D Scene Segmentation
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
本文提出MaskField，通过构建掩码特征场和查询解耦掩码与语义特征蒸馏，克服对象边界模糊问题，实现高效快速的3D开放词汇分割，兼容3DGS等显式表示。
2024-12-19 cs.CV
DeCLIP: Decoupled Learning for Open-Vocabulary Dense Perception
School of Computer Science and Technology, HIT, Shenzhen（哈尔滨工业大学深圳校区计算机科学与技术学院）；International Research Institute for Artificial Intelligence, HIT, Shenzhen（哈尔滨工业大学深圳国际人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）
DeCLIP通过解耦CLIP的自注意力模块，分别学习“内容”和“上下文”特征，以增强局部判别力和空间一致性，在开放词汇目标检测与语义分割任务上显著优于现有方法。
2025-05-07 cs.CV
EdaDet: Open-Vocabulary Object Detection Using Early Dense Alignment
ShanghaiTech University（上海科技大学）
针对开放词汇目标检测中基础类别过拟合问题，提出早期密集对齐（EDA）方法，通过对象级监督学习密集级对齐以保留局部细粒度语义，在COCO和LVIS上分别提升新类别AP50 8.4%和稀有掩码AP 3.9%。
2023-09-03 cs.CV
CLIP for Lightweight Semantic Segmentation
Southeast University（东南大学）
提出一种CNN与Transformer并行、带双向桥接的特征融合模块，使CLIP语言引导范式适用于轻量级骨干网络，实现高效语义分割并超越现有SOTA。
2023-10-11 cs.CV
CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory
FAIR Labs（FAIR实验室）
本文提出 CLIP-Fields，一种仅利用 CLIP、Detic 和 Sentence-BERT 等网络预训练模型提供弱监督的隐式场景模型，在 HM3D 上以少量样本超越 Mask-RCNN，并支持机器人在真实环境中进行语义导航。
2023-05-22 cs.CV cs.RO
Beyond the Field-of-View: Enhancing Scene Visibility and Perception with Clip-Recurrent Transformer
Zhejiang University（浙江大学）；Hunan University（湖南大学）；Hangzhou SurImage Technology Company Ltd（杭州 SurImage 科技有限公司）；Shanghai SUPREMIND Technology Company Ltd（上海 SUPREMIND 科技有限公司）
针对相机视野受限问题，提出基于片段循环Transformer的FlowLens架构，通过在线视频修复扩展视野，在多任务上达到SOTA，还能提升视野内感知效果。
2024-06-22 cs.CV eess.IV
CLIP with Quality Captions: A Strong Pretraining for Vision Tasks
Apple（苹果公司）
该研究发现提升图文预训练的字幕质量可增强CLIP的视觉表征，在密集预测任务上超越多种预训练方法，提升移动端架构性能并大幅提高微调数据效率。
2024-05-14 cs.CV cs.LG
Precise Detection in Densely Packed Scenes
Bar-Ilan University（巴伊兰大学）；Trax Retail（Trax零售公司）；Tel Aviv University（特拉维夫大学）；The Open University of Israel（以色列开放大学）
人造场景可以是密集的，包含许多物体，通常是相同的，位置很近。我们表明，精确的目标检测在这样的场景仍然是一个具有挑战性的前沿，即使是国家的最先进的目标检测器。我们提出了一种新的基于深度学习的精确目标检测方法，专为此类具有挑战性的设置而设计。我们的贡献包括：（1）用于估计Jaccard指数作为检测质量分数的层;（2）一个新的EM合并单元，它使用我们的质量分数来解决检测重叠模糊性;最后，（3）一个广泛的注释数据集，E110 - 110 K，代表包装零售环境，在这种极端设置下发布用于训练和测试。对CARPK和PUCPR+的检测测试和计数测试表明，我们的方法优于现有的最先进的技术，具有相当大的利润率。代码和数据将在\url{www.github.com/eg4000/SKU110K_CVPR19}上提供。
2019-04-30 cs.CV
MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出MTA-CLIP框架，通过掩码级视觉-语言对齐、掩码-文本解码器、对比学习及提示学习解决像素级对齐中的边界歧义问题，在ADE20k和Cityscapes上取得最优分割性能。
2024-07-31 cs.CV
Exploring CLIP's Dense Knowledge for Weakly Supervised Semantic Segmentation
Academy for Engineering and Technology, Fudan University（复旦大学工程技术研究院）；Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学中心）；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算机科学中心（国家济南超级计算中心））
针对弱监督语义分割（WSSS）中CLIP的patch-文本对齐潜力未被探索的问题，提出ExCEL，通过文本语义增强和视觉校准模块探索CLIP的密集知识，在PASCAL VOC和MS COCO上以更低训练成本显著优于现有方法。
2025-03-26 cs.CL cs.CV cs.LG
DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting
Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
最近的进展表明，使用对比图像-文本对的大规模预训练可以是从自然语言监督进行高质量视觉表示学习的有前途的替代方案。受益于更广泛的监督来源，这种新的范式表现出令人印象深刻的可转移性，下游分类任务和数据集。然而，将从图像-文本对中学习到的知识转移到更复杂的密集预测任务中的问题几乎没有被访问过。在这项工作中，我们通过隐式和显式地利用CLIP的预训练知识，提出了一个新的密集预测框架。具体来说，我们将CLIP中的原始图像-文本匹配问题转换为像素-文本匹配问题，并使用像素-文本得分图来指导密集预测模型的学习。通过进一步使用来自图像的上下文信息来提示语言模型，我们能够促进我们的模型更好地利用预先训练的知识。我们的方法是模型不可知的，可以应用于任意密集预测系统和各种预训练的视觉骨干，包括CLIP模型和ImageNet预训练模型。大量的实验证明了我们的方法在语义分割，目标检测和实例分割任务上的优越性能。代码可在https://github.com/raoyongming/DenseCLIP上获得
2022-03-21 cs.AI cs.CV cs.LG
Semantic Dense Reconstruction with Consistent Scene Segments
Northeastern University（东北大学）；Technical University of Munich（慕尼黑工业大学）；Peking university（北京大学）；MetaSpatie Tech.（元空间科技）；Google Inc.（谷歌公司）
本文提出了一种从RGB-D序列重建稠密语义三维场景的方法，以解决高层次的场景理解任务。首先，每个RGB-D对基于相机跟踪主干被一致地分割成2D语义图，该相机跟踪主干以高概率将对象的标签从全扫描传播到对应的部分视图。然后，从输入RGB-D序列递增地生成未知环境的密集3D网格模型。利用二维一致性语义段和三维模型，提出了一种新的语义投影块（SP-Block），用于从不同视图的二维段中提取深度特征体。最后通过点云编码器将语义体融合为深层体，进行最终的语义分割。在公共数据集上进行的大量实验评估表明，我们的系统同时实现了准确的3D密集重建和最先进的语义预测性能。
2021-09-30 cs.CV cs.RO
Image Synthesis with Graph Conditioning: CLIP-Guided Diffusion Models for Scene Graphs
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院德里分校）
提出一种无需中间布局预测、利用CLIP引导的扩散模型从场景图直接生成图像的新方法，通过图编码器与CLIP特征对齐及条件信号融合，在COCO-stuff和Visual Genome基准上超越现有方法。
2024-07-22 cs.CV
MTMamba: Enhancing Multi-Task Dense Scene Understanding by Mamba-Based Decoders
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；HKUST(GZ) - SmartMore Joint Lab（香港科技大学（广州）与视博医疗联合实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology（南方科技大学）；SmartMore（视博医疗）
针对多任务密集场景理解中的长距离依赖与跨任务交互问题，提出基于Mamba的MTMamba架构，通过自任务与跨任务Mamba模块实现性能提升，在多个数据集上超越Transformer和CNN类方法。
2024-07-14 cs.AI cs.CV
ClipGStream: Clip-Stream Gaussian Splatting for Any Length and Any Motion Multi-View Dynamic Scene Reconstruction
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东超高清沉浸式媒体技术省重点实验室）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）；MIGU Video Co., Ltd.（MIGU视频有限公司）
本文提出ClipGStream框架，通过clip级流优化实现长动态视频的高斯点云重建，兼顾可扩展性和时间一致性。
2026-04-15 cs.CV
Turning a CLIP Model into a Scene Text Detector
Huazhong University of Science and Technology（华中科技大学）；Tencent YouTu Lab（腾讯优图实验室）
最近的大规模对比图像预训练（CLIP）模型通过利用预训练的视觉和语言知识在各种下游任务中显示出巨大的潜力。场景文本包含丰富的文本和视觉信息，与CLIP等模型有着内在的联系。近年来，基于视觉语言模型的预训练方法在文本检测领域取得了很大的进展。与这些工作相比，本文提出了一种新的方法，称为TCM，专注于将CLIP模型直接用于文本检测，而无需预训练过程。我们证明了所提出的TCM的优点如下：（1）我们的框架的基本原理可以应用于改进现有的场景文本检测器。(2)它有助于现有方法的Few-Shot训练能力，例如，通过使用10%的标记数据，我们显着提高了基线方法的性能，在4个基准上的F-度量方面平均提高了22%。(3)通过将CLIP模型应用到现有的场景文本检测方法中，进一步实现了较好的领域自适应能力。该代码将在https://github.com/wenwenyu/TCM上公开发布。
2023-03-26 cs.CV
CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes
ETH Zurich（苏黎世联邦理工学院）
本文提出CLIP引导的3D视觉-语言预训练方法，通过将3D点云特征与CLIP的2D图像和文本嵌入对齐，学习可迁移的3D场景表示，并在3D视觉问答任务上取得优于现有方法的性能。
2023-04-12 cs.CV
Symmetrical Linguistic Feature Distillation with CLIP for Scene Text Recognition
University of Science and Technology of China（中国科学技术大学）
本文提出CLIP-OCR框架，利用对称蒸馏策略和语言一致性损失，从CLIP中提取视觉与语言知识，在六个场景文本识别基准上达到93.8%平均准确率。
2023-10-10 cs.CV
See, Rank, and Filter: Important Word-Aware Clip Filtering via Scene Understanding for Moment Retrieval and Highlight Detection
YuEun Lee, Jung Uk Kim
本文提出通过识别查询中的重要词，结合多模态大语言模型实现视频片段检索和亮点检测的细粒度过滤方法，提升检索和检测性能。
2025-11-28 cs.CV
Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes
ETH Zurich（苏黎世联邦理工学院）
针对2D视觉语言知识迁移至3D场景任务的研究不足问题，提出3D预训练方法Multi-CLIP，通过对比学习对齐3D点云特征与CLIP空间的2D多视图、文本特征，在3D-VQA和3D-SQA任务上超越现有最优水平。
2023-06-04 cs.CV
A Controlled Study of CLIP-Based Body-Scene Fusion for Emotion Recognition in Context
University of Central Punjab（中央旁遮普大学）
研究使用ResNet-18身体流和CLIP场景流的双流模型进行上下文情感识别，发现简化去偏和稀有类训练方法未能提升性能，最佳mAP为34.52%。
2026-06-25 cs.CV
CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic Furniture Embedding
Meta AI
提出CLIP-Layout自回归场景模型，利用基于CLIP的图像嵌入进行实例级家具预测，实现风格一致、功能合理的室内场景合成，并支持零样本文本引导编辑。
2023-06-02 cs.CV
CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；Zhejiang University（浙江大学）；Baidu Inc.（百度公司）
本文提出 CLIP4STR，基于 CLIP 的图像和文本编码器构建双分支（视觉与跨模态）及双重预测与优化解码方案，在 13 个 STR 基准上取得最先进性能，为 VLMs 在场景文本识别领域的研究建立强基线。
2024-12-24 cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Beyond Cropped Regions: New Benchmark and Corresponding Baseline for Chinese Scene Text Retrieval in Diverse Layouts
Nankai University（南开大学）
本文提出中文场景文本检索基准DL-CSVTR和模型CSTR-CLIP，通过全局视觉信息与多粒度对齐训练处理垂直、跨行等多样布局，准确率较此前最优模型提升18.82%。
2025-06-05 cs.CV
RLM: A Vision-Language Model Approach for Radar Scene Understanding
University of California San Diego（加州大学圣地亚哥分校）；Blue River Technology
本文提出RadarVLM，通过结构化空间语言监督学习统一的场景表示，改进了雷达场景理解中的空间推理能力，实验显示其在生成描述和车辆分割任务中性能显著提升。
2026-03-12 cs.CV
EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding
National University of Singapore（新加坡国立大学）
EmbodiedSplat通过在线前馈3DGS实现开放词汇3D场景理解，结合CLIP编码和3D U-Net提升语义重建效率与泛化能力。
2026-03-04 cs.CV
CLIPTER: Looking at the Bigger Picture in Scene Text Recognition
AWS AI Labs（AWS人工智能实验室）；Technion（以色列理工学院）
针对现有场景文本识别器仅用裁剪文本图像、缺乏全局上下文的问题，提出模型无关框架CLIPTER，通过门控交叉注意力融合CLIP的全局场景表征与识别器词级特征，实现多基准最优，提升未登录词鲁棒性与小数据泛化性。
2023-07-23 cs.CV cs.LG
Bringing Image Scene Structure to Video via Frame-Clip Consistency of Object Tokens
Tel Aviv University（特拉维夫大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；MIT-IBM Lab（麻省理工学院-IBM实验室）；Google Research（谷歌研究院）
最近的动作识别模型通过整合对象、它们的位置和交互，取得了令人印象深刻的结果。然而，获得每个帧的密集结构化注释是繁琐且耗时的，使得这些方法训练昂贵且可扩展性较低。与此同时，如果有一小部分带注释的图像可用，无论是在感兴趣的领域之内还是之外，我们如何利用这些图像来完成视频下游任务？我们提出了一个学习框架StructureViT（简称SViT），它演示了如何利用仅在训练期间可用的少量图像的结构来改进视频模型。SViT依赖于两个关键的见解。首先，由于图像和视频都包含结构化信息，因此我们使用一组可跨图像和视频使用的\emph{object tokens}来丰富Transformer模型。第二，视频中各个帧的场景表示应该与静止图像的场景表示"对齐"。这是通过\emph{Frame-Clip Consistency}丢失来实现的，它确保了图像和视频之间的结构化信息流。我们探讨了一个特定的实例化的场景结构，即一个\emph{Hand-Object Graph}，包括手和对象与他们的位置作为节点，和物理关系的接触/无接触的边缘。SViT在多个视频理解任务和数据集上显示出强大的性能改进。此外，它还赢得了Ego4D CVPR '22 Object State Localization挑战赛。有关代码和预训练模型，请访问项目页面\url{https://eladb3.github.io/SViT/}
2022-11-29 cs.CV
CLIP3Dstyler: Language Guided 3D Arbitrary Neural Style Transfer
Google（谷歌）
本文提出 CLIP3Dstyler，通过匹配点云与文本特征并引入改进的方向性散度损失，实现无需重训练的语言引导三维任意风格迁移。
2023-05-26 cs.CV
VideoReloc: Long-Term Indoor Video Relocalization against a Kilobyte-Scale Semantic Scene Graph
Technical University of Munich（慕尼黑工业大学）；Huawei Hilbert Research Center (Dresden)（华为希尔伯特研究中心（德累斯顿））
VideoReloc利用自适应视频片段和语义场景图，通过假设优先注册与方向细化，实现光照和家具变化下的长时室内重定位，以100 kB地图达到高成功率。
2026-09-21 cs.CV
Refining CLIP's Spatial Awareness: A Visual-Centric Perspective
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）
针对CLIP使用RLA微调导致空间感知丧失的问题，提出SCD框架与轻量级Refiner，通过提取并精炼CLIP的固有空间结构特征进行蒸馏，在开放词汇密集预测基准上取得最优结果。
2025-04-03 cs.CV
ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
ClearCLIP通过移除残差连接、采用自-自注意力和丢弃前馈网络分解CLIP表示，解决其语义分割中的噪声问题，在多个基准上取得更优结果。
2024-07-17 cs.CV
Enhancing Scene Transition Awareness in Video Generation via Post-Training
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出TAV数据集，通过后训练提升视频生成中场景转换的理解能力，改善多场景生成效果并保持图像质量。
2026-07-31 cs.AI cs.CV
UniQuery4R: Unified 4D Scene Reconstruction from a Single Query
UniQuery4R是一种查询条件4D场景重建框架，通过单编码多帧片段实现灵活的源-目标选择，在WorldTrack数据集的场景流估计和运动点重建任务中获最佳宏平均结果。
2026-08-19 cs.CV
ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields
Durham university（杜伦大学）；IHPC, A*STAR（新加坡科技研究局高性能计算研究院）；Tencent Jarvis Research Center（腾讯Jarvis研究中心）
针对现有3D NeRF风格迁移需逐风格重训练的问题，提出零样本风格化方法ConRF，通过映射CLIP特征到预训练VGG风格空间并结合3D体表示，实现文本/图像引导的全局或局部3D场景风格化，视觉效果优于现有方法。
2024-03-06 cs.CV
Enhancing Unsupervised Video Representation Learning by Decoupling the Scene and the Motion
Tencent Youtu Lab（腾讯优图实验室）
我们期望视频表示学习捕获的一个重要因素，特别是与图像表示学习相比，是对象运动。然而，我们发现，在目前主流的视频数据集，一些动作类别是高度相关的场景发生的动作，使模型往往退化到一个解决方案，只有场景信息进行编码。例如，一个经过训练的模型可能仅仅因为看到了球场而将视频预测为正在踢足球，而忽略了对象正在球场上作为啦啦队队长跳舞。这违背了我们对视频表示学习的初衷，并且可能在不同数据集上带来不可忽视的场景偏差。为了解决这个问题，我们提出了解耦的场景和运动（DSM）与两个简单的操作，使模型的注意力更好地支付对运动信息。具体来说，我们为每个视频构建一个正剪辑和一个负剪辑。与原始视频相比，正/负是运动未触及/破碎的，但场景破碎/未触及的空间局部扰动和时间局部扰动。我们的目标是将正片拉得更近，同时将底片推得更远，使其在潜在空间中更接近原始剪辑。通过这种方式，场景的影响被削弱，同时网络的时间敏感性被进一步增强。我们在两个具有不同主干和不同预训练数据集的任务上进行了实验，发现我们的方法优于SOTA方法，分别在UCF 101和HMDB 51数据集上使用相同的主干对动作识别任务有8.1%和8.8%的显著改进。
2020-12-16 cs.CV
Learning Camera Localization via Dense Scene Matching
Simon Fraser University（西蒙菲莎大学）；Alibaba A.I Labs（阿里巴巴人工智能实验室）
摄像机定位的目的是从RGB图像中估计6自由度摄像机姿态。传统的方法检测和匹配查询图像和预先构建的3D模型之间的兴趣点。最近基于学习的方法将场景结构编码到特定的卷积神经网络（CNN）中，因此能够从RGB图像中预测密集坐标。然而，他们中的大多数需要重新训练或重新适应一个新的场景，并有困难，在处理大规模的场景，由于网络容量有限。我们提出了一种新的方法，场景不可知的相机定位使用密集场景匹配（DSM），其中的成本体积之间构建的查询图像和场景。成本体积和对应的坐标由CNN处理以预测密集坐标。然后，可以通过Pestrian算法来解决相机姿势。此外，我们的方法可以扩展到时域，这导致在测试时间额外的性能提升。我们的场景不可知的方法实现了与现有的场景特定的方法，如KFNet，在7scenes和剑桥基准相当的准确性。这种方法也明显优于最先进的场景不可知密集坐标回归网络SANet。该守则可在https://github.com/Tangshitao/Dense-Scene-Matching上查阅。
2021-03-31 cs.CV
