Temporally Consistent Video Colorization with Deep Feature Propagation and Self-regularization Learning
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Nanyang Technological University（南洋理工大学）；Applied Research Center (ARC), Tencent PCG（腾讯平台与内容事业群应用研究中心）
视频彩色化是一个具有挑战性和高度不适定的问题。虽然近年来在单帧图像彩色化方面取得了很大的进展，但对视频彩色化的研究相对较少，现有的彩色化方法往往存在严重的闪烁伪像（时间不一致）或彩色化性能不理想等问题。我们从一个新的角度来解决这个问题，在一个统一的框架，共同考虑着色和时间的一致性。具体来说，我们提出了一种新的时间一致的视频彩色化框架（TCVC）。TCVC以双向方式有效地传播帧级深度特征，以增强着色的时间一致性。此外，TCVC引入了自正则化学习（SRL）计划，以最小化不同时间步长获得的预测差异。SRL不需要任何地面实况彩色视频进行训练，可以进一步提高时间一致性。实验表明，我们的方法不仅可以获得视觉上令人愉快的彩色视频，但也取得了明显更好的时间一致性比国家的最先进的方法。
2021-10-09 cs.CV eess.IV
Two-Stage Vision Transformer for Image Restoration: Colorization Pretraining + Residual Upsampling
LNMIIT（拉纳印度理工学院）
本文提出双阶段视觉Transformer方法，通过颜色化预训练和残差上采样提升图像超分辨率性能，实现在DIV2K数据集上的高SSIM和PSNR指标。
2025-12-03 cs.CV
Discovery of Visual Semantics by Unsupervised and Self-Supervised Representation Learning
The University of Chicago（芝加哥大学）
深度学习在计算机视觉中的成功源于深度网络能够根据具有挑战性的视觉任务的要求扩展模型复杂性。随着复杂性的增加，需要大量的标记数据来训练模型。这与昂贵的人工注释工作相关联。为了解决这个问题，我们的长期目标是利用大量廉价的未标记数据，我们探索了无监督的“预训练”方法。“特别是，我们建议使用自监督自动图像着色。我们发现，传统的无监督学习方法，如分层聚类或自动编码器，仍然不如监督预训练。为了寻找一种替代方法，我们开发了一种全自动的图像彩色化方法。我们的方法在振兴旧的黑白摄影方面开创了一个新的艺术状态，而不需要人工努力或专业知识。此外，它还给出了一种自监督表示学习的方法。为了使模型能够适当地重新着色灰度对象，它必须首先能够识别它。这种完全自我监督学习的能力可以用于改进其他视觉任务，例如分类和语义分割。作为未来的自我监督的方向，我们调查，如果多个代理任务可以结合起来，以提高泛化。这是一个具有挑战性的开放问题。我们希望我们对这一努力的贡献将为未来的努力提供基础，使自我监督与监督前训练竞争。
2017-08-19 cs.CV
ProxyTransformation: Preshaping Point Cloud Manifold With Proxy Attention For 3D Visual Grounding
Tsinghua University（清华大学）
针对自我中心三维视觉定位中点云冗余噪声干扰目标流形的问题，提出代理变换方法，利用可变形点聚类和代理注意力引导子流形变换，在简单和困难目标上分别提升7.49%和4.60%，并降低40.6%计算开销，达到新SOTA。
2025-02-27 cs.CV
Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
Tencent（腾讯）
Proxy2World提出一种从普通RGBD视频学习生成世界的可控模型，无需配对代理数据，通过跨模态流匹配联合训练深度条件RGB生成与RGBD生成，实现代理-相机混合去噪，在ProxyBench上平衡结构遵循与视觉质量。
2026-09-29 cs.CV
Faithful Grounded Visual Reasoning via Learned Proxy-Tokens
CEA-LIST（法国原子能委员会-信息与系统技术实验室）
提出Composer模型，利用基于学习代理令牌的视觉接地机制，通过离散符号指针显式索引图像潜在空间，在保持答案准确性的同时将视觉接地准确率提升9.0个百分点。
2026-06-23 cs.CV
Learning Visual Proxy for Compositional Zero-Shot Learning
Tianjin University（天津大学）；Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Hainan University（海南大学）
针对组合式零样本学习中模态差距大、文本原型缺乏细粒度视觉线索的问题，提出视觉代理学习与跨模态联合学习方法，在四个基准上取得优异性能，有效提升组合泛化能力。
2025-09-02 cs.CV
Repaint: Improving the Generalization of Down-Stream Visual Tasks by Generating Multiple Instances of Training Examples
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
用于视觉任务的卷积神经网络（CNN）被认为在整个网络深度中学习低级纹理和高级对象属性。本文进一步研究了CNN中的“纹理偏差”。为此，我们重新生成多个实例的训练样本从每个原始图像，通过一个过程，我们称之为“重绘”。重新绘制的示例保留了场景中区域和对象的形状和结构，但使其纹理和颜色多样化。我们的方法可以在不同的日光，季节或天气条件下再生相同的图像，可以具有着色或脱色效果，甚至可以从黑色区域带回一些纹理信息。就地重绘允许我们进一步使用这些重绘的示例来改进CNN的泛化。通过一组广泛的实验，我们证明了重新绘制的示例在训练中的有用性，用于图像分类（ImageNet）和目标检测（COCO）的任务，在不同容量的几种最先进的网络架构中，以及在不同的数据可用性制度中。
2021-10-20 cs.AI cs.CV cs.LG
Global Proxy-based Hard Mining for Visual Place Recognition
Université Laval（拉瓦尔大学）
学习视觉位置识别的深度表示通常使用成对或三重损失函数来执行，这些损失函数高度依赖于在每次训练迭代中采样的示例的硬度。现有技术通过使用计算和内存昂贵的离线硬挖掘来解决这个问题，该离线硬挖掘包括在每次迭代时从训练集中识别最难的样本。在本文中，我们介绍了一种新的技术，执行全球硬小批量抽样的基础上代理。为此，我们向网络添加了一个新的端到端可训练分支，它生成了有效的位置描述符（每个位置一个代理）。因此，这些代理表示用于构建一个全局索引，该索引包含数据集中所有位置之间的相似性，允许在每次训练迭代时进行高度信息化的小批量采样。我们的方法可以与所有现有的成对和三重损失函数结合使用，具有可忽略不计的额外存储器和计算成本。我们进行了广泛的消融研究，并表明我们的技术在多个大规模基准（如匹兹堡，Mapillary-SLS和SPED）上带来了新的最先进的性能。特别是，我们的方法在具有挑战性的Nordland数据集上提供了超过100%的相对改进。我们的代码可在https://github.com/amaralibey/GPM上获得
2023-02-28 cs.CV
Memory Proxy Maps for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
该研究提出一种基于封建学习的三层视觉导航架构，核心是自监督学习的记忆代理地图作为简化记忆，搭配航点网络与动作分类器，实现无强化学习、无图、无里程计、无度量地图的导航，并在图像目标导航任务上达当前最优水平。
2024-12-12 cs.CV
ProxyCLIP: Proxy Attention Improves CLIP for Open-Vocabulary Segmentation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
本文提出无需训练的 ProxyCLIP 框架，利用 VFMs 的空间特征对应形成代理注意力以增强 CLIP，并通过自适应归一化和掩码策略适配多种 VFM，在八个基准上显著提升开放词汇分割 mIoU。
2024-08-09 cs.CV
Multi-Modal Proxy Learning Towards Personalized Visual Multiple Clustering
School of Engineering and Technology, University of Washington（华盛顿大学工程与技术学院）；Alibaba Group（阿里巴巴集团）
提出Multi-MaP多模态代理学习方法，利用CLIP和GPT-4将用户兴趣关键词转化为文本代理，实现个性化视觉多重聚类，在基准任务上优于现有方法。
2024-04-24 cs.CV
Vectorized Video Representation with Easy Editing via Hierarchical Spatio-Temporally Consistent Proxy Embedding
Shanghai Jiao Tong University（上海交通大学）；USC-SJTU Institute of Cultural and Creative Industry（USC-SJTU文化创意产业研究院）
本文提出一种基于层次化时空一致代理嵌入的向量化视频表示方法，以克服像素级跟踪的脆弱性，实现高精度重建与可控编辑。
2025-10-14 cs.CV
Intra-Modal Proxy Learning for Zero-Shot Visual Categorization with CLIP
Alibaba Group（阿里巴巴集团）；University of Washington（华盛顿大学）
本文提出模态内代理学习InMaP，利用文本代理在未标注视觉数据上直接学习视觉代理以缩小CLIP模态差距，并在ImageNet上将零样本准确率从77.02%提升至80.21%。
2023-10-30 cs.CV cs.LG
Formal Analysis of Art: Proxy Learning of Visual Concepts from Style Through Language Models
Rutgers University（罗格斯大学）；College of Charleston（查尔斯顿学院）
我们提出了一个机器学习系统，可以量化美术绘画与一组视觉元素和艺术的原则。这种形式化的分析是理解艺术的基础，但开发这样一个系统是具有挑战性的。绘画具有很高的视觉复杂度，但也很难用直接标签收集足够的训练数据。为了解决这些实际限制，我们引入了一种新的机制，称为代理学习，它学习绘画中的视觉概念，尽管它们与风格的一般关系。这个框架不需要任何视觉注释，而只使用样式标签以及视觉概念和样式之间的一般关系。在本文中，我们提出了一种新的代理模型，并重新制定了四个预先存在的方法在代理学习的背景下。通过定量和定性的比较，我们评估这些方法，并比较它们在量化艺术视觉概念的有效性，其中的一般关系是由语言模型估计; GloVe或BERT。语言建模是一种不需要标签的实用且可扩展的解决方案，但它不可避免地是不完美的。我们证明了新的代理模型是如何强大的缺陷，而其他模型是敏感的影响。
2022-01-05 cs.CL cs.CV cs.LG
Qihoo-T2X: An Efficient Proxy-Tokenized Diffusion Transformer for Text-to-Any-Task
Sun Yat-sen University（中山大学）；AI Research（360人工智能研究院）
本文提出代理令牌化扩散Transformer（PT-DiT），通过稀疏代表性令牌注意力结合窗口与移位窗口注意力，在保持图像和视频生成性能的同时显著降低计算复杂度，并基于此构建了Qihoo-T2X系列模型。
2024-10-04 cs.CV
Seeing to Ground: Visual Attention for Hallucination-Resilient MDLLMs
Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所）
本文提出VISAGE框架，通过校准解码器目标来减少多模态幻觉，通过空间熵分析提升视觉基础性。
2026-03-26 cs.CV
Novel Class Discovery for Ultra-Fine-Grained Visual Categorization
International School of Information Science and Engineering, Dalian University of Technology（大连理工大学信息与工程国际学院）；Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）
本文提出超细粒度新类发现任务UFG-NCD，并设计RAPL框架，通过CRA区域对齐与SemiPL代理学习迁移判别知识，在多数据集上显著优于基线。
2024-05-10 cs.CV
Fair Visual Recognition via Intervention with Proxy Features
Beijing Jiaotong University（北京交通大学）
深度学习模型经常学习做出依赖于性别和种族等敏感社会属性的预测，这会带来显著的公平风险，特别是在社会应用中，例如，招聘银行业和刑事司法现有的工作解决这个问题，最大限度地减少社会属性的信息模型去偏置。然而，目标任务和社会属性之间的高度相关性使得偏见缓解与目标任务准确性不相容。回顾模型偏差的产生是因为关于偏差属性的特征的学习（即，偏误特征）有助于目标任务的优化，我们探讨了以下研究问题：\emph{Can we leverage proxy features to replace the role of bias feature in target task optimization for debiasing?}为此，我们提出了\emph{Proxy Debiasing}，首先将目标任务对偏误信息的学习从偏误特征转移到人工代理特征，然后在推理中采用因果干预消除代理特征。\emph{Proxy Debiasing}的核心思想是设计可控制的代理特征，一方面在训练阶段替代偏差特征对目标任务的贡献，另一方面在推理阶段易于通过干预去除。这保证了在不影响目标信息的情况下消除偏差特征，从而解决了先前去偏差解决方案中的公平性-准确性悖论。我们将\emph{Proxy Debiasing}应用于几个基准数据集，并在准确性和公平性方面取得了显着的改进。
2022-11-02 cs.CV cs.CY cs.LG
ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs
University of Maryland College Park（马里兰大学学院市分校）；Microsoft（微软）；University of Michigan（密歇根大学）；Cardiff University（卡迪夫大学）
针对视觉语言模型视觉感知强化学习缺乏兼具挑战性与可验证性任务的问题，提出ViCrit代理任务与ViCrit-Bench基准，通过定位字幕细微幻觉训练模型，有效提升多场景视觉感知能力与泛化性。
2025-06-11 cs.CV cs.LG
CIViC: Evidence Gates for Audio-Conditioned Visual Prediction on Proxy Tasks
National Research Council Canada（加拿大国家研究委员会）；The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）
该研究提出CIViC四协议门，在三类代理任务上验证其可通过输出激活、保留误差等控制，为音频条件视觉预测提供不同解释。
2026-10-16 cs.CV cs.LG cs.SD
Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models
本文提出CoEvo框架，通过双向样本条件适应文本和视觉代理，动态挖掘上下文文本负样本并迭代优化视觉代理，提升跨模态对齐和领域外检测鲁棒性。
2026-04-01 cs.CV cs.MM
Learning to Compose: Revisiting Proxy Task Design for Zero-Shot Composed Image Retrieval
University of Science and Technology of China（中国科学技术大学）
提出FoCo模型，通过文本锚定的视觉聚合和上下文条件语义补全两个代理任务联合学习组合函数，在零样本组合图像检索中取得最优性能。
2026-07-02 cs.AI cs.CL cs.CV
VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
Shanghai Jiao Tong University（上海交通大学）；Xiaohongshu Inc.（小红书公司）；The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Southeast University（东南大学）
该研究提出视觉归因蒸馏（VAD）算法，通过反事实目标重建分离教师校正中的视觉证据分量，在6个4B/9B规模的细粒度视觉基准上，性能优于现有蒸馏方法。
2026-07-31 cs.CL cs.CV
Abstraction in Style: Beyond Texture and Color
Shenzhen University（深圳大学）；Visual Computing Research Center (VCC), College of Computer Science and Software Engineering (CSSE)（视觉计算研究中心（VCC），计算机科学与软件工程学院）；Peking University（北京大学）
提出Abstraction in Style (AiS)框架，将结构抽象与视觉风格分离，通过中间抽象代理实现几何保真度放松，从而支持更广泛的非真实感风格迁移。
2026-10-28 cs.CV
Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Sichuan University（四川大学）；Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）
提出Proxy-GS，利用快速代理系统生成精确遮挡深度图，在训练中引导表面致密化、在推理中剔除冗余高斯体，实现2.5倍以上加速并提升渲染质量。
2026-07-01 cs.CV
Unsupervised Visual Representation Learning by Tracking Patches in Video
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
受人类眼睛在儿童早期和中期继续发展跟踪能力这一事实的启发，我们建议使用跟踪作为计算机视觉系统学习视觉表示的代理任务。以孩子们玩的Catch游戏为模型，我们为3D-CNN模型设计了一个Catch-the-Patch（CtP）游戏，以学习有助于视频相关任务的视觉表示。在所提出的预训练框架中，我们从给定的视频中剪切一个图像块，并让它根据预设的轨迹进行缩放和移动。代理任务是在第一帧中仅给定目标限界框的情况下，估计图像块在视频帧序列中的位置和大小。我们发现，同时使用多个图像补丁带来了明显的好处。我们通过随机使补丁不可见来进一步增加游戏的难度。在主流基准测试上的大量实验证明了CtP相对于其他视频预训练方法的优越性能。此外，CTP预训练的特征对域间隙的敏感性低于由监督动作识别任务训练的特征。当两者都在Kinetics-400上训练时，我们惊喜地发现，Ctp预训练的表示比Something-Something数据集上完全监督的表示实现了更高的动作分类准确率。代码可在线获取：www.example.com。
2021-05-06 cs.CV
Zero-Shot Satellite Image Retrieval through Joint Embeddings: Application to Crisis Response
Trillium Technologies；University of Cambridge（剑桥大学）；Universidad de Antioquia（Antioquia大学）
本文提出GeoQuery系统，通过两阶段语义和视觉搜索，在无需配对数据和计算资源的情况下实现全球范围内的自然语言查询，利用部分全球数据的自然语言嵌入，优化描述生成提示以使文本嵌入空间与冻结CLAY视觉嵌入空间的距离相关联，从而在灾难地点查询中实现高精度检索。
2026-05-20 cs.CV
Global-Local Self-Distillation for Visual Representation Learning
KU Leuven（鲁汶大学）
自监督方法的下游准确性与训练过程中解决的代理任务以及从中提取的梯度的质量密切相关。更丰富和更有意义的梯度更新是允许自监督方法以更有效的方式更好地学习的关键。在一个典型的自升华框架中，两个增强图像的表示在全局水平上是一致的。尽管如此，在代理任务中结合本地线索可能是有益的，并提高了下游任务的模型准确性。这导致了一个双重目标，其中，一方面，全球表示之间的一致性被强制执行，另一方面，本地表示之间的一致性被强制执行。不幸的是，不存在两组局部表示之间的精确对应映射，使得将局部表示从一个增强匹配到另一个增强的任务变得不平凡。我们建议利用输入图像中的空间信息来获得几何匹配，并将这种几何方法与以前的基于相似性匹配的方法进行比较。我们的研究表明，不仅1）几何匹配在低数据区域中比基于相似性的匹配表现得更好，而且2）与没有局部自蒸馏的香草基线相比，基于相似性的匹配在低数据区域中非常有害。该代码可在https://github.com/tileb1/global-local-self-distillation上获得。
2022-10-12 cs.CV
Self-Intersection-Aware 3D Human Motion Generation Using an Efficient Human Sphere Proxy
Bosch Research（博世研究院）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
提出一种基于人体球代理的自交损失函数，用于训练人体运动生成模型，可减少高达49%的自交现象并改善评估指标。
2026-05-26 cs.CV
Code World Model: Coding Agent as World Brain
Westlake AGI Lab（西湖AGI实验室）
本文提出Code World Model框架，以编码智能体为世界大脑生成可执行代码维持世界状态，结合视频模型实现视觉渲染，在游戏数据微调后取得良好效果，为开放式世界模型提供新路径。
2026-08-27 cs.AI cs.CL cs.CV
Self-Supervised Video Representation Learning with Space-Time Cubic Puzzles
KAIST（韩国科学技术院）
当标记图像的数量有限或根本不存在时，自监督任务（例如着色、修补和锯齿拼图）已用于静态图像的视觉表示学习。最近，这一有价值的研究流延伸到视频领域，其中人工标记的成本甚至更昂贵。然而，现有的方法大多数仍然是基于二维CNN架构，不能直接捕获时空信息的视频应用。在本文中，我们引入了一个新的自监督任务称为\textit{Space-Time Cubic Puzzles}使用大规模视频数据集训练3D CNN。这项任务需要一个网络来排列排列的3D时空作物。通过完成\textit{Space-Time Cubic Puzzles}，网络学习视频帧的空间外观和时间关系，这是我们的最终目标。在实验中，我们证明了我们学习的3D表示可以很好地转移到动作识别任务中，并且在UCF101和HMDB51数据集上优于最先进的基于2D CNN的竞争对手。
2018-11-24 cs.CV
Distilling Visual Priors from Self-Supervised Learning
Megvii Research Nanjing（旷视科技南京研究院）；Tongji University（同济大学）
卷积神经网络（CNN）容易过拟合小的训练数据集。我们提出了一种新的两阶段管道，利用自监督学习和知识蒸馏，以提高CNN模型的泛化能力，在数据不足的情况下，图像分类。第一阶段是通过自监督学习来学习具有丰富且可推广的视觉表示的教师模型，第二阶段是以自蒸馏的方式将表示提取为学生模型，同时微调学生模型以用于图像分类任务。我们还提出了一种新的边缘损失的自监督对比学习代理任务，以更好地学习数据不足的情况下的表示。与其他技巧一起，我们在VIPriors图像分类挑战中实现了有竞争力的性能。
2020-08-01 cs.CV
Learning Unsupervised Visual Grounding Through Semantic Self-Supervision
The Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；Kohli Center of Intelligent Systems (KCIS)（科利智能系统中心（KCIS））；IIIT-Hyderabad（海得拉巴国际信息技术学院）
在图像中定位自然语言短语是一个具有挑战性的问题，需要对文本和视觉模态的联合理解。在无监督环境中，缺乏监督信号加剧了这一困难。在本文中，我们提出了一个新的框架，无监督的视觉接地使用概念学习作为代理任务，以获得自我监督。这个想法背后的简单直觉是鼓励模型本地化到可以解释数据中某些语义属性的区域，在我们的例子中，属性是一组图像中存在的概念。我们提出了全面的定量和定性实验来证明我们的方法的有效性，并显示出比Visual Genome数据集的当前最先进水平提高了5.6%，比ReferItGame数据集提高了5.8%，与Flickr30k数据集的最先进性能相当。
2018-11-16 cs.CV
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago（芝加哥大学）；Adobe Research（Adobe研究院）
我们开发了一种方法来学习视觉表示，包括多模态数据，由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同，这些方法在单个域中解决代理预测任务，我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息，从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练，我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型，并在各种下游任务上评估学习到的视觉表示，包括图像分类、目标检测和实例分割。例如，通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集，并显示其有效性的多标签图像标记，和跨模态检索任务。
2021-04-26 cs.CV
Learning Visual Representations with Caption Annotations
NAVER LABS Europe（NAVER LABS 欧洲研究院）
预训练通用视觉特征已经成为解决许多计算机视觉任务的关键部分。虽然人们可以在大量注释的ImageNet数据集上学习这些特征，但最近的方法已经研究了允许噪声、更少甚至没有注释来执行这种预训练的方法。从观察到的标题图像很容易抓取，我们认为，这个被忽视的信息源可以被利用来监督视觉表示的训练。为了做到这一点，在语言模型的最新进展的动机下，我们引入{ \em图像条件掩蔽语言建模}（ICMLM）-一个代理任务来学习图像字幕对的视觉表示。ICMLM是依靠视觉线索来预测字幕中的隐藏词。为了解决这个任务，我们提出了混合模型，专用的视觉和文本编码器，我们表明，视觉表示学习作为解决这个任务的副产品转移到各种目标任务。我们的实验证实，图像字幕可以利用注入全球和本地化的语义信息到视觉表示。项目网址：https://europe.naverlabs.com/icmlm。
2020-08-04 cs.CV
LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出LOCUS训练框架，通过可验证的局部线索搜索代理任务，使MLLM内化细粒度证据选择，提升定位敏感视觉理解而不改变推理接口。
2026-07-30 cs.CV
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系）
用于语义图像分割的深度卷积网络通常需要大规模的标记数据，例如ImageNet和MS COCO，用于网络预训练。为了减少标注工作，最近提出了自监督语义分割来预训练没有任何人类提供的标签的网络。这种新形式的学习的关键是设计一个代理任务（例如图像着色），从中可以在未标记的数据上制定区分损失。然而，许多代理任务，缺乏关键的监督信号，可以诱导目标图像分割任务的歧视性表示。因此，自我监督的性能仍然远远低于监督的预训练。在这项研究中，我们克服了这个限制，将“混合和匹配”（M&M）调整阶段的自我监督管道。所提出的方法很容易插入许多自我监督的方法，并不使用更多的注释样本比原来的过程。然而，它能够提高目标图像分割任务的性能，以超过完全监督的预训练对应对象。通过更好地利用目标数据集中有限的逐像素注释，可以实现这种改进。具体来说，我们首先介绍了“混合”阶段，稀疏采样和混合补丁从目标集，以反映丰富和多样的目标图像的局部补丁统计。然后，“匹配”阶段形成类连接图，其可用于导出用于微调网络的强的基于三元组的鉴别损失。我们的范式遵循现有自我监督研究的标准实践，不需要额外的数据或标签。通过提出的M&M方法，与PASCAL VOC 2012数据集和CityScapes数据集上的ImageNet预训练对应物相比，自我监督方法首次可以实现相当甚至更好的性能。
2018-01-30 cs.CV cs.LG
VET: Visual Error Tomography for Point Cloud Completion and High-Quality Neural Rendering
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Voxray GmbH（Voxray 公司）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；NavVis GmbH（NavVis 公司）
针对新视角合成中运动恢复结构点云的大孔洞等缺陷导致的伪影问题，提出基于VET的可微点渲染方法，可补全点云、提升渲染质量与时间稳定性，支持实时渲染。
2023-11-08 cs.CV cs.GR
VTQA: Visual Text Question Answering via Entity Alignment and Cross-Media Reasoning
Harbin Institute of Technology（哈尔滨工业大学）
视觉问答的理想形式要求在视觉和语言的联合空间中进行理解、扎根和推理，并作为场景理解的人工智能任务的代理。然而，大多数现有的VQA基准测试仅限于从预定义的选项集合中选择答案，并且缺乏对文本的关注。我们提出了一个新的挑战，数据集包含23,781个问题，基于10124个图像-文本对。具体而言，该任务要求模型对齐同一实体的多媒体表示，以实现图像和文本之间的多跳推理，并最终使用自然语言来回答问题。这项挑战的目的是开发和基准模型，能够多媒体实体对齐，多步推理和开放式答案生成。
2023-03-05 cs.CV cs.MM
Self-Supervised Learning Disentangled Group Representation as Feature
Nanyang Technological University（南洋理工大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Singapore Management University（新加坡管理大学）
一个好的视觉表示是一个从观察（图像）到特征（向量）的推理映射，它忠实地反映了隐藏的模块化生成因子（语义）。在本文中，我们制定了“好”表示的概念，从群论的角度使用希金斯的定义，并表明，现有的自监督学习（SSL）只解开简单的增强功能，如旋转和着色，从而无法模块化其余的语义。为了打破这一限制，我们提出了一种迭代SSL算法：基于迭代划分的不变风险最小化（IP-SSL），它成功地将抽象的语义和作用于它们的组接地到具体的对比学习。在每次迭代中，IP-SVM首先将训练样本划分为对应于纠缠群元素的两个子集。然后，它最小化一个子集不变的对比损失，其中的不变性保证解开组元素。我们证明了IP-ESTA收敛到一个完全解开表示，并显示其有效性在各种基准。代码可在https://github.com/Wangt-CN/IP-IRM上获得。
2021-10-29 cs.CV cs.LG
How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits
University College London（伦敦大学学院）
本文提出基于杠杆的干预性反事实框架，通过结构化反事实编辑探索场景可解释性，通过局部编辑生成候选编辑并验证其有效性，揭示了城市安全的辅助变化模式。
2026-04-23 cs.CV cs.CY
Understanding Data Augmentation from a Robustness Perspective
Collaborative Innovation Center of Novel Software Technology and Industrialization at Nanjing University（南京大学新型软件技术与产业化协同创新中心）
本文从理论与实证角度揭示数据增强主要通过激发中高阶博弈交互提升模型鲁棒性，并提出简化鲁棒性评估的代理指标，为视觉识别模型安全提供新视角。
2023-09-07 cs.AI cs.CV
