What Makes a Good Dataset for Knowledge Distillation?
Ohio State University（俄亥俄州立大学）
本研究针对知识蒸馏中常无法获取原始训练数据的问题，探索了多种替代蒸馏数据集，证实合成图像等也可作为合适替代，并提出了优质蒸馏数据集的判定标准。
2025-10-02 cs.CV
What's in a Question: Using Visual Questions as a Form of Supervision
Carnegie Mellon University（卡内基梅隆大学）
收集完全注释的图像数据集具有挑战性且昂贵。已经探索了许多类型的弱监督：弱手动注释，Web搜索结果，时间连续性，环境声音等。我们专注于一个特殊的未探索的模式：关于图像的视觉问题。启发我们工作的关键观察是，问题本身提供了关于图像的有用信息（即使没有答案）。例如，“狗的品种是什么？“通知AI场景中的动物是狗，并且只有一只狗存在。我们做出三个贡献：（1）对人类视觉问题中包含的信息进行广泛的定性和定量分析，（2）对标准视觉问答模型提出两个简单但令人惊讶的有效修改，允许它们以与图像相关的未回答问题的形式利用弱监督，以及（3）证明了受我们的见解启发的简单数据增强策略可以在标准VQA基准上提高7.1%。
2017-04-12 cs.CV
What Can You Learn from Your Muscles? Learning Visual Representation from Human Interactions
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
学习视觉数据的有效表示，推广到各种下游任务一直是计算机视觉的长期追求。大多数表示学习方法仅依赖于图像或视频等视觉数据。在本文中，我们探索了一种新的方法，在那里我们使用人类的互动和注意力线索，以调查我们是否可以学习更好的表示相比，只有视觉表示。在这项研究中，我们收集了一个人类互动的数据集，捕捉他们日常生活中的身体部位运动和凝视。我们的实验表明，我们编码交互和注意线索的“肌肉监督”表示优于仅视觉的最先进方法MoCo（He等人，2020），用于各种目标任务：场景分类（语义）、动作识别（时间）、深度估计（几何）、动态预测（物理）和可行走表面估计（启示）。我们的代码和数据集可以在https://github.com/ehsanik/muscleTorch上找到。
2021-03-06 cs.CV
Visually Dehallucinative Instruction Generation: Know What You Don't Know
NCSOFT Corporation（NCSoft公司）；NC Research（NC研究部）
本文提出视觉IK幻觉概念，构建VQAv2-IDK基准和IDK-Instructions数据库，并设计视觉去幻觉指令生成方法，有效减少多框架与数据集中的幻觉问题。
2024-02-15 cs.CV
What Is Considered Complete for Visual Recognition?
Huawei Inc.（华为技术有限公司）
这是一份意见书。我们希望传递一个关键信息，即当前的视觉识别系统还远未完成，即，虽然人类能够识别的所有内容都能识别，但通过不断增加人类注释来弥补这一差距是非常不可能的。基于观察，我们提倡一种新型的预训练任务，称为压缩学习。计算模型（例如，深度网络）被优化以使用紧凑特征来表示可视数据，并且这些特征保留了恢复原始数据的能力。语义注释在可用时，起着弱监督的作用。一个重要而具有挑战性的问题是图像恢复的评估，在那里我们提出了一些设计原则和未来的研究方向。我们希望我们的建议可以激励社区追求压缩-恢复权衡，而不是准确性-复杂性权衡。
2021-05-28 cs.CV
Visual Attention on the Sun: What Do Existing Models Actually Predict?
Beihang University（北京航空航天大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）
视觉注意力预测是一个经典问题，在深度学习时代似乎得到了很好的解决。然而，随着现有视觉注意力数据集上性能分数的快速增长，一个令人信服的问题逐渐出现：现有的深度模型是否真的捕捉到了人类视觉注意力的内在机制？为了解决这个问题，本文提出了一个新的数据集，名为VASUN，记录了自由观看的人类对太阳图像的注意力。与以前的数据集不同，VASUN中的图像包含许多现有深度模型从未见过的不规则视觉模式。通过在VASUN上对现有模型进行基准测试，我们发现许多最先进的深度模型的性能显着下降，而许多经典的浅层模型表现令人印象深刻。从这些结果中，我们发现，现有的深度注意模型的显着性能的进步可能来自于他们的记忆和预测一些特定的视觉模式的发生的能力，而不是学习人类视觉注意的内在机制。此外，我们也在VASUN上训练了几个基线模型，以证明预测对太阳的视觉注意力的可行性和关键问题。这些基线模型，连同建议的数据集，可以用来重新审视视觉注意力预测的问题，从一个新的角度，是现有的补充。
2018-11-25 cs.CV
What do Vision Transformers Learn? A Visual Exploration
University of Maryland - College Park（马里兰大学帕克分校）；New York University（纽约大学）
视觉Transformer（ViTs）正在迅速成为计算机视觉的事实上的架构，但我们对它们为什么工作以及它们学到了什么知之甚少。虽然现有的研究直观地分析了卷积神经网络的机制，但对ViTs的类似探索仍然具有挑战性。在本文中，我们首先解决在ViTs上执行可视化的障碍。在这些解决方案的帮助下，我们观察到用语言模型监督训练的ViT中的神经元（例如，CLIP）是由语义概念而不是视觉特征激活的。我们还探索了ViTs和CNN之间的潜在差异，我们发现Transformers检测图像背景特征，就像它们的卷积对应物一样，但它们的预测对高频信息的依赖要小得多。另一方面，这两种架构类型在特性从早期层中的抽象模式发展到后期层中的具体对象的方式上表现相似。此外，我们表明，ViTs保持空间信息在所有层，除了最后一层。与以前的作品相比，我们表明，最后一层最有可能放弃的空间信息，并表现为一个学习的全局池操作。最后，我们对各种ViT变体（包括DeiT、CoaT、ConViT、PiT、Swin和Twin）进行大规模可视化，以验证我们方法的有效性。
2022-12-13 cs.CV
LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models
ShanghaiTech University（上海科技大学）
本文提出LoGoPrompt，将合成文本图像用作视觉语言模型的视觉提示，通过把分类目标重构为视觉提示选择来解决类别预测与提示生成的先后难题，在少样本学习、基类到新类泛化和领域泛化上一致超越现有方法。
2023-09-22 cs.CV
What Makes for Good Visual Tokenizers for Large Language Models?
National University of Singapore（新加坡国立大学）；Tencent PCG（腾讯平台与内容事业群）；Tencent AI Lab（腾讯人工智能实验室）
本文实证研究了视觉分词器的预训练方法，发现掩码策略不适用，并提出配备定制优秀视觉分词器（GVT）的MLLM，在无需额外参数和微调下实现多尺度视觉理解及多项任务卓越性能。
2023-05-23 cs.CV
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
Southeast University（东南大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；University of Science and Technology of China（中国科学技术大学）
本文提出ViPO，一种改进的GRPO方法，通过结构化像素级优势图提升视觉生成的对齐和泛化能力，优于传统GRPO。
2026-05-15 cs.CV
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Microsoft Research（微软研究院）
当人类注释者可以选择在图像中标记什么时，他们会对忽略什么和提及什么做出自己的主观判断。我们将这些嘈杂的“以人为中心”的注释称为表现出人类报告偏见。这种注释的示例包括在照片共享网站上或在包含图像标题的数据集中找到的图像标签和关键字。在本文中，我们使用这些嘈杂的注释学习视觉上正确的图像分类器。这样的注释不使用一致的词汇，并错过了大量的信息存在于图像中，但是，我们证明了这些注释中的噪声表现出结构，可以建模。我们提出了一种算法，以解耦人类的报告偏见从正确的视觉接地标签。我们的结果对于报告“图像中的内容”与“值得说的内容”具有高度的可解释性。“我们通过各种指标和数据集证明了该算法的有效性，包括MS COCO和Yahoo Flickr 100M。我们表现出显着的改进，传统算法的图像分类和图像描述，在某些情况下，现有的方法的性能增加一倍。
2016-04-12 cs.CV
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种方法，学习回答视觉问题，通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进，在回答问题，如“什么颜色”，它是必要的，以评估一个特定的位置，和“什么房间”，它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试，VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
This is not what I imagined: Error Detection for Semantic Segmentation through Visual Dissimilarity
ETH Zurich（苏黎世联邦理工学院）
由于深度学习的能力，语义分割的准确性已经有了显著的进步。不幸的是，这些方法不能推广到比它们的训练数据的分布更远的地方，并且不能适当地处理分布外的类。这限制了对自主或安全关键系统的适用性。我们提出了一种新的方法，利用生成模型来检测错误分割或分布外的实例。以预测的语义分割为条件，生成RGB图像。然后，我们学习相异性度量，将生成的图像与原始输入进行比较，并检测由语义分割引入的不一致性。我们提出了测试用例离群值和误分类检测和评估我们的方法定性和定量多个数据集。
2019-09-02 cs.CV
Redefining Binarization and the Visual Archetype
University of Fribourg（弗里堡大学）
虽然二值化被认为是过时的，但它仍然是一个非常流行的研究课题。在本文中，我们提出了重新思考什么是二值化。我们介绍的概念，视觉原型的理想形式的任何一个文件。二值化可以定义为一类图像的视觉原型的恢复。这个定义扩大了二值化的范围，但也表明地面实况应该关注前景。
2016-09-29 cs.CV
What Makes for Good Tokenizers in Vision Transformer?
The Chinese University of Hong Kong（香港中文大学）；Amazon AI（亚马逊人工智能部门）
最近在视觉任务中蓬勃发展的Transformers架构已经转向了广泛的卷积范式。依赖于将输入分成多个令牌的令牌化过程，Transformers能够使用自我注意力提取它们的成对关系。虽然是Transformers的主干构建块，但在计算机视觉中，什么是好的标记器还没有得到很好的理解。在这项工作中，我们调查这个未知的问题，从信息权衡的角度。除了统一和理解现有的结构修改，我们的推导导致更好的视觉标记器的设计策略。所提出的跨令牌调制（MoTo）通过归一化结合了令牌间建模能力。此外，标准训练机制中包含正则化目标TokenProp。通过对各种Transformer架构进行广泛的实验，我们观察到这两种即插即用设计的性能提高和有趣的特性，计算开销可以忽略不计。这些观察结果进一步表明了在视觉Transformer中经常被忽略的标记器设计的重要性。
2022-12-21 cs.CV
What Makes for Good Image Captions?
HKUST（香港科技大学）；Meta FAIR Paris（Meta FAIR 巴黎）
本文建立信息论框架定义优质图像描述的三大关键特性（信息充分、冗余最小、易理解），并提出PoCa方法整合局部与全局视觉信息生成丰富描述，通过理论证明与实证验证提升描述质量。
2025-08-20 cs.CV
Can Current AI Models Count What We Mean, Not What They See? A Benchmark and Systematic Evaluation
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Stony Brook University（石溪大学）
本文提出PairTally基准数据集，用于评估细粒度意图驱动的视觉计数能力，发现当前最先进模型在视觉模糊场景下仍难以可靠计数用户意图所指的物体。
2025-09-17 cs.CV
What Makes Good Synthetic Training Data for Zero-Shot Stereo Matching?
Princeton University（普林斯顿大学）
本文研究了合成数据集对零样本立体匹配性能的影响，通过参数调整和大规模数据集验证，发现其性能优于混合数据集并具有开源代码支持。
2026-02-27 cs.CV
GANalyze: Toward Visual Definitions of Cognitive Image Properties
MIT（麻省理工学院）；KU Leuven（鲁汶大学）
我们引入了一个框架，该框架使用生成对抗网络（GANs）来研究认知特性，如记忆力，美学和情感效价。这些属性很有趣，因为我们没有一个具体的视觉定义。一只狗看起来是什么样的，或多或少令人难忘？GANs使我们能够生成多种外观自然的图像，其视觉属性具有细粒度差异。通过在增加记忆力的方向上导航这个流形，我们可以可视化特定生成的图像变得或多或少令人难忘的样子。由此产生的"视觉定义”表面图像属性（如"对象大小”）可能是可记忆性的基础。通过行为实验，我们验证了我们的方法确实发现了因果关系影响人类记忆性能的图像操作。我们进一步证明，同样的框架可以用来分析图像美学和情感效价。访问GANalyze网站http://ganalyze.csail.mit.edu/。
2019-06-24 cs.CV
Beyond Accuracy: Metrics that Uncover What Makes a 'Good' Visual Descriptor
Cornell University（康奈尔大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出两种基于对齐的度量（全局对齐和CLIP相似度），从表示能力和与预训练数据关系两个维度系统分析视觉描述符质量，超越准确率评估。
2025-07-09 cs.CV
Processing and acquisition traces in visual encoders: What does CLIP know about your camera?
The University of Osaka（大阪大学）；VRG, FEE, Czech Technical University in Prague（捷克理工大学电气工程学院视觉识别组）
研究分析了视觉编码器对图像获取过程参数的编码能力，发现这些参数能影响语义预测，取决于其与语义标签的相关性。
2026-04-01 cs.CV
How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning
Mila - Québec AI Institute（蒙特利尔AI研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；ServiceNow AI Research（ServiceNow人工智能研究）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
提出View Dropout训练策略使模型利用中间思维图像进行跨视角空间推理，并发现全景视觉思维在信息性和可学习性上最优。
2026-09-15 cs.CV
What Makes a Good Visual Representation for Spatial Understanding in MLLMs?
The University of Hong Kong（香港大学）
该研究探究MLLMs空间理解的优质视觉表征，将迁移内容与方式分离，发现3D结构及表征形式影响效果，据此构建的单MLLM在空间推理基准上优于基础模型。
2026-10-14 cs.CV
Information Maximizing Visual Question Generation
Stanford University（斯坦福大学）
虽然图像到序列生成模型在人机通信中已经变得非常流行，但它们受到强烈支持安全通用问题的影响（“这张照片里是什么？").提出没有信息但相关的问题是不够的或有用的。我们认为，一个好的问题是一个有一个紧密集中的目的-一个旨在期待一种特定类型的反应。我们建立了一个模型，最大限度地提高图像，预期的答案和生成的问题之间的互信息。为了克服离散自然语言标记的不可微性，我们引入了一个变分的连续潜在空间上的预期答案的项目。我们用第二个潜在空间正则化这个潜在空间，以确保相似答案的聚类。即使我们不知道预期的答案，第二个潜在空间也可以生成目标驱动的问题，专门针对提取对象（“这个人扔的是什么”），属性（“这个人穿的是什么样的衬衫？“），color（“飞盘是什么颜色的？“），material（“飞盘是什么材料的？我们定量地表明，我们的模型能够保留有关预期答案类别的信息，从而产生更多样化的目标驱动问题。我们在一组真实世界的图像上启动我们的模型，并提取以前看不见的视觉概念。
2019-03-27 cs.CV
What Should I Do Now? Marrying Reinforcement Learning and Symbolic Planning
Paul G. Allen School of Computer Science, University of Washington（华盛顿大学保罗·G·艾伦计算机科学学院）；Nvidia Allen Institute for Artificial Intelligence（英伟达艾伦人工智能研究所）
长期规划对许多强化学习算法构成了主要困难。这个问题在动态视觉环境中变得更加明显。在这项工作中，我们提出了层次规划和强化学习（HIP-RL），这是一种将符号规划的优势和功能与深度强化学习的学习能力相结合的方法。我们将HIPRL应用于交互式问答和视觉语义规划的复杂视觉任务，并在三个具有挑战性的数据集上实现了最先进的结果，同时在测试时采取更少的步骤，并在更少的迭代中进行训练。示例结果可在youtu.be/0TtWJ_0mPfI上找到
2019-01-06 cs.CV
Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want
CUHK（香港中文大学）；Peking University（北京大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出“绘制并理解”框架，通过通用架构和120万三元组数据集MDVP-Instruct-Data及基准MDVP-Bench，使多模态大语言模型能理解点、框等视觉提示，增强交互和像素级理解。
2025-02-22 cs.CV
Aligning What EEG Can See: Structural Representations for Brain-Vision Matching
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出EEG-可见层选择策略和分层互补融合框架，通过将EEG信号与中间视觉层对齐，解决跨模态信息不匹配问题，提升零样本视觉解码性能。
2026-03-07 cs.CV
From Pixels to Purchase: Building and Evaluating a Taxonomy-Decoupled Visual Search Engine for Home Goods E-commerce
Wayfair
本文提出了一种去分类的视觉搜索引擎，通过无分类区域提案和统一嵌入提升搜索灵活性，并引入LLM-as-a-Judge框架实现零样本评估，从而提高家居电商的检索质量和客户参与度。
2026-01-16 cs.CV
Visual Quality Score Assessment of Large White Goods in Remanufacture with Multi-View Deformable-DETR
Fraunhofer-Institut für Produktionsanlagen und Konstruktionstechnik (IPK)（弗劳恩霍夫生产设备和结构技术研究所）
针对再制造中大型白色家电视觉质量评估依赖人工且难以处理小缺陷的问题，提出基于多视角可变形DETR的自动评分框架，通过自监督预训练和微调减少标注需求，实现精确评估与可解释性。
2026-06-15 cs.CV
What Is the Best Practice for CNNs Applied to Visual Instance Retrieval?
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
先前的工作表明，深度卷积神经网络（CNN）的特征图可以被解释为特定图像区域的特征表示。从这些特征图聚合的特征已被用于图像检索任务，并在近年来取得了最先进的性能。这种方法成功的关键是特征表示。然而，影响功能有效性的不同因素仍然没有得到彻底的探讨。关于它们的最佳组合的讨论要少得多。我们论文的主要贡献是对影响从CNN提取的特征的区分能力的各种因素进行了彻底的评估。基于评价结果，我们还确定了不同因素的最佳选择，并提出了一种新的多尺度图像特征表示方法，有效地编码图像。最后，我们表明，所提出的方法概括性好，优于国家的最先进的方法，用于视觉实例检索的四个典型的数据集。
2016-11-05 cs.CV
What Makes for Good Visual Instructions? Synthesizing Complex Visual Reasoning Instructions for Visual Instruction Tuning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Meituan Group（美团集团）
本文通过实证研究发现复杂视觉推理指令能有效提升多模态大语言模型性能，并提出“合成-复杂化-重构”方法自动构建ComVint数据集，微调后显著改善多个MLLMs的表现。
2025-02-05 cs.CL cs.CV
From "What-If" to "What-Is": Counterfactual Thinking-Inspired Semantic Alignment for Visual Brain Decoding
提出ConceptAlign框架，通过反事实语义对齐解决视觉脑解码的语义错误问题，在自然场景数据集上相比MindEye2提升了重构、语义区分等指标。
2026-08-18 cs.CV cs.HC
Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding
ETH Zurich（苏黎世联邦理工学院）；Amazon（亚马逊）；MBZUAI（穆罕默德·本·拉什德智能科学技术研究院）
本文提出了一种通过对象对齐的视觉对比解码缓解多模态大语言模型中对象幻觉的方法，具有计算开销低且兼容性强的特点。
2026-02-12 cs.CL cs.CV
What Do I Hear? Generating Sounds for Visuals with ChatGPT
Carnegie Mellon University（卡内基梅隆大学）
针对视觉媒体音景生成仅匹配可见内容的局限，提出利用ChatGPT等大语言模型推理能力的工作流，可生成含非可见但必要声音的沉浸式音景，涵盖场景构建、声音构思与生成环节。
2023-11-09 cs.CV cs.MM cs.SD
Can Visual Generation Expand What Unified Multimodal Models Know?
Tsinghua University Z.AI（清华大学Z.AI）
该研究提出知识迁移探测（KTP），发现视觉生成可扩展统一多模态模型的知识，引入两种对齐方式提升知识访问，为多模态模型训练提供新方向。
2026-10-16 cs.AI cs.CV
Visual SLAM: What are the Current Trends and What to Expect?
University of Luxembourg（卢森堡大学）
近年来，基于视觉的传感器在同时定位与地图构建（SLAM）系统中显示出显著的性能、精度和效率增益。在这方面，视觉同时定位与地图构建（VSLAM）方法是指采用相机进行姿态估计和地图生成的SLAM方法。我们可以看到许多研究工作表明，VSLAM可以优于传统方法，传统方法仅依赖于特定的传感器，例如激光雷达，即使成本较低。VSLAM方法利用不同的相机类型（例如，单眼、立体和RGB-D），已经在各种数据集上进行了测试（例如，KITTI、TUM RGB-D和EuRoC）和不同环境（例如，室内和室外），并采用多种算法和方法来更好地了解环境。所提到的变化使这个主题受到研究人员的欢迎，并导致了广泛的VSLAM方法。在这方面，本次调查的主要目的是介绍VSLAM系统的最新进展，并讨论现有的挑战和趋势。我们对VSLAM领域发表的45篇有影响力的论文进行了深入的文献调查。我们将这些手稿按不同的特征进行分类，包括新颖性领域，目标，采用的算法和语义水平。我们还讨论了当前的趋势和未来的方向，可能有助于研究人员调查他们。
2022-10-22 cs.CV cs.RO
What Matters to You? Towards Visual Representation Alignment for Robot Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出RAPL方法，通过人类反馈和最优传输对齐视觉表征与用户偏好，在X-MAGICAL和机器人操作中实现高样本效率和强零样本泛化的偏好对齐行为。
2024-01-16 cs.AI cs.CV cs.RO
Visual Persuasion: What Influences Decisions of Vision-Language Models?
Massachusetts Institute of Technology（麻省理工学院）；MIT Media Lab（MIT媒体实验室）
提出一个框架，通过控制图像选择任务并系统性地扰动输入，利用视觉提示优化方法推断视觉语言模型的潜在视觉效用，揭示影响模型决策的视觉偏好。
2026-05-31 cs.AI cs.CV
What am I Searching for: Zero-shot Target Identity Inference in Visual Search
Children’s Hospital, Harvard Medical School（哈佛医学院儿童医院）；Center for Brains, Minds and Machines（大脑、心智与机器中心）
我们能从一个人的行为中推断出他的意图吗？作为一个示例问题，这里我们考虑如何通过解码他们的眼球运动行为来破译一个人正在搜索的内容。我们进行了两个心理物理学实验，我们监测眼球运动，而受试者寻找一个目标对象。我们将落在非目标物体上的注视点定义为“错误注视点”。利用这些错误固定，我们开发了一个模型（InferNet）来推断目标是什么。InferNet使用预先训练的卷积神经网络从错误固定中提取特征，并计算错误固定与搜索图像中所有位置之间的相似性图。该模型整合了跨层的相似性图，并将这些图集成到所有错误固定中。InferNet成功地识别了受试者的目标，并优于竞争性空模型，即使在推理任务上没有任何特定于对象的训练。
2020-06-02 cs.AI cs.CV
What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis
University of Maryland（马里兰大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文通过弗兰肯斯坦式分析框架，揭示强化学习在视觉推理中通过中到晚期变压器计算的系统性细化，改进了视觉到推理的对齐和推理性能，而非单纯的视觉感知增强。
2026-02-12 cs.AI cs.CV
Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation
Hong Kong University of Science and Technology（香港科技大学）；University of Waterloo（滑铁卢大学）；Qwen Applications（通义千问应用）；Imperial College London（帝国理工学院）
针对视觉生成器的世界知识瓶颈，构建专用数据集与基准，提出教-搜协同训练框架定位动态知识边界，实现知识驱动的可迭代视觉生成性能提升。
2026-07-28 cs.AI cs.CV
What Kind of Visual Tokens Do We Need? Training-free Visual Token Pruning for Multi-modal Large Language Models from the Perspective of Graph
Xiamen University（厦门大学）
该文提出基于图的免训练视觉 token 剪枝方法 G-Prune，依据语义相似性传播并保留关键前景或背景 token，在 LLaVA-NeXT 上显著降低 FLOPs 且性能损失很小。
2025-01-04 cs.AI cs.CV
What Do Hallucinations Reveal About Multimodal Reasoning? Diagnosing Visual Grounding Failures via Contrastive Decoding Probes
Ocean University of China（中国海洋大学）
本研究提出无需训练的SAFE对比解码框架，通过对比视觉接地与消融路径诊断LVLM幻觉，发现视觉依赖衰减、幻觉成簇及早期干预有效，并在MMHalBench上显著优于基线。
2026-09-16 cs.CV cs.MM
What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad（计算机视觉与人工智能技术研究所，IIIT海得拉巴）
针对现有自动音频描述（AD）研究仅用裁剪片段和单参考评估的不足，该研究量化了AD创作的主观性，提出在数分钟连贯视频层面评估AD的ADQA问答基准，发现现有方法远逊于人工AD，并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
Who Says What: Symbolic Trimodal Binding Mechanisms in Audio-Visual LLMs
KAIST（韩国科学技术院）；VGG, University of Oxford（牛津大学视觉几何组）
针对多说话人视频中“谁在说什么”的推理难题，本文揭示AVLLMs通过符号变量实现三模态绑定，并发现失败源于音视频错位，提出基于主动说话人检测的免训练提示方法，在多个基准上取得即时效能提升。
2026-09-28 cs.CV cs.SD eess.AS
Style Transfer Dataset: What Makes A Good Stylization?
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；Plekhanov Russian University of Economics（普列汉诺夫俄罗斯经济大学）
本文提出一个包含10000张人工评分的风格迁移数据集，通过分析评分揭示了影响用户评价的关键因素与定量指标，并探讨了数据集构建方法，以推进风格迁移配置与评估的自动化。
2024-12-22 cs.CV eess.IV
Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?
Monash University（莫纳什大学）；OrientSoftware（东方软件公司）；Adobe Research（奥多比研究院）
近年来，视觉Transformer（ViT）已成功地应用于计算机视觉的各种任务。然而，重要的问题，如它们为什么工作或它们如何行为仍然在很大程度上是未知的。在本文中，我们提出了一种有效的可视化技术，以帮助我们揭示神经元中携带的信息以及ViT层中的特征嵌入。我们的方法从ViTs的计算过程出发，专注于可视化输入图像中的局部和全局信息以及多层次的潜在特征嵌入。0级输入和嵌入的可视化揭示了有趣的发现，例如为为什么ViT通常对图像遮挡和补丁重排具有相当鲁棒性提供支持;或者与CNN不同，0级嵌入已经携带丰富的语义细节。接下来，我们开发了一个严格的框架来跨层执行有效的可视化，将ViTs过滤器和分组/聚类行为的效果暴露给对象补丁。最后，我们在真实数据集上提供了全面的实验，定性和定量地证明了我们提出的方法以及我们的研究结果的优点。https://github.com/byM1902/ViT_visualization
2022-10-18 cs.CV cs.LG
What comprises a good talking-head video generation?: A Survey and Benchmark
多年来，性能评估已成为计算机视觉中必不可少的一部分，使许多子领域取得了切实的进展。虽然说话头视频生成已经成为一个新兴的研究课题，现有的评价在这个问题上提出了许多限制。例如，大多数方法使用人类受试者（例如，通过Amazon MTurk）直接评估他们的研究声明。这种主观评价是繁琐的，不可复制的，并可能会阻碍新研究的发展。在这项工作中，我们提出了一个精心设计的基准，用于评估标准化数据集预处理策略的讲话头视频生成。至于评估，我们要么提出新的指标，或选择最合适的，我们认为是一个良好的说话的头部视频，即，身份保持，嘴唇同步，高视频质量，和自然自发运动所需的属性来评估结果。通过对几种最先进的说话人生成方法进行深入分析，我们的目标是揭示当前方法的优点和缺点，并为未来的工作指出有前途的方向。所有评估代码可在：www.example.com.
2020-05-07 cs.CV eess.IV
What's Different between Visual Question Answering for Machine "Understanding" Versus for Accessibility?
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
在视觉问答（VQA）中，机器必须回答给定的相关图像的问题。最近，可访问性研究人员探索了VQA是否可以部署在现实世界中，视觉障碍用户通过捕捉他们的视觉环境并提出问题来了解他们的环境。然而，大多数现有的VQA基准测试数据集都集中在机器“理解”上，目前还不清楚这些数据集的进展如何对应于这个真实用例的改进。我们的目标是通过评估各种VQA模型来评估机器“理解”数据集（VQA-v2）和可访问性数据集（VizWiz）之间的差异来回答这个问题。根据我们的研究结果，我们讨论了VQA的可访问性的机遇和挑战，并为未来的工作提出了建议。
2022-10-26 cs.AI cs.CL cs.CV
Seeing What Is Actually There: PriVE-Bench and PriVE-Tools for Counterfactual Evaluation of Agentic Visual Evidence in VLMs
The University of Manchester（曼彻斯特大学）；The University of Melbourne（墨尔本大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Edinburgh（爱丁堡大学）；University of Southern California（南加州大学）；Fudan University（复旦大学）；University of Newcastle（纽卡斯尔大学）
本文针对视觉语言模型常依先验而非图像回答问题的现象，引入PriVE-Bench和PriVE-Tools。通过配对图像及工具衍生证据评估模型，对比不同输入，发现视觉证据工具在特定情况有帮助，但不能解决所有模型依先验回答的问题。
2026-07-21 cs.AI cs.CV
Point What You Mean: Visually Grounded Instruction Policy
Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；Spirit AI；Tsinghua University（清华大学）
本文提出Point-VLA，通过结合视觉提示提升物体指称能力，在复杂场景中实现更精准的视觉 grounding。
2026-03-24 cs.CV cs.RO
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning
CLIPGlasses通过双阶段设计提升CLIP对否定性视觉描述的理解能力，无需微调，增强跨领域泛化性能。
2026-02-24 cs.CV cs.MM
Using brain inspired principles to unsupervisedly learn good representations for visual pattern recognition
University of Lisbon（里斯本大学）
虽然深度学习解决了视觉模式识别中的难题，但它在有大量标记训练数据的任务中大多是成功的。此外，基于全局反向传播的训练规则和所采用的层的数量表示偏离生物灵感。大脑能够以非常一般的方式执行大多数这些任务，从有限到没有标记的数据。出于这些原因，研究大脑中的计算原理仍然是一个关键的研究问题，这些原理可以帮助指导模型在无监督的情况下学习良好的表示，然后可以用于执行分类等任务。在这项工作中，我们探索这些原则中的一些产生这样的表示MNIST数据集。我们比较所获得的结果与最近的类似作品，并验证极具竞争力的结果。
2021-04-30 cs.CV cs.NE
