NinjaDesc: Content-Concealing Visual Descriptors via Adversarial Learning
Reality Labs, Meta（Meta现实实验室）；Imperial College London（帝国理工学院）
根据最近的分析隐私有关的场景启示视觉描述符，我们开发的描述符，隐藏输入图像内容。特别是，我们提出了一个对抗性学习框架，用于训练防止图像重建的视觉描述符，同时保持匹配精度。我们让特征编码网络和图像重建网络相互竞争，使得特征编码器试图用其生成的描述符来阻止图像重建，而重建器试图从描述符中恢复输入图像。实验结果表明，与我们的方法获得的视觉描述符显着恶化的图像重建质量与对应匹配和摄像机定位性能的影响最小。
2022-03-29 cs.CV
HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models
College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）
针对高分辨率大型视觉-语言模型视觉 token 过多的问题，提出无需训练的 HERO 早期丢弃框架，结合自适应预算分配与功能感知选择以提升效率并保持精度。
2025-09-29 cs.CV
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
Microsoft Research Asia（微软亚洲研究院）
ChatGPT吸引了跨领域的兴趣，因为它提供了一个语言界面，在许多领域都具有出色的会话能力和推理能力。然而，由于ChatGPT是用语言训练的，它目前无法处理或生成来自视觉世界的图像。与此同时，视觉基础模型，如视觉Transformers或稳定扩散，虽然表现出很强的视觉理解和生成能力，但它们只是一轮固定输入和输出的特定任务的专家。为此，我们构建了一个名为\textbf{Visual ChatGPT}的系统，结合了不同的视觉基础模型，使用户能够通过以下方式与ChatGPT进行交互：1）发送和接收不仅是语言，还有图像2）提供复杂的视觉问题或视觉编辑指令，这些问题或视觉编辑指令需要多个AI模型与多个步骤的协作。3)提供反馈并要求纠正结果。我们设计了一系列的提示来将可视化模型信息注入到ChatGPT中，考虑到多输入/输出的模型和需要视觉反馈的模型。实验表明，可视化ChatGPT打开了大门，调查ChatGPT的视觉角色的视觉基础模型的帮助下。我们的系统在\url{https://github.com/microsoft/visual-chatgpt}上公开提供。
2023-03-08 cs.CV
Rapid Visual Categorization is not Guided by Early Salience-Based Selection
Department of Electrical Engineering and Computer Science, York University（约克大学电气工程与计算机科学系）；York University（约克大学）；Toronto（多伦多（注：这里是城市名，按要求不提取，但原文中的机构是York University的部门，需保留部门名））
目前在人类和机器研究中占主导地位的视觉处理范式是前馈的，神经类处理元素的分层结构。在这种范式中，视觉显着性被许多人认为具有特定的作用，即早期选择。早期选择被认为通过将处理限制在图像的最显著的候选部分来实现非常快的视觉性能。这种策略导致了大量的显着性算法，这些算法确实提高了机器算法的处理时间效率，这反过来又加强了人类视觉也采用类似的早期选择策略的建议。然而，至少有一组关于这一想法的关键测试从未在人类视觉中早期选择的作用方面进行过。最早为这种视觉加工范式提供证据的实验者所使用的刺激，当前最好的显着性模型会如何表现？这些算法真的能提供正确的候选子图像来快速分类这些相同的图像吗？人类真的需要这种早期选择来获得令人印象深刻的表现吗？在这里，我们报告了一系列新的测试这些问题的结果表明，这是不太可能的，这样一个早期的选择过程中有任何作用，在人类的快速视觉分类。
2020-01-30 cs.CV q-bio.NC
SAVER: Mitigating Hallucinations in Large Vision-Language Models via Style-Aware Visual Early Revision
ROSE Lab, Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（南洋理工大学罗思实验室，跨学科研究生项目，新加坡）；ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学罗思实验室，电子与电气工程学院，新加坡）；City University of Hong Kong, Hong Kong SAR（香港城市大学，香港特别行政区）；Shanghai Jiao Tong University, China（上海交通大学，中国）；Singapore University of Technology and Design, Singapore（新加坡科技设计大学，新加坡）；VinUniversity, Hanoi, Vietnam（越南文大学，河内，越南）
研究大型视觉语言模型幻觉问题，构建含照片及风格化图像数据集并对比，提出SAVER机制，利用早期层反馈基于视觉注意力模式动态调整输出，减轻风格化图像引起的幻觉，实验证明其性能先进。
2026-07-07 cs.CV
Reason Through the Latent! Making Latent Visual Reasoning Necessary
Korea University（高丽大学）；AIGEN Sciences（AIGEN 科学公司）
本文提出因果视觉循环推理（CVRR），通过强制循环计算作为图像条件路径，确保潜在视觉推理真正依赖视觉信息，并在多个基准上验证其有效性。
2026-09-14 cs.AI cs.CL cs.CV
EvoPrune: Early-Stage Visual Token Pruning for Efficient MLLMs
ByteDance（字节跳动）
EvoPrune通过在视觉编码早期阶段剪枝视觉标记，提升多模态大语言模型的推理效率，实现在VideoMME数据集上2倍加速且性能损失低于1%。
2026-03-04 cs.AI cs.CV
A Picture May Be Worth a Hundred Words for Visual Question Answering
Osaka University（大阪大学）；CyberAgent, Inc.（赛博代理公司）；Kyoto University（京都大学）
用文本表征来理解图片，我们能走多远？在图像理解中，使用简洁但详细的图像表示是必不可少的。由视觉模型（例如Faster R-CNN）提取的深度视觉特征在多个任务中普遍使用，特别是在视觉问答（VQA）中。然而，传统的深度视觉特征可能难以像我们人类一样传达图像中的所有细节。同时，随着近年来语言模型的发展，描述性文本可能成为解决这一问题的一种方法。本文深入研究了文本表示的有效性，图像理解的特定背景下的VQA。我们建议将提示问题对作为输入，而不是深度视觉特征，并将其输入到仅语言的Transformer模型中，从而简化了过程和计算成本。我们还试验了数据增强技术，以增加训练集的多样性，避免学习统计偏差。广泛的评估表明，文本表示只需要大约100个单词就可以与VQA 2.0和VQA-CP v2上的深度视觉功能竞争。
2021-06-25 cs.CV
EVLF: Early Vision-Language Fusion for Generative Dataset Distillation
University of Toyama（东福冈大学）；Hokkaido University（北海道大学）；University of Fukui（福井大学）
EVLF通过早期视觉-语言融合提升生成数据集蒸馏的语义准确性和视觉一致性。
2026-03-08 cs.CV
Hyperphantasia: A Benchmark for Evaluating the Mental Visualization Capabilities of Multimodal LLMs
Department of Electrical and Computer Engineering（电气与计算机工程系）
Hyperphantasia是一个评估多模态大语言模型心理可视化能力的合成基准，通过四个精心设计的谜题揭示了人类与当前模型之间的性能差距，并探索了强化学习在提升视觉模拟能力上的潜力。
2026-01-21 cs.CV
Improving Video Compression With Deep Visual-Attention Models
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
深度学习的最新进展显着提高了视觉注意力建模的质量。在这项工作中，我们将这些进展应用到视频压缩。我们提出了一种压缩方法，使用显着性模型，自适应压缩帧区域根据其预测的显着性。我们选择了三个国家的最先进的显着性模型，适用于视频压缩，并分析他们的结果。分析包括模型的客观评价以及压缩视频的客观和主观评价。我们的方法，这是基于x264视频编解码器，可以产生视频与普通x264相同的视觉质量，但它减少了25%的比特率根据客观评价和17%根据主观的。此外，主观和客观的评估表明，显着性模型可以与凝视地图的一个单一的观察者。我们的方法可以扩展到大多数视频比特流格式，并可以提高视频压缩质量，而不需要切换到一个新的视频编码标准。
2019-03-19 cs.CV
Modulating early visual processing by language
University of Montreal（蒙特利尔大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；UMR 9189 CRIStAL（法国国家科学研究中心计算机、信号与自动化研究所）；Criteo；Google Brain（谷歌大脑）；DeepMind；CIFAR（加拿大高等研究院）
人们通常认为，语言是指高层次的视觉概念，而离开低层次的视觉处理不受影响。这一观点在语言-视觉任务的计算模型中占据主导地位，其中视觉和语言输入在被融合成单个表示之前大多是独立处理的。在本文中，我们偏离了这个经典的管道，并建议调制的\emph{entire visual processing}的语言输入。具体来说，我们将预训练残差网络（ResNet）的批量归一化参数设置在语言嵌入上。这种方法，我们称之为调制RESnet（\MRN），显着提高了两个视觉问答任务的强基线。我们的消融研究表明，从视觉处理的早期阶段进行调节是有益的。
2017-12-18 cs.CL cs.CV cs.LG
EarlyTom: Early Token Compression Completes Fast Video Understanding
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Alibaba Cloud Computing（阿里云计算）
针对视频大语言模型中视觉编码阶段效率低下的问题，提出EarlyTom无训练令牌压缩框架，通过在视觉编码器内部进行早期压缩，显著降低首令牌延迟并提升吞吐量。
2026-05-28 cs.CV
Image Stylization for Robust Features
Niantic；Aalto University（阿尔托大学）
对于许多计算机视觉任务来说，对视点和外观变化都具有鲁棒性的局部特征是至关重要的。在这项工作中，我们调查，如果真实感图像风格化提高鲁棒性的本地功能，不仅昼夜，而且天气和季节变化。我们表明，图像风格化除了颜色增强是一个强大的方法学习强大的功能。我们在视觉定位基准上评估了学习的特征，尽管只使用合成单应性进行训练而没有地面实况3D对应，但性能优于最先进的基线模型。我们使用经过训练的特征网络来参加自动驾驶长期视觉定位和基于地图的定位挑战赛，并获得有竞争力的分数。
2020-08-16 cs.CV
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Research Convergence Institute（研究融合研究所）；Sungkyunkwan University（全北大学）；Dept. of AI Systems Engineering（人工智能系统工程系）；Dept. of Ophthalmology（眼科系）；Kyung Hee University Medical Center（庆熙大学医学院）；Dept. of Electrical and Computer Engineering（电气与计算机工程系）
提出ReVA框架，利用基线与第1个月OCT影像及表格数据，通过多模态融合预测糖尿病性黄斑水肿患者抗VEGF治疗后3-24个月的视力轨迹。
2026-06-24 cs.CV
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出利用掩码重建框架训练视听早期融合Transformer，并通过分解局部表示降低注意力融合的计算复杂度，在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG
Feather the Throttle: Revisiting Visual Token Pruning for Vision-Language Model Acceleration
Stanford University（斯坦福大学）
本研究发现现有视觉令牌早期剪枝加速法存在图像顶部令牌过度剪枝的问题，且现有基准难以检测该缺陷，据此提出FEATHER多阶段剪枝方法，在同等计算节省下将定位基准性能提升5倍以上。
2025-07-31 cs.CV
Storm Detection by Visual Learning Using Satellite Images
The Pennsylvania State University（宾夕法尼亚州立大学）；AccuWeather Inc.（AccuWeather公司）
在今天的天气预报中，计算机被广泛用作利用大量数据的强大工具。然而，尽管有这样的数据，目前的技术往往无法产生可靠的详细风暴预报。每年严重的雷暴都会造成重大的破坏和生命损失，如果有更好的预报，其中一些是可以避免的。我们提出了一种计算机算法，分析卫星图像从历史档案中找到的视觉签名的严重雷暴的短期预测。虽然计算机参与天气预报，以解决基于传感数据的数值模型，但它们在基于卫星图像的视觉模式的预测方面能力较弱。在我们的系统中，我们提取和总结重要的视觉风暴的证据，从卫星图像序列的方式，气象学家解释的图像。特别地，该算法从图像序列中提取并拟合局部云运动，以模拟与风暴相关的云块。已采用2008年的图像数据来训练模型，并将2000年至2013年美国大陆的历史雷暴报告用作建模过程中的地面实况和先验。实验表明，该算法的实用性和潜力，产生更准确的雷暴预报。
2016-03-01 cs.CV
Filter Early, Match Late: Improving Network-Based Visual Place Recognition
ARC Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）；Queensland University of Technology（昆士兰科技大学）
随着时间的推移，CNN在执行位置识别方面表现出色，特别是当神经网络在当前环境条件下针对定位进行优化时。在本文中，我们研究了特征图过滤的概念，其中，而不是使用卷积张量中的所有激活，只使用最有用的激活。由于特定的特征图编码不同的视觉特征，因此目标是去除有损于识别外观变化中的位置的能力的特征图。我们的关键创新是在早期卷积层中过滤特征图，然后继续运行网络，并使用同一网络中的后续层提取特征向量。通过过滤早期的视觉特征，并从一个更高的，更多的观点不变的后来层提取的特征向量，我们证明了改进的条件和观点不变性。我们的方法需要从部署环境中训练图像对，但我们表明，只需一个训练图像对就可以定期实现最先进的性能。进行详尽的实验分析，以确定早期层过滤和后期层提取之间的因果关系的全部范围。为了有效性，我们使用三个数据集：Oxford RobotCar、Nordland和Gardens Point，实现了优于NetVLAD的整体性能。这项工作为探索CNN优化提供了许多新的途径，而无需完全重新训练。
2019-06-21 cs.CV cs.RO
The Visual QA Devil in the Details: The Impact of Early Fusion and Batch Norm on CLEVR
DeepMind（深度思维）
视觉QA是高级推理的关键挑战，需要理解语言，视觉以及场景中许多对象之间的关系。虽然像CLEVR这样的数据集被设计成没有这种复杂的关系推理就无法解决，但一些令人惊讶的简单前馈，“整体”模型最近在这个数据集上表现出了强大的性能。这些模型缺乏任何一种明确的迭代，符号推理过程，这被假设为是必要的计数对象，缩小了一组相关的对象的基础上的几个属性等，这种强大的性能的原因是知之甚少。因此，我们的工作分析这样的模型，并发现小的架构元素是至关重要的性能。特别是，我们发现语言和视觉的\textit{early fusion}提供了很大的性能改进。这与Visual QA初期流行的后期融合方法形成了鲜明对比。我们提出了一个简单的模块，我们称之为多模态核心，我们假设执行多模态任务的基本操作。我们相信，了解为什么这些元素是如此重要的复杂的问答将有助于设计性能更好的算法的视觉QA，同时尽量减少手工工程的努力。
2018-09-11 cs.CL cs.CV cs.LG
An Attention Infused Deep Learning System with Grad-CAM Visualization for Early Screening of Glaucoma
College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出一种融合深度卷积神经网络与 Vision Transformer 的深度学习系统，结合 Grad-CAM 可视化技术，用于提高青光眼早期筛查的性能。
2026-01-14 cs.AI cs.CV
Visual Analytics for Early Detection of Retinal Diseases
University of Rostock（罗斯托克大学）；Rostock University Medical Center（罗斯托克大学医学中心）
光学相干断层扫描（OCT）的进步使得能够以高空间分辨率对人类视网膜的子结构进行无创成像。OCT检查现在是临床的标准程序，也是眼科研究的组成部分。光学相干断层扫描的解释有助于眼科医生了解各种视网膜和系统性疾病对视网膜结构的影响，这在以前是不可能的。然而，在视网膜疾病的早期阶段，识别和分析视网膜中的小的和局部的亚结构变化仍然是一个挑战。我们提出了一个新的视觉分析方法的互动探索早期视网膜变化的单个和多个患者的概述，比较的变化与规范的数据，和自动量化和测量诊断相关的信息。我们与来自领先OCT设备制造商的眼科研究人员和行业专家密切合作开发了这些方法。因此，他们不仅大大减少了OCT数据分析所需的时间和精力，特别是在横断面研究的背景下，而且还导致了在生物医学期刊上发表的几项新发现。
2022-12-13 cs.CV cs.HC eess.IV
Early Detection of Visual Impairments at Home Using a Smartphone Red-Eye Reflex Test
Health Access LLC（健康接入有限公司）；Frankfurt Institute for Advanced Studies（法兰克福高级研究所）
本研究开发了KidsVisionCheck应用，利用智能手机和深度神经网络分析红眼反射图像进行儿童视力筛查，在测试数据上达90%准确率，推动了全球可及的早期干预。
2025-09-11 cs.CV cs.LG
Benchmarking and Enhancing Text-to-Image Models for Generating Visual Representations in Early Arithmetic Education
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；ETH AI Center（ETH人工智能中心）
针对早期算术教育中的方程到视觉生成任务，构建了E2V-Bench基准并评估了现有T2I模型，发现其在计数和关系结构上存在严重错误，进而探索了基准引导的增强策略。
2026-05-29 cs.AI cs.CL cs.CV
Early Cue Precision Shapes Visual Shortcut Learning in Controlled Cue-Manipulation Benchmarks
Gwangju Institute of Science and Technology（全州科学技术院）
通过合成形状-纹理任务和CIFAR-10基准，研究早期线索精度如何影响视觉分类器依赖低级线索的捷径学习，发现线索去相关需在下游适应中持续维护。
2026-06-29 cs.AI cs.CV
Gaslight, Gatekeep, V1-V3: Early Visual Cortex Alignment Shields Vision-Language Models from Sycophantic Manipulation
Indian Institute of Technology Gandhinagar（印度理工学院加尔各答分校）；Asian Institute of Technology（亚洲理工学院）
本文研究了视觉语言模型在高风险场景中的脆弱性，通过评估12种模型的脑部对齐和顺从性，发现早期视觉皮层对齐能有效降低模型对阿谀操控的敏感性。
2026-04-15 cs.AI cs.CV
Dynamic Deep Multi-modal Fusion for Image Privacy Prediction
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
随着社交网站上在线共享的数百万张图像，迫切需要有效的图像隐私预测方法。在本文中，我们提出了一种方法，融合对象，场景上下文，图像标签的形式来自卷积神经网络准确预测的隐私图像共享在线。具体来说，我们的方法确定了一套最称职的方式在飞行中，根据每个新的目标图像的隐私进行预测。该方法考虑了三个阶段来预测目标图像的隐私，其中我们首先识别与目标图像在视觉上相似和/或具有相似敏感内容的邻域图像。然后，我们估计的能力的模态的基础上的邻域图像。最后，我们融合最有能力的模态的决定，并预测目标图像的隐私标签。实验结果表明，我们的方法预测敏感（或私人）内容更准确地比个别模态（对象，场景和标签）和先验隐私预测工作的模型训练。此外，我们的方法优于强大的基线，训练元分类器，以获得最佳组合的方式。
2019-03-06 cs.CV cs.CY
Visual and Textual Sentiment Analysis Using Deep Fusion Convolutional Neural Networks
Beihang University（北京航空航天大学）
情感分析因其在个性化推荐、意见挖掘等方面的潜在应用而受到越来越多的关注，并成为一个非常热门的研究课题。现有的大多数方法都是基于文本或视觉数据的，很难从单一的模态数据中提取出足够的信息，因此不能取得令人满意的结果。受社交媒体中视觉和文本数据之间存在强烈语义相关性的观察的启发，我们提出了一种端到端深度融合卷积神经网络，以从训练样本中联合学习文本和视觉情感表示。这两个模态信息在池化层中融合在一起，并被馈送到完全连接的层中以预测情感极性。我们评估所提出的方法在两个广泛使用的数据集。结果表明，我们的方法取得了可喜的结果相比，国家的最先进的方法，清楚地表明其能力。
2017-11-21 cs.CL cs.CV cs.IR
Visual question answering: from early developments to recent advances -- a survey
Deakin University（迪肯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of New South Wales（新南威尔士大学）；Technology Innovation Institute（技术创新研究院）
该综述梳理视觉问答（VQA）领域从早期到最新的发展，提出架构分类法，回顾深度学习方法与新兴大型视觉语言模型，介绍相关数据集、评估指标及应用，指明现存挑战与未来方向。
2025-01-11 cs.CV cs.MM
Generating images with recurrent adversarial networks
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；York University（约克大学）
Gatys et al.（2015）表明，优化像素以匹配卷积网络中的特征与参考图像特征，是渲染高视觉质量图像的一种方法。我们表明，展开这种基于梯度的优化产生了一个经常性的计算，通过增量添加到一个视觉“画布”上创建图像。我们提出了一个受这种观点启发的递归生成模型，并证明它可以使用对抗训练来训练，以生成非常好的图像样本。我们还提出了一种通过让这些网络的生成器和鉴别器相互竞争来定量比较对抗网络的方法。
2016-12-13 cs.CV cs.LG
Evaluating Visual Number Discrimination in Deep Neural Networks
DeepMind（深度思维）
区分大小数量的能力是人类和动物基本数字能力的核心方面。在这项工作中，我们研究了在何种程度上的国家的最先进的神经网络设计的视觉表现出这种基本的能力。受动物和婴儿数字认知研究的启发，我们使用数字平分程序来测试不同神经结构家族的数字辨别能力。我们的研究结果表明，视觉特定的归纳偏见是有帮助的数量歧视，因为这种偏见的模型有最低的测试错误的任务，往往有心理曲线，定性类似于人类和动物执行任务。然而，即使是最强的模型，如在标准性能指标上测量的，也无法在具有不同训练和测试条件的转移实验中区分数量，这表明这种归纳偏差可能是不够的。
2023-03-13 cs.AI cs.CV cs.LG
Sparse Deep Predictive Coding captures contour integration capabilities of the early visual system
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Inst Neurosci Timone（蒂莫内神经科学研究所）；ISM（ISM研究所）
神经生理学和心理物理学实验都指出，在早期视觉皮层中，循环连接和反馈连接在处理依赖于上下文的信息中起着至关重要的作用。虽然许多模型已经在神经或表征层面上解释了反馈效应，但没有一个模型能够将这两个层面的分析结合起来。是否可以用同一个模型来描述两个层次的反馈效应？我们通过将预测编码（PC）和稀疏编码（SC）结合到分层和卷积框架中来回答这个问题。在该稀疏深度预测编码（SDPC）模型中，SC组件对每个层内的内部递归处理进行建模，并且PC组件使用前馈和反馈连接来描述层之间的交互。在这里，我们在两个不同的图像数据库上训练一个2层SDPC，并将其解释为早期视觉系统（V1和V2）的模型。我们首先证明，一旦训练收敛，SDPC表现出导向和本地化的感受野在V1和V2更复杂的功能。第二，我们分析了反馈对V1神经元经典感受野以外的神经组织的影响。这些映射类似于联想场，反映了良好延续的完形原则。我们证明，反馈信号重组互动地图和调制神经活动，以促进轮廓整合。第三，我们证明了在代表性的水平，SDPC反馈连接能够克服输入图像中的噪声。因此，SDPC在神经水平上捕获了关联场原理，从而在代表性水平上更好地消除模糊图像的歧义。
2019-10-17 cs.AI cs.CV cs.LG
Early Warning Signals for OpenVLA Failure under Visual Distribution Shift
New York University（纽约大学）
研究在视觉分布偏移下，OpenVLA内部激活是否包含可线性解码的近期任务失败信息，通过LIBERO操作实验发现第16层逻辑探针在遮挡条件下预测失败AUROC达0.972。
2026-08-14 cs.AI cs.CV cs.RO
Visual stream connectivity predicts assessments of image quality
Dartmouth（达特茅斯学院）
一些早期视觉的生物学机制相对较好地理解，但它们尚未被评估其准确预测和解释人类对图像相似性的判断的能力。从研究简单的连接模式在早期的视觉，我们得到了一个新的形式化的心理物理学的相似性，显示微分几何，提供准确和解释性的帐户感知相似性的判断。然后，这些预测通过对人类行为报告的简单回归得到进一步改进，这些报告又被用来构建更复杂的假设神经连接模式。这两种方法优于标准的成功措施，从文献中感知图像保真度，以及提供解释性的相似性感知的原则。
2020-08-16 cs.CV q-bio.NC
Object recognition in primates: What can early visual areas contribute?
Laboratory of Sensorimotor Research, National Eye Institute, NIH（美国国立卫生研究院国家眼科研究所感觉运动研究实验室）
本文研究早期视觉区（LGN和V1）在外周物体识别中的作用，通过面孔与非面孔区分任务发现V1模型在现实场景中准确率超过80%，而LGN模型表现较差，提出物体识别应被视为中央凹高精度模块与外周低精度快速模块并行的过程，而非仅以IT为核心的分层系统。
2024-07-05 cs.CV cs.NE q-bio.NC
DA4AD: End-to-End Deep Attention-based Visual Localization for Autonomous Driving
Baidu（百度）
我们提出了一个视觉定位框架的基础上，新的深度注意力感知功能的自动驾驶，实现厘米级的定位精度。视觉定位问题的传统方法依赖于手工制作的特征或道路上的人造物体。众所周知，它们要么容易因严重的外观或照明变化而导致不稳定的匹配，要么太少而无法在具有挑战性的场景中提供恒定和鲁棒的定位结果。在这项工作中，我们试图利用深度注意力机制，通过一个新的端到端的深度神经网络来搜索显著的，独特的和稳定的特征，有利于在场景中的长期匹配。此外，我们学习的特征描述符被证明是有能力建立强大的匹配，因此成功地估计最佳的相机姿态与高精度。我们使用新收集的数据集，具有高质量的地面实况轨迹和传感器之间的硬件同步，全面验证了我们方法的有效性。结果表明，与基于LiDAR的定位解决方案相比，我们的方法在各种具有挑战性的情况下实现了具有竞争力的定位精度，从而为自动驾驶提供了潜在的低成本定位解决方案。
2020-07-13 cs.CV cs.RO
Collaborative Score Distillation for Consistent Visual Synthesis
KAIST（韩国科学技术院）；Google Research（谷歌研究院）
本文提出协同分数蒸馏（CSD），将多张图像视为 SVGD 粒子并组合其分数函数，以实现全景图、视频和 3D 场景的一致视觉合成与编辑。
2023-07-04 cs.CV cs.LG
Data refinement for fully unsupervised visual inspection using pre-trained networks
Scortex
异常检测近年来在视觉检测领域取得了很大的进展。更具体地说，对深度预训练神经网络提取的特征使用经典离群值检测技术已被证明在MVTec异常检测（MVTec AD）数据集上提供了卓越的性能。然而，与大多数其他异常检测策略一样，这些预先训练的方法假设所有训练数据都是正常的。因此，他们不能被视为完全无人监督。据我们所知，在完全无监督的环境下，没有研究这些预先训练的方法的工作。在这项工作中，我们首先使用污染的训练集（即包含有缺陷的样本）评估这些预训练方法对完全无监督上下文的鲁棒性，并表明这些方法与CutPaste等方法相比对污染更鲁棒。然后，我们提出了SROC，一个简单的细化策略一类分类。SROC能够从训练集中去除大部分污染的图像，并恢复一些丢失的AUC。我们进一步表明，我们的简单启发式算法与现有文献中更复杂的策略竞争，甚至优于现有文献中更复杂的策略。
2022-02-25 cs.AI cs.CV cs.LG
A visual encoding model based on deep neural networks and transfer learning
National Digital Switching System Engineering and Technological Research Center（国家数字交换系统工程技术研究中心）；University of Minnesota at Twin Cities（明尼苏达大学双城分校）
工作背景：建立视觉编码模型来准确预测视觉反应是当前基于视觉的脑机接口技术的核心挑战。为了实现对神经信号的高预测精度，视觉编码模型应该包括精确的视觉特征和适当的预测算法。大多数现有的视觉编码模型采用手工视觉特征（例如，Gabor小波或语义标签）或数据驱动特征（例如，从深度神经网络（DNN）提取的特征）。他们还假设特征表示与大脑活动之间存在线性映射。然而，仍然不知道这种线性映射是否足以最大化预测精度。新方法：我们构建了一个新的视觉编码框架来预测基准功能磁共振成像（fMRI）数据集的皮层反应。在这个框架中，我们采用迁移学习技术来结合预先训练的DNN（即，AlexNet）和训练从视觉特征到大脑活动的非线性映射。这种非线性映射取代了传统的线性映射，并被认为可以提高对大脑活动的预测精度。结果：所提出的框架可以显着预测早期视觉区域（即，V1-外侧枕区，LO），并实现前所未有的预测精度。与现有方法的比较：与两种传统的视觉编码模型相比，我们发现所提出的编码模型在所有早期视觉区域，特别是在相对前部的视觉区域（即，V4和LO）。结论：我们的工作提出了一个新的框架，利用预先训练的视觉特征和训练从视觉特征到大脑活动的非线性映射。
2019-02-23 cs.CV q-bio.NC
To Fall Or Not To Fall: A Visual Approach to Physical Stability Prediction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Birmingham（伯明翰大学）
理解物理现象是一种关键能力，它使人类和动物能够在包含新物体及其配置的以前看不见的环境中在不确定的感知下行动和互动。发展心理学表明，这些技能是婴儿在非常早期的观察中获得的。在本文中，我们对比了一个更传统的方法，采取基于模型的路线与显式的3D表示和物理模拟的端到端的方法，直接预测稳定性和相关的数量从外观。我们提出的问题是，这种技能是否以及在多大程度上和质量上可以直接以数据驱动的方式获得，而不需要明确的模拟。我们提出了一种基于模拟数据的学习方法，该方法预测了由木块组成的塔在不同条件下的稳定性，以及与塔的潜在下降相关的数量。对合成数据进行评估，并与人类对相同刺激的判断进行比较。
2016-03-31 cs.AI cs.CV cs.RO
An Explainable Machine Learning Model for Early Detection of Parkinson's Disease using LIME on DaTscan Imagery
CMR Institute of Technology（CMR理工学院）
帕金森病（PD）是一种退行性和进行性神经系统疾病。早期诊断可以改善患者的治疗，并通过多巴胺能成像技术如SPECT DaTscan进行。在这项研究中，我们提出了一个机器学习模型，该模型可以准确地将任何给定的DaTscan分类为患有帕金森病或没有帕金森病，此外还提供了一个合理的预测原因。这种推理是通过使用本地可解释模型不可知解释器（LIME）方法生成的视觉指示器来完成的。DaTscans来自帕金森病进展标志物倡议数据库，并使用迁移学习在CNN（VGG 16）上进行训练，准确率为95.2%，灵敏度为97.5%，特异性为90.9%。保持模型的可解释性至关重要，特别是在医疗保健领域，本研究利用LIME解释区分PD与非PD，使用DaTscan上的视觉超像素。可以得出结论，该系统结合其测量的可解释性和准确性，可以有效地帮助医务工作者在帕金森病的早期诊断。
2020-08-01 cs.CV cs.LG eess.IV
ProxyThinker: Test-Time Guidance through Small Visual Reasoners
Rice University（里士大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Virginia（弗吉尼亚大学）
针对 LVLM 强化微调成本高的问题，提出无需训练的推理时方法 ProxyThinker，通过分布减法迁移小型慢思考推理器能力，并以并行协调实现最高 38 倍加速。
2025-09-27 cs.AI cs.CL cs.CV
A Challenger to GPT-4V? Early Explorations of Gemini in Visual Expertise
Tencent Youtu Lab（腾讯优图实验室）；Shanghai AI Laboratory（上海人工智能实验室）；CUHK MMLab（香港中文大学多媒体实验室）；ECNU（华东师范大学）；USTC（中国科学技术大学）；Peking University（北京大学）
本文初步探索Gemini Pro的视觉理解能力，与GPT-4V和Sphinx对比，发现Gemini在多个领域可与GPT-4V匹敌，但仍有差距，并指出MLLM的常见问题。
2023-12-20 cs.AI cs.CL cs.CV
