On the Control of Attentional Processes in Vision
York University(约克大学)
视觉注意加工的研究有着悠久而深刻的历史。最近,几篇论文提出了一些有见地的观点,以了解大脑中多种注意力功能的协调是如何发生的。这些从实验观察开始,作者提出了可能解释这些观察的结构,过程和计算。在这里,我们考虑一个角度,过去的作品没有,作为一种补充方法的实验接地的。我们的方法相同的问题,因为过去的作者,但从另一端的计算频谱,从问题的性质,作为马尔的计算水平将规定。在协调注意力过程时,大脑必须解决什么问题,才能成功地完成我们人类擅长的无数可能的视觉空间任务之一?当然,我们希望这两种方法最终能够相遇,从而形成一个完整的理论,但这可能不会很快实现。我们通过解决注意力控制的必要性,研究人类行为中的视觉空间和注意力任务的广度和计算难度,并提出注意力控制如何在大脑中产生的草图,从而朝着这个方向迈出了第一步。本文的主要结论是,执行控制器是必要的人类注意力功能的视觉,并有一个“第一原理”的计算方法,其理解是补充以前的方法,专注于建模或直接从实验观察学习。
2021-01-05 cs.AI cs.CC cs.CV
ClaudesLens: Uncertainty Quantification in Computer Vision Models
Chalmers(查尔默斯(理工大学))
针对计算机视觉模型输出不确定性难量化的问题,本研究提出基于香农熵的量化方法,通过多部位多程度扰动引入熵,结合PI、PSI指标验证了理论框架的有效性,为AI不确定性量化提供新思路。
2024-06-18 cs.AI cs.CV
On the Transfer of Collinearity to Computer Vision
Junior Professorship of Media Computing, Chemnitz University of Technology(媒体计算初级教授职位,化学工业大学)
本文探讨将共线性原理应用于计算机视觉,通过原型模型和四个用例测试,发现其在晶圆检测、纳米材料缺陷识别等场景中有效,但在ImageNet上效果有限。
2026-03-17 cs.CV
Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style
Columbia University, Department of Computer Science(哥伦比亚大学计算机科学系);Columbia University, Department of Art History & Archaeology(哥伦比亚大学艺术史与考古系);University of Texas at Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文研究了视觉语言模型(VLMs)在识别艺术风格方面的机制,通过跨学科合作,分析VLMs如何预测艺术风格,并评估其与艺术史家判断艺术风格的标准的一致性。
2026-05-19 cs.AI cs.CV
Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples
KAIST(韩国科学技术院);Kyung Hee University(庆熙大学)
本文首次系统研究对抗样本对分割一切模型(SAM)的攻击,以掩码移除为基本目标,在白盒与黑盒设置下验证其脆弱性,并发现可生成任意目标掩码。
2023-05-08 cs.AI cs.CV
Pedestrian Attribute Recognition via CLIP based Prompt Vision-Language Fusion
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Information Materials and Intelligent Sensing Laboratory of Anhui Province(安徽省信息材料与智能感知实验室);Anhui Provincial Key Laboratory of Multimodal Cognitive Computation(安徽省多模态认知计算重点实验室);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);Video Investigation Detachment of Hefei Public Security Bureau(合肥市公安局视频侦查支队)
本文提出将行人属性识别形式化为视觉-语言融合问题,利用CLIP结合多模态Transformer和区域感知提示调优,仅调整0.75%参数即在多个标准和零样本数据集上取得最优性能。
2024-09-02 cs.AI cs.CV
An Exploration of Embodied Visual Exploration
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院);University of Pennsylvania(宾夕法尼亚大学)
嵌入式计算机视觉考虑机器人在新颖的非结构化环境中的感知。特别重要的是具体的视觉探索问题:一个机器人如何配备一个摄像头的范围了一个新的环境?尽管迄今为止取得了进展,但与此问题相关的许多基本问题仍然没有得到回答:(i)对于一个代理人来说,探索其环境意味着什么?(ii)哪些方法有效,在哪些假设和环境设置下有效?(iii)目前的方法在哪些方面存在不足,今后的工作可能在哪些方面寻求改进?寻求这些问题的答案,我们首先提出了一个现有的视觉探索算法的分类,并创建一个标准的基准框架。然后,我们进行了彻底的实证研究的四个国家的最先进的范例使用建议的框架与两个逼真的模拟3D环境,一个国家的最先进的探索架构,和不同的评价指标。我们的实验结果提供了见解,并为未来的视觉探索工作提出了新的性能指标和基线。代码、模型和数据可在以下网站公开获取:https://github.com/facebookresearch/exploring_exploration
2020-08-21 cs.AI cs.CV
SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision
MIT(麻省理工学院);University of Bremen(不来梅大学)
中央凹视力占视野的不到1%。另外99%是周边视觉。人类在外围看到的东西既明显又神秘,因为我们用自己的眼睛看到它,但除了在受控的实验室实验中,我们无法想象我们看到的东西。周边信息的退化远比径向模糊所能模拟的要复杂得多。相反,行为验证的模型假设,周边视觉测量大量的局部纹理统计在池区域重叠和偏心增长。在这项工作中,我们开发了一种新的方法,周边视觉模拟训练生成神经网络的行为验证的全场合成模型。通过实现运行时间减少21,000倍,我们的方法是第一个将周边视觉模拟的真实性和速度结合起来的方法,提供了一种全新的视觉设计方法:通过周边可视化。
2017-10-23 cs.CV cs.NE q-bio.NC
Supervised Descent Method for Solving Nonlinear Least Squares Problems in Computer Vision
许多计算机视觉问题(例如,摄像机校准、图像对准、运动恢复结构运动恢复结构)。一般认为二阶下降法是求解一般光滑函数的非线性优化问题的最稳健、最快速、最可靠的方法。然而,在计算机视觉的背景下,二阶下降方法具有两个主要缺点:(1)函数可能不是解析可微的并且数值近似是不切实际的,以及(2)Hessian可能很大并且不是正定的。为了解决这些问题,本文提出了通用的下降图,这是平均的“下降方向”和重新调整的因素,在监督的方式学习。使用一般下降映射,我们得到了一个实用的算法-监督下降法(SDM)-最小化非线性最小二乘(NLS)问题。在训练过程中,SDM学习一系列适当的映射,使NLS最小化。在测试中,SDM使用学习的下降映射最小化NLS目标,而不计算雅可比矩阵或海森矩阵。我们证明的条件下,SDM是保证收敛。我们说明了SDM的有效性和准确性在三个计算机视觉问题:刚性图像对齐,非刚性图像对齐,三维姿态估计。特别是,我们将展示SDM如何在面部特征检测问题中实现最先进的性能。该守则已在www.humansensing.cs.cmu.edu/intraface上公布。
2014-05-03 cs.CV
Evaluating Visual Number Discrimination in Deep Neural Networks
DeepMind(深度思维)
区分大小数量的能力是人类和动物基本数字能力的核心方面。在这项工作中,我们研究了在何种程度上的国家的最先进的神经网络设计的视觉表现出这种基本的能力。受动物和婴儿数字认知研究的启发,我们使用数字平分程序来测试不同神经结构家族的数字辨别能力。我们的研究结果表明,视觉特定的归纳偏见是有帮助的数量歧视,因为这种偏见的模型有最低的测试错误的任务,往往有心理曲线,定性类似于人类和动物执行任务。然而,即使是最强的模型,如在标准性能指标上测量的,也无法在具有不同训练和测试条件的转移实验中区分数量,这表明这种归纳偏差可能是不够的。
2023-03-13 cs.AI cs.CV cs.LG
Towards Causal Physical Error Discovery in Video Analytics Systems
University of Chicago(芝加哥大学)
本文提出利用回归间断设计进行因果推理,将视频分析系统中的关键性能指标变化与物理现象关联,以提供更可操作的解释,帮助用户调试不透明且脆弱的深度学习视频分析系统。
2024-05-27 cs.CV
Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models
The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出统一三元组级幻觉评估框架和Tri-HE基准,同时衡量大型视觉-语言模型的对象幻觉与关系幻觉,发现关系幻觉更严重,并设计免训练方法有效缓解幻觉。
2025-07-17 cs.AI cs.CL cs.CV
LucidPPN: Unambiguous Prototypical Parts Network for User-centric Interpretable Computer Vision
Jagiellonian University(雅盖隆大学);Ardigen SA(Ardigen股份公司);Institute of Applied Psychology(应用心理学研究所);NCBR IDEAS
LucidPPN通过分离颜色与非颜色特征的原型部件网络,减少原型歧义,提升用户对模型决策的理解,且性能与基线相当。
2024-05-23 cs.AI cs.CV cs.LG
Predicting Motivations of Actions by Leveraging Text
Massachusetts Institute of Technology(麻省理工学院);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
理解人类行为是计算机视觉的关键问题。然而,识别动作只是理解一个人在做什么的第一步。在本文中,我们介绍了预测为什么一个人在图像中执行了一个动作的问题。这个问题在人类活动理解中有许多应用,例如预测或解释一个动作。为了研究这个问题,我们引入了一个新的数据集的人执行的动作注释可能的动机。然而,仅图像中的信息可能不足以自动解决此任务。由于人类可以依靠他们一生的经验来推断动机,我们建议通过使用最近开发的自然语言模型来挖掘存储在大量文本中的知识,从而使计算机视觉系统能够访问其中的一些经验。虽然我们离完全理解动机还很远,但我们的研究结果表明,将知识从语言转移到视觉中可以帮助机器理解为什么图像中的人可能会执行某个动作。
2016-11-30 cs.CV
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG(罗氏制药);Genentech, Inc.(基因泰克公司)
最近,Vision Transformers被证明在足够的数据量上进行预训练时,能够超越卷积神经网络。与卷积神经网络相比,Vision Transformers具有较弱的感应偏差,因此允许更灵活的特征检测。由于其有前途的特征检测,这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像,并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性,我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明,对于肿瘤检测的四种组织类型中的三种,Vision Transformer的表现略好于ResNet 18,而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的,这表明两个模型捕获了相似的成像特征。总之,Vision Transformer模型的性能与ResNet 18相当,但需要更多的努力来进行训练。为了超越卷积神经网络的性能,Vision Transformers可能需要更具有挑战性的任务,才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
ViG-LRGC: Vision Graph Neural Networks with Learnable Reparameterized Graph Construction
The American University in Cairo(埃及美国大学)
本文提出可学习重参数化图构建方法LRGC,通过键-查询注意力和软阈值重参数化实现无需超参数的邻域选择,使ViG-LRGC在ImageNet-1k上超越同规模最先进ViG模型。
2025-09-23 cs.CV
Adversarial Patch Attacks and Defences in Vision-Based Tasks: A Survey
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);TrojAI Inc.(TrojAI公司)
由于对人工智能模型的安全性和鲁棒性缺乏信任,深度学习模型中的对抗攻击,特别是对于安全关键系统,近年来受到越来越多的关注。然而,更原始的对抗攻击可能在物理上不可行,或者需要一些难以访问的资源,如训练数据,这促使补丁攻击的出现。在本次调查中,我们提供了一个全面的概述,涵盖了对抗补丁攻击的现有技术,旨在帮助感兴趣的研究人员快速赶上这一领域的进展。我们还讨论了开发对抗性补丁的检测和防御的现有技术,旨在帮助社区更好地了解这一领域及其在现实世界中的应用。
2022-06-16 cs.CR cs.CV cs.LG
Detecting Work Zones in SHRP 2 NDS Videos Using Deep Learning Based Computer Vision
Volpe National Transportation Systems Center(沃尔普国家运输系统中心);U.S. Department of Transportation(美国交通部)
自然主义驾驶研究试图在各种环境条件下观察人类驾驶员的行为,以便使用统计和物理模型分析,理解和预测该行为。第二个战略公路研究计划(SHRP 2)资助了一些与交通安全相关的项目,包括其主要工作,自然驾驶研究(NDS),以及NDS的补充工作,道路信息数据库(RID)。这项工作旨在扩大研究人员可能对NDS和RID数据库提出的可回答的研究问题的范围。具体来说,我们提出了SHRP 2 NDS视频分析(SNVA)软件应用程序,它从NDS仪器车辆的前向摄像头镜头中提取信息,并有效地将这些信息集成到RID中,将视频内容与地理位置和其他旅行属性联系起来。研究人员和其他利益相关者特别感兴趣的是工作区,交通信号状态和天气信息的整合。本文介绍的SNVA版本侧重于最高优先级的工作区检测。考虑到NDS视频数据集的两PB大小,自动发现和编目此信息并快速完成的能力尤其重要。
2018-11-10 cs.CV
DMTNet: Dynamic Multi-scale Network for Dual-pixel Images Defocus Deblurring with Transformer
Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京)
近年来,基于双像素数据的卷积神经网络(CNN)去焦模糊任务取得了很好的效果,但数据的稀缺限制了视觉Transformer在该任务中的探索和尝试。此外,现有的模型采用固定的参数和网络结构对不同分布和内容信息的图像进行去模糊处理,也影响了模型的泛化能力。本文提出了一种动态多尺度网络DMTNet,用于双像素图像的散焦去模糊。DMTNet主要包括两个模块:特征提取模块和重构模块。特征提取模块由多个视觉Transformer块组成,利用其强大的特征提取能力,获得更丰富的特征,提高模型的鲁棒性。重建模块由多个动态多尺度子重建模块(DMSSRM)组成。DMSSRM算法根据输入图像的模糊分布和内容信息,自适应地对不同尺度的特征进行权值分配,实现图像的恢复。DMTNet结合了Transformer和CNN的优点,其中视觉Transformer提高了CNN的性能天花板,CNN的电感偏置使Transformer能够在不依赖大量数据的情况下提取更鲁棒的特征。DMTNet可能是第一次尝试使用视觉Transformer来恢复模糊图像的清晰度。通过与CNN组合,视觉Transformer可以在小数据集上实现更好的性能。流行的基准测试的实验结果表明,我们的DMTNet显着优于国家的最先进的方法。
2022-09-13 cs.CV
Eye Disease Classification Using Deep Learning Techniques
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
本研究针对眼部疾病早诊需求,采用CNN和迁移学习区分正常眼与糖尿病视网膜病变、白内障、青光眼患眼,迁移学习多分类准确率达94%,优于传统CNN的84%。
2023-07-19 cs.CE cs.CV cs.SY
Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models
ELLIS Alicante, Spain(阿利坎特ELLIS研究所,西班牙);Brown University, USA(布朗大学,美国);imec, Leuven, Belgium(imec,比利时卢旺达)
本文研究了视觉基础模型的人类可解释性,提出了一种评估框架,发现基础模型比监督模型更难解释,且可解释性与下游任务性能无关,而是与特征的局部性和粗粒度语义对齐有关。
2026-10-15 cs.CV
Estimating the distribution of numerosity and non-numerical visual magnitudes in natural scenes using computer vision
IRCCS San Camillo Hospital(圣卡米尔医院)
本文提出基于计算机视觉的图像分析流程,在数千张真实日常图像中估计数量与非数值视觉量级分布,发现数量频率呈幂律且相关结构跨数据集稳定。
2024-10-15 cs.CV
Certified Training for Convolutional Perturbations
Safe Intelligence(安全智能);Imperial College London(伦敦帝国理工学院)
研究视觉模型受扰动问题,提出利用卷积扰动编码的认证训练方法,显著优于对抗训练,在CIFAR10上对运动模糊有超80%鲁棒准确率,且标准准确率相当。
2026-07-21 cs.CV cs.LG
How does the primate brain combine generative and discriminative computations in vision?
Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学扎克曼脑与行为研究所);School of Psychology & Neuroscience, University of Glasgow(格拉斯哥大学心理与神经科学学院);Department of Brain and Cognitive Sciences, MIT(麻省理工学院脑与认知科学系);McGovern Institute for Brain Research, MIT(麻省理工学院麦戈文脑研究所);Quest for Intelligence, Schwarzman College of Computing, MIT(麻省理工学院施瓦茨曼计算学院智能探索中心);Department of Psychology, New York University(纽约大学心理学系);Brain and Cognitive Sciences, University of Rochester(罗切斯特大学脑与认知科学系);Center for Visual Science, University of Rochester(罗切斯特大学视觉科学中心);Department of Cognitive Science, Johns Hopkins University(约翰霍普金斯大学认知科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室);Department of Psychology, Harvard University(哈佛大学心理学系);Center for Brain Science, Harvard University(哈佛大学脑科学中心);Kempner Institute for Natural and Artificial Intelligence, Harvard University(哈佛大学肯普ner自然与人工智能研究所);Department of Neuroscience, University of Minnesota(明尼苏达大学神经科学系);DeepMind(深度思维);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Dept of Molecular & Cell Biology, Univ(大学分子与细胞生物学系)
本文探讨灵长类视觉如何可能融合判别式前馈推断与生成式模型反转两种机制,通过澄清术语、回顾证据并提出实证研究计划,旨在揭示其混合算法。
2024-01-11 cs.AI cs.CV cs.LG
An evolutionary perspective on the design of neuromorphic shape filters
University of Southern California(南加州大学)
大量的时间和精力已经投入到使用连接主义(神经网络)原理开发机器视觉。大部分的工作都受到了神经科学家和行为学家关于皮层系统如何存储刺激信息的理论的启发。这些理论要求信息通过几个神经元群体之间的连接流动,初始连接是随机的(或至少是非功能性的)。然后,通过训练试验来修改连接的强度或位置,以实现有效的输出,例如识别物体的能力。这些理论忽略了一个事实,即没有皮层的动物,鱼,可以展示出超越最好的神经网络模型的视觉技能。允许立即有效的视觉和快速学习的神经回路已经通过数亿年的进化预先编程,并且视觉技能在孵化后不久即可获得。皮质系统可能提供先进的图像处理,但最有可能的是使用在简单系统中已被证明有效的设计原则。本文简要介绍了视网膜和皮层机制注册形状信息,希望它可能有助于形状编码电路的设计,更紧密地匹配生物视觉的机制。
2020-08-30 cs.AI cs.CV cs.NE
Non-Rigid Puzzles
University of Lugano(卢加诺大学);Technion(以色列理工学院);Intel(英特尔);TU Munich(慕尼黑工业大学)
形状对应是计算机图形学和视觉中的一个基本问题,在各种问题中具有应用,包括动画、纹理映射、机器人视觉、医学成像、考古学等等。在允许形状经历非刚性变形并且只有部分视图可用的设置中,该问题变得非常具有挑战性。为此,我们提出了一种非刚性的多部分形状匹配算法。我们假设给定一个参考形状,其多个部分经历非刚性变形。这些查询部分中的每一个都可能被混乱所污染,可能与其他部分重叠,并且可能存在缺失部分或冗余部分。我们的方法同时解决了参考模型的分割,以及与零件(子集)的密集对应。合成以及真实扫描的实验结果表明,我们的方法在处理这种具有挑战性的匹配方案的有效性。
2020-11-26 cs.CV cs.GR
Pandora: Articulated 3D Scene Graphs from Egocentric Vision
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology(麻省理工学院信息与决策系统实验室);Meta Reality Labs(Meta现实实验室)
本文提出Pandora方法,利用人类自然探索场景时的单目数据,恢复拟合物体部件模型,并整合到3D场景图中,提升机器人移动操作能力。
2026-03-30 cs.CV cs.RO
Convolutional Networks in Visual Environments
SAILab, University of Siena(锡耶纳大学 SAILab)
当我们意识到大多数成功的方法都是在图像层面上工作时,计算机视觉的难题可能会找到新的具有挑战性的解决方案,这比直接处理视觉流要困难得多。在本文中,我们声称它们的处理自然会导致制定运动不变性原则,这使得能够构建一个新的卷积网络学习理论。该理论解决了自然视觉中出现的许多有趣的问题,并为发现视网膜上的卷积滤波器提供了适定的计算方案。它们是由从最小认知行为原理导出的微分方程驱动的。与需要大量监督的传统卷积网络不同,所提出的理论提供了一个真正的新场景,其中通过对视频信号的无监督处理进行特征学习。它指出,一个适当的模糊的视频,沿着交织的零信号段,使人们有可能设想一种新的学习机制,产生最小的认知动作。基本上,虽然该理论能够实现新颖的计算机视觉系统,但它也为进化为人类发现的解决方案提供了一个有趣的解释,看起来新生儿的视频模糊和昼夜节律似乎出现在一个通用的计算框架中,而不管生物学如何。
2018-01-16 cs.CV cs.LG
Evaluating Object Hallucination in Large Vision-Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室);School of Information, Renmin University of China(中国人民大学信息学院);Meituan Group(美团集团)
本文首次系统研究大型视觉-语言模型的物体幻觉问题,分析视觉指令对幻觉的影响,并提出基于轮询的评估方法POPE,实现更稳定灵活的幻觉评估。
2023-10-26 cs.CL cs.CV cs.MM