Is CLIP Cross-Eyed? Revealing and Mitigating Center Bias in the CLIP Family
Texas A&M University(德克萨斯A&M大学);National Taiwan University(国立台湾大学);ASUS(华硕);VinUniversity
研究揭示CLIP家族模型存在中心偏差问题,导致对图像边缘重要物体识别困难,通过可解释方法分析发现嵌入表示和注意力机制中的信息丢失是原因,提出无需训练的视觉提示和注意力重分布策略缓解偏差。
2026-08-11 cs.CL cs.CV
TaxonRL: Reinforcement Learning with Intermediate Rewards for Interpretable Fine-Grained Visual Reasoning
Hasso Plattner Institute;University of Potsdam(波茨坦大学)
TaxonRL通过强化学习和中间奖励实现结构化层次推理,提升细粒度视觉分类的准确性和可解释性。
2026-03-04 cs.CL cs.CV
Conv2Former: A Simple Transformer-Style ConvNet for Visual Recognition
Nankai University(南开大学);ByteDance(字节跳动)
本文并不试图设计一个国家的最先进的视觉识别方法,但研究了一种更有效的方法,利用卷积编码的空间特征。通过比较最近的卷积神经网络ConvNets和视觉Transformer的设计原理,我们提出通过利用卷积调制操作来简化自注意。我们表明,这种简单的方法可以更好地利用卷积层中嵌套的大内核(>=7x7)。我们使用所提出的卷积调制构建了一系列分层ConvNets,称为Conv2Former。我们的网络是简单和易于遵循。实验表明,我们的Conv2Former在所有ImageNet分类,COCO目标检测和ADE 20k语义分割方面都优于现有的流行ConvNets和视觉Transformer,如Swin Transformer和ConvNeXt。
2022-11-22 cs.CV
Image-Scale Robustness and Visual Recognition Performance: A Cross-Architecture Analysis
本研究通过分析20个预训练ImageNet-1K分类器,发现尺度鲁棒性主要由基线识别精度决定,而非模型大小或架构家族,并提出了特征尺度作为量化指标。
2026-09-09 cs.AI cs.CV
Efficient Large-Scale Visual Representation Learning And Evaluation
Etsy(Etsy公司)
本文比较了CNN和ViT家族的高效骨干架构,针对大规模电商视觉应用提出了一种新颖的多语言文本到图像生成式离线评估方法,并验证了其在线效果。
2023-08-01 cs.CV cs.LG
Master's Thesis : Deep Learning for Visual Recognition
我们的研究目标是开发方法,推进自动视觉识别。为了预测与图像相关联的唯一或多个标签,我们研究了用于监督特征学习的不同类型的深度神经网络架构和方法。我们首先对卷积神经网络进行了最新的回顾,旨在了解这一系列统计模型背后的历史,现代架构的限制以及目前用于训练深度CNN的新技术。我们工作的独创性在于我们的方法专注于数据量较低的任务。我们引入了不同的模型和技术,以在几种数据集上实现最佳精度,例如用于构建Web API的中等食物食谱数据集(10万张图像),或用于我们赢得的DSG在线挑战的小型卫星图像数据集(6,000张)。我们还制定了最先进的弱监督学习,介绍了不同种类的CNN能够本地化感兴趣的区域。我们的最后一个贡献是一个框架,建立在Torch7之上,用于在任何视觉识别任务和任何规模的数据集上训练和测试深度模型。
2016-10-18 cs.CV
Selective Tool Use for Agentic Change Visual Question Answering in Remote Sensing
King Saud University(沙特国王大学)
针对遥感变化视觉问答中VLM不可靠问题,提出选择性工具使用框架,通过调用确定性工具获取语义证据,显著提升准确率,并验证了语义图质量的影响。
2026-09-15 cs.CV
FEAR: Fast, Efficient, Accurate and Robust Visual Tracker
Ukrainian Catholic University(乌克兰天主教大学);Piñata Farms(Piñata农场);CTU in Prague(布拉格捷克理工大学)
我们目前的恐惧,一个家庭的快速,高效,准确,强大的暹罗视觉跟踪器。我们提出了一种新的和有效的方法来受益于双模板表示的对象模型自适应,它结合了时间信息,只有一个单一的可学习的参数。我们进一步改进了跟踪器的架构与逐像素融合块。通过插入具有上述模块的复杂骨干,FEAR-M和FEAR-L跟踪器在准确性和效率方面的几个学术基准上超过了大多数暹罗跟踪器。采用轻量级骨干,优化版本FEAR-XS提供了超过10倍的速度比目前的暹罗跟踪器,同时保持接近国家的最先进的结果。FEAR-XS跟踪器比LightTrack小2.4倍,速度快4.3倍,精度更高。此外,我们通过引入评估能耗和执行速度的FEAR基准来扩展模型效率的定义。我们表明,能源消耗是移动设备上的跟踪器的一个限制因素。源代码、预训练模型和评估协议可在www.example.com上获得。
2022-07-19 cs.CV
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室);Columbia University(哥伦比亚大学)
我们提出了一个新的框架,称为语义保持对抗嵌入网络(SP-AEN)的zero-shot视觉识别(SPNL),其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族,其中一些语义将在训练过程中被丢弃,如果他们是非歧视性的训练类,但可能成为识别测试类的关键。具体而言,SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失,该嵌入器将语义空间分解为两个子空间,用于两个可以说是相互冲突的目标:分类和重建。通过对两个子空间的对抗学习,SP-AEN将重构子空间的语义转换到判别子空间,实现了对未知类的改进zero-shot识别。与现有的工作相比,SP-AEN不仅可以提高分类,而且可以生成照片般逼真的图像,证明了语义保持的有效性。在四个流行的基准上:CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
Mash, Spread, Slice! Learning to Manipulate Object States via Visual Spatial Progress
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
SPARTA框架首次统一处理物体状态变化任务,通过空间进展和物体中心变化生成结构化策略观察和密集奖励,提升机器人操控效率和准确性。
2026-03-19 cs.CV cs.RO
Families in the Wild (FIW): Large-Scale Kinship Image Database and Benchmarks
Northeastern University(东北大学)
我们提出了迄今为止最大的亲属关系识别数据集,野生家庭(FIW)。由于缺乏一个单一的,统一的数据集的亲属关系识别,我们的目标是提供一个数据集,吸引了研究界的兴趣。我们仅用一个小团队就能够收集、组织和标记1,000个家庭的10,000多张家庭照片,我们的注释工具旨在快速有效地标记复杂的层次关系和本地标签信息。我们包括两个基于图像的任务,亲属关系验证和家庭识别的几个基准。为此,我们将几个视觉特征和度量学习方法作为基线。此外,我们证明了一个预先训练的卷积神经网络(CNN)作为一个现成的特征提取器优于其他特征类型。然后,通过在FIW数据上微调两个深度CNN来进一步提升结果:(1)对于亲属关系验证,在预先训练的权重网络之上学习了三重损失函数;(2)对于家庭识别,向网络添加了一个家庭特定的softmax分类器。
2017-05-04 cs.CV
Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding
该研究提出Hi-Token分层坐标分词方法,结合基于几何的Hi-GAR奖励,在生成式视觉定位任务中提升了多模型多基准的定位性能,优于强专用基线。
2026-10-27 cs.CV
Understanding Neural Networks via Feature Visualization: A survey
Auburn University(奥本大学);Uber AI Labs(优步人工智能实验室);University of Wyoming(怀俄明大学)
了解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞群的首选刺激。机器学习的最新进展使一系列方法能够合成优选的刺激,这些刺激导致人工或生物大脑中的神经元强烈放电。这些方法被称为激活最大化(AM)或通过优化的特征可视化。在本章中,我们(1)回顾现有的AM技术在文献中;(2)讨论AM的概率解释;(3)回顾AM在调试和解释网络中的应用。
2019-04-18 cs.AI cs.CV cs.LG
SORT: Second-Order Response Transform for Visual Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体创新中心);The Johns Hopkins University(约翰斯·霍普金斯大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
在本文中,我们揭示了将二阶运算引入深度神经网络的重要性和好处。本文提出了一种新的二阶响应变换方法(SORT),该方法将逐元素乘积变换附加到两个分支网络模块的线性和上。SORT的一个直接优点是便于跨分支响应传播,这样每个分支都可以根据其他分支的当前状态更新其权重。此外,SORT扩充了变换运算族,增加了网络的非线性,使得学习灵活的函数以适应特征空间的复杂分布成为可能。SORT可以应用于广泛的网络架构,包括链式网络和剩余网络的分支变体,具有非常轻的修改。我们在小型(CIFAR10,CIFAR100和SVHN)和大型(ILSVRC 2012)数据集上观察到一致的准确性增益。此外,SORT是非常有效的,因为额外的计算开销小于5%。
2017-09-14 cs.CV
Shotluck Holmes: A Family of Efficient Small-Scale Large Language Vision Models For Video Captioning and Summarization
Georgia Institute of Technology(佐治亚理工学院)
本文提出高效小型 LLVM 系列 Shotluck Holmes,通过改进预训练与数据策略使其理解帧序列,并在 Shot2Story 上以更小、更高效的模型取得领先性能。
2024-10-21 cs.CL cs.CV cs.LG
Self-attention in Vision Transformers Performs Perceptual Grouping, Not Attention
York University(约克大学)
最近,相当多的计算机视觉研究涉及称为视觉Transformer的深度神经架构。在这些模型中的视觉处理包括声称实现注意力机制的计算模型。尽管越来越多的工作试图了解注意力机制在视觉Transformer中的作用,但它们的作用在很大程度上是未知的。在这里,我们问视觉Transformer中的注意力机制是否表现出与人类视觉注意力相似的效果。为了回答这个问题,我们重新审视了这些模型中的注意力公式,发现尽管名称如此,但在计算上,这些模型执行了一类特殊的具有相似分组效应的松弛标记。此外,尽管现代实验结果表明人类视觉注意力涉及前馈和反馈机制,但视觉Transformer的纯前馈结构表明,这些模型中的注意力不会产生与人类相同的效果。为了量化这些观察结果,我们评估了一系列视觉Transformer的分组性能。我们的研究结果表明,自我注意模块组的数字在刺激的基础上相似的视觉特征,如颜色。此外,在一个单例检测实验的显着性检测的一个实例,我们研究了这些模型是否表现出类似的效果,前馈视觉显着性机制中利用人类的视觉注意。我们发现,一般来说,基于transformer的注意模块分配更多的显着性,无论是干扰或地面。总之,我们的研究表明,视觉Transformer中的注意力机制执行相似性分组而不是注意。
2023-03-02 cs.CV
SSFam: Scribble Supervised Salient Object Detection Family
Anhui University(安徽大学);Hefei University(合肥大学)
本文提出基于SAM的SSFam框架,通过模态感知调制器和孪生解码器统一支持RGB、深度与热红外等多模态涂鸦监督显著目标检测,性能接近全监督方法。
2024-09-07 cs.CV
Involution: Inverting the Inherence of Convolution for Visual Recognition
The Hong Kong University of Science and Technology(香港科技大学);ByteDance AI Lab(字节跳动人工智能实验室);Peking University(北京大学)
卷积一直是现代神经网络的核心组成部分,引发了视觉领域深度学习的激增。在这项工作中,我们重新思考了视觉任务的标准卷积的固有原理,特别是空间不可知和通道特定的。相反,我们提出了一种新的原子操作的深度神经网络通过反转上述设计原则的卷积,创造了对合。我们还揭开了最近流行的自我注意力运营商和subsidiaries到我们的对合家庭作为一个过于复杂的实例。所提出的对合运算符可以作为基础砖来构建新一代用于视觉识别的神经网络,为几个流行的基准测试提供不同的深度学习模型,包括ImageNet分类,COCO检测和分割,以及Cityscapes分割。我们基于卷积的模型使用ResNet-50将卷积基线的性能提高了1.6%的top-1准确度,2.5%和2.4%的限界框AP以及4.7%的绝对平均IoU,同时将计算成本分别压缩到上述基准的66%,65%,72%和57%。所有任务的代码和预训练模型都可以在https://github.com/d-li14/involution上找到。
2021-04-11 cs.CV
Enhancing Visual Token Representations for Video Large Language Models via Training-Free Spatial-Temporal Pooling and Gridding
Tsinghua University(清华大学);Shenzhen University(深圳大学);Xidian University(西安电子科技大学)
本文提出了一种无需训练的空间-时间池化和栅格化方法ST-GridPool,用于提升视频大语言模型的视觉令牌表示,通过多级时空交互和基于规范的空间池化技术,在不需重新训练的情况下提高性能。
2026-05-21 cs.AI cs.CV
Good Features to Correlate for Visual Tracking
ASELSAN Research Center(阿塞尔桑研究中心);Middle East Technical University(中东技术大学);Center for Image Analysis (OGAM)(图像分析中心(OGAM))
近年来,相关滤波器在视觉目标跟踪中取得了显著的效果。在这些跟踪器家族中采用的特征的类型显著地影响视觉跟踪的性能。最终目标是利用对物体的任何外观变化都不变的鲁棒特征,同时像在没有外观变化的情况下一样正确地预测物体的位置。随着基于深度学习的方法的出现,对特定任务的学习特征的研究已经加速。例如,已经研究了基于深度架构的有区别的视觉跟踪方法,其具有很好的性能。然而,基于相关滤波器(CFB)的跟踪器仅限于使用预先训练的网络,这些网络是针对对象分类问题训练的。为此,在本手稿中,制定了CFB视觉跟踪的深度全卷积特征学习问题。为了学习该模型,提出了一种基于网络损失函数的新型高效反向传播算法。建议的学习框架,使网络模型是灵活的定制设计。此外,它消除了对训练用于分类的网络的依赖性。广泛的性能分析表明,在CFB跟踪框架的建议定制设计的功效。通过微调最先进网络的卷积部分,并将该模型集成到CFB跟踪器中,CFB跟踪器是VOT 2016中性能最好的跟踪器之一,在预期的平均重叠方面实现了18%的增加,跟踪失败减少了25%,同时保持了OTB-2013和OTB-2015跟踪数据集中最先进方法的优越性。
2018-03-10 cs.CV
Scaling Local Self-Attention for Parameter Efficient Visual Backbones
Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
与卷积的参数依赖性缩放和内容独立性交互相比,自注意具有改善计算机视觉系统的前景,这是由于感受野的参数独立缩放和内容依赖性交互。最近的研究表明,与ResNet-50等基线卷积模型相比,自注意力模型在准确性参数权衡方面有了令人鼓舞的改进。在这项工作中,我们的目标是开发自我注意力模型,不仅可以超越规范的基线模型,甚至可以超越高性能的卷积模型。我们提出了两个扩展自我注意力,结合更有效的自我注意力的实现,提高这些模型的速度,内存使用和准确性。我们利用这些改进来开发一个新的自注意力模型家族HaloNets,它在ImageNet分类基准的参数限制设置上达到了最先进的精度。在初步的迁移学习实验中,我们发现HaloNet模型优于更大的模型,并且具有更好的推理性能。在诸如目标检测和实例分割等更难的任务上,我们简单的局部自注意和卷积混合算法在非常强的基线上显示出了改进。这些结果标志着在证明自我注意力模型在传统上由卷积模型主导的设置上的有效性方面又迈出了一步。
2021-06-07 cs.CV
TailProp: content-adaptive light- and heavy-tailed propagation for vision
Shandong University(山东大学)
TailProp提出基于高斯与柯西双基传播算子的视觉主干,通过内容自适应系数在DCT域高效融合,在分类、检测、分割等任务上超越基线。
2026-09-11 cs.CV cs.LG
BARISTA: A Multi-Task Egocentric Benchmark for Compositional Visual Understanding
Ramblr.ai Research(Ramblr.ai 研究院);Technical University of Clausthal(Clausthal 技术大学)
BARISTA通过185个真实世界咖啡制作视频,提供密集标注的数据集,涵盖全自动、手冲和胶囊式流程,用于评估场景理解中的多任务能力,揭示任务家族间强变化及无主导模型家族。
2026-05-12 cs.CV
Visual object categorization with new keypoint-based adaBoost features
Mines ParisTech(巴黎高等矿业学校)
我们提出了有前途的结果,视觉对象分类,获得adaBoost使用新的原始?基于关键点的功能?这些弱分类产生一个布尔响应的存在或不存在的基础上测试图像的?关键点?(一种SURF兴趣点),其描述符与表征特征的参考描述符足够相似(即在给定距离内)。第一个实验是在包含侧视汽车的公共图像数据集上进行的,在测试集上产生了95%的召回率和95%的精确度。在行人数据库的一个小子集上进行的初步测试也给出了97%的召回率和92%的准确率,这表明了我们新功能家族的通用性。此外,对adaBoost选择的关键点位置的分析表明,它们对应于对象类别的特定部分(例如?轮子?还是?侧裙?在横向车的情况下),因此具有?语义?意义我们还对视频进行了第一次测试,用于从adaBoost中检测车辆,从所有检测到的关键点中实时筛选出关键点。
2009-10-07 cs.CV cs.LG
Physical Adversarial Textures that Fool Visual Object Tracking
Element AI
我们提出了一个系统,用于生成不显眼的纹理,当显示在物理世界中的数字或印刷海报,导致视觉对象跟踪系统变得混乱。例如,当机器人的摄像机跟踪的目标在这样的海报前面移动时,我们生成的纹理使跟踪器锁定它并允许目标躲避。这项工作的目的是欺骗很少有针对性的回归任务,特别是比较不同的优化策略:非有针对性的,有针对性的,和一个新的家庭的指导对抗损失。虽然我们使用期望转换(EOT)算法来生成在不同条件下成像时欺骗跟踪模型的物理对手,但我们比较了不同条件变量(包括视点,照明和外观)的影响,以找到具有高对抗强度和收敛速度的实际攻击设置。我们进一步展示了仅使用模拟场景优化的纹理可能会混淆真实世界的跟踪系统。
2019-09-15 cs.CV cs.LG cs.RO
Visual Sync: Multi-Camera Synchronization via Cross-View Object Motion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
VisualSync通过多视角动态优化,实现跨摄像头流的毫秒级同步,有效降低同步误差至50毫秒以下。
2025-12-01 cs.AI cs.CV cs.LG
SUNY: A Visual Interpretation Framework for Convolutional Neural Networks from a Necessary and Sufficient Perspective
University of California, Davis(加利福尼亚大学戴维斯分校);National Taiwan University(台湾大学)
本文提出因果驱动的CNN视觉解释框架SUNY,从必要性和充分性双向量化生成解释,提升解释的信息性与说服力,并在多个数据集上达到竞争性能。
2024-05-27 cs.AI cs.CV
Visual Dialog
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Virginia Tech(弗吉尼亚理工大学)
我们介绍了视觉对话的任务,这需要一个人工智能智能体举行一个有意义的对话与人类在自然,会话语言的视觉内容。具体来说,给定一个图像,一个对话历史,和一个关于图像的问题,代理必须在图像中的基础问题,从历史中推断上下文,并准确地回答问题。Visual Dialog从特定的下游任务中解脱出来,可以作为机器智能的一般测试,同时以视觉为基础,可以客观评估个人的反应和基准进度。我们开发了一种新的两人聊天数据收集协议,以管理一个大规模的可视化对话数据集(VisDial)。VisDial v0.9已经发布,包含1个对话框,10个问答对,来自COCO的约12万张图像,总共约120万个对话框问答对。我们为Visual Dialog引入了一系列神经编码器-解码器模型,其中包括3个编码器-后期融合,分层递归编码器和记忆网络-以及2个解码器(生成和判别),它们的性能优于许多复杂的基线。我们提出了一个检索为基础的评价协议的可视化对话,其中的人工智能智能体被要求排序的一组候选人的答案和评价指标,如人类反应的平均倒数排名。我们通过人类研究量化机器和人类在视觉对话任务上的表现之间的差距。把这一切放在一起,我们展示了第一个“视觉聊天机器人”!我们的数据集,代码,训练模型和可视化聊天机器人可在www.example.com上获得
2017-08-01 cs.AI cs.CL cs.CV
FlyHack: Stress-Testing Mechanistic Claims in a Connectome-Constrained Visual Model
University of Florida(佛罗里达大学)
本研究通过FlyHack对连接组约束视觉模型flyvis的机制结论依赖关系进行压力测试,发现其行为与机制结论受多因素影响,需限定使用范围。
2026-10-12 cs.CV q-bio.NC
Adaptive Hierarchical Decomposition of Large Deep Networks
Rochester Institute of Technology(罗切斯特理工学院)
深度学习最近证明了它在视觉对象识别方面与人脑相媲美的能力。随着数据集变得越来越大,一个自然的问题是,现有的深度学习架构是否可以扩展到处理被认为是典型人类可感知的50 K以上的类。大多数深度学习架构专注于拆分不同的类别,而忽略了它们之间的相似性。本文介绍了一个框架,该框架可以自动分析和配置一系列较小的深度网络,以替代单一的大型网络。类的相似性指导创建一个家庭从课程到罚款分类器,解决分类问题更有效地比一个单一的大型分类器。由此产生的较小的网络是高度可扩展的,并行的,更实用的训练,并实现更高的分类精度。本文还提出了一种方法来自适应地选择配置的分层家庭的分类器使用链接统计从整体和子分类混淆矩阵。根据类的数量和问题的复杂度,选择深度学习模型并确定复杂度。大量的实验网络类,层和架构配置验证我们的结果。
2020-07-17 cs.CV cs.LG
On Mutual Information in Contrastive Learning for Visual Representations
Stanford University(斯坦福大学)
近年来,视觉中的几种无监督的“对比”学习算法已被证明可以学习在迁移任务中表现出色的表示。我们发现,这个家庭的算法最大限度地提高了一个下界的互信息之间的两个或多个“意见”的图像,其中典型的意见来自图像增强的组合。我们的界限概括了InfoNCE目标,以支持从“困难”对比的限制区域进行负采样。我们发现,负样本和视图的选择是这些算法的成功的关键。根据互信息重新制定以前的学习目标也简化和稳定了它们。在实践中,我们的新目标产生的表示优于那些学习与以前的方法转移到分类,限界框检测,实例分割,和关键点检测。%的实验表明,选择更困难的负样本导致更强的表示,在分类,限界框检测,实例分割和关键点检测方面优于使用IR,LA和CMC学习的那些。互信息框架提供了一个统一的对比学习方法的比较,并揭示了影响表示学习的选择。
2020-06-05 cs.CV cs.LG stat.ML
From Visual Widgets to UI Code: Efficient Tool-Grounded Generation
McMaster University(麦克马斯特大学);University of Toronto(多伦多大学);Concordia University(康考迪亚大学)
本研究提出轻量级工具框架WidgetGen,在6个多模态模型和1000个控件上,其视觉重建指标优于直接提示和Widget2Code,且重建的图像-代码对可提升Qwen系列模型性能
2026-08-14 cs.CV cs.LG
Counterfactual Tests for Measuring Chain-of-Thought Faithfulness in Visual Language Models
Vienna University of Technology(维也纳技术大学);University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University College London(伦敦大学学院)
本研究将反事实测试适配至视觉输入,提出vCT和vCCT,评估八个视觉语言模型的思维链忠实性,发现其不可靠,并发布两个单对象差异数据集。
2026-09-09 cs.AI cs.CL cs.CV