Realistically distributing object placements in synthetic training data improves the performance of vision-based object detection models
Inverted AI(Inverted AI公司);University of British Columbia(不列颠哥伦比亚大学);Mila(米拉研究所)
本文研究了合成数据中物体放置分布对基于视觉的物体检测模型性能的影响,通过在CARLA中训练3D车辆检测模型并在KITTI上测试,证明改进物体放置分布可显著提升模型性能。
2023-05-24 cs.CV
Lightweight Object Detection: A Study Based on YOLOv7 Integrated with ShuffleNetv2 and Vision Transformer
针对移动设备高效目标检测需求,本研究融合组卷积、ShuffleNetV2与Vision Transformer优化YOLOv7,减少参数量与内存占用,在资源受限设备上实现精度保持下的检测速度提升。
2024-03-04 cs.CV
ClusterFormer: Clustering As A Universal Visual Learner
Rochester Institute of Technology(罗切斯特理工学院);University of Florida(佛罗里达大学);Meta AI;University of Rochester(罗切斯特大学);Zhejiang University(浙江大学)
本文提出基于聚类与Transformer的通用视觉模型CLUSTERFORMER,通过循环交叉注意力聚类和特征分派设计,以不同聚类粒度处理多类视觉任务,在多个基准上性能优于专用架构,有望推动通用视觉模型范式转变。
2023-10-06 cs.CV
UberNet: Training a `Universal' Convolutional Neural Network for Low-, Mid-, and High-Level Vision using Diverse Datasets and Limited Memory
CentraleSupélec - INRIA(中央高等电力学院 - 法国国家信息与自动化研究所)
在这项工作中,我们介绍了一个卷积神经网络(CNN),它在一个统一的架构中联合处理低,中,高层次的视觉任务,该架构是端到端训练的。这样一个通用的网络可以像一个“瑞士刀”的视觉任务,我们称之为UberNet的架构,以表明其总体性质。我们解决了在扩大单个CNN处理的任务范围时出现的两个主要技术挑战:(i)在依赖于不同训练集的同时训练深度架构,以及(ii)用有限的内存预算训练许多(可能是无限的)任务。正确地解决这两个问题使我们能够训练准确的预测器,而不影响准确性。通过这些进步,我们以端到端的方式训练CNN,其同时解决(a)边界检测(b)正常估计(c)显著性估计(d)语义分割(e)人体部位分割(f)语义边界检测,(g)区域提议生成和目标检测。我们获得了具有竞争力的性能,同时在单个GPU上以每帧0.7秒的速度联合处理所有这些任务。这个系统的演示可以在http://cvn.ecp.fr/ubernet/上找到。
2016-09-07 cs.AI cs.CV cs.LG
LMMs Meet Object-Centric Vision: Understanding, Segmentation, Editing and Generation
Zhejiang University(浙江大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文探讨了LMMs与以物体为中心的视觉结合,总结了在理解、分割、编辑和生成方面的新进展,提出了开放挑战和未来方向。
2026-04-20 cs.CV
Aerial Image Object Detection With Vision Transformer Detector (ViTDet)
The MITRE Corporation(麻省理工学院公司)
在过去的几年里,航空图像目标检测由于其在环境研究、城市规划和智能监测等大规模地学研究中的重要价值而受到越来越多的关注。然而,由于鸟瞰视角,复杂的背景,大型和各种图像尺寸,不同外观的对象,以及缺乏良好的注释数据集,这项任务是非常具有挑战性的。计算机视觉的最新进展显示出应对挑战的希望。具体地,提出了视觉Transformer检测器(ViTDet),以提取用于目标检测的多尺度特征。实验结果表明,ViTDet简单的设计在自然场景图像上取得了良好的性能,可以很容易地嵌入到任何检测器架构中。迄今为止,ViTDet的潜在好处,具有挑战性的空中图像目标检测尚未探讨。因此,在我们的研究中,进行了25个实验,以评估ViTDet在三个知名数据集上进行航空图像目标检测的有效性:空中客车飞机,RarePlanes和航空图像目标检测数据集(DOTA)。我们的研究结果表明,ViTDet在水平限界框(HBB)目标检测方面始终优于卷积神经网络(平均精度高达17%),并且在定向限界框(OBB)目标检测方面具有竞争力。我们的研究结果也为未来的研究奠定了基础。
2023-02-02 cs.CV
Exploiting Unlabeled Data with Vision and Language Models for Object Detection
Rutgers University(罗格斯大学);NEC Labs America(NEC美国实验室);Google Research(谷歌研究院);UC San Diego(加州大学圣地亚哥分校)
构建健壮和通用的目标检测框架需要扩展到更大的标签空间和更大的训练数据集。然而,大规模获取数千个类别的注释的成本过高。我们提出了一种新的方法,利用丰富的语义在最近的视觉和语言模型中的本地化和分类的对象在未标记的图像,有效地生成伪标签的目标检测。从一个通用的和类无关的区域建议机制开始,我们使用视觉和语言模型将图像的每个区域分类为下游任务所需的任何对象类别。我们在两个特定的任务中展示了生成的伪标签的价值,开放词汇检测,其中模型需要概括为看不见的对象类别,以及半监督目标检测,其中可以使用额外的未标记图像来改进模型。我们的实证评估显示了伪标签在这两项任务中的有效性,我们的表现优于竞争基线,并实现了开放词汇目标检测的最新技术水平。我们的代码可在https://github.com/xiaofeng94/VL-PLM上获得。
2022-07-18 cs.CV
Universal-Prototype Enhancing for Few-Shot Object Detection
School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Peng Cheng Laboratory(鹏城实验室);University of Technology Sydney(悉尼科技大学)
Few-Shot目标检测(FSOD)旨在利用少量标记样本增强新型目标检测的性能。为了缓解小样本的限制,提高学习特征对新对象的泛化能力是关键。因此,FSOD的特征学习过程应该更多地关注对象的内在特征,这些特征在不同的视觉变化下是不变的,因此有助于特征泛化。与以前的元学习范式的尝试不同,在本文中,我们将探讨如何增强对象特征,这些特征在不同的对象类别中具有普遍性。我们提出了一个新的原型,即通用原型,这是从所有对象类别学习。除了描述不变特征的优势之外,通用原型还减轻了不平衡对象类别的影响。在使用通用原型增强对象特征之后,我们施加一致性损失以最大化增强特征与原始特征之间的一致性,这有利于学习不变对象特征。因此,我们开发了一个新的框架,Few-Shot目标检测与通用原型({FSOD}^{up}),具有的优点,对新的对象的特征泛化。在PASCAL VOC和MS COCO上的实验结果表明了{FSOD}^{up}的有效性。特别是,对于VOC Split 2的1次发射情况,{FSOD}^{up}在mAP方面优于基线6.8%。
2021-08-15 cs.CV
SOAT: A Scene- and Object-Aware Transformer for Vision-and-Language Navigation
Georgia Institute of Technology(佐治亚理工学院);Oregon State University(俄勒冈州立大学)
用于视觉导航的自然语言指令通常使用场景描述(例如,“卧室”)和对象引用(例如,“绿色椅子”)以提供到目标位置的面包屑轨迹。这项工作提出了一种基于transformer的视觉和语言导航(VLN)代理,它使用两种不同的视觉编码器-场景分类网络和对象检测器-产生匹配这两种不同类型的视觉提示的功能。在我们的方法中,场景功能有助于高层次的上下文信息,支持对象级处理。通过这种设计,我们的模型能够使用视觉和语言预训练(即,从大规模Web数据中学习图像和文本之间的对齐),以大幅提高房间到房间(R2 R)和房间跨房间(RxR)基准测试的性能。具体而言,我们的方法导致R2 R上SPL的绝对改善1.8%,RxR上SR的绝对改善3.7%。我们的分析揭示了包含六个或更多对象引用的导航指令的更大收益,这进一步表明我们的方法能够更好地使用对象特征并将它们与指令中的引用对齐。
2021-10-27 cs.CV
Delegating Custom Object Detection Tasks to a Universal Classification System
Sampletalk Research(Sampletalk研究)
在本文中,多用途目标检测系统的概念,最近介绍了我们以前的工作,澄清。该方法的业务方面是通过图像网格将分类器转换为对象检测器/定位器。这是一个通过分类定位感兴趣对象的通用框架。该框架通过仅对图像网格上的分类结果进行自定义分析,简化了自定义系统的实现。
2013-12-19 cs.CV
High-for-Low and Low-for-High: Efficient Boundary Detection from Deep Object Features and its Applications to High-Level Vision
University of Pennsylvania(宾夕法尼亚大学);Dartmouth College(达特茅斯学院)
目前大多数边界检测系统只依赖于低级别的功能,如颜色和纹理。然而,感知研究表明,人类在判断特定像素是否是边界时采用对象级推理。受这一观察的启发,在这项工作中,我们展示了如何通过利用预训练的对象分类网络中的对象级特征来预测边界。我们的方法可以被看作是一个“高对低”的方法,其中高层次的对象特征通知低层次的边界检测过程。我们的模型在一个既定的边界检测基准上达到了最先进的性能,并且运行效率很高。此外,我们表明,由于我们的边界的语义性质,我们可以使用它们来帮助一些高层次的视觉任务。我们证明,使用我们的边界,我们提高了性能的最先进的方法的语义边界标记,语义分割和对象的建议生成的问题。我们可以把这个过程看作是一个“低对高”的方案,其中低层次的边界帮助高层次的视觉任务。因此,我们的贡献包括边界检测系统,该系统准确,高效,可以很好地推广到多个数据集,并且还可以在三个不同的任务上改进现有的最先进的高级视觉方法。
2015-09-21 cs.CV
Towards Universal Object Detection by Domain Attention
University of California, San Diego(加州大学圣地亚哥分校);Sigma Technologies(12西格玛科技)
尽管在视觉识别的通用表示上的努力越来越多,但很少有人解决目标检测。在本文中,我们开发了一个有效的和高效的通用目标检测系统,是能够工作在各种图像域,从人脸和交通标志,医学CT图像。与多领域模型不同,该通用模型不需要感兴趣领域的先验知识。这是通过引入基于挤压和激励原理的新的适应层家族以及新的域-注意力机制来实现的。在所提出的通用检测器中,所有参数和计算都是跨域共享的,并且单个网络始终处理所有域。在一个新建立的11个不同数据集的通用目标检测基准上的实验表明,该检测器的性能优于一组单独的检测器、多域检测器和基线通用检测器,其参数比单域基线检测器增加了1.3倍。代码和基准测试将在http://www.svcl.ucsd.edu/projects/universal-detection/上发布。
2019-07-06 cs.CV
Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System
University of Kansas(堪萨斯大学)
研究了无人机导航中基于视觉的障碍物检测与跟踪问题。将目标检测和跟踪有效地结合到动态卡尔曼模型中,提出了一种单目图像序列中目标的实时的【形】定位和跟踪策略。在检测阶段,感兴趣的对象是自动检测和本地化的显着性地图计算通过在每帧的图像背景连接线索;在跟踪阶段,一个卡尔曼滤波器被用来提供一个粗略的预测的对象状态,这是进一步细化通过一个本地检测器,结合显着性地图和两个连续帧之间的时间信息。与现有的方法相比,所提出的方法不需要任何手动初始化跟踪,运行速度远远快于国家的最先进的跟踪器的同类,并实现了大量的图像序列上的竞争力的跟踪性能。大量的实验证明了所提出的方法的有效性和优越的性能。
2017-03-19 cs.CV
Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters
Department of Computer Science, University of Freiburg(德国弗莱堡大学计算机科学系)
提出BALViT方法,利用冻结视觉模型结合距离视图和鸟瞰图LiDAR编码机制,通过2D-3D适配器实现标签高效的LiDAR语义分割,在小数据场景下优于现有方法。
2025-03-05 cs.CV
DuPLUS: Dual-Prompt Vision-Language Framework for Universal Medical Image Segmentation and Prognosis
Department of Computer Vision, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(计算机视觉系,Mohamed bin Zayed人工智能大学)
针对医学影像专用模型泛化性差、通用方法语义理解弱的问题,提出带双提示分层文本控制架构的DuPLUS框架,在多数据集分割任务上表现优异,还可整合EHR实现预后预测,适配性强。
2025-10-03 cs.AI cs.CV
VOMTC: Vision Objects for Millimeter and Terahertz Communications
Seoul National University(首尔大学);Inha University(仁荷大学)
本文提出面向毫米波与太赫兹通信的大规模视觉数据集VOMTC,含20232组基站采集的RGB-深度图像对及标注,实验验证基于该数据集训练的目标检测器可提升波束成形性能。
2024-09-14 cs.CV cs.NI
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review
CloudMinds Technologies(达闼科技)
本文对基于视觉的机器人抓取进行了全面的综述。总结了基于视觉的机器人抓取过程中的三个关键任务:物体定位、物体姿态估计和抓取估计。具体地说,目标定位任务包括无分类目标定位、目标检测和目标实例分割。该任务提供输入数据中的目标对象的区域。物体位姿估计任务主要是指估计6D物体位姿,包括基于对应关系的方法、基于模板的方法和基于投票的方法,其提供已知物体的抓取位姿的生成。抓取估计任务包括2D平面抓取方法和6DoF抓取方法,其中前者被约束为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。许多目标位姿估计方法不需要目标定位,而是将目标定位和目标位姿估计联合进行。许多抓取估计方法不需要目标定位和姿态估计,而是以端到端的方式进行抓取估计。本调查详细回顾了传统方法和基于RGB-D图像输入的最新深度学习方法。相关的数据集和国家的最先进的方法之间的比较也进行了总结。此外,还指出了基于视觉的机器人抓取的挑战和解决这些挑战的未来方向。
2020-10-26 cs.CV cs.RO
The Missing Point in Vision Transformers for Universal Image Segmentation
ViT-P提出了一种无需预训练的两阶段分割框架,通过解耦掩码生成与分类,提升图像分割的准确性和效率。
2025-12-09 cs.AI cs.CV cs.LG
Privacy-Preserving Object Detection for Vision Transformer-Based Models
Tokyo Metropolitan University(东京都立大学)
针对现有视觉信息保护研究多聚焦图像分类的问题,本文首次提出基于感知加密的ViT模型隐私保护目标检测方法,利用ViT嵌入结构与带密钥的领域适配技术,在ViTdet上验证了其保护视觉信息的同时保持高准确率的效果。
2026-08-24 cs.CR cs.CV
Vision: A Deep Learning Approach to provide walking assistance to the visually impaired
Indiana University Bloomington(印第安纳大学伯明顿分校);Northwestern University(西北大学);K.J. Somaiya College of Engineering(K.J.索马亚工程学院)
盲人在日常生活中面临许多问题。他们不得不为做日常家务而奋斗。在本文中,我们提出了一个系统的目标,以帮助视障人士提供音频援助,引导他们避开障碍物,这将有助于他们在他们的周围移动。使用YOLO的目标检测将帮助他们检测附近的物体,使用单目视觉的深度估计将告诉检测到的物体与用户的近似距离。尽管具有更高的精度,但立体视觉具有许多硬件限制,这使得单目视觉成为该应用的首选。
2019-11-20 cs.CV cs.LG
An Embedded Monocular Vision Approach for Ground-Aware Objects Detection and Position Estimation
Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心)
在RoboCup Small Size League(SSL)中,鼓励团队提出仅使用嵌入式传感信息在SSL领域内执行基本足球任务的解决方案。因此,这项工作提出了一种嵌入式单目视觉的方法来检测物体和估计足球场内的相对位置。通过假设物体位于地面上,利用来自环境的先验知识,并且机载摄像机将其位置固定在机器人上。我们在NVIDIA Jetson Nano上实现了所提出的方法,并采用SSD MobileNet v2进行2D目标检测,并使用TensorRT优化,检测距离最远为3.5米的球、机器人和目标。球定位评估表明,所提出的解决方案克服了目前使用的SSL视觉系统的位置接近1米的机载摄像头与14.37毫米的均方根误差。此外,所提出的方法实现了实时性能的平均处理速度为每秒30帧。
2022-07-20 cs.CV cs.RO
Hand-Priming in Object Localization for Assistive Egocentric Vision
University of Maryland, College Park(马里兰大学帕克分校)
以自我为中心的视觉为增加视觉信息的获取和改善视觉障碍人群的生活质量带来了巨大的希望,物体识别是这一人群的日常挑战之一。虽然我们努力提高识别性能,但仍然很难识别用户感兴趣的对象;由于没有视觉反馈的相机瞄准的挑战,对象甚至可能不包括在帧中。此外,通常用于推断自我中心视觉中的感兴趣区域的注视信息通常是不可靠的。然而,盲人用户通常倾向于包括他们的手,或者与他们希望识别的对象交互,或者简单地将其放置在附近以更好地进行相机瞄准。我们提出了本地化模型,利用存在的手作为上下文信息启动感兴趣的对象的中心区域。在我们的方法中,手部分割被馈送到整个定位网络或其最后的卷积层。使用以自我为中心的数据集从视力和盲人,我们表明,手启动实现更高的精度比其他方法,如微调,多类,多任务学习,这也编码手物体的相互作用在本地化。
2020-02-28 cs.CV cs.HC
An End-to-End Cascaded Image Deraining and Object Detection Neural Network
University of Chinese Academy of Sciences(中国科学院大学)
虽然近年来基于深度学习的图像去伪方法取得了很大的进展,但在现实世界中的应用中存在两个主要缺点。首先,以雨水去除为代表的低级视觉任务和以目标检测为代表的高级视觉任务之间的差距是显著的,低级视觉任务几乎不能对高级视觉任务做出贡献。第二,需要提高去噪数据集的质量。事实上,许多基线中的雨线与真实雨线有很大的差距,并且去噪数据集图像的分辨率通常不理想。同时,对于低级视觉任务和高级视觉任务,很少有共同的数据集。在本文中,我们探讨了低层次视觉任务与高层次视觉任务的结合。具体而言,我们提出了一个端到端的目标检测网络,以减少降雨的影响,它由两个级联的网络,一个改进的图像去噪网络和目标检测网络,分别。我们还设计了损失函数的组件,以适应不同的子网络的特性。然后,我们提出了一个基于KITTI数据集的数据集,用于降雨去除和目标检测,在此基础上,我们的网络超越了最先进的技术,在指标上有了显着的改进。此外,我们提出的网络在自动驾驶车辆收集的驾驶视频上进行了测量,并在除雨和目标检测方面显示出积极的结果。
2022-02-23 cs.CV eess.IV
Object Depth and Size Estimation using Stereo-vision and Integration with SLAM
Qatar Mobility Innovations Center(卡塔尔移动创新中心);Qatar University(卡塔尔大学)
针对LiDAR难以检测半透明、非实体物体及导航标识等的缺陷,提出基于立体视觉的物体检测与深度尺寸估计方法,将结果集成到SLAM中以提升自主机器人导航能力,实验验证了其估计高精度。
2024-09-11 cs.CV cs.RO
Moving Object Detection for Event-based Vision using k-means Clustering
Jadavpur University(贾达普大学)
运动目标检测是计算机视觉中的一个重要问题。基于事件的相机是生物启发的相机,通过模仿人眼的工作来工作。与传统的基于帧的相机相比,这些相机具有多个优点,如减少的延迟、HDR、在高运动期间减少的运动模糊、低功耗等。尽管有这些优点,基于事件的相机对噪声敏感并且具有低分辨率。此外,在这些相机中的移动目标检测的任务是困难的,因为基于事件的传感器缺乏有用的视觉特征,如纹理和颜色。在本文中,我们研究了应用的k-均值聚类技术在检测基于事件的数据中的移动对象。
2022-01-11 cs.AI cs.CV eess.IV
Australian Supermarket Object Set (ASOS): A Benchmark Dataset of Physical Objects and 3D Models for Robotics and Computer Vision
Deakin University(德金大学);Monash University(莫纳什大学);Coles Group(科尔斯集团)
本文提出ASOS数据集,包含50种超市商品的3D纹理网格,通过运动恢复结构技术生成水密网格,为机器人与计算机视觉的目标检测及姿态估计提供低成本、高可及性的基准测试工具。
2025-09-09 cs.CV cs.RO eess.IV
You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
Transformer是否可以从纯粹的序列到序列的角度执行2D对象和区域级别的识别,而对2D空间结构的了解很少?为了回答这个问题,我们提出了你只看一个序列(YOLOS),一系列的目标检测模型的基础上香草视觉Transformer与尽可能少的修改,区域先验,以及目标任务的归纳偏见。我们发现,仅在中等规模的ImageNet-1 k数据集上预训练的YOLOS已经可以在具有挑战性的COCO目标检测基准上实现相当有竞争力的性能,例如,YOLOS-Base直接采用BERT-Base架构,可以在COCO val上获得42.0盒AP。我们还通过YOLOS讨论了当前预训练方案和视觉中Transformer的模型缩放策略的影响和局限性。代码和预训练模型可在https://github.com/hustvl/YOLOS上获得。
2021-10-27 cs.AI cs.CV cs.LG
Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学)
针对视觉-语言预训练模型现有通用对抗攻击耗时长的问题,提出基于直接优化的DO-UAP方法,通过多模态损失设计和数据增强策略,在三个数据集和六个模型上大幅减少时间消耗并提升攻击性能。
2024-10-16 cs.CV
One to Transfer All: A Universal Transfer Framework for Vision Foundation Model with Few Data
SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
基础模型不是模型生产管道的最后一章。将少量的数据以通用的方式传递给成千上万的下游任务,正成为基础模型应用的一个趋势。在本文中,我们提出了一个通用的传输框架:一个转移所有(OTA)的任何视觉基础模型(VFM)转移到任何下游任务,下游数据很少。我们首先通过图像重新表示微调(IRF)将VFM转换为特定于任务的模型,然后利用下游图像引导生成(DIGG)产生的数据将特定于任务的模型中的知识提取到部署的模型中。OTA在传输时不依赖于上游数据、VFM和下游任务。它还为VFM研究人员提供了一种发布上游信息的方式,以便更好地传输数据,但不会因隐私要求而泄露数据。大量的实验验证了该方法在少数据情况下的有效性和优越性。我们的代码将被释放。
2021-11-24 cs.CV
Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
我们提出了Unicoder-VL,这是一种通用编码器,旨在以预训练的方式学习视觉和语言的联合表示。借鉴跨语言预训练模型(如XLM和Unicoder)的思想,视觉和语言内容都被输入到一个多层Transformer中进行跨模态预训练,其中使用了三个预训练任务,包括掩蔽语言建模(MLM),掩蔽对象分类(MOC)和视觉语言匹配(VLM)。前两个任务联合基于语言和视觉内容学习输入令牌的上下文感知表示。最后一个任务试图预测图像和文本是否相互描述。在对大规模图像-标题对进行预训练后,我们将Unicoder-VL转换为基于标题的图像-文本检索和视觉常识推理,只需一个额外的输出层。我们在这两个任务上都取得了最先进或相当的结果,并显示了跨模态预训练的强大能力。
2019-12-02 cs.CV
FreqDINO++: A Frequency-Guided Multi-Task Routing Vision Foundation Model for Universal Ultrasound Analysis
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学);University of Lincoln(林肯大学);Jinan University(暨南大学);The Hong Kong Polytechnic University(香港理工大学)
针对超声图像分析中任务多样且领域差距大的问题,提出频率引导的多任务路由基础模型FreqDINO++,通过MR-Adapter、F$^2$-Enhancer和TC-Decoder实现参数高效集成与任务协作,在27个临床任务上优于现有方法。
2026-09-18 cs.CV
UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training
University of California Davis(加州大学戴维斯分校);Microsoft Dynamics 365 AI Research(微软Dynamics 365 AI研究院)
视觉和语言预训练在学习视觉和语言之间的多模态表征方面取得了令人印象深刻的成功。为了将这一成功推广到非英语语言,我们引入了UC 2,这是第一个用于跨语言跨模态表示学习的机器翻译增强框架。为了解决图像数据集的多语言字幕稀缺问题,我们首先通过机器翻译(MT)用其他语言增强现有的仅英语的数据集。然后,我们将标准的掩蔽语言建模和图像-文本匹配训练目标扩展到多语言设置,其中通过共享视觉上下文(即,使用图像作为枢轴)捕获不同语言之间的对齐。为了促进图像和所有感兴趣语言的联合嵌入空间的学习,我们进一步提出了两个新的预训练任务,即Masked Region-to-Token Modeling(MRTM)和Visual Translation Language Modeling(VTLM),利用MT增强的翻译数据。对多语言图像-文本检索和多语言视觉问答基准测试的评估表明,我们提出的框架在各种非英语基准测试上达到了新的最先进水平,同时保持了与英语任务单语预训练模型相当的性能。
2021-04-01 cs.CV
VL-UR: Vision-Language-guided Universal Restoration of Images Degraded by Adverse Weather Conditions
School of Computer Science, Peking University(北京大学计算机学院)
本文提出视觉-语言引导通用复原框架VL-UR,利用CLIP融合视觉与语义信息并引入场景分类器预测退化类型,在十一种退化场景下实现最先进的图像复原性能。
2025-04-11 cs.CV
GiT: Towards Generalist Vision Transformer through Universal Language Interface
Peking University(北京大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ETH Zurich(苏黎世联邦理工学院)
本文提出GiT,一种仅用普通ViT和通用语言接口统一多种视觉任务的通用视觉Transformer,在五个基准上联合训练并取得领先性能,缩小了视觉与语言的架构差距。
2024-03-14 cs.CV
Tracking the Spatiotemporal Evolution of Landslide Scars Using a Vision Foundation Model: A Novel and Universal Framework
China University of Geosciences (Beijing)(中国地质大学(北京))
本研究提出一种基于视觉基础模型的新颖通用框架,通过将离散遥感图像重建为连续视频序列,实现对大规模滑坡疤痕时空演化的连续追踪,有效捕捉失稳前兆与失稳后演化过程。
2025-10-11 cs.CV
One Language-Free Foundation Model Is Enough for Universal Vision Anomaly Detection
Tencent YouTu Lab(腾讯优图实验室)
本文提出了一种简单、通用且有效的通用视觉异常检测框架UniADet,通过解耦分类和分割任务,实现了对多种基础模型的适应,并在多个实际应用场景中表现出色。
2026-01-09 cs.CV
SlowFormer: Universal Adversarial Patch for Attack on Compute and Energy Efficiency of Inference Efficient Vision Transformers
University of California, Davis(加州大学戴维斯分校)
本文提出 SlowFormer 通用对抗补丁,可迫使自适应高效 Vision Transformer 将推理计算和功耗提升至最高水平,并验证对抗训练只能部分缓解。
2023-10-04 cs.CV
Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models
KAIST(韩国科学技术院)
本文研究了大视觉-语言模型在输入图像中对小对抗扰动的脆弱性,提出了一种针对视觉编码器内部组件的通用对抗扰动攻击框架,通过分析注意力机制识别关键脆弱组件,实现高效攻击。
2026-06-29 cs.CL cs.CR cs.CV
Revealing Physical-World Semantic Vulnerabilities: Universal Adversarial Patch for Infrared Vision-Language Models
本文提出通用曲网格补丁框架UCGP,用于揭示红外视觉语言模型的语义鲁棒性漏洞,通过扰动视觉表征空间以削弱跨模态语义对齐,验证了其在多种架构和数据集上的有效性。
2026-07-21 cs.CV
Characterizing universal object representations across vision models
Vision and Computational Cognition Group(视觉与计算认知组);Max Planck Institute(马克斯·普朗克研究所);Justus-Liebig-University Giessen(吉森约瑟夫·李贝大学);Machine Learning Core(机器学习核心);Department of Cognitive Science(认知科学系);National Institute of Mental Health(国家心理健康研究所);Johns Hopkins University(约翰霍普金斯大学)
研究通过分解162种不同视觉模型的对象相似性结构,发现通用维度比模型特定维度更可解释,且与概念图像属性相关,表明生物视觉与深度学习模型的对齐。
2026-11-06 cs.CV cs.LG q-bio.NC
CLIPping the Deception: Adapting Vision-Language Models for Universal Deepfake Detection
University of Bergen(卑尔根大学)
本文提出利用保留文本组件的CLIP并采用轻量级提示微调策略进行通用深度伪造检测,仅用ProGAN数据集和不到三分之一训练数据即超越先前SOTA方法,并在21个数据集上验证了其泛化能力。
2024-02-20 cs.CV
Hierarchical Refinement of Universal Multimodal Attacks on Vision-Language Models
School of Electrical Engineering and Computer Science, the University of Queensland(电气工程与计算机科学学院,昆士兰大学);Department of Computer Science, City University of Hong Kong(计算机科学系,香港城市大学)
本文提出HRA框架,通过层次化优化路径和文本重要性建模,实现对视觉语言模型的通用多模态攻击,验证了其在多种任务和数据集上的优越迁移性能。
2026-02-17 cs.CV cs.MM
From Local Concepts to Universals: Evaluating the Multicultural Understanding of Vision-Language Models
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究院)
本文提出 GlobalRG 基准,通过跨普遍概念检索和文化视觉定位两项任务评估视觉-语言模型的多元文化理解能力,实验表明模型在不同文化间表现差异显著,凸显了提升多元文化理解的必要性。
2024-06-28 cs.AI cs.CL cs.CV
EchoVLM: Dynamic Mixture-of-Experts Vision-Language Model for Universal Ultrasound Intelligence
School of iOPEN, Northwestern Polytechnical University(iOPEN学院,西北工业大学);The First Affiliated Hospital of Sun Yat-Sen University(中山大学附属第一医院);College of Mechanical Engineering, Tongji University(同济大学机械工程学院)
本文提出EchoVLM,通过动态混合专家架构提升超声图像的多任务诊断效率,实验表明其在报告生成任务中BLEU-1和ROUGE-1得分显著提升。
2026-07-28 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
Thermal Topology Collapse: Universal Physical Patch Attacks on Infrared Vision Systems
China University of Petroleum-Beijing at Karamay(中国石油大学(北京)克拉玛依校区);University of Electronic Science and Technology of China(电子科技大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Software, Shandong University(山东大学软件学院);Shanghai Jiaotong University(上海交通大学)
本文提出通用物理贴片攻击方法UPPA,通过几何约束参数化贝塞尔块建模扰动,利用粒子群优化算法实现全局数据分布统一优化,实现动态变形下的拓扑稳定性,实验表明其在无在线计算开销下具有高攻击成功率和强跨域泛化能力。
2026-07-21 cs.CV
ViTOC: Vision Transformer and Object-aware Captioner
本文提出ViTOC模型,通过Vision Transformer与目标检测器双路径架构融合全局与局部特征,结合目标感知提示策略,在COCO数据集上超越基线模型,并提出基于CLIP的无参考评估方法,提升图像描述生成的准确性与多样性。
2025-04-17 cs.CV
Vision-Language Pre-training with Object Contrastive Learning for 3D Scene Understanding
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Research Center of Artificial Intelligence, Peng Cheng Laboratory(鹏城实验室人工智能研究中心)
提出3DVLP框架,通过对象级IoU引导检测损失及跨对比、自对比任务,有效提取通用3D视觉语言嵌入,在多个3D视觉语言下游任务上取得优异性能。
2023-05-18 cs.CV
Self-supervised Vision Transformers for 3D Pose Estimation of Novel Objects
TU Wien(维也纳工业大学);University of Alicante(阿利坎特大学)
本文评估了自监督视觉Transformer与CNN在新物体姿态估计的深度模板匹配任务中的差异,证明视觉Transformer匹配精度更优,且部分预训练模型无需微调即可实现。
2023-05-31 cs.CV
Implicit Neural Representation Facilitates Unified Universal Vision Encoding
TikTok
本文提出一种首创的隐式神经表示超网络,统一图像识别与生成任务,通过知识蒸馏提升泛化能力,并在多种视觉任务中表现优异。
2026-01-20 cs.CV
The Role of Background Information in Reducing Object Hallucination in Vision-Language Models: Insights from Cutoff API Prompting
The University of Tokyo(东京大学)
本研究针对视觉语言模型的对象幻觉问题,通过分析注意力驱动视觉提示的成败案例,发现保留背景上下文对缓解对象幻觉至关重要,为抑制模型幻觉提供了新洞见。
2025-02-21 cs.CV
UniAP: Towards Universal Animal Perception in Vision via Few-shot Learning
Zhejiang University(浙江大学);University of Washington(华盛顿大学);Donghua University(东华大学)
针对动物视觉感知中物种多样数据少、任务语义不一致的难题,提出基于少样本学习的通用动物感知模型UniAP,通过提示引导、匹配聚合等结构实现跨任务跨物种知识迁移,在多类动物的三类视觉任务上验证了其少样本泛化能力。
2023-08-19 cs.CV
Toward Universal and Transferable Jailbreak Attacks on Vision-Language Models
School of Computing and Information Systems, The University of Melbourne, Australia(墨尔本大学计算机与信息系);School of Computing and Information Systems, Singapore Management University, Singapore(新加坡管理大学计算机与信息系);School of Information Technology, Deakin University, Australia(德肯大学信息科技系);Institute of Trustworthy Embodied AI, Fudan University, China(复旦大学可信具身人工智能研究所)
本文提出UltraBreak,一种通用且可迁移的视觉-语言模型劫持攻击框架,通过视觉正则化和语义引导的文本监督,有效提升攻击的泛化能力和转移性能。
2026-02-01 cs.AI cs.CV cs.LG
KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation
Intel Labs(英特尔实验室);Microsoft Research Asia(微软亚洲研究院);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
自我监督的视觉和语言预训练(VLP)旨在从大规模图像-文本数据中学习可转移的多模态表示,并在微调后在广泛的视觉语言任务中实现强大的性能。以往主流的VLP方法通常采用两步策略,依靠外部对象检测器在多模态Transformer框架中对图像进行编码,这会受到对象概念空间受限、图像上下文受限和计算效率低下的影响。在本文中,我们提出了一个对象感知的端到端VLP框架,它直接将CNN中的图像网格特征输入到Transformer中,并共同学习多模态表示。更重要的是,我们建议执行对象知识蒸馏,以促进学习跨模态对齐在不同的语义层次。为了实现这一点,我们设计了两个新的借口任务,将外部检测器的对象特征及其语义标签作为监督:1)。对象引导的掩蔽视觉建模任务侧重于在多模态Transformer中执行对象感知表示学习; 2.)短语-区域对齐任务旨在利用名词短语和对象标签在语言空间中的相似性来提高跨模态对齐。广泛的视觉语言任务的广泛实验证明了我们提出的框架的有效性,我们实现了竞争力或优于现有的预训练策略的性能。
2022-08-07 cs.CV