A Survey on Vision-Language-Action Models for Embodied AI
Chinese University of Hong Kong（香港中文大学）；University of Bristol（布里斯托大学）；Huawei Noah’s Ark Laboratory（华为诺亚实验室）
本文综述了具身人工智能中视觉-语言-动作模型的发展，探讨了其在机器人任务中的应用，分类了三种主要研究方向，并讨论了面临的挑战与未来方向。
2026-05-01 cs.CL cs.CV cs.RO
Deep Learning for Omnidirectional Vision: A Survey and New Perspectives
The Hong Kong University of Science and Technology (HKUST)（香港科技大学（HKUST））
全方位图像（ODI）数据以360 x180的视场捕获，其比针孔相机宽得多，并且比传统的平面图像包含更丰富的空间信息。因此，全方位视觉由于其在诸如自动驾驶和虚拟现实等众多应用中更优越的性能而引起了蓬勃发展的关注。近年来，客户级360度摄像头的可用性使全方位视觉变得更加流行，而深度学习（DL）的进步也大大激发了其研究和应用。本文对全方位视觉DL方法的最新进展进行了系统和全面的回顾和分析。我们的工作包括四个主要内容：（i）介绍了全方位成像的原理、基于ODI的卷积方法，以及与二维平面图像数据相比的差异和难点的数据集;（ii）全方位视觉的深度学习方法的结构和层次分类;（iii）最新的新型学习策略和应用的总结;（iv）基于深度学习的二维图像数据集。（iv）深入讨论各项挑战及待解决的问题，并指出潜在的研究方向，以引发社会上更多的研究。
2022-05-24 cs.CV
Vision-Centric BEV Perception: A Survey
ShanghaiTech University（上海科技大学）；Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Shanghai AI Lab（上海人工智能实验室）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Kentucky（肯塔基大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文系统综述以视觉为中心的 BEV 感知方法，梳理主流算法、任务比较结果及实现经验，为后续研究提供评估参考与方向启发。
2023-06-07 cs.CV
Robotic Vision for Human-Robot Interaction and Collaboration: A Survey and Systematic Review
Australian Research Council Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）；Queensland University of Technology（昆士兰科技大学）；Monash University（莫纳什大学）；University of Oxford（牛津大学）
本综述系统性回顾了过去10年310篇文献，全面分析了机器人视觉在人机交互与协作中的应用趋势、方法、数据集及未来挑战，指出该领域在动作识别和物体交接等方面取得进展，但计算机视觉新技术转化不足。
2023-07-28 cs.RO
Vision Language Models in Autonomous Driving: A Survey and Outlook
Technical University of Munich（慕尼黑工业大学）；The Ohio State University（俄亥俄州立大学）
本文综述了视觉语言模型在自动驾驶领域感知、规划、决策等多方向的研究进展、任务指标与相关数据集，分析其优势挑战并指出研究空白与未来趋势。
2024-06-20 cs.AI cs.CV
A Survey on Improving Human Robot Collaboration through Vision-and-Language Navigation
Birla Institute of Technology and Science (BITS)（比拉理工学院和科学学院）；Macquarie University（麦考瑞大学）
本文综述了视觉-语言导航在提升人机协作中的最新进展，探讨了多机器人协作中的关键挑战，并提出通过先进NLU技术实现主动澄清和动态角色分配的未来方向。
2025-11-06 cs.AI cs.CV cs.HC
Vision-Language Navigation: A Survey and Taxonomy
National University of Defense Technology（国防科技大学）
视觉语言导航（VLN）任务要求智能体遵循人类语言指令，在以前看不见的环境中导航。这个充满挑战的领域涉及自然语言处理、计算机视觉、机器人等方面的问题，已经产生了许多优秀的作品，专注于各种VLN任务。本文根据这些任务中语言指令的不同特点，对这些任务进行了全面的调查和深入的分类。根据导航指令是一次还是多次给出，本文将任务分为两类，单圈和多圈任务。对于单回合任务，我们进一步细分为目标导向和路线导向的基础上，指示指定一个单一的目标位置或指定多个位置的序列。对于多轮任务，我们将其细分为被动和交互式任务的基础上，代理是否被允许质疑的指令或没有。这些任务需要代理的不同能力，并需要各种模型设计。我们确定的任务取得的进展，并期待现有的VLN模型和任务设置的局限性。最后，我们讨论了VLN的几个开放问题，并指出了未来的一些机会，即，将知识与VLN模型相结合，并在真实的物理世界中实现它们。
2022-04-02 cs.CV cs.MM
Vision-and-Language Navigation Today and Tomorrow: A Survey in the Era of Foundation Models
Michigan State University（密歇根州立大学）；University of Michigan（密歇根大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of Adelaide（阿德莱德大学）
本文综述了基础模型时代视觉与语言导航的研究现状，提出具身规划与推理框架，梳理当前方法并展望基础模型在该领域的未来机遇。
2024-12-29 cs.CL cs.CV
One Flight Over the Gap: A Survey from Perspective to Panoramic Vision
Insta360 Research（影石创新研究院）；University of California, San Diego（加州大学圣迭戈分校）；University of California, Merced（加州大学默塞德分校）；Wuhan University（武汉大学）
本综述聚焦从透视到全景的适应，总结几何畸变、非均匀采样和边界连续性三大挑战，并分类分析20余任务，展望未来方向。
2025-09-09 cs.CV
A Survey of Representation Learning, Optimization Strategies, and Applications for Omnidirectional Vision
该综述系统梳理面向全向图像的深度学习表示学习、优化策略、任务分类、应用与开放挑战。
2025-02-11 cs.CV
A Survey of Deep Learning Based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；School of Electronic and Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
本文综述了基于深度学习的自动驾驶3D目标检测雷达与视觉融合方法，涵盖ROI融合、端到端融合等策略，并展望了4D雷达应用及未来趋势。
2024-06-02 cs.CV
Surround-View Fisheye Optics in Computer Vision and Simulation: Survey and Challenges
University of Limerick（利默里克大学）；University of Galway（戈尔韦大学）；Lero (the Science Foundation Ireland Research Centre for Software)（Lero（爱尔兰科学基金会软件研究中心））；Valeo Vision Systems（法雷奥视觉系统公司）
该综述聚焦汽车环视鱼眼光学，分析鱼眼光学像差对自动驾驶视觉任务的影响，调研两类仿真生成合成数据集的方法，指出仿真鱼眼数据的光学真实感局限。
2024-02-21 cs.CV eess.IV
A Survey of Advanced Computer Vision Techniques for Sports
Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）；LIAAD - INESC TEC（LIAAD - 葡萄牙系统与计算机工程研究所）；FC Porto – Futebol SAD（波尔图足球俱乐部）
计算机视觉的发展使包括体育在内的许多领域都取得了重大进展。基于计算机视觉技术构建的许多应用程序，例如跟踪数据，现在对每个顶级分析师，教练甚至球员都至关重要。在本文中，我们调查计算机视觉技术，可以帮助许多体育相关的研究收集大量的数据，如目标检测和姿态估计。我们提供了这样的数据的一个用例：建立一个模型，拍摄速度估计与姿态数据，仅使用计算机视觉模型。我们的模型实现了67%的相关性。估计投篮速度的可能性使人们能够更深入地研究如何创建新的指标和推荐系统，以帮助运动员在任何运动中提高成绩。所提议的方法很容易在许多技术运动中推广，仅受视频数据可用性的限制。
2023-01-18 cs.CV cs.LG
Survey on Vision-based Path Prediction
Chubu University（中部大学）；Hiroshima University（广岛大学）
路径预测是估计行人或车辆在场景中如何移动的基本任务。由于作为计算机视觉的任务的路径预测使用视频作为输入，因此除了预测路径之外，还需要从视频估计用于预测的各种信息，诸如目标周围的环境和目标的内部状态。已经提出了许多包括理解环境和内部状态的预测方法。本文系统地总结了以视频为输入，从视频中提取特征的路径预测方法。此外，我们还介绍了用于定量评估路径预测方法的数据集。
2018-11-01 cs.CV cs.RO
Autonomous Vision-based UAV Landing with Collision Avoidance using Deep Learning
York University（约克大学）
当多架无人机在同一平台上同时着陆而没有通信时，存在碰撞的风险。该工作实现了基于视觉的自主着陆，并在着陆过程中使用基于深度学习的方法来实现避碰。
2021-09-17 cs.CV cs.LG cs.RO
Vision-based Multi-future Trajectory Prediction: A Survey
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文首次综述基于视觉的多未来轨迹预测（MTP），提出独特分类法，全面分析框架、数据集与评估指标，并在ForkingPath数据集上实验，探讨未来研究方向。
2025-03-26 cs.CV cs.LG cs.RO
Survey on the attention based RNN model and its applications in computer vision
Delft University of Technology（代尔夫特理工大学）
递归神经网络（RNN）可以用来解决输入和输出都具有序列结构的序列到序列问题。通常，结构之间存在一些隐含的关系。然而，普通的RNN模型很难充分挖掘序列之间的关系。在本次调查中，我们介绍了一些基于注意力的RNN模型，这些模型可以关注每个输出项的输入的不同部分，以便探索和利用输入和输出项之间的隐含关系。详细描述了不同的注意力机制。然后，我们介绍了一些应用在计算机视觉，应用基于注意力的RNN模型。实验结果表明了基于注意力的RNN模型的优越性。最后指出了今后的研究方向。
2016-01-25 cs.CV cs.LG
Vision-based Human Gender Recognition: A Survey
Universiti Tunku Abdul Rahman（拉曼大学）
性别是人们的一个重要人口属性。本文综述了计算机视觉中人类性别识别的研究进展。回顾了利用面部和全身（无论是从静止图像或步态序列）的信息的方法。我们强调所面临的挑战，并调查这些方法的代表性方法。基于这些结果，在受控环境下捕获的数据集已经取得了良好的性能，但仍有许多工作可以做，以提高现实生活环境下性别识别的鲁棒性。
2012-04-07 cs.CV
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST（韩国科学技术院）
掩码自编码器是可扩展的视觉学习器，如MAE \cite{he2022masked}的标题，这表明视觉中的自监督学习（SSL）可能会采取与NLP类似的轨迹。具体地，具有掩蔽预测的生成借口任务（例如，BERT）已经成为NLP中SSL实践的事实标准。相比之下，早期的视觉生成方法的尝试已经被它们的区别性对应物（如对比学习）所掩盖;然而，掩模图像建模的成功已经复兴了掩模自动编码器（过去通常称为去噪自动编码器）。作为弥合与BERT在自然语言处理领域差距的里程碑，掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查，掩码自编码器，以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器，这项工作的重点是它在视觉中的应用，讨论其历史发展，最近的进展，并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
A Survey on Deep Learning Methods for Robot Vision
Universidad de Chile（智利大学）
深度学习使得模式识别发生了范式转变，从使用手工制作的特征和统计分类器到使用通用学习过程来学习数据驱动的表示、特征和分类器。这种新范式在计算机视觉中的应用尤其成功，其中面向视觉应用的深度学习方法的开发已成为热门研究课题。鉴于深度学习已经引起了机器人视觉社区的关注，本次调查的主要目的是解决深度学习在机器人视觉中的使用问题。为了实现这一目标，全面概述了深度学习及其在计算机视觉中的应用，其中包括最常用的神经模型及其主要应用领域的描述。然后，介绍了用于设计基于深度学习的视觉系统的标准方法和工具。然后，回顾了在机器人视觉中使用深度学习的主要工作，以及在机器人技术中使用深度学习的当前和未来趋势。本综述旨在为机器人视觉系统的开发者提供指导。
2018-03-28 cs.CV
A survey of the Vision Transformers and their CNN-Transformer based Variants
Pakistan Institute of Engineering & Applied Sciences（巴基斯坦工程与应用科学学院）；Khalifa University of Science and Technology（哈利法科学技术大学）；Air University（空军大学）
本综述系统分类并分析了视觉Transformer及混合视觉Transformer架构，重点探讨了其注意力机制、位置嵌入等关键特征，强调了混合架构在计算机视觉任务中的卓越性能与未来发展方向。
2024-07-27 cs.CV
Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods
Spoken Language Systems (LSV)（口语语言系统（LSV））；Saarland Informatics Campus（萨尔兰信息学园区）；Saarland University（萨尔兰大学）
在过去的几年里，对人工智能（AI）及其应用的兴趣出现了前所未有的增长。这一成功可以部分归功于人工智能子领域的进步，如机器学习，计算机视觉和自然语言处理。这些领域的大部分增长都是通过深度学习实现的，深度学习是使用人工神经网络的机器学习的一个子领域。这引起了人们对视觉和语言整合的极大兴趣。在这项调查中，我们重点讨论了10个突出的任务，通过讨论他们的问题制定，方法，现有的数据集，评估措施，并将获得的结果与相应的最先进的方法进行比较。我们的努力超越了早期的调查，这些调查要么是针对特定任务，要么只集中在一种类型的视觉内容上，即，图像或视频。此外，我们还提供了该研究领域的一些潜在的未来方向，预计这项调查将激发创新思维和想法，以应对现有的挑战并构建新的应用程序。
2021-12-31 cs.CL cs.CV cs.LG
A survey of image labelling for computer vision applications
用于图像分析的监督机器学习方法需要大量标记的训练数据来解决计算机视觉问题。最近兴起的用于识别图像内容的深度学习算法导致了许多专门标签工具的出现。通过这次调查，我们捕捉和系统化的共性以及现有的图像标签软件之间的区别。我们进行了结构化的文献综述，编译的基本概念和功能的图像标记软件，如注释的表现力和自动化程度。我们的组织工作，用户界面设计选项，和用户支持技术，以获得一个系统化的计划，这项调查的手动标签任务。将其应用于可用的软件和文献的主体，使我们能够发现几个应用原型和关键领域，如图像检索或实例识别在医疗保健或电视。
2021-04-18 cs.CV cs.HC cs.LG
A Survey on Efficient Vision-Language Models
University of Maryland Baltimore County (UMBC)（马里兰大学巴尔的摩县分校）
本文综述了在边缘和资源受限设备上优化视觉-语言模型的关键技术、紧凑架构及性能与内存权衡，并建立持续更新的GitHub仓库以推动高效VLM研究。
2025-07-01 cs.CV
Deep Learning and Machine Vision for Food Processing: A Survey
University of Guelph（圭尔夫大学）；University of Toronto（多伦多大学）
食品质量安全是关系到人类健康、社会发展和稳定的重大社会问题。确保食品质量和安全是一个复杂的过程，必须考虑食品加工的所有阶段，从种植，收获和储存到准备和消费。然而，这些过程往往是劳动密集型的。如今，机器视觉的发展可以极大地帮助研究人员和行业提高食品加工的效率。因此，机器视觉已广泛应用于食品加工的各个方面。同时，图像处理又是机器视觉的重要组成部分。图像处理可以利用机器学习和深度学习模型来有效识别食物的类型和质量。随后，机器视觉系统中的后续设计可以解决食品分级、检测缺陷点或异物位置以及去除杂质等任务。本文综述了传统的机器学习和深度学习方法，以及可应用于食品加工领域的机器视觉技术。我们提出了当前的方法和挑战，以及未来的趋势。
2021-03-30 cs.CV cs.LG
Survey of Computer Vision and Machine Learning in Gastrointestinal Endoscopy
本文试图为读者提供一个开始研究计算机视觉和机器学习在胃肠道（GI）内窥镜检查中的应用的地方。它们被分为18类。读者应该注意到，这是一个前深度学习时代的评论。许多基于深度学习的应用在本文中没有涉及。
2019-04-26 cs.CV eess.IV physics.med-ph
A Survey of Vision-Language Pre-Trained Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Université de Montréal（蒙特利尔大学）
随着Transformer的发展，预训练模型近年来以惊人的速度发展。在自然语言处理（NLP）和计算机视觉（CV）中，它们占据了主流技术的主导地位。如何使预训练适应视觉与语言学习领域，提高下游任务绩效成为多模态学习研究的热点。本文综述了视觉语言预训练模型（VL-PTM）的研究进展。作为核心内容，我们首先简要介绍了在预训练之前将原始图像和文本编码为单模态嵌入的几种方法。然后，我们深入到VL-PTM的主流架构，在建模文本和图像表示之间的交互。我们进一步介绍了广泛使用的预训练任务，然后介绍了一些常见的下游任务。最后对本文进行了总结，并提出了一些有前景的研究方向.我们的调查旨在为研究人员提供相关研究的综合和指针。
2022-07-16 cs.CL cs.CV cs.LG
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Exploring the Synergies of Hybrid CNNs and ViTs Architectures for Computer Vision: A survey
Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）；Tianjin University（天津大学）
本文综述最先进的混合 CNN-ViT 计算机视觉架构，系统分类其融合设计、任务协同、性能比较、挑战与未来方向。
2024-02-05 cs.CV cs.LG
Recent Advances of Local Mechanisms in Computer Vision: A Survey and Outlook of Recent Work
Shandong University（山东大学）
本文系统综述了面向细粒度识别、重识别、少/零样本、多模态、自监督学习及Vision Transformers等任务的计算机视觉局部机制，归纳分类、分析优劣并展望方向。
2023-06-02 cs.CV
Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本综述聚焦视觉基础模型理解与生成统一趋势，从自回归视角梳理其进展、定义优势、按分词器与骨干分类，探讨挑战方向，是该领域首篇全面综述并配套资源库。
2024-10-30 cs.CV
Attention mechanisms and deep learning for machine vision: A survey of the state of the art
University of Kashmir（克什米尔大学）；Institute of Technology, University of Kashmir（克什米尔大学理工学院）
随着最先进的自然启发的纯注意力模型（即Transformers）的出现，以及它们在自然语言处理（NLP）中的成功，它们扩展到机器视觉（MV）任务是不可避免的，也是非常重要的。随后，引入了视觉Transformer（ViTs），这对基于深度学习的机器视觉技术提出了相当大的挑战。然而，像Transformers这样的纯注意力模型/架构需要大量的数据，大量的训练时间和大量的计算资源。最近的一些工作表明，这两个不同的领域的组合可以证明建立具有这两个领域的优势的系统。因此，这一国家的最先进的调查文件介绍，希望能帮助读者获得有用的信息，这个有趣的和潜在的研究领域。对注意力机制进行了简单的介绍，然后讨论了流行的基于注意力的深层体系结构。随后，讨论了基于机器视觉（MV）的注意力机制和深度学习交叉的主要类别。之后，主要的算法，问题和趋势的范围内的文件进行了讨论。
2021-06-03 cs.AI cs.CV cs.LG
Trajectory-Prediction with Vision: A Survey
Motional（莫逊纳尔）
为了规划一条安全有效的路线，自动驾驶汽车需要预测周围智能体的未来轨迹，轨迹预测是一项极具挑战性的任务，近年来在自动驾驶汽车研究领域引起了广泛的关注。轨迹预测预测场景中所有动态代理的当前和过去状态的未来状态。一个好的预测模型可以防止道路上的碰撞，因此自动驾驶汽车的最终目标是：碰撞率：每百万英里的碰撞。本文的目的是提供一个概述的字段故障预测。我们将相关的算法分为不同的类，以便研究人员可以遵循的趋势，在故障预测研究领域。此外，我们还触及的背景知识需要制定一个概率预测问题。
2023-03-15 cs.CV cs.RO
A Survey on Recent Advances of Computer Vision Algorithms for Egocentric Video
Indiana University（印第安纳大学）
最近的技术进步使得轻便的头戴式摄像头既实用又实惠，像谷歌眼镜这样的产品首次将以自我为中心（第一人称）的视频引入主流。有趣的是，计算机视觉社区直到最近才开始探索这个以自我为中心的视觉的新领域，其中的研究可以大致分为三个领域：对象识别，活动检测/识别，视频摘要。在本文中，我们试图对已经解决的不同问题进行广泛的概述，并收集和比较评估结果。此外，随着这个新领域的出现，引入了许多新的和通用的基准数据集，我们也对它们进行了总结和比较。
2015-01-12 cs.CV
Mamba in Vision: A Comprehensive Survey of Techniques and Applications
Texas A&M University（得克萨斯农工大学）；Kyungpook National University（庆北国立大学）
本文综述了Mamba模型如何通过选择性结构化状态空间模型以线性复杂度解决CNNs和ViTs在视觉任务中的长程依赖与高计算成本问题，并总结了其贡献、应用及未来方向。
2024-10-04 cs.AI cs.CL cs.CV
Survey on Deep Neural Networks in Speech and Vision Systems
Old Dominion University（奥多明尼昂大学）；Tennessee State University（田纳西州立大学）
本综述综述了视觉和语音应用中最先进的深度神经网络架构、算法和系统。深度人工神经网络算法和架构的最新进展刺激了智能视觉和语音系统的快速创新和发展。随着大量传感器数据的可用性和用于处理和训练深度神经网络的云计算，以及移动和嵌入式技术的日益复杂性，下一代智能系统有望彻底改变个人和商业计算。本调查首先提供了一些迄今为止最成功的智能视觉和语音系统深度学习模型的背景和演变。概述了大规模的工业研究和开发工作，以强调智能视觉和语音系统的未来趋势和前景。强大而高效的智能系统需要在资源受限的硬件平台（如移动设备、机器人和汽车）中实现低延迟和高保真度。因此，本调查还总结了在硬件受限的平台上运行深度神经网络的关键挑战和最近的成功，即在有限的内存，电池寿命和处理能力内。最后，视觉和语音跨学科的新兴应用，如情感计算，智能交通和精准医疗进行了讨论。据我们所知，本文提供了一个最全面的调查在智能视觉和语音应用的最新发展，从软件和硬件系统的角度。许多使用深度神经网络的新兴技术显示出巨大的前景，将彻底改变未来视觉和语音系统的研究和开发。
2019-12-01 cs.CV cs.LG cs.NE
Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies
George Mason University（乔治梅森大学）
本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。
2026-04-11 cs.CL cs.CV cs.LG
cvpaper.challenge in 2016: Futuristic Computer Vision through 1,600 Papers Survey
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所 (AIST)）；University of Tsukuba（筑波大学）；Keio University（庆应义塾大学）；Tokyo Denki University（东京电机大学）
本文给出了cvpaper. challenge中讨论的未来挑战。在2015年和2016年，我们深入研究了CVPR/ICCV/ECCV/NIPS/PAMI/IJCV等多个会议/期刊上的1，600多篇论文。
2017-07-20 cs.CV
Survey on Computer Vision Techniques for Internet-of-Things Devices
Apple Inc.（苹果公司）
本文综述了面向资源受限物联网设备的低功耗深度神经网络实现技术，涵盖神经网络压缩、架构搜索与设计及编译器图优化三大类方法，并总结了卷积网络与Transformer的优缺点及开放问题。
2023-08-02 cs.CV cs.LG
Attention Mechanisms in Computer Vision: A Survey
Tsinghua University（清华大学）；Nankai University（南开大学）；Cardiff University（卡迪夫大学）
人类可以自然有效地在复杂场景中找到显著区域。受此观察的启发，注意力机制被引入到计算机视觉中，目的是模仿人类视觉系统的这一方面。这种注意力机制可以被认为是基于输入图像的特征的动态权重调整处理。注意力机制在图像分类、目标检测、语义分割、视频理解、图像生成、3D视觉、多模态任务和自监督学习等视觉任务中取得了巨大的成功。本文对计算机视觉中的各种注意力机制进行了全面的综述，并根据方法将其分类，如通道注意、空间注意、时间注意和分支注意;相关知识库https://github.com/MenghaoGuo/Awesome-Vision-Attentions专门收集相关工作。最后，对注意力机制的未来研究方向提出了建议。
2021-11-15 cs.CV
3D Vision with Transformers: A Survey
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Tianjin University（天津大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）；University of California at Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Google（谷歌）
Transformer架构在自然语言处理中的成功最近引发了计算机视觉领域的关注。Transformer已被用作广泛使用的卷积运算符的替代品，因为它能够学习远程依赖关系。这种替换在许多任务中被证明是成功的，其中一些最先进的方法依赖于Transformers来更好地学习。在计算机视觉中，3D领域也见证了将Transformer用于3D卷积神经网络和多层感知器网络的增长。虽然许多调查都集中在视觉中的Transformers上，但由于与2D视觉相比，3D视觉在数据表示和处理方面的差异，需要特别注意。在这项工作中，我们提出了一个系统和全面的审查100多个Transformers的方法，用于不同的3D视觉任务，包括分类，分割，检测，完成，姿态估计等。我们讨论了3D视觉中的Transformer设计，它允许它处理具有各种3D表示的数据。对于每个应用程序，我们突出的关键属性和建议的基于变压器的方法的贡献。为了评估这些方法的竞争力，我们将其性能与12个3D基准上的常见非变压器方法进行了比较。我们通过讨论3D视觉中Transformers的不同开放方向和挑战来结束调查。除了所介绍的论文之外，我们的目标是经常更新最新的相关论文及其相应的实现：https://github.com/lahoud/3d-vision-transformers。
2022-08-08 cs.CV
Graph Neural Networks in Vision-Language Image Understanding: A Survey
该综述梳理了视觉-语言二维图像理解领域中基于图神经网络（GNNs）的研究，给出图类型分类、所用GNN模型列表及未来发展路线，是首篇覆盖相关三类任务的全面综述。
2024-04-12 cs.CV cs.LG
Deep Learning vs. Traditional Computer Vision
Institute of Technology Tralee（特拉利理工学院）；IMaR Technology Gateway（IMaR技术门户）
深度学习推动了数字图像处理领域的极限。然而，这并不是说在DL兴起之前多年来一直在逐步发展的传统计算机视觉技术已经过时。本文将分析每种方法的优点和缺点。本文的目的是促进讨论是否应该保持经典的计算机视觉技术的知识。本文还将探讨如何将计算机视觉的两个方面结合起来。最近的几种混合方法进行了审查，已证明有能力提高计算机视觉的性能，并解决不适合深度学习的问题。例如，将传统的计算机视觉技术与深度学习相结合在全景视觉和3D视觉等新兴领域已经很流行，而这些领域的深度学习模型尚未完全优化
2019-10-30 cs.CV cs.LG
From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
School of Computer Science, Sichuan University（四川大学计算机学院）；School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院）；Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI））
本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。
2026-06-26 cs.AI cs.CL cs.CV
A Brief Survey on Leveraging Large Scale Vision Models for Enhanced Robot Grasping
本文综述大规模视觉预训练模型如何缓解机器人抓取中的数据稀缺问题，分析关键挑战并指出未来研究方向。
2024-06-17 cs.AI cs.CV cs.RO
A Chronological Survey of Theoretical Advancements in Generative Adversarial Networks for Computer Vision
TCS Research（塔塔咨询服务研究院）
本文针对现有GAN综述缺乏编年视角的问题，梳理计算机视觉领域GAN理论与应用的里程碑工作，展示其训练与应用挑战如何随时间被逐步解决。
2023-11-02 cs.CV eess.IV
SMART-Vision: Survey of Modern Action Recognition Techniques in Vision
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Can Tho University（芹苴大学）
本文提出SMART-Vision分类法，系统综述人类动作识别（HAR）的深度学习方法，涵盖混合架构、数据集及开放HAR挑战，为从基础到前沿提供路线图。
2025-01-22 cs.CV
Embedded Platforms for Computer Vision-based Advanced Driver Assistance Systems: a Survey
Vicomtech-IK4
计算机视觉，无论是单独使用还是与雷达或激光雷达等其他技术相结合，都是高级驾驶辅助系统（ADAS）中使用的关键技术之一。它在理解和分析驾驶场景方面的作用非常重要，因为使用该技术的ADAS应用的数量可以说明这一点。然而，将视觉算法移植到嵌入式汽车系统仍然是非常具有挑战性的，因为必须在几种设计方法之间进行权衡。此外，没有标准的实施平台，因此科学界和工业界都提出了不同的替代方案。本文旨在回顾可用于基于计算机视觉的ADAS的嵌入式系统和不同的嵌入式实现平台，并对未来趋势进行了批判性分析和展望。
2015-04-28 cs.CV
Vision-and-Language Pretrained Models: A Survey
The University of Sydney（悉尼大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）
预训练模型在计算机视觉（CV）和自然语言处理（NLP）领域都取得了巨大的成功。这一进展导致通过将视觉和语言内容馈送到多层Transformer，视觉语言预训练模型（VLPM）中来学习视觉和语言预训练的联合表示。在本文中，我们提出了一个概述的主要进展VLPMs产生联合表示的视觉和语言。作为本文的第二部分，我们简要描述了VLPMs的一般任务定义和遗传结构。本文首先讨论了语言和视觉数据的编码方法，然后介绍了作为核心内容的主流VLPM结构。我们进一步总结了几个基本的预训练和微调策略。最后，我们强调了CV和NLP研究人员未来的三个方向，以提供有见地的指导。
2022-05-03 cs.CL cs.CV
Semantic Segmentation using Vision Transformers: A survey
University of Peradeniya（佩拉德尼亚大学）；University of Melbourne（墨尔本大学）
本综述针对视觉Transformer（ViTs）因补丁划分导致无法直接用于密集预测任务的问题，梳理了可用于语义分割的ViT架构演进，对比其在基准数据集上的性能，为探索更高效的ViT语义分割方法提供参考。
2023-05-05 cs.AI cs.CV cs.LG
Large Language Models Meet Computer Vision: A Brief Survey
Tahakom（塔哈科姆）
本文综述了大型语言模型与计算机视觉的交叉研究，分析了Transformer及视觉Transformer的演进，比较了主流付费与开源LLM的性能，梳理了用于视觉任务的方法和训练数据集，并指出了未来研究方向。
2023-11-28 cs.AI cs.CV
A Comprehensive Survey of Transformers for Computer Vision
Sejong University（世宗大学）
作为一种特殊的Transformer，视觉变换器（Vision Transformers，ViTs）被广泛应用于图像识别等计算机视觉领域。卷积神经网络（CNN）有几个潜在的问题可以用ViT来解决。对于压缩、超分辨率、分割和去噪等图像编码任务，使用ViT的不同变体。本调查的目的是介绍ViTs在CV中的首次应用。据我们所知，这项调查是第一次针对简历的ViTs调查。在第一步中，我们对ViT适用的不同CV应用进行分类。CV应用包括图像分类、目标检测、图像分割、图像压缩、图像超分辨率、图像去噪和异常检测。我们的下一步是审查每个类别的最新技术水平，并列出可用的模型。接下来，我们对每种模式进行了详细的分析和比较，并列出了其优缺点。之后，我们提出了我们对每个类别的见解和经验教训。此外，我们还讨论了几个开放的研究挑战和未来的研究方向。
2022-11-11 cs.CV
Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；College of Engineering, Koç University（科克大学工程学院）
近年来，人工智能相关领域取得了巨大进展，如计算机视觉、机器学习和自动驾驶汽车。与任何快速增长的领域一样，要保持最新或作为初学者进入该领域变得越来越困难。虽然已经出现了几篇关于特定子问题的调查论文，但尚未发表关于自动驾驶车辆计算机视觉中的问题、数据集和方法的全面调查。本书试图通过对最先进的数据集和技术进行调查来缩小这一差距。我们的调查包括历史上最相关的文献以及几个特定主题的最新技术水平，包括识别，重建，运动估计，跟踪，场景理解和自动驾驶的端到端学习。为了实现这一目标，我们分析了几个具有挑战性的基准数据集，包括KITTI，MOT和Cityscapes的最新性能。此外，我们还讨论了开放的问题和当前的研究挑战。为了方便访问和容纳缺失的参考文献，我们还提供了一个网站，允许导航主题以及方法，并提供额外的信息。
2021-03-17 cs.CV cs.RO
Deep Fast Vision: A Python Library for Accelerated Deep Transfer Learning Vision Prototyping
University of Jyväskylä（于韦斯屈莱大学）；Finnish Artificial Intelligence Research Network（芬兰人工智能研究网络）
本文提出Python库Deep Fast Vision，通过嵌套字典定义简化深度学习视觉流程，降低使用门槛，促进迁移学习在图像分类等任务中的普及。
2023-11-10 cs.CV cs.LG eess.IV
