Vision and Inertial Sensing Fusion for Human Action Recognition : A Review
University of Texas at Dallas(德克萨斯大学达拉斯分校)
人类动作识别被用于许多应用中,例如视频监控、人机交互、辅助生活和游戏。文献中出现的许多论文表明,与单独使用每种传感方式的情况相比,视觉和惯性传感的融合提高了识别精度。本文提供了一个调查的文件中,视觉和惯性传感同时使用的融合框架内,以执行人体动作识别。被调查的论文进行分类的融合方法,功能,分类器,以及多模态数据集考虑。挑战,以及可能的未来方向部署这两种传感模式的融合在现实条件下也陈述。
2020-08-02 cs.CV cs.HC cs.LG
Computer Vision Systems in Road Vehicles: A Review
University of Zagreb(萨格勒布大学)
近几十年来,公路车辆的数量显著增加。这一趋势伴随着道路基础设施的建设和各种控制系统的发展,以提高道路交通安全、道路通行能力和旅行舒适度。在交通安全方面已经取得了重大的发展,并且今天的系统越来越多地包括摄像机和计算机视觉方法。摄像头被用作道路基础设施或车辆的一部分。本文从交通工程的角度对车辆计算机视觉系统进行了综述。介绍了道路车辆的安全问题,描述了当前最先进的车载视觉系统,并讨论了未来研究方向的开放问题。
2013-10-01 cs.CV
A comprehensive review of datasets and deep learning techniques for vision in Unmanned Surface Vehicles
University of Antwerp(安特卫普大学);IDLab;imec(校际微电子中心)
本文系统综述USV视觉数据集与相关深度学习技术,分析当前局限、挑战与发展机遇。
2024-12-02 cs.CV
A Review of 3D Object Detection with Vision-Language Models
Cornell University(康奈尔大学);University of Peloponnese(希腊皮洛斯大学);Kansas State University(堪萨斯州立大学);Universidad de las Fuerzas Armadas(武装力量大学)
本综述系统分析了基于视觉语言模型的3D目标检测,对比传统方法与现代框架,回顾关键架构与策略,并指出当前挑战与未来方向。
2025-04-25 cs.CV
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications(北京邮电大学)
随着自动驾驶技术的蓬勃发展,复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波(mmWave)雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先,我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说,我们将融合方法分为数据级,决策级和特征级融合方法。此外,我们还介绍了三维(3D)目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合,这些都是未来很有希望的。最后,对本文进行了总结。
2022-04-01 cs.CV
A Comprehensive Review of Knowledge Distillation in Computer Vision
Bharti School of Telecommunication Technology and management, Indian Institute of Technology New Delhi(印度理工学院新德里分校巴蒂电信技术与管理学院);National Institute of Technology Srinagar(斯利那加国家理工学院)
本文全面综述了知识蒸馏在计算机视觉领域的研究现状、主要原理与技术及其应用,并探讨了其优势及需克服的问题,以解决深度学习模型在资源受限环境下的部署挑战。
2024-07-23 cs.CV
A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships
Huddersfield University(哈德斯菲尔德大学)
本文综述了用于计算机视觉的Transformer架构,探讨其如何通过捕获全局上下文与空间关系在图像分类、目标检测和分割等任务中表现卓越,并分析了其优势、局限及未来研究方向。
2024-08-27 cs.CV
A Review of Vision-Based Assistive Systems for Visually Impaired People: Technologies, Applications, and Future Directions
本文综述了面向视障人群的基于视觉的辅助系统最新进展,聚焦障碍物检测、导航与用户交互前沿技术,同时探讨了该领域的新兴趋势与未来方向,为视障辅助技术研究提供参考。
2025-05-20 cs.CV
A Review on Near Duplicate Detection of Images using Computer Vision Techniques
RMD Engineering College(RMD工程学院);Sathyabama Institute of Science and Technology(萨蒂亚巴马科学技术学院)
如今,数字内容广泛传播,无论合法还是非法,都可以简单地再分发。例如,在图像发布到互联网上之后,其他网络用户可以修改它们,然后重新发布它们的版本,从而生成近似重复的图像。近似重复的存在严重影响了搜索引擎的性能。计算机视觉研究的是从数字图像中自动提取、分析和理解有用信息。计算机视觉的主要应用是图像理解。在图像理解中有几个任务,如特征提取,目标检测,目标识别,图像清洗,图像变换等。在本文中,我们回顾了最先进的计算机视觉为基础的方法和特征提取方法的检测接近重复的图像。我们还讨论了这一领域的主要挑战以及其他研究人员如何应对这些挑战。这篇综述为有兴趣从事这一领域工作的研究人员提供了研究方向。
2020-09-07 cs.CV
ELEV-VISION-SAM: Integrated Vision Language and Foundation Model for Automated Estimation of Building Lowest Floor Elevation
Texas A&M University(德克萨斯A&M大学)
本文提出ELEV-VISION-SAM,集成Segment Anything model与视觉语言模型,通过文本提示分割街景图像中的前门以估算最低楼层高程,将房产覆盖率由33%提升至56%。
2024-04-19 cs.CV
What Can Machine Vision Do for Lymphatic Histopathology Image Analysis: A Comprehensive Review
University of New South Wales(新南威尔士大学);University of Luebeck(吕贝克大学);Northeastern University(东北大学);China Medical University(中国医科大学)
近十年来,机器视觉(MV)的计算能力不断提高,图像分析算法发展迅速。同时,组织病理切片可以存储为数字图像。因此,MV算法可以为医生提供诊断参考。特别是深度学习算法的不断改进,进一步提高了MV在疾病检测和诊断中的准确性。本文综述了近年来基于MV的图像处理技术在淋巴瘤病理组织图像中的应用,包括分割、分类和检测。最后,对现有的方法进行了分析,提出了一些更有潜力的方法,并对进一步的研究进行了展望。
2022-05-08 cs.CV
Computer vision-based food calorie estimation: dataset, method, and experiment
East China University of Science and Technology(华东理工大学)
计算机视觉已经被引入来从食物图像估计卡路里。但是目前的食物图像数据集不包含食物的体积和质量记录,这导致了不完整的卡路里估计。在本文中,我们提出了一种新的食物图像数据集与体积和质量记录的食物,和一个深度学习方法的食物检测,使一个完整的热量估计。我们的数据集包括2978幅图像,每幅图像都包含相应的每种食物的注释、体积和质量记录,以及一定的校准参考。为了估计建议数据集中的食物卡路里,提出了一种首先使用Faster R-CNN的深度学习方法来检测食物。实验结果表明,该方法能够有效地估计热量,并且数据集包含了足够的热量估计信息。我们的数据集是第一个发布的食物图像数据集,可用于评估基于计算机视觉的热量估计方法。
2017-05-24 cs.CV
Obstacle Detection Quality as a Problem-Oriented Approach to Stereo Vision Algorithms Estimation in Road Situation Analysis
Institute for Information Transmission Problems (Kharkevich Institute) –IITP RAS(俄罗斯科学院信息传输问题研究所(哈尔凯维奇研究所))
在这项工作中,我们提出了一种基于立体视觉的障碍物检测技术的性能评估的方法,考虑到具体的道路情况分析,以尽量减少准备测试数据集所需的努力。这种方法被设计用于自动驾驶汽车或驾驶员辅助等系统中,也可以用作评估立体视觉算法的面向问题的质量标准。
2018-09-06 cs.CV
Deep Learning For Computer Vision Tasks: A review
IIIT Bhubaneswar(布巴内斯瓦尔国际信息技术学院)
深度学习由于其具有多个抽象层次的分布式数据表示,最近已经成为机器学习最流行的子领域之一。各种各样的深度学习算法被用来解决传统的人工智能问题。本文概述了应用于计算机视觉领域的一些最广泛使用的深度学习算法。它首先考察了深度学习算法的各种方法,然后描述了它们在存在噪声的图像分类、对象识别、图像提取和语义分割中的应用。本文最后讨论了深度神经网络的构建和训练的未来范围和挑战。
2018-04-11 cs.CV
A Survey on Joint Object Detection and Pose Estimation using Monocular Vision
IIIT-Hyderabad(海得拉巴国际信息技术学院);Intel(英特尔)
在这项调查中,我们提出了一个完整的景观联合目标检测和姿态估计方法,使用单目视觉。已经提供了涉及描述符或模型的传统方法和各种估计方法的描述。这些描述符或模型包括弦线图、形状感知可变形部件模型、边界袋、距离变换模板、自然3D标记和小面特征,而估计方法包括迭代聚类估计、概率网络和迭代遗传匹配。已经概述了使用手工特征提取然后通过深度学习方法进行估计的混合方法。我们尽可能地研究和比较了针对此问题的纯深度学习方法(单阶段和多阶段)。已经说明了各种准确性测量和度量的全面细节。为了给出一个清晰的概述,相关数据集的特点进行了讨论。还强调了从这一问题的初期到现在的普遍趋势。
2018-11-26 cs.CV
A review of advancements in low-light image enhancement using deep learning
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学)
本文综述了深度学习在低光照图像增强中的最新进展,分析了不同方法的性能及局限性,指出零样本学习在视觉任务中的优势。
2025-07-14 cs.CV
Explainability of Vision Transformers: A Comprehensive Review and New Perspectives
School of Computer Science(计算机科学学院);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所);Okinawa Institute of Science and Technology (OIST)(冲绳科学技术大学院大学)
本文综述了视觉Transformer的可解释性方法,提出按动机、结构和应用场景分类的分类法,并评述了评估标准、工具及未来研究方向,旨在理解模型决策并建立信任。
2023-11-12 cs.CV
Computer vision-based analysis of buildings and built environments: A systematic review of current approaches
Royal College of Art(皇家艺术学院)
本文分析了2011年至2021年出版的88个来源,首次系统回顾了基于计算机视觉的建筑和建成环境分析,以评估其对建筑和城市设计研究的价值。经过多阶段的选择过程中,所使用的算法和数据源的类型进行了讨论,在建筑应用程序,如建筑分类,详细分类,定性环境分析,建筑状况调查,建筑价值估计。这揭示了目前的研究差距和趋势,并突出了两个主要类别的研究目标。首先,使用或优化建筑图像数据的计算机视觉方法,这可以帮助自动化耗时,劳动密集型或复杂的视觉分析任务。第二,探索机器学习方法的方法学优势,通过发现视觉、统计和定性数据之间的模式和关系来研究有关建筑环境的新问题,这可以克服传统手动分析的局限性。越来越多的研究为建筑和设计研究提供了新的方法,并指出了未来的挑战和研究方向。
2022-08-01 cs.CV
Vision-based Pose Estimation for Augmented Reality : A Comparison Study
CDTA;IBISC;Univ Evry(埃夫里大学);Université Paris-Saclay(巴黎萨克雷大学)
增强现实旨在通过插入3D虚拟对象来丰富我们的现实世界。为了实现这一目标,重要的是以准确且视觉上可接受的方式在真实场景中渲染和对齐虚拟元素。这个问题的解决方案可以涉及姿态估计和3D相机定位。本文综述了增强现实中三维位姿估计的各种方法,并对基于关键点的技术进行了分类。本文的研究对增强现实领域的开发者和研究者都有一定的帮助。
2018-06-25 cs.CV
PanoViT: Vision Transformer for Room Layout Estimation from a Single Panoramic Image
Alibaba Group(阿里巴巴集团)
在本文中,我们提出了PanoViT,一个全景视觉Transformer估计房间布局从一个单一的全景图像。与CNN模型相比,我们的PanoViT更擅长从全景图像中学习全局信息,以估计复杂的房间布局。考虑到透视图像和等距矩形图像的不同,我们设计了一种新的递归位置嵌入和块采样方法来处理全景图像。除了提取全局信息外,PanoViT还包括频域边缘增强模块和3D损失,以提取全景图像中的局部几何特征。在几个数据集上的实验结果表明,我们的方法在房间布局预测精度方面优于最先进的解决方案。
2022-12-23 cs.CV
Application of Computer Vision and Machine Learning for Digitized Herbarium Specimens: A Systematic Literature Review
Universiti Brunei Darussalam(文莱达鲁萨兰大学)
植物标本馆收藏了数百万件标本,这些标本已保存了数年,供科学研究之用。为了加快更多的科学发现,这些标本的数字化目前正在进行,以方便更广泛的科学界轻松访问和共享其数据。IDigBio和GBIF等在线数字存储库已经积累了数百万个有待探索的标本图像。这是使用机器学习和计算机视觉自动化和加速更多新发现的绝佳时机。在这项研究中,深入分析和比较了50多个同行评议的研究,重点是计算机视觉和机器学习技术的应用,数字化植物标本馆标本进行了检查。该研究对常用的不同技术和应用进行了分类,并强调了现有的挑战及其可能的解决方案。我们希望,这项研究的结果将作为一个坚实的基础,为相关领域的初学者,也将揭示更多的光为计算机科学和生态学专家。
2021-04-18 cs.CV
Autonomous Cars: Vision based Steering Wheel Angle Estimation
Izmir University of Economics(伊兹密尔经济大学)
自动驾驶汽车中经常使用的机器学习模型是通过匹配道路的捕获图像和方向盘的测量角度来训练的。方向盘的角度通常从转向角传感器获取,该转向角传感器与手头车辆的物理方面紧密耦合。因此,开发与模型无关的自主车套件是非常困难的,并且自主车辆需要更多的训练数据。所提出的基于视觉的转向角估计系统提出了一种新的方法,该方法基本上匹配由室外摄像机捕获的道路图像和来自车载摄像机的方向盘图像,避免了收集依赖于模型的训练数据的负担和使用任何其他机电硬件。
2019-01-30 cs.CV
Deep Learning Advances in Vision-Based Traffic Accident Anticipation: A Comprehensive Review of Methods, Datasets, and Future Directions
School of Advanced Manufacturing, Fuzhou University(福州大学先进制造学院);National Local United Engineering Lab of Flat Panel Display Technology, Fuzhou University(福州大学平板显示技术国家地方联合工程实验室);College of Computer Software, Hanyang University(汉阳大学计算机软件学院);College of Computing, City University of Hong Kong(香港城市大学计算学院)
该综述梳理147项相关研究,分类总结基于视觉的交通事故预测的深度学习方法与数据集,指出当前挑战并提出未来研究方向,为相关系统开发提供参考。
2025-09-04 cs.CV
Efficient Multi-Object Pose Estimation using Multi-Resolution Deformable Attention and Query Aggregation
University of Bonn(波恩大学)
针对多目标姿态估计问题,提出融合多分辨率可变形注意力与查询聚合机制的视觉Transformer模型,在YCB-Video数据集上取得当前最优结果,兼顾长程依赖学习与计算效率。
2023-12-13 cs.CV
Vision Transformers in Medical Imaging: A Review
Covenant University(盟约大学);Virginia Tech(弗吉尼亚理工大学)
Transformer是一种包括基于注意力的编码器-解码器体系结构的模型,在自然语言处理(NLP)领域中已经获得了流行,并且最近影响了计算机视觉(CV)空间。计算机视觉和医学成像之间的相似之处,审查了研究人员之间的问题,如果Transformers对计算机视觉的影响可以转化为医学成像?本文就Transformers在医学成像中的应用作一综述。描述了Transformer模型,并将其与多种卷积神经网络(CNN)进行了比较,详细介绍了基于Transformer的医学图像分类、分割、配准和重建方法,重点关注图像模态,在标准医疗数据集上比较最先进的Transformer架构与最佳性能CNN的性能。
2022-11-18 cs.AI cs.CV
Fuzzy Theory in Computer Vision: A Review
School of Information Technology and Engineering(信息科技与工程学院);Kazakh-British Technical University(哈萨克-英国技术大学)
本文综述模糊逻辑在计算机视觉中的关键技术、应用场景及与深度学习融合的新兴趋势,强调其处理图像不确定性并提升模型适应性与可解释性的价值。
2025-07-23 cs.CV
Self-supervised Vision Transformers for 3D Pose Estimation of Novel Objects
TU Wien(维也纳工业大学);University of Alicante(阿利坎特大学)
本文评估了自监督视觉Transformer与CNN在新物体姿态估计的深度模板匹配任务中的差异,证明视觉Transformer匹配精度更优,且部分预训练模型无需微调即可实现。
2023-05-31 cs.CV
Simultaneous Multiple Object Detection and Pose Estimation using 3D Model Infusion with Monocular Vision
提出SMOPE-Net,通过单目视觉与3D模型注入实现多目标检测与位姿估计的同步神经建模,并构建KITTI-6DoF数据集,在多个基准上取得一致性能提升。
2024-12-22 cs.CV
Review on Computer Vision Techniques in Emergency Situation
AnsuR Technologies AS(安苏尔科技公司);University of the Balearic Islands(巴利阿里群岛大学);University of Florence(佛罗伦萨大学)
在紧急情况下,拯救生命和限制灾害影响的行动至关重要。为了采取行动,需要了解情况,以决定该做什么。随着情况的发展,地理定位的照片和视频对于更好地理解它们并更快地做出决策至关重要。如今,摄像头几乎无处不在,无论是智能手机、安装的闭路电视摄像头、无人机还是其他设备。然而,这带来了大数据和信息溢出的挑战。此外,大多数情况下,任何给定位置都没有灾难,因此旨在检测突发情况的人类可能不会在任何时间点都像所需的那样警惕。因此,计算机视觉工具可以成为一个很好的决策支持。考虑或使用计算机视觉工具的紧急情况数量非常广泛,相关紧急情况研究之间存在很大的重叠。研究人员往往专注于最先进的系统,涵盖相同的紧急情况,因为他们正在研究,排除在其他领域的重要研究。为了揭示这种重叠,调查分为四个主轴:计算机视觉研究的紧急情况类型,算法可以解决的目标,所需硬件类型和使用的算法。因此,本综述提供了涵盖各种紧急情况的计算机视觉进展的广泛概述。
2018-03-09 cs.CV
Embedded Systems and Computer Vision Techniques utilized in Spray Painting Robots: A Review
Adani Institute of Infrastructure Engineering(Adani基础设施工程学院)
机器时代的到来限制了人类的互动,这在过去十年中增加了他们的存在。对提高机器人的有效性、耐用性和可靠性的要求也急剧上升。本论文涵盖了各种嵌入式系统和计算机视觉的方法,技术和创新领域的喷漆机器人。在高层建筑、墙壁绘画、道路标记绘画等领域的绘画机器人方面已经取得了许多进展。审查的重点是图像处理、计算和计算机视觉技术,这些技术可以应用于产品中,以大幅提高性能效率。正在深入讨论图像分析、滤波、增强、目标检测、边缘检测方法、路径和定位方法以及参数微调,以便在开发此类产品时使用。动态系统设计正在审议通过使用,减少人类的互动,环境的可持续性和更好的工作质量的细节。嵌入式系统涉及微控制器,处理器,通信设备,传感器和执行器,使用它们的软件;正在解释端到端的开发和提高喷漆机器人的准确性和精度。
2020-10-02 cs.CV
PViT-6D: Overclocking Vision Transformers for 6D Pose Estimation with Confidence-Level Prediction and Pose Tokens
Ludwig-Maximilians-Universität München(慕尼黑大学);BMW Group(宝马集团)
本文提出PViT-6D,将6D姿态估计重构为基于视觉Transformer的直接回归任务,并引入基于场景复杂度的置信度预测机制,在Linemod-Occlusion和YCB-V上均超越现有最优方法。
2023-11-29 cs.CV
MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer
East China University of Science and Technology(华东理工大学);University of Bologna(博洛尼亚大学);PhiGent Robotics(鉴智机器人)
自监督单目深度估计是一种有吸引力的解决方案,它不需要难以获取的深度标签进行训练。最近,卷积神经网络(CNN)在这项任务中取得了巨大成功。然而,它们有限的感受野限制了现有的网络架构只能在本地进行推理,从而抑制了自我监督范式的有效性。鉴于视觉Transformer(ViTs)最近取得的成功,我们提出了MonoViT,一个全新的框架相结合的全局推理ViT模型的灵活性,自我监督单眼深度估计。通过将普通卷积与Transformer块相结合,我们的模型可以在本地和全局进行推理,从而以更高的细节和准确度进行深度预测,从而使MonoViT能够在已建立的KITTI数据集上实现最先进的性能。此外,MonoViT在Make3D和DrivingStereo等其他数据集上证明了其卓越的泛化能力。
2022-08-06 cs.CV
Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review
University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学研究所);RWTH Aachen University(亚琛工业大学);Iran University of Science and Technology(伊朗科技大学);Shahid Beheshti University(沙希德·贝赫什提大学)
本综述系统梳理了视觉Transformer在医学图像分类、分割等多类任务中的应用,分析各方法的优劣并构建分类体系,列出基准结果,总结挑战与未来方向,同时提供相关论文实现的开源汇总。
2023-11-05 cs.CV
FusePose: IMU-Vision Sensor Fusion in Kinematic Space for Parametric Human Pose Estimation
Shanghai Jiao Tong University(上海交通大学)
在三维人体姿态估计任务中存在着一些具有挑战性的问题,如遮挡和自遮挡导致的性能不佳。近年来,惯性测量单元与视觉传感器的融合被认为是解决这些问题的有效方法。然而,以往的研究融合的惯性测量单元和视觉数据,这是异构的,未能充分利用惯性测量单元的原始数据或可靠的高层次的视觉特征。为了促进更有效的传感器融合,在这项工作中,我们提出了一个框架,称为\emph{FusePose}下的参数人体运动学模型。具体来说,我们聚合了IMU或视觉数据的不同信息,并介绍了三种不同的传感器融合方法:NaiveFlag,KinetFlag和AdaDeepFlag。朴素的服务器作为一个基本的方法,只融合简化的IMU数据和估计的三维姿态在欧氏空间。在运动学空间中,Kinetron能够将校准和对齐的IMU原始数据与转换的3D姿态参数相结合。AdaDeepMind进一步将这种运动学融合过程发展为自适应和端到端的可训练方式。通过烧蚀实验验证了该框架的合理性和优越性。与基线结果相比,三维人体姿态估计的性能得到了改善。在Total Capture数据集上,Kinetron超过了之前仅使用IMU进行测试的8.6%。AdaDeepMind超过了使用IMU进行训练和测试的最先进技术8.5%。此外,我们通过在Human3.6M数据集上的实验验证了我们的框架的泛化能力。
2022-08-25 cs.CV
EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation
Department of Automation, Tsinghua University(清华大学自动化系)
EgoEMG数据集融合双侧EMG和视觉信息,用于手姿态估计,包含16通道EMG、IMU、RGB视频和RGB-D视频,涵盖41名参与者60种手势,提供EMG-to-pose、vision-to-pose和融合任务的基准测试。
2026-11-17 cs.CV
Vision-Based Water Level and Flow Estimation
PowerChina Zhongnan Engineering Corporation Limited(中国电力工程集团中南工程公司)
本文提出结合最新视觉模型与统计建模的集成框架,利用物理先验和鲁棒过滤策略提升水位检测和流量估计的精度。
2026-05-14 cs.AI cs.CV
Vision-based 3D occupancy prediction in autonomous driving: a review and outlook
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文针对自动驾驶领域新兴的基于视觉的3D占用预测任务,从特征增强、部署友好性、标签效率三方面全面综述其研究进展,分析各类方法的潜力与挑战,并总结研究趋势、提出未来展望,同时提供相关资源合集。
2024-07-08 cs.CV
VFM-VLM: Vision Foundation Model and Vision Language Model based Visual Comparison for 3D Pose Estimation
Dept. of Electronic Engineering Yeungnam University Advanced Visual Intelligence Lab(电子工程系 韩国又南大学 高级视觉智能实验室)
本文比较了基于CLIP和DINOv2的视觉模型在3D姿态估计中的性能,展示了两者在语义理解和几何精度上的互补优势,为机器人抓取应用提供了模型选择依据。
2025-12-09 cs.AI cs.CV
A review of 3D human pose estimation algorithms for markerless motion capture
Univ Montpellier(蒙彼利埃大学);IMT Mines Ales(法国国立高等矿业电信学校联盟阿莱斯矿业学院)
人体姿态估计是一个非常活跃的研究领域,受到其在机器人、娱乐或健康和体育科学等方面的重要应用的刺激。卷积网络的进步引发了2D姿态估计的显著改进,使现代3D无标记运动捕捉技术的每个关节平均误差达到20 mm。在这里,我们回顾了过去五年中领先的人体姿势估计方法,重点是度量,基准和方法结构。我们提出了一种基于准确性、速度和鲁棒性的分类法,用于对de方法进行分类并得出未来研究的方向。
2021-07-12 cs.CV
VLPose: Bridging the Domain Gap in Pose Estimation with Language-Vision Tuning
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
本文提出VLPose框架,利用语言-视觉协同调优姿态估计模型,以弥合自然与人工场景的领域差距,在HumanArt和MSCOCO上分别提升2.26%和3.74%。
2024-02-22 cs.CV
A Systematic Literature Review of Computer Vision Applications in Robotized Wire Harness Assembly
Chalmers University of Technology(查尔姆斯理工大学);Politecnico di Milano(米兰理工大学);Volvo Car Corporation(沃尔沃汽车公司);Scania CV AB(斯堪尼亚汽车股份有限公司)
本文系统综述了计算机视觉在机器人化线束装配中的应用,涵盖方法、进展与挑战。
2024-05-21 cs.AI cs.CV cs.RO
Extracting Built Environment Features for Planning Research with Computer Vision: A Review and Discussion of State-of-the-Art Approaches
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
这是2021年6月第17届CUPUM国际会议-计算城市规划和城市管理演讲的扩展摘要。本研究提出了一个跨学科的综合国家的最先进的方法,在计算机视觉技术提取建成环境的功能,可以提高规划实证研究的鲁棒性。我们讨论了从规划和计算机科学的研究审查的结果。
2022-03-21 cs.CV cs.CY
Automated Identification of Trampoline Skills Using Computer Vision Extracted Pose Estimation
University College Dublin(都柏林大学)
本文提出了一种利用单摄像机识别蹦床技术的新方法。传统的计算机视觉技术用于在常规的视频记录中识别、估计和跟踪体操运动员的身体。对于每一帧,使用开源卷积神经网络来估计运动员身体的姿势。从这些姿势估计中提取身体取向和关节角度估计。将这些角度估计随时间推移的轨迹与标记参考技能的轨迹进行比较。最近邻分类器利用均方误差距离度量用于识别所执行的技能。一个数据集包含714个技能的例子,20个不同的技能进行成年男性和女性体操运动员被记录和用于评估系统。该系统被发现实现了80.7%的技能识别准确率的数据集。
2017-09-11 cs.CV
Markerless Stride Length estimation in Athletic using Pose Estimation with monocular vision
Dipartimento di Ingegneria dell’Innovazione Università del Salento(创新工程学院,萨勒诺大学);Istituto di Scienze Applicate e sIstemi Intelligenti - ISASI Consiglio Nazionale delle Ricerche - (CNR)(应用科学与智能系统研究所 - 国家研究理事会 - (CNR));Consiglio Nazionale delle Ricerche - (CNR)(国家研究理事会 - (CNR))
本文提出一种基于单目视觉与姿态估计的无标记步长估计方法,结合概率霍夫变换和单应性变换从视频中估计跑者步长,实验证明其可用于田径训练与步态监测。
2025-07-02 cs.CV
Vision Meets WiFi: Physics-Grounded Estimation of Volumetric Mechanical Properties
该研究提出ViWi框架,以物体为中心融合视觉与WiFi射频证据,实现体积力学特性估计,在多项基准指标上优于现有方法,提升了估计的准确性与物理一致性。
2026-09-29 cs.CV
Precision-Aware Illumination-Disentangled Vision Transformer for Spacecraft 6D Pose Estimation
School of Mechatronics Engineering, Harbin Institute of Technology(哈尔滨工业大学机电工程学院)
提出PAID-ViT,通过光照解耦、可靠性感知令牌聚合和掩码监督,在光照变化和反射干扰下实现鲁棒的航天器6D姿态估计。
2026-06-11 cs.CV
A Qualitative Review of GenAI-Based Methods for Data Generation and Augmentation in Industrial Computer Vision Applications
Fraunhofer IPK(弗劳恩霍夫研究所);Hamburg University of Applied Sciences (HAW Hamburg)(汉堡应用技术大学);Technical University Berlin (Tu-Berlin)(柏林技术大学)
本文综述了基于GenAI的数据生成与增强方法,旨在解决工业计算机视觉应用中数据获取的“先有鸡还是先有蛋”困境,并评估其在分类用例中的适应性。
2026-06-15 cs.CV
Vision-Language Embodiment for Monocular Depth Estimation
University of Georgia(佐治亚大学)
针对单目深度估计存在的不确定性问题,提出融合相机物理特性与视觉-语言先验的具身化方法,利用相机内在属性实时计算深度并结合RGB特征与文本描述,提升了不同场景下的模型性能。
2025-04-12 cs.CV
LangOcc: Self-Supervised Open Vocabulary Occupancy Estimation via Volume Rendering
Robert Bosch GmbH(罗伯特·博世有限公司);University of Münster(明斯特大学)
本文提出LangOcc,一种仅依赖相机图像的自监督开放词汇占用估计方法,通过可微体渲染将CLIP知识蒸馏到3D占用模型,在开放词汇和自监督语义占用估计任务上均超越LiDAR监督方法并取得SOTA。
2024-07-25 cs.CV
A Review on Human Pose Estimation
Northeastern University(东北大学);Augmented Cognition Laboratory (ACLab)(增强认知实验室(ACLab))
人体姿态估计(HPE)现象是多年来一直在探索的问题,特别是在计算机视觉中。但它到底是什么?要回答这个问题,首先必须理解姿势的概念。姿势可以定义为人体关节以特定方式的排列。因此,我们可以将人体姿态估计问题定义为图像和视频中人体关节或预定义地标的定位。姿势估计有多种类型,包括身体、面部和手部,以及它的许多方面。本文将从HPE的经典方法到基于深度学习的模型开始介绍它们。
2021-10-13 cs.CV
Vision-Based Human Pose Estimation via Deep Learning: A Survey
Southern University of Science and Technology(南方科技大学);University of Alabama(阿拉巴马大学)
该综述针对现有文献缺乏深度学习人体姿态估计方法全面梳理的问题,系统总结2D、3D视觉HPE的深度学习方法与应用,分析挑战与趋势并给出研究建议,为不同阶段研究者提供参考。
2023-08-26 cs.CV
Pose Estimation of Buried Deep-Sea Objects using 3D Vision Deep Learning Models
Marine Physical Laboratory(海洋物理实验室);Scripps Institution of Oceanography, UCSD(加州大学圣地亚哥分校斯克里普斯海洋研究所);UCSD(加州大学圣地亚哥分校)
该研究针对深海海床埋藏桶状物的位姿与埋藏比例估计问题,提出结合基础模型分割、视觉Transformer点云估计与BarrelNet的深度学习方案,经合成数据训练和ROV实测验证,性能显著优于传统最小二乘拟合方法。
2024-12-11 cs.CV
Vision-based Uneven BEV Representation Learning with Polar Rasterization and Surface Estimation
Tianjin University(天津大学);Horizon Robotics(地平线机器人);Huazhong University of Science & Technology(华中科技大学)
在这项工作中,我们提出了基于视觉的不均匀BEV表示学习的PolarBEV。为了适应相机成像的透视收缩效应,我们对BEV空间进行了角向和径向的栅格化,并引入极坐标嵌入分解来模拟极坐标网格之间的关联。极坐标网格被重新排列为类似于阵列的规则表示,以提高处理效率。此外,为了确定2D到3D的对应关系,我们基于假设平面迭代更新BEV表面,并采用基于高度的特征变换。PolarBEV在单个2080 Ti GPU上保持实时推理速度,并在BEV语义分割和BEV实例分割方面优于其他方法。提供彻底消融以验证设计。代码将在\url{https://github.com/SuperZ-Liu/PolarBEV}发布。
2022-07-05 cs.CV
ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
虽然在设计中没有考虑特定的领域知识,但普通视觉Transformer在视觉识别任务中表现出了优异的性能。然而,很少有人努力揭示这种简单的结构的潜在的姿态估计任务。在本文中,我们展示了令人惊讶的好能力的平原视觉Transformer的姿态估计从各个方面,即简单的模型结构,模型大小的可扩展性,灵活的训练范式,和模型之间的知识的可转移性,通过一个简单的基线模型称为ViTPose。具体而言,ViTPose采用普通和非分层的视觉Transformer作为骨干,以提取给定人物实例的特征,并使用轻量级解码器进行姿势估计。它可以从100 M扩展到1B参数,利用可扩展的模型容量和高并行性的Transformers的优势,设置一个新的帕累托前沿之间的吞吐量和性能。此外,ViTPose在注意力类型、输入分辨率、预训练和微调策略以及处理多个姿势任务方面非常灵活。我们还经验证明,大型ViTPose模型的知识可以通过简单的知识令牌轻松转移到小型模型。实验结果表明,我们的基本ViTPose模型在具有挑战性的MS COCO关键点检测基准测试中优于代表性方法,而最大的模型则创造了新的最先进水平。代码和模型可在https://github.com/ViTAE-Transformer/ViTPose上获得。
2022-10-13 cs.CV