AVGCN: Trajectory Prediction using Graph Convolutional Networks Guided by Human Attention
Hong Kong University of Science and Technology(香港科技大学)
行人轨迹预测是一项关键而又具有挑战性的任务,特别是在拥挤的场景中。我们建议,引入一个注意力机制来推断不同的邻居的重要性是至关重要的准确的轨迹预测场景中的人群规模变化。在这项工作中,我们提出了一种新的方法,AVGCN,轨迹预测利用图卷积网络(GCN)的基础上人类的注意力(A表示注意力,V表示视野的限制)。首先,我们训练一个注意力网络,估计邻近行人的重要性,使用收集的目光数据作为主体执行鸟瞰人群导航任务。然后,我们将学习到的注意力权重调制行人的视野上的约束到一个轨迹预测网络,使用GCN聚合信息的邻居有效。AVGCN还考虑了行人轨迹的随机性,利用变化的轨迹预测。我们的方法在几个轨迹预测基准上实现了最先进的性能,并且在所有考虑的基准上具有最低的平均预测误差。
2021-01-14 cs.CV cs.RO
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
Technische Universität Berlin(柏林工业大学)
提出轻量级低分辨率头部朝向卷积神经网络(LRHO-CNN),用于自动驾驶中行人头部朝向识别,通过新数据集和增强处理,在多个数据集上取得最高分类准确率,支持行人行为预测。
2026-10-01 cs.CV
Booster-SHOT: Boosting Stacked Homography Transformations for Multiview Pedestrian Detection with Attention
Deeping Source Inc.(Deeping Source公司)
改进多视图聚合对于多视图行人检测是不可或缺的,其目的是从通过一组校准的相机捕获的图像中获得鸟瞰行人占用图。受深度神经网络注意力模块成功的启发,我们首先提出了一种单应性注意力模块(HAM),该模块通过利用新的通道门和空间门来提高现有端到端多视图检测方法的性能。此外,我们还提出了Booster-SHOT,这是一种端到端的卷积方法,用于多视图行人检测,结合了我们提出的HAM以及以前方法中的元素,如视图相干增强或堆叠单应性变换。Booster-SHOT在Wildtrack和MultiviewX上的MODA分别达到92.9%和94.2%,在Wildtrack上的表现优于最先进的1.4%,在MultiviewX上的表现优于最先进的0.5%,在多视图行人检测中使用的标准评估指标方面达到了最先进的整体性能。
2022-08-19 cs.CV
Box-level Segmentation Supervised Deep Neural Networks for Accurate and Real-time Multispectral Pedestrian Detection
Zhejiang University(浙江大学);University of Twente(特温特大学)
多模态传感器(可见光和红外摄像机)捕获的互补信息的有效融合,使各种监控情况下(例如白天和夜间)的行人检测鲁棒。在本文中,我们提出了一种新的框级分割监督学习框架,准确和实时的【形】多光谱行人检测,结合在可见光和红外通道提取的功能。具体来说,我们的方法需要对齐的可见光和红外图像与容易获得的限界框注释作为输入,并估计准确的预测地图,以突出行人的存在。与现有的基于锚盒的多光谱检测方法相比,它提供了两个主要优点。首先,该方法克服了锚盒检测器在训练阶段的超参数设置问题,能够获得更准确的检测结果,尤其是对于较小且被遮挡的行人实例。其次,它能够使用小尺寸的输入图像生成准确的检测结果,从而提高了实时的【形】自动驾驶应用的计算效率。KAIST多光谱数据集上的实验结果表明,我们提出的方法优于国家的最先进的方法在精度和速度方面。
2019-02-14 cs.CV
Navigation by Imitation in a Pedestrian-Rich Environment
University of Rochester(罗切斯特大学)
深度神经网络在人类行为的演示上进行训练,使机器人能够在道路上进行自动驾驶。然而,在一个充满机器人的环境中导航,例如校园环境,仍然具有挑战性-人们需要对机器人进行频繁的干预,并从早期步骤中控制机器人,从而导致错误。因此,在学习框架设计和数据采集方面有着艰巨的负担。在本文中,我们提出了一个新的学习从干预数据集聚合(Dagger)算法,以克服应用模仿学习导航中所带来的局限性,在丰富的网络环境。我们新的学习算法实现了一个错误回溯功能,能够有效地从专家干预中学习。将我们的新学习算法与深度卷积神经网络和分层嵌套的策略选择机制相结合,我们证明了我们的机器人能够将像素直接映射到控制命令并在现实世界中成功导航,而无需显式地对行人行为或世界模型进行建模。
2018-11-01 cs.CV
Real-Time Detection and Analysis of Vehicles and Pedestrians using Deep Learning
University of Alberta(阿尔伯塔大学)
针对当前交通监控系统实时识别小目标和行人难度大的问题,本研究构建深度学习框架,在复杂城市场景数据集上训练评估YOLOv8、RT-DETR多版本模型,发现YOLOv8 Large表现最优,为实时交通检测树立新基准。
2024-04-11 cs.CV
A Real-Time Deep Learning Pedestrian Detector for Robot Navigation
Instituto de Sistemas e Robótica, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院系统与机器人研究所)
将一种基于实时的【形】深度学习的行人检测(PD)方法应用于人感知机器人导航问题。行人检测器将聚合通道特征(ACF)检测器与深度卷积神经网络(CNN)相结合,以获得快速准确的性能。我们的解决方案首先使用一组从车载和车外摄像头拍摄的真实图像进行评估,然后,在一个典型的机器人导航环境中与行人(进行两个不同的实验)进行验证。这两个测试的结果表明,我们的行人检测器是强大的,速度足够快,可用于机器人导航应用。
2017-09-19 cs.CV cs.RO
Spatio-Contextual Deep Network Based Multimodal Pedestrian Detection For Autonomous Driving
Indian Statistical Institute(印度统计研究所);Valeo India(法雷奥印度公司);Valeo Visions Systems(法雷奥视觉系统公司)
行人检测是自动驾驶系统中最关键的模块。虽然相机通常用于此目的,但其质量在低光夜间驾驶场景中严重下降。另一方面,热成像相机图像的质量在类似条件下不受影响。提出了一种基于RGB和热图像的端到端多模态融合行人检测模型。其新颖的空间上下文深度网络架构能够有效地利用多模态输入。它由两个不同的可变形ResNeXt-50编码器组成,用于从两种模态中提取特征提取。这两个编码特征的融合发生在多模态特征嵌入模块(MuFEm)内,该模块由若干组一对图注意力网络和特征融合单元组成。MuFEm的最后一个特征融合单元的输出随后被传递到两个CRF以进行空间细化。通过在四个不同方向上遍历的四个RNN的帮助下应用通道注意力和上下文信息提取来实现特征的进一步增强。最后,这些特征图由单级解码器用于生成每个行人的限界框和分数图。我们已经在三个公开的多模式行人检测基准数据集(即KAIST,CVC-14和UTokyo)上对所提出的框架进行了广泛的实验。每一个的结果都提高了各自的最先进的性能。在https://youtu.be/FDJdSifuuCs上可以看到一个简短的视频,概述了这项工作及其定性结果。我们的源代码将在论文发表后发布。
2022-01-24 cs.CV
Pedestrian Crossing Intent Classification From Event-Based Vision Using Convolutional Spiking Neural Networks With Temporal Augmentation
Alma Mater Europaea University(欧洲母校大学)
针对自动驾驶中行人过街意图预测,提出基于事件视觉的卷积脉冲神经网络,利用v2e和CARLA生成DVS数据增强训练,在JAAD上达95.83%准确率,实现高效实时分类。
2026-09-15 cs.AI cs.CV
SSA-CNN: Semantic Self-Attention CNN for Pedestrian Detection
Nanyang Technological University(南洋理工大学)
行人检测在自动驾驶等许多应用中起着重要作用。我们提出了一种方法,探索语义分割的结果作为自我注意线索,显着提高行人检测性能。具体而言,多任务网络的设计,以共同学习语义分割和行人检测的图像数据集与弱框式注释。将语义分割特征图与相应的卷积特征图级联,以提供用于行人检测和行人分类的更多区分特征。通过联合学习分割和检测,我们提出的行人自我注意力机制可以有效地识别行人区域和抑制背景。此外,我们建议将来自多尺度层的语义注意信息纳入深度卷积神经网络中,以提高行人检测。实验结果表明,该方法在Caltech数据集上取得了最好的检测性能,MR为6.27%,在CityPersons数据集上取得了有竞争力的性能,同时保持了较高的计算效率。
2019-06-06 cs.CV
Pedestrian Detection in Low-Light Conditions: A Comprehensive Survey
University of Guilan(吉兰大学);University of Luxembourg(卢森堡大学);Delft University of Technology(代尔夫特理工大学)
本文综述低光照行人检测的方法、基线与数据集,分析夜间检测挑战及深度学习、特征和混合方案,并指出图像融合主流范式与 KAIST 评估现状。
2024-01-15 cs.CV
Pedestrian detection with high-resolution event camera
AGH University of Krakow(AGH科技大学)
针对传统相机在自动驾驶感知中的局限,本文利用事件相机数据,比较视频帧卷积网络与异步稀疏卷积网络两种深度学习方法,实现高分辨率行人检测并评估其性能。
2023-05-29 cs.CV eess.IV
YOLOpeds: Efficient Real-Time Single-Shot Pedestrian Detection for Smart Camera Applications
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
基于深度学习的物体检测器可以增强智能相机系统在广泛机器视觉应用中的功能,包括视频监控、自动驾驶、机器人和无人机、智能工厂和健康监测。行人检测在所有这些应用中起着关键作用,深度学习可用于构建精确的最先进检测器。然而,这种复杂的范例不容易扩展,并且传统上不被实现在用于设备上处理的资源受限的智能相机中,这在实时的【形】监控和鲁棒性至关重要的情况下提供了显著的优势。高效的神经网络不仅可以实现移动应用和设备上的体验,而且还可以是隐私和安全的关键推动者,允许用户获得神经网络的好处,而无需将其数据发送到服务器进行评估。这项工作解决了在准确性和速度之间实现良好平衡的挑战,以便在智能相机应用中有效部署基于深度学习的行人检测。基于可分离卷积引入了一种计算效率高的架构,并提出了集成跨层的密集连接和多尺度特征融合,以提高表示能力,同时减少参数和操作的数量。特别是,这项工作的贡献如下:1)一个有效的骨干结合多尺度特征操作,2)一个更精细的损失函数,以改善本地化,3)一个无锚的方法进行检测,所提出的方法称为YOLOpeds使用PETS 2009监测数据集上的320 × 320图像进行评估。总体而言,YOLOpeds提供每秒超过30帧的实时的【形】持续操作,检测率在86%的范围内,优于现有的深度学习模型。
2020-10-29 cs.CV
An FPGA-Accelerated Design for Deep Learning Pedestrian Detection in Self-Driving Vehicles
American University of Beirut(贝鲁特美国大学)
随着自动驾驶汽车的兴起,出现了事故风险,需要更高的安全性,并在以下情况下保护行人检测:即将发生的碰撞,因此汽车应该撞上物体并避开行人,以及在道路交叉口的情况下,当行人穿过时,汽车必须停下来。目前,被称为融合深度神经网络(F-DNN)的深度神经网络的特殊拓扑被认为是行人检测中的最先进技术,因为它具有最低的未命中率,但它非常慢。因此,需要加速来加快性能。该项目提出了两个贡献来解决这个问题,通过使用用于目标检测的深度神经网络,称为Single Shot Multi-Box Detector(SSD)。第一个贡献是训练和调整SSD的超参数,以提高行人检测。第二个贡献是一个新的FPGA设计,用于加速Altera Arria 10平台上的模型。最终的系统将实时用于自动驾驶汽车。改进后的SSD的初步结果显示,在加州理工学院行人检测基准测试中,错误率比F-DNN高3%,但性能提高了4倍。加速设计预计将实现额外的性能改进,显著超过精度的最小差异。
2018-09-16 cs.CV cs.LG stat.ML
Efficient and Robust Pedestrian Detection using Deep Learning for Human-Aware Navigation
Instituto de Sistemas e Robótica (LARSyS)(系统与机器人研究所(LARSyS));Instituto Superior Técnico(高等理工学院);KTH Royal Institute of Technology(KTH皇家理工学院)
本文研究了基于视觉的人体感知导航(HAN)问题,利用多摄像机传感器实现了一个基于视觉的人体跟踪系统。本文的主要贡献如下:一种新颖而高效的深度学习人检测和人类感知约束的标准化。在该方法的第一阶段,我们建议将聚合通道特征(ACF)检测器与深度卷积神经网络(CNN)级联,以实现快速准确的行人检测(PD)。关于人类意识(可以定义为与机器人运动相关的约束),我们使用非对称高斯函数的混合来定义与每个约束相关的成本函数。本文提出的两种方法都单独评估,以衡量每个组件的影响。最终的解决方案(包括拟议的行人检测和人类意识的限制)进行了测试,在一个典型的国内室内场景,在四个不同的实验。结果表明,机器人是能够应付人类意识到的限制,定义后,共同的数学和社会规则。
2018-12-13 cs.CV cs.RO
Gated Multi-layer Convolutional Feature Extraction Network for Robust Pedestrian Detection
Imperial College London(帝国理工学院)
随着深度卷积神经网络的发展,行人检测方法得到了显著改进。然而,鲁棒地检测具有较大尺寸变化和遮挡的行人仍然是一个具有挑战性的问题。在本文中,我们提出了一种门控多层卷积特征提取方法,可以自适应地产生候选行人区域的判别特征。提出的门控特征提取框架由挤压单元、门单元和级联层组成,它们分别执行来自多个CNN层的特征维度挤压、特征元素操作和卷积特征组合。我们提出了两种不同的门模型,可以操纵的区域特征图在通道明智的选择方式和空间明智的选择方式,分别。在具有挑战性的CityPersons数据集上的实验证明了该方法的有效性,特别是在检测小尺寸和遮挡行人方面。
2019-12-18 cs.CV
End-to-End Pedestrian Collision Warning System based on a Convolutional Neural Network with Semantic Segmentation
DGIST(大邱庆北科学技术院)
传统的行人碰撞警告系统有时甚至在没有危险时也会发出警报(例如,当所有行人都在人行道上行走时)。这些假警报可能会使驾驶员难以集中精力驾驶。在本文中,我们提出了一个新的框架,端到端的行人碰撞预警系统的基础上卷积神经网络。使用语义分割信息来训练卷积神经网络,并最小化交叉熵和欧几里得损失等两个损失函数。最后,我们证明了我们的方法在减少误报和提高预警精度相比,传统的直方图的方向梯度(HoG)为基础的系统的有效性。
2016-12-20 cs.CV
CARPe Posterum: A Convolutional Approach for Real-time Pedestrian Path Prediction
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
行人路径预测是计算机视觉和视频理解中的一个重要课题。洞察行人的运动对于确保自动驾驶汽车、社交机器人和环境监测等各种应用的安全运行至关重要。目前在这一领域的工作利用复杂的生成或经常性的方法来捕捉许多可能的未来。然而,尽管预测未来路径具有固有的实时的【形】性质,但很少有人为此任务探索准确且计算效率高的方法。为此,我们提出了一种用于实时的【形】行人路径预测的卷积方法CARPe。它利用图同构网络的变体与敏捷的卷积神经网络设计相结合,形成快速准确的路径预测方法。在推理速度和预测精度方面都取得了显著的结果,与当前最先进的方法相比,大大提高了FPS,同时在已知的路径预测数据集上提供了有竞争力的精度。
2021-06-09 cs.CV
Synthetic Data Generation Framework, Dataset, and Efficient Deep Model for Pedestrian Intention Prediction
Univ. Autònoma de Barcelona (UAB)(巴塞罗那自治大学);CVC(计算机视觉中心)
本文提出 ARCANE 合成数据生成框架及 PedSynth 数据集以补充真实数据,并设计低内存、快速的 PedGNN 模型,基于骨架序列预测行人横穿意图。
2024-06-15 cs.AI cs.CV cs.LG
Discrete Residual Flow for Probabilistic Pedestrian Behavior Prediction
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
自动驾驶车辆围绕静态和动态对象进行规划,应用行为预测模型来估计对象在环境中的未来位置。然而,未来的行为本质上是不确定的,产生确定性输出的运动模型仅限于短时间尺度。特别困难的是对人类行为的预测。在这项工作中,我们提出了离散残差流网络(DRF-Net),一个用于人体运动预测的卷积神经网络,它捕获了长距离运动预测中固有的不确定性。特别是,我们的学习网络通过预测和更新空间位置上的离散化分布,有效地捕获了未来人体运动的多模态后验。我们将我们的模型与几个强大的竞争对手进行比较,并表明我们的模型优于所有基线。
2019-10-17 cs.CV cs.LG cs.RO
Part-Level Convolutional Neural Networks for Pedestrian Detection Using Saliency and Boundary Box Alignment
Sungkyunkwan University(成均馆大学);University of Michigan(密歇根大学);Xidian University(西安电子科技大学)
视频中的行人有着广泛的外观,如身体姿势,遮挡和复杂的背景,并且在行人检测中存在提案移位问题,导致头部和腿部等身体部位的丢失。为了解决这个问题,我们提出了部分级卷积神经网络(CNN)的行人检测使用显着性和边界框对齐在本文中。该网络由两个子网络组成:检测和对齐。我们在检测子网络中使用显着性来消除误报,如灯柱和树木。我们采用限界框对齐的方法对对齐子网络中的检测建议进行对齐,以解决建议移位问题。首先,我们结合FCN和CAM来提取用于行人检测的深度特征。然后,我们执行部分级别的CNN回忆丢失的身体部位。在不同数据集上的实验结果表明,该方法显着提高了行人检测的准确性,并优于现有的国家的最先进的对数平均错过率在每幅图像的错误位置(FPPI)。
2018-10-01 cs.CV
Convolutional Neural Networks for Aerial Multi-Label Pedestrian Detection
West Virginia University(西弗吉尼亚大学)
航拍图像中感兴趣对象的低分辨率使得行人检测和动作检测极具挑战性。此外,使用深度卷积神经网络来处理大图像在计算要求方面可能是苛刻的。为了缓解这些挑战,我们提出了一个两步,是和否的问答框架,找到特定的个人做一个或多个特定的动作,在航空图像。首先,使用深度对象检测器(Single Shot Multibox Detector(SSD))从小型航空图像生成对象建议。其次,另一个深度网络用于学习潜在公共子空间,该潜在公共子空间将高分辨率航空图像与由基于人类的源提供的行人行为标签相关联
2018-07-16 cs.CV
Looking Ahead: Anticipating Pedestrians Crossing with Future Frames Prediction
Colorado State University(科罗拉多州立大学)
在本文中,我们提出了一个端到端的未来预测模型,专注于行人安全。具体来说,我们的模型使用从车辆角度记录的先前视频帧来预测行人是否会在车辆前方穿过。这项工作的长期目标是设计一个完全自主的系统,它的行为和反应就像一个防御性的人类驾驶员一样--预测未来的事件并做出反应以减轻风险。我们专注于车辆与行人的互动,因为如果他们的行为被错误预测,对行人造成伤害的风险很高。我们的端到端模型由两个阶段组成:第一阶段是编码器/解码器网络,学习预测未来的视频帧。第二阶段是一个深度时空网络,它利用第一阶段的预测帧来预测行人的未来动作。我们的系统在自动驾驶联合注意力(JAAD)数据集上实现了行人行为预测和未来帧预测的最新准确性。
2020-03-16 cs.CV cs.LG
Predicting Pedestrian Crosswalk Behavior Using Convolutional Neural Networks
San Jose State University(圣何塞州立大学)
过马路是一项常见但潜在危险的任务。行人事故是每年交通伤亡人数中的一个重要组成部分,这就是为什么行人使用人行横道等安全措施至关重要。然而,人们经常忘记激活人行横道灯或无法这样做-例如那些视力受损或双手被占用的人。其他行人只是粗心,发现人行横道信号很麻烦,这可能导致事故,一辆汽车撞到他们。在本文中,我们考虑通过设计一个系统,可以检测行人和自动触发人行横道信号的人行横道系统的改进。我们收集了一个图像数据集,然后用它来训练一个卷积神经网络,以区分行人(包括骑自行车的人)和各种假警报。由此产生的系统可以实时的捕获和评估图像,其结果可以用于自动激活系统的人行横道灯。经过广泛的测试,我们的系统在现实世界的环境中,我们的结论是,它是可行的,作为一个备份系统,可以补充现有的人行横道按钮,从而提高过街的整体安全。
2022-08-08 cs.CV
Combining LiDAR Space Clustering and Convolutional Neural Networks for Pedestrian Detection
LTS5, EPFL(洛桑联邦理工学院 LTS5);SiMiT Lab, ITU(伊斯坦布尔理工大学 SiMiT 实验室)
行人检测是自动驾驶汽车安全以及交通和街道监控的重要组成部分。关于这个主题有大量的基准测试,当应用于真实的用例场景时,它已经被证明是一个具有挑战性的问题。在纯粹基于图像的行人检测方法中,最先进的结果已经用卷积神经网络(CNN)实现,并且令人惊讶的是,很少有检测框架建立在多线索方法上。在这项工作中,我们为自动驾驶汽车开发了一种新的行人检测器,除了视觉信息外,还利用了LiDAR数据。在所提出的方法中,激光雷达数据被用来通过处理它提供的三维点云来生成区域建议。然后,这些候选区域由最先进的CNN分类器进一步处理,我们已经为行人检测进行了微调。我们在KITTI数据集上广泛评估了所提出的检测过程。实验结果表明,所提出的激光雷达空间聚类方法提供了一个非常有效的方式产生区域的建议,导致更高的召回率和更少的行人检测失误。这表明LiDAR数据可以为基于CNN的方法提供辅助信息。
2017-10-17 cs.CV
RNN-based Pedestrian Crossing Prediction using Activity and Pose-related Features
Universidad de Alcalá(阿尔卡拉大学);Karlsruher Institut für Technologie(卡尔斯鲁厄理工学院)
行人过街预测是自动驾驶的一项重要任务。许多研究表明,行人的意图的早期估计可以减少甚至避免很高比例的事故。在本文中,提出了深度学习系统的不同变体来尝试解决这个问题。提出的模型由两部分组成:基于CNN的特征提取器和RNN模块。所有模型都在JAAD数据集上进行了训练和测试。所获得的结果表明,特征提取方法的选择,包括额外的变量,如行人注视方向和离散方向,以及所选择的RNN类型对最终性能有显着的影响。
2020-08-26 cs.CV cs.LG
Congestion Analysis of Convolutional Neural Network-Based Pedestrian Counting Methods on Helicopter Footage
The University of Tokyo(东京大学)
在过去的几年里,研究人员提出了卷积神经网络的许多不同应用,包括从图像中检测和识别对象的应用。了解我们自身本性的愿望一直是研究的重要动机。因此,人类的视觉识别是当今机器学习面临的最重要的问题之一。这项任务的大多数解决方案都是通过使用几个公开可用的数据集开发和测试的。这些数据集通常包含从街道级闭路电视摄像机拍摄的图像,提供低角度视图。这些图像与从空中拍摄的图像有很大的不同。此外,航拍图像通常非常拥挤,包含数百个目标。这些因素可能会对结果的质量产生重大影响。在本文中,我们调查国家的最先进的方法来计算行人和相关性能的空中镜头。此外,我们分析这种性能相对于图像的拥塞程度。
2019-11-05 cs.CV
A Pedestrian Detection and Tracking Framework for Autonomous Cars: Efficient Fusion of Camera and LiDAR Data
North Carolina A&T State University(北卡罗来纳农工州立大学)
提出了一种融合摄像机和激光雷达传感器数据的行人检测与跟踪新方法。为了应对与自动驾驶场景相关的挑战,提出了一种集成的跟踪和检测框架。检测阶段通过将LiDAR流转换为计算上易于处理的深度图像来执行,然后,开发深度神经网络来识别RGB和深度图像中的行人候选者。为了提供准确的信息,通过使用卡尔曼滤波器融合多模态传感器信息来进一步增强检测阶段。跟踪阶段是卡尔曼滤波器预测和光流算法的组合,以跟踪场景中的多个行人。我们在一个真实的公共驾驶数据集上评估我们的框架。实验结果表明,所提出的方法实现了显着的性能改善基线方法,仅使用基于图像的行人检测。
2021-08-27 cs.AI cs.CV cs.LG
Distant Pedestrian Detection in the Wild using Single Shot Detector with Deep Convolutional Generative Adversarial Networks
Northumbria University(诺森比亚大学);Lancaster University(兰卡斯特大学);Loughborough University(拉夫堡大学)
在这项工作中,我们研究了将深度卷积生成对抗网络(DCGAN)与Single Shot Detector(SSD)作为数据处理技术来处理野外行人检测挑战的可行性。具体来说,我们尝试使用填充完成(其中图像的一部分被掩蔽)来生成丢失部分的图像的随机变换,以扩展现有的标记数据集。在我们的工作中,GAN已经在低分辨率图像上进行了密集训练,以消除野外行人检测的挑战,并考虑人类,以及智能城市中很少有其他类别的检测。通过训练GAN模型以及SSD执行的对象检测器实验提供了结果的实质性改进。这种方法在用于目标检测的GAN网络的当前技术状态中呈现了非常有趣的概述。利用加拿大高等研究院(CIFAR)、加州理工学院(Caltech)、KITTI数据集对网络进行了不同分辨率下的训练和测试,并给出了DCGAN与SSD级联和SSD本身级联的实验结果。
2019-05-29 cs.CV
Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);KAUST(阿卜杜拉国王科技大学);Stanford University(斯坦福大学)
更好地理解行人行为的机器可以更快地建模智能体(如自动驾驶汽车和人类)之间的交互。行人的轨迹不仅受行人本身的影响,还受与周围物体的相互作用的影响。以前的方法通过使用各种聚合方法来模拟这些交互,这些聚合方法集成了不同的学习行人状态。我们提出了社会时空图卷积神经网络(Social-STGCNN),它通过将交互建模为图来替代聚合方法的需要。我们的研究结果表明,最后的位移误差(FDE)和平均位移误差(ADE)的改进,与以前报道的方法相比,参数减少了8.5倍,推理速度快了48倍。此外,我们的模型是数据高效的,并且在ADE度量上超过了先前的最新技术水平,只有20%的训练数据。我们提出了一个核函数嵌入的邻接矩阵内的行人之间的社会互动。通过定性分析,我们表明,我们的模型继承了行人轨迹之间可以预期的社会行为。代码可在https://github.com/abduallahmohamed/Social-STGCNN上获得。
2020-03-24 cs.CV
DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance
Department of Computer Science and Electronics, Universitas Gadjah Mada(计算机科学与电子系,加雅马达大学);Department of Computer Science and Engineering, Toyohashi University of Technology(计算机科学与工程系,东福士大学)
提出DeepIPCv3框架,通过Transformer交叉模态注意力融合LiDAR点云与DVS事件流,实现突发行人穿越场景下的高反应性避让,在自定义多模态数据集上达到最优轨迹与控制精度。
2026-05-31 cs.AI cs.CV cs.RO
SAM-RCNN: Scale-Aware Multi-Resolution Multi-Channel Pedestrian Detection
Imperial College London(帝国理工学院);Jaguar Land Rover Research(捷豹路虎研究院)
卷积神经网络(CNN)由于CNN特征的强表示能力而使得行人检测的显著改进成为可能。最近,聚合来自CNN的多个层的特征已被认为是一种有效的方法,然而,关于特征表示的相同方法用于检测不同尺度的行人。因此,不能保证特定尺度的行人的特征表示得到优化。在本文中,我们提出了一种尺度感知的多分辨率(SAM)行人检测方法,可以自适应地选择多分辨率卷积特征,根据行人的大小。所提出的SAM方法提取适当的CNN功能,具有较强的表示能力,以及足够的特征分辨率,给定的行人候选人的大小从区域建议网络输出。此外,我们提出了一种增强的SAM方法,称为SAM+,它结合了互补的功能通道,并实现了进一步的性能改善。具有挑战性的加州理工学院和KITTI行人基准的评估表明,我们所提出的方法的优越性。
2018-08-07 cs.CV
Coupled Network for Robust Pedestrian Detection with Gated Multi-Layer Feature Extraction and Deformable Occlusion Handling
随着深度卷积神经网络的发展,行人检测方法得到了显著改进。然而,检测小规模的行人和闭塞的行人仍然是一个具有挑战性的问题。在本文中,我们提出了一种行人检测方法与一对网络,同时解决这两个问题。其中一个子网络,门控多层特征提取子网络,旨在自适应地生成行人候选人的判别特征,以便鲁棒地检测尺度变化较大的行人。第二个子网络的目标是通过使用可变形区域RoI池来处理行人检测的遮挡问题。我们研究了门控子网络的两种不同的门单元,即通道方向门单元和空间方向门单元,它们可以重复地增强通道维度之间或空间域上的区域卷积特征的表示能力。消融研究已经验证了所提出的门控多层特征提取子网络和可变形遮挡处理子网络的有效性。通过耦合框架,我们提出的行人检测器在加州理工学院和CityPersons行人检测基准上实现了最先进的结果。
2019-12-18 cs.CV
Pushing the Limits of Deep CNNs for Pedestrian Detection
University of Adelaide(阿德莱德大学);NICTA(国家信息与通信技术研究院)
与计算机视觉中的其他应用相比,卷积神经网络在行人检测方面表现不佳。最近通过使用复杂的深度CNN模型取得了突破,该模型具有许多手工制作的功能或显式遮挡处理机制。在这项工作中,我们表明,通过重新使用深度卷积神经网络(DCNN)模型的卷积特征映射(CFM)作为图像特征来训练增强决策模型的集合,我们能够在不使用专门设计的学习算法的情况下实现最佳报告准确度。我们根据经验确定并披露重要的实施细节。我们还表明,像素标记可以简单地与检测器相结合,以提高检测性能。通过添加互补的手工制作的特征,例如光流,可以进一步改进基于DCNN的检测器。我们在加州理工学院的行人数据集上创造了一个新的记录,将对数平均错过率从$11.7\%$降低到$8.9\%$,相对于$24\%$来说是一个改进。我们还实现了与KITTI数据集上的最先进方法相当的结果。
2016-06-06 cs.CV
Reduced Memory Region Based Deep Convolutional Neural Network Detection
Politecnico di Milano(米兰理工大学);STMicroelectronics(意法半导体)
准确的行人检测在汽车安全中发挥着重要作用:例如,通过向驾驶员发出警告或主动对汽车刹车采取行动,它有助于降低受伤和人员死亡的概率。为了实现非常高的精度,最近的行人检测器已经基于卷积神经网络(CNN)。不幸的是,这样的方法需要大量的计算能力和存储器,从而阻碍了在嵌入式系统上的有效实现。这项工作提出了一种基于CNN的检测器,使通用卷积网络适应手头的任务。通过深入分析和优化检测流水线的每一步,我们开发了一种架构,该架构优于基于传统图像特征的方法,并在具有低计算复杂性的同时实现了接近最新技术水平的准确性。此外,该模型被压缩,以适应低功耗设备与有限数量的嵌入式存储器的严格约束。本文做出了两个主要贡献:(1)证明了基于区域的深度神经网络可以进行微调,以达到足够的行人检测精度;(2)在不降低加州理工学院行人数据集检测精度的情况下,实现了非常低的内存使用。
2016-09-08 cs.CV
Is Faster R-CNN Doing Well for Pedestrian Detection?
Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
行人检测已经被认为是一般目标检测之外的一个特殊课题。虽然最近的深度学习对象检测器,如Fast/Faster R-CNN [1,2],在一般目标检测方面表现出了出色的性能,但它们在检测行人方面的成功有限,并且以前的领先行人检测器通常是结合手工制作和深度卷积特征的混合方法。在本文中,我们研究了涉及Faster R-CNN [2]的行人检测问题。我们发现Faster R-CNN中的区域建议网络(RPN)确实作为独立的行人检测器表现良好,但令人惊讶的是,下游分类器降低了结果。我们认为,两个原因占不满意的准确性:(i)处理小实例的特征映射的分辨率不足,以及(ii)缺乏任何自举策略挖掘硬负的例子。在这些观察的推动下,我们提出了一个非常简单但有效的行人检测基线,使用RPN,然后在共享的高分辨率卷积特征图上增强森林。我们在几个基准(Caltech,INRIA,ETH和KITTI)上全面评估了该方法,呈现出具有竞争力的准确性和良好的速度。代码将公开提供。
2016-07-27 cs.CV
Pedestrian Collision Avoidance System (PeCAS): a Deep Learning Framework
Institution1(机构1);Institution2(机构2)
我们提出了一个新的基于深度学习的框架来识别行人,并提醒分心的司机,以防止生命和财产的损失。该框架使用两个卷积神经网络(CNN),一个用于检测行人,第二个用于预测驾驶员的困倦,在Raspberry Pi 3 Model B+上实现,显示出很大的前景。实现这样一个低成本,低计算模型的算法和结果进行了讨论。
2018-12-20 cs.CV
Fused DNN: A deep neural network fusion approach to fast and robust pedestrian detection
University of Maryland(马里兰大学);Samsung Electronics(三星电子)
我们提出了一种深度神经网络融合架构,用于快速和鲁棒的行人检测。所提出的网络融合架构允许多个网络的并行处理以提高速度。将Single Shot深度卷积网络训练为对象检测器,以生成不同大小和遮挡的所有可能的行人候选者。该网络输出了大量的行人候选人,以覆盖大多数地面实况行人,同时也引入了大量的误报。接下来,并行使用多个深度神经网络来进一步细化这些行人候选者。我们引入了一种基于软拒绝的网络融合方法,将来自所有网络的软度量融合在一起,以生成最终的置信度。我们的方法比现有的最先进的,特别是在检测小尺寸和闭塞的行人。此外,我们提出了一种方法,将逐像素语义分割网络融合到网络融合架构中,作为对行人检测器的增强。该方法在Caltech Pedestrian数据集上的大多数协议上都优于最先进的方法,在几个协议上都有显着提升。它也比其他任何方法都快。
2017-05-28 cs.CV
Too Far to See? Not Really! --- Pedestrian Detection with Scale-aware Localization Policy
Beihang University(北京航空航天大学);Bioinformatics Institute, A*STAR(新加坡科技研究局生物信息学研究所);National University of Singapore(新加坡国立大学)
行人检测的一个主要瓶颈在于存在的小尺寸的行人是相对远离相机的急剧性能恶化。出于观察,不同的空间尺度的行人表现出不同的视觉外观,我们在本文中提出了一个积极的行人检测器,明确操作的多层神经元表示的输入静止图像。更具体地说,卷积神经网络(如ResNet和更快的R-CNN)被用来提供丰富和有区别的特征表示层次以及初始行人建议。在这里,不同大小的每个行人观察可以根据层次结构的某个层处的ResNet特征表示来最好地表征;同时,通过更快的R-CNN技术获得初始行人建议,即区域建议网络和在特定的ResNet卷积层之后立即使用的感兴趣池层的后续区域,对边界框建议的位置和类别(即行人或非行人)进行联合预测。这被用作我们的主动检测器的输入,其中对于每个初始行人提议,执行一系列坐标变换动作以确定其正确的x-y 2D位置和特征表示层,或者最终终止为背景。经验证明,我们的方法在广泛使用的基准上产生整体较低的检测误差,并且它特别适用于远距离行人。例如,与加州理工学院基准的远距离行人(边界框高度低于80像素)的最先进MS-CNN的60.51%对数平均错过率相比,我们的方法的错过率为41.85%,显著降低了18.68%。
2017-09-01 cs.CV
Pedestrian Detection with Unsupervised Multi-Stage Feature Learning
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
行人检测是一个相当有实际意义的问题。除了将深度学习方法成功应用于视觉之外,我们还报告了使用卷积网络模型在所有主要行人数据集上的最新和有竞争力的结果。该模型使用了一些新的扭曲,例如多阶段特征,跳过层以将全局形状信息与局部独特主题信息相结合的连接,以及基于卷积稀疏编码的无监督方法来预训练每个阶段的滤波器。
2013-04-02 cs.CV cs.LG
Tran-GCN: A Transformer-Enhanced Graph Convolutional Network for Person Re-Identification in Monitoring Videos
Faculty of Computing, Universiti Teknologi Malaysia(马来西亚理工大学计算机学院);Malaysia-Japan International Institute of Technology, Universiti Teknologi Malaysia(马来西亚理工大学马来西亚-日本国际技术学院)
针对现有行人重识别方法忽略局部特征关联、难应对姿态变化与局部遮挡的问题,提出融合姿态估计、Transformer、卷积分支与图卷积模块的Tran-GCN模型,在三个基准数据集上有效提升了监控视频行人重识别准确率。
2024-09-14 cs.CV
3D Random Occlusion and Multi-Layer Projection for Deep Multi-Camera Pedestrian Localization
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学)
虽然基于深度学习的单目行人检测方法已经取得了很大进展,但它们仍然容易受到严重遮挡的影响。使用多视图信息融合是一种潜在的解决方案,但由于现有多视图数据集中缺乏带注释的训练样本,这增加了过拟合的风险,因此应用有限。为了解决这个问题,提出了一种数据增强方法,在地平面上随机生成3D圆柱体遮挡,该遮挡具有行人的平均尺寸并投影到多个视图,以减轻训练中过拟合的影响。此外,通过使用单应性,每个视图的特征图被投影到不同高度的多个平行平面,这允许CNN充分利用每个行人高度上的特征来推断行人在地平面上的位置。所提出的3DROM方法与最先进的基于深度学习的多视角行人检测方法相比,具有极大的性能提高。
2022-07-25 cs.CV
Pedestrian Detection aided by Deep Learning Semantic Tasks
The Chinese University of Hong Kong(香港中文大学)
深度学习方法在行人检测方面取得了巨大的成功,这是因为它能够从原始像素中学习特征。然而,它们主要捕获中间层表示,例如行人的姿势,但是混淆了正样本和硬负样本,这具有很大的模糊性,例如“树干”或“电线杆”的形状和外观在某些视点上与行人相似。这种模糊性可以通过高层次的表示来区分。为此,这项工作联合优化行人检测与语义任务,包括行人属性(例如“携带背包”)和场景属性(例如“道路”,“树”,和“水平”)。我们不是昂贵地注释场景属性,而是通过提出一种新的深度模型来从多个任务和多个数据源中学习高级特征,将属性信息从现有的场景分割数据集转移到行人数据集。由于不同的任务具有不同的收敛速度,并且来自不同数据集的数据具有不同的分布,因此精心设计了多任务目标函数以协调任务并减少数据集之间的差异。该目标函数中任务的重要性系数和网络参数可以迭代估计。广泛的评估表明,所提出的方法在具有挑战性的加州理工学院和ETH数据集上的表现优于最先进的方法,它分别将以前深度模型的未命中率降低了17%和5.5%。
2014-11-29 cs.CV
HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis
The Chinese University of Hong Kong(香港中文大学);SenseTime Group Limited(商汤集团有限公司)
行人分析在智能视频监控中起着至关重要的作用,是以安全为中心的计算机视觉系统的关键组成部分。尽管卷积神经网络在从图像中学习区分特征方面表现出色,但用于细粒度任务的行人综合特征的学习仍然是一个悬而未决的问题。在这项研究中,我们提出了一种新的基于注意力的深度神经网络,命名为HydraPlus-Net(HP-net),它将多层次的注意力地图多方向地馈送到不同的特征层。从所提出的HP网络中学习到的关注深度特征带来了独特的优势:(1)该模型能够捕获从低级到语义级的多个关注,(2)它探索了关注特征的多尺度选择性,以丰富行人图像的最终特征表示。我们证明了建议的HP-网络行人分析的两个任务,即行人属性识别和人的重新识别的有效性和通用性。已经提供了大量的实验结果来证明HP-net在各种数据集上的性能优于最先进的方法。
2017-09-28 cs.CV
StarNet: Pedestrian Trajectory Prediction using Deep Neural Network in Star Topology
Meituan-Dianping Group(美团点评集团)
行人轨迹预测对于许多重要的应用是至关重要的。由于行人之间复杂的相互作用,这个问题是一个很大的挑战。以往的方法只对行人之间的相互作用进行建模,这不仅过度简化了行人之间的相互作用,而且计算效率低下。在本文中,我们提出了一个新的模型StarNet来处理这些问题。StarNet具有星型拓扑结构,包括唯一的集线器网络和多个主机网络。枢纽网络采用观察到的所有行人的轨迹来产生对人际交互的全面描述。然后主机网络,每个网络对应一个行人,咨询描述并预测未来的轨迹。星型拓扑结构使StarNet比传统模型具有两个优势。首先,StarNet能够考虑枢纽网络中所有行人的集体影响,做出更准确的预测。其次,StarNet是计算效率高的,因为主机网络的数量与行人的数量是线性的。在多个公共数据集上的实验表明,StarNet在准确性和效率方面都大大优于多个最先进的技术。
2020-01-13 cs.CV
Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking
Cornell University(康奈尔大学)
我们提出了一种用于基于视觉的多行人跟踪的数据关联方法,使用深度卷积特征来根据外观区分不同的人。这些重新识别(re-ID)特征被学习,使得它们对于诸如旋转、平移和背景中的变化之类的变换是不变的,从而允许一致地识别移动通过场景的行人。我们将重新ID功能到一个通用的数据关联似然模型的多人跟踪,实验验证此模型,使用它来执行跟踪在两个评估视频序列,并检查性能的改善相比,获得了几个基线方法。我们的研究结果表明,使用深度人re-ID进行数据关联大大提高了跟踪鲁棒性,以应对遮挡和路径交叉等挑战。
2018-10-19 cs.CV
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Chongqing Normal University(重庆师范大学);National Center for Applied Mathematics in Chongqing(重庆国家应用数学中心);Northeast Forestry University(东北林业大学);Inner Mongolia University(内蒙古大学);Southern University of Science and Technology(南方科技大学)
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而,当不同的行人具有相似的外观时,外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例,我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说,我们实现了一个两分支架构,分别学习外观特征和姿势特征,然后将它们连接在一起进行推理。为了学习姿势特征,我们首先通过现成的姿势检测器检测每帧中的行人姿势,并使用姿势序列构建时间图。然后利用递归图卷积网络(RGCN)学习时间姿态图的节点嵌入,设计全局信息传播机制,同时实现帧内节点的邻域聚合和帧间图的消息传递.最后,提出了一种由节点注意力和时间注意力组成的双注意力方法,利用自注意力机制学习每个节点和每个帧的重要性,从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法,即,Mars、DukeMTMC和iLIDS-VID的实验结果表明,学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
LYTNet: A Convolutional Neural Network for Real-Time Pedestrian Traffic Lights and Zebra Crossing Recognition for the Visually Impaired
Shanghai American School(上海美国学校)
目前,视力受损者依靠视力正常的人、导盲犬或白色手杖来安全导航。然而,训练导盲犬的费用非常昂贵,而且手杖不能提供有关交通灯颜色和人行横道方向的基本信息。在本文中,我们提出了一个基于深度学习的解决方案,提供有关交通灯模式和斑马线位置的信息。以前利用机器学习的解决方案只提供一条信息,并且大多是二进制的:只检测红灯或绿灯。建议的卷积神经网络,LYTNet,是专为全面性,准确性和计算效率。LYTNet为视障人士过马路提供了两条最重要的信息。我们提供了五类行人交通信号灯,而不是常见的三个或四个,和一个方向矢量表示的斑马线的中线,从2D图像平面转换到现实世界的位置。我们创建了自己的行人交通灯数据集,其中包含在上海数百个十字路口拍摄的5000多张照片。在iPhone 7上测试网络时,通过额外的后处理步骤,所进行的实验实现了94%的分类准确度,6.35度的平均角度误差,帧速率为每秒20帧。
2019-07-23 cs.CV cs.LG
Pedestrian Prediction by Planning using Deep Neural Networks
Institue of Measurement and Control Systems(测量与控制系统研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
准确的交通参与者预测是自动驾驶汽车避碰的前提。在这项工作中,我们预测行人通过模仿自己的运动规划。从在线观测,我们推断出一个混合密度函数的可能目的地。我们使用这个结果作为目标状态的规划阶段,执行运动预测的基础上共同的行为模式。整个系统被建模为一个单片神经网络,并通过逆强化学习进行训练。对真实世界数据的实验验证表明,该系统能够准确地预测目的地和轨迹。
2017-06-20 cs.CV
Crowd counting via scale-adaptive convolutional neural network
Tencent Youtu(腾讯优图);Inria Rennes(雷恩国立信息与自动化研究所);Shanghai Jiaotong University(上海交通大学)
人群计数的任务是自动估计人群图像中的行人数量。为了应对人群图像中普遍存在的尺度和视角变化,最先进的方法采用多列CNN架构来回归人群图像的密度图。多列具有不同的感受野,对应于不同尺度的行人(头部)。相反,我们提出了一个规模自适应的CNN(SaCNN)架构与固定的小感受野的骨干。我们从多个层中提取特征图,并将它们调整为具有相同的输出大小;我们将它们组合起来以生成最终的密度图。通过对密度图进行积分来计算人数。我们在ShanghaiTech、UCF_CC_50和WorldExpo数据集上进行了大量的实验,并在一个新的数据集SmartCity上进行了大量的实验,该数据集是我们收集的用于人群场景的。结果表明SaCNN在最先进的技术上有显着的改进。
2018-02-06 cs.CV
From Handcrafted to Deep Features for Pedestrian Detection: A Survey
Tianjin University(天津大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linköping University(林雪平大学);Inception Institute of Artificial Intelligence(因塞普申人工智能研究院)
行人检测是计算机视觉中的一个重要而又具有挑战性的问题,特别是在以人为中心的任务中。在过去的十年中,在手工制作的特征和深度特征的帮助下,已经有了显着的改进。在这里,我们提出了一个全面的调查行人检测的最新进展。首先,我们提供了一个详细的审查单光谱行人检测,包括手工制作的功能为基础的方法和深度功能为基础的方法。对于手工制作的功能为基础的方法,我们提出了一个广泛的审查的方法,并发现,手工制作的功能与形状和空间的大自由度有更好的性能。在基于深度特征的方法的情况下,我们将它们分为纯基于CNN的方法和采用手工制作和基于CNN特征的方法。我们给出了这些方法的统计分析和趋势,其中特征增强,部分感知和后处理方法吸引了主要的注意力。除了单光谱行人检测,我们还审查多光谱行人检测,它提供了更强大的功能,照明方差。此外,我们介绍了一些相关的数据集和评估指标,并比较了一些代表性的方法。我们通过强调需要解决的开放问题和突出各种未来方向来结束这项调查。研究人员可以在https://github.com/JialeCao001/PedSurvey上追踪最新的列表。
2021-05-12 cs.CV
Pedestrian Detection in 3D Point Clouds using Deep Neural Networks
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Beamagine S.L.(Beamagine公司)
检测行人是自动驾驶系统中的一项关键任务,以确保驾驶员和行人的安全。这些算法所涉及的技术必须精确可靠,无论环境条件如何。在相机无法正确捕捉场景的情况下,仅依靠RGB相机可能不足以识别道路环境。一些方法旨在通过将RGB相机与TOF传感器(诸如LIDAR)组合来补偿这些限制。然而,有几个作品,专门使用激光雷达提供的3D几何信息来解决这个问题。在本文中,我们提出了一个基于PointNet++的架构,以检测密集的三维点云中的行人。目的是探索几何信息单独在行人检测系统中的潜在贡献。我们还提出了一个半自动标签系统,将行人和非行人标签从RGB图像转移到3D域。我们的数据集具有与点云配准的RGB,这一事实使标签能够通过从2D边界框到点云的反向投影进行传输,只需少量的手动监督即可验证结果。我们使用生成的3D标记群集的几何结构训练PointNet++。评估证实了所提出的方法的有效性,产生的准确率和召回率值约为98%。
2021-05-03 cs.CV
Unsupervised Deep Domain Adaptation for Pedestrian Detection
Shanghai Jiao Tong University(上海交通大学);University of Twente(特文特大学)
针对拥挤场景中行人检测的无监督领域自适应问题进行了研究。首先,我们利用迭代算法迭代地选择和自动注释具有高置信度的正面行人样本作为目标域的训练样本。同时,我们还重用了源域中的负样本,以弥补正样本和负样本数量的不平衡。其次,基于深度网络,我们还设计了一个无监督正则化器来减轻数据噪声的影响。更具体地说,我们将最后一个全连接层转换为两个子层-逐元素乘法层和求和层,并添加无监督正则化器以进一步提高领域自适应精度。在行人检测实验中,该方法提高了近30%的召回值,而精度几乎保持不变。此外,我们执行我们的方法对标准的领域自适应基准监督和无监督的设置,也达到了最先进的结果。
2018-02-09 cs.CV
Deep Similarity Metric Learning for Real-Time Pedestrian Tracking
检测跟踪是解决多目标跟踪问题的常用方法。在本文中,我们展示了学习深度相似性度量如何在多对象跟踪基准上改善行人跟踪的三个关键方面。我们训练一个卷积神经网络来学习一个大的人重新识别数据集上的连体结构中的嵌入函数。离线训练的嵌入网络被集成到跟踪公式中,以提高性能,同时保留实时的【形】性能。建议的跟踪器存储外观指标,而检测是强的,使用此外观信息:防止ID开关,通过闭塞相关联的tracklet,并提出新的检测检测器的信心是低的。该方法在评价中取得了有竞争力的结果,特别是在在线的、实时的【形】方法中。我们提出了一个消融研究,显示我们的深度外观指标的三种用途中的每一种的影响。
2019-11-11 cs.CV