Enhanced Transformer-Based Tracking for Skiing Events: Overcoming Multi-Camera Challenges, Scale Variations and Rapid Motion -- SkiTB Visual Tracking Challenge 2025
Tredence Analytics(特伦登斯分析公司)
针对高山滑雪赛事中的跟踪难题,采用STARK模型并优化其架构与超参数,以应对多摄像头、遮挡和快速运动,提升跟踪准确性。
2025-02-26 cs.CV
SOFI: Multi-Scale Deformable Transformer for Camera Calibration with Enhanced Line Queries
The University of New Mexico(新墨西哥大学)
提出SOFI,一种结合线内容与几何特征增强线查询的多尺度可变形Transformer,通过引入多尺度可变形注意力机制促进特征图跨尺度交互,在多个数据集上优于现有方法且保持具竞争力的推理速度。
2024-09-23 cs.CV
MCTR: Multi Camera Tracking Transformer
NEC Laboratories America(NEC美国实验室)
MCTR提出了一种端到端的多摄像头跟踪方法,利用Transformer架构实现多目标检测和跟踪,通过概率关联和可微损失实现一致的跟踪结果。
2026-01-30 cs.CV
CalibFormer: A Transformer-based Automatic LiDAR-Camera Calibration Network
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院)
针对激光雷达-相机标定中特征稀疏与跨模态关联不可靠的问题,提出端到端网络CalibFormer,通过多层特征聚合、多头相关模块和Transformer架构估计标定参数,在KITTI上取得领先精度。
2024-03-17 cs.CV cs.RO
VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Snap Inc.(斯纳普公司);SFU(西蒙菲莎大学)
针对现有基于Transformer的视频扩散模型缺乏相机控制能力的问题,提出融入基于Plücker坐标时空相机嵌入的类ControlNet条件机制,首次实现该类模型的3D相机控制,在RealEstate10K数据集上取得SOTA性能。
2025-03-22 cs.CV
Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
Santa Clara University(圣克拉拉大学)
本文提出Fish2Mesh,一种基于鱼眼感知Transformer的第一人称三维人体网格恢复模型,通过第一人称位置嵌入、多任务SMPL回归和弱监督训练,在自遮挡和畸变条件下优于现有方法。
2025-03-08 cs.CV cs.RO
DRS-VPT: Directly Relocalizing in a Scan with Vision Point Transformers
University of Oxford(牛津大学)
DRS-VPT提出一种前馈变换器架构,实现图像到扫描的直接配准,统一自动驾驶标定与室内重定位,达到最先进性能并支持零样本迁移。
2026-11-13 cs.CV cs.RO
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research(谷歌研究院)
本文提出CamViG,通过将3D相机运动编码为调节信号,扩展多模态Transformer实现可控的图像到视频生成,并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
RCDPT: Radar-Camera fusion Dense Prediction Transformer
KU Leuven(鲁汶大学)
最近,Transformer网络在自然语言处理方面的表现优于传统的深度神经网络,并且与卷积骨干相比,在许多计算机视觉任务中显示出巨大的潜力。在原始的Transformer中,读出令牌被用作用于聚集来自其他令牌的信息的指定向量。然而,在视觉Transformer中使用读出令牌的性能是有限的。因此,我们提出了一种新的融合策略,将雷达数据集成到一个密集的预测Transformer网络,通过重组相机表示与雷达表示。代替使用读出令牌,雷达表示向单目深度估计模型贡献附加深度信息并提高性能。我们进一步研究了不同的融合方法,通常用于在密集的预测Transformer网络中集成额外的模态。实验是在nuScenes数据集上进行的,该数据集包括相机图像、激光雷达和雷达数据。结果表明,我们提出的方法产生更好的性能比常用的融合策略,并优于现有的卷积深度估计模型,融合相机图像和雷达。
2023-03-02 cs.CV eess.IV
ODTFormer: Efficient Obstacle Detection and Tracking with Stereo Cameras Based on Transformer
Northeastern University(东北大学);Brown University(布朗大学)
提出基于 Transformer 的 ODTFormer,利用可变形注意力、3D 代价体和跨帧体素匹配实现端到端立体障碍物检测与跟踪,并在 DrivingStereo、KITTI 上以更低算力取得先进性能。
2024-10-24 cs.CV cs.RO
TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection
Michigan State University(密歇根州立大学)
针对现有3D目标检测融合研究多聚焦激光雷达与相机的问题,提出基于Transformer的相机-雷达融合方案TransCAR,通过双模块特征交互与软关联机制,在nuScenes数据集上超越同类方法,还可无时序信息提升速度估计。
2023-04-30 cs.CV
A Novel Vision Transformer for Camera-LiDAR Fusion based Traffic Object Segmentation
Tallinn University of Technology(塔林理工大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本研究提出基于视觉Transformer的相机-激光雷达融合模型CLFT,可实现多类交通目标分割并适配多种天气,提升了自动驾驶感知水平,但恶劣环境下的性能仍待优化。
2025-01-06 cs.CV
CrossDTR: Cross-view and Depth-guided Transformers for 3D Object Detection
National Taiwan University(国立台湾大学);Mobile Drive Technology(移动驱动技术公司)
为了以低成本实现自动驾驶的精确3D目标检测,已经提出了许多多相机方法,并解决了单目方法的遮挡问题。然而,由于缺乏准确的估计深度,现有的多摄像机方法往往产生多个边界框沿射线的深度方向的困难的小物体,如行人,导致召回率极低。此外,直接将深度预测模块应用于现有的多相机方法,通常由大型网络架构组成,无法满足自动驾驶应用的实时要求。为了解决这些问题,我们提出了用于3D目标检测的交叉视图和深度引导的Transformers,CrossDTR。首先,我们的轻量级深度预测器旨在生成精确的对象稀疏深度图和低维深度嵌入,而无需在监督期间使用额外的深度数据集。其次,开发了一个跨视图深度引导的Transformer,融合深度嵌入以及来自不同视图的相机的图像特征,并生成3D包围盒。大量的实验表明,我们的方法在行人检测方面大大超过了现有的多摄像头方法10%,在总体mAP和NDS指标方面超过了约3%。此外,计算分析表明,我们的方法比以前的方法快5倍。我们的代码将在https://github.com/sty61010/CrossDTR上公开。
2023-02-03 cs.CV cs.RO
Multi-Camera Multi-Person Association using Transformer-Based Dense Pixel Correspondence Estimation and Detection-Based Masking
University of Florida(佛罗里达大学)
本研究提出一种结合Transformer密集像素对应估计与检测掩码的多摄像机多目标关联算法,经WILDTRACK数据集验证,近距同视角摄像机对关联效果优异,大差异视角仍有提升空间。
2024-08-17 cs.CV
CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer
KAIST(韩国科学技术院);Hanyang University(汉阳大学)
与LiDAR相比,相机和雷达传感器在成本、可靠性和维护方面具有显著优势。现有的融合方法往往在结果级融合单一模态的输出,称为后期融合策略。这可以受益于使用现成的单传感器检测算法,但后期融合不能充分利用传感器的互补特性,因此尽管相机-雷达融合具有巨大的潜力,但性能有限。在这里,我们提出了一种新的建议级早期融合方法,有效地利用空间和上下文属性的相机和雷达的三维目标检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联,以有效地处理坐标系和空间属性之间的差异。使用此作为第一阶段,以下连续的基于交叉注意的特征融合层自适应地交换相机和雷达之间的空间上下文信息,从而导致鲁棒和专注的融合。我们的相机-雷达融合方法在nuScenes测试集上实现了最先进的41.1%mAP和52.3%NDS,比仅使用相机的基线高出8.7和10.8个点,并且在LiDAR方法上具有竞争力的性能。
2022-11-25 cs.AI cs.CV cs.RO
EventTransAct: A video transformer-based framework for Event-camera based action recognition
University of Central Florida(中佛罗里达大学)
针对事件相机动作识别现有方法依赖传感器专属架构、难适配Transformer进展的问题,提出EventTransAct框架,基于视频Transformer网络,结合事件对比损失与专属增强,在N-EPIC Kitchens数据集取得SOTA结果且计算效率更高。
2023-08-25 cs.CV cs.RO
Neuromorphic Camera Denoising using Graph Neural Network-driven Transformers
Khalifa University of Science and Technology(哈利法科技大学)
神经形态视觉是一种受生物启发的技术,它引发了计算机视觉界的范式转变,并成为众多应用的关键推动者。该技术具有显著的优势,包括降低功耗,减少处理需求和通信速度。然而,神经形态相机遭受大量的测量噪声。这种噪声恶化了基于神经形态事件的感知和导航算法的性能。在本文中,我们提出了一种新的噪声过滤算法,以消除事件,不代表真正的日志强度变化在观察到的场景。我们采用图神经网络(GNN)驱动的Transformer算法(称为GNN-Transformer),将原始流中的每个活动事件像素分类为实对数强度变化或噪声。在GNN中,执行一个称为EventConv的消息传递框架,以反映事件之间的时空相关性,同时保留其异步性质。我们还介绍了已知对象的地面真值标签(KoGTL)的方法,用于在各种照明条件下生成近似的地面真值标签的事件流。KoGTL用于从在chalenging光照条件下记录的实验中生成标记数据集。这些数据集用于训练和广泛测试我们提出的算法。当在看不见的数据集上进行测试时,该算法在过滤精度方面比现有方法高出8.8%。在公开的数据集上进行了额外的测试,以证明所提出的算法在光照变化和不同运动动力学的存在下的泛化能力。与现有的解决方案相比,定性结果验证了该算法的优越能力,以消除噪声,同时保留有意义的场景事件。
2022-07-04 cs.CV cs.RO
Boosting Camera Motion Control for Video Diffusion Transformers
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
本文针对视频扩散Transformer(DiT)中相机运动精度退化问题,提出基于无分类器引导的Camera Motion Guidance(CMG)方法,将相机控制能力提升超400%,并引入稀疏相机控制流程简化长视频位姿指定,普遍适用于U-Net和DiT模型。
2024-10-14 cs.AI cs.CV
EffLoc: Lightweight Vision Transformer for Efficient 6-DOF Camera Relocalization
South China University of Technology(华南理工大学);National University of Defense Technology(国防科技大学)
本文提出EffLoc,一种轻量级视觉Transformer,通过分层结构和顺序组注意力模块实现高效的单图像6-DoF相机重定位,在精度和效率上超越AtLoc和MapNet等现有方法。
2024-02-21 cs.CV
Solar Multimodal Transformer: Intraday Solar Irradiance Predictor using Public Cameras and Time Series
EPFL(洛桑联邦理工学院)
本文提出Solar Multimodal Transformer(SMT)多模态模型,结合单帧公共摄像头图像与归一化时间序列进行日内太阳辐照度预测,准确率较Solcast提升25.95%,且易于适应不同摄像头规格。
2025-02-28 cs.CV
GNFormer: Gaussian Neural Field Transformer for Efficient Camera-based Occupancy Prediction
Southern University of Science and Technology(南方科技大学)
该研究针对现有高斯基方法的局限,提出GNF表示与GNFormer方法,在三个基准测试中实现最优IoU、mIoU及最快推理,且所需高斯基元数量远少于现有方法。
2026-10-14 cs.CV cs.RO
AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Snap Inc.(Snap公司)
AC3D通过低频姿态调度、选择性注入相机条件和静态相机动态数据集,在减少参数的同时实现了更精确的三维相机控制和更高的视频生成质量。
2025-05-06 cs.CV
ThermalLoc: A Vision Transformer-Based Approach for Robust Thermal Camera Relocalization in Large-Scale Environments
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学);China Academy of Launch Vehicle Technology(航天科技研究院);PEAK-Lab, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)PEAK实验室)
针对热像仪重定位方法缺失的问题,提出端到端深度学习模型ThermalLoc,结合EfficientNet与Transformer提取特征并用MLP回归位姿,在公开及自建数据集上超越现有方法,实现高精度高鲁棒性重定位。
2025-06-23 cs.CV
CPA: Camera-pose-awareness Diffusion Transformer for Video Generation
vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
针对视频生成中相机轨迹控制不精确的问题,提出相机位姿感知的 CPA 框架,通过 SME 与 TAI 模块融合位姿条件,提升长视频的轨迹和物体一致性。
2024-12-02 cs.CV
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习(RL)从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而,仅从视觉输入执行细粒度的运动控制是具有挑战性的,特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置,其中代理接收视觉反馈,从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的,但以自我为中心的相机使机器人能够主动控制其视觉,以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息,我们还建议使用具有交叉视图注意力机制的Transformers,该机制将空间注意力从一个视图建模到另一个视图(反之亦然),并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习,并成功地转移到一组具有挑战性的操作任务,在一个真实的机器人上,未校准的相机,无法访问状态信息,以及高度的任务可变性。在锤子操作任务中,我们的方法在75%的试验中成功,而对于多视图和单视图基线,分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
WD-DETR: Wavelet Denoising-Enhanced Real-Time Object Detection Transformer for Robot Perception with Event Cameras
School of Aeronautic Science and Engineering, Beihang University(航空科学与工程学院,北京航空航天大学);Hangzhou Innovation Institute of Beihang University(北京航空航天大学杭州创新研究院);Institute of Unmanned System, Beihang University(无人系统研究院,北京航空航天大学);Tianmushan Laboratory Xixi Octagon City(天门山实验室西溪八角城)
针对事件相机密集表示噪声导致漏检的问题,提出 WD-DETR,通过小波去噪骨干、Transformer 检测头和 DRCB 混合编码器提升精度,并在 Jetson Orin NX 上实现约35 FPS实时推理。
2025-06-10 cs.CV cs.RO
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University(计算机科学学院和人工智能学院,上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择,提出 FlatFusion 框架,通过优化映射策略、注意力分组和微结构,在 nuScenes 上以 10.1 FPS 达到 73.7 NDS,显著超越现有方法。
2025-06-30 cs.CV
Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics
Advanced Research Lab, NavInfo Europe(四维图新欧洲高级研究实验室)
自动驾驶和高级驾驶员辅助系统的出现使得计算机视觉在3D场景理解方面的不断发展成为必要。自监督单目深度估计是一种不使用地面真值标签的单目距离估计方法,是三维场景理解中的一项重要任务。然而,用于该任务的现有方法限于卷积神经网络(CNN)架构。与使用局部线性运算并在各层中丢失特征分辨率的CNN相比,视觉Transformer在每个阶段都以恒定的分辨率处理全局感受野。虽然最近的工作比较了Transformers与他们的CNN同行的任务,如图像分类,没有研究存在调查的影响,使用Transformers的自我监督单眼深度估计。在这里,我们首先演示了如何适应视觉Transformer的自我监督单眼深度估计。此后,我们比较了Transformer和基于CNN的架构在KITTI深度预测基准上的性能,以及它们对自然损坏和对抗攻击的鲁棒性,包括当相机内部函数未知时。我们的研究演示了如何基于transformer的架构,虽然运行时效率较低,实现了相当的性能,同时更强大和更普遍。
2022-02-07 cs.AI cs.CV
Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers
AGH University(AGH大学);Jagiellonian University(雅盖隆大学)
本文提出双流Transformer架构,用于从同步双摄像头记录中自动检测互视与联合注意,通过冻结的注视感知骨干网络和自定义令牌融合机制,有效提升了多摄像头实验室环境下的检测性能。
2026-04-29 cs.CV
FutrTrack: A Camera-LiDAR Fusion Transformer for 3D Multiple Object Tracking
University of Wuppertal(乌珀塔尔大学);Institute of Computer Science, Osnabrück University(计算机科学研究所,奥斯纳布鲁克大学)
FutrTrack通过融合相机与激光雷达数据,利用基于变压器的跟踪框架,在多目标跟踪中实现了高效且鲁棒的跟踪性能。
2025-12-15 cs.CV
Epipolar Attention Field Transformers for Bird's Eye View Semantic Segmentation
CARIAD SE;Center for Robotics, University of Bonn(机器人中心,波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
本文提出EAFormer,利用极线几何约束构建极线注意力场替代学习位置编码,在BEV语义分割中提升2% mIoU并增强泛化能力。
2024-12-02 cs.CV cs.RO
CEMFormer: Learning to Predict Driver Intentions from In-Cabin and External Cameras via Spatial-Temporal Transformers
Purdue University(普渡大学);New York University(纽约大学);Toyota Motor North America(丰田汽车北美公司)
本文提出CEMFormer框架,利用时空Transformer融合车内与外部摄像头信息及情景记忆,并引入情境一致性损失,在Brain4Cars数据集上实现更优的驾驶员意图预测。
2023-05-13 cs.CV
Cross-view Transformers for real-time Map-view Semantic Segmentation
UT Austin(德克萨斯大学奥斯汀分校)
我们提出了跨视图Transformers,一个有效的注意力为基础的地图视图语义分割模型,从多个摄像机。我们的架构隐式地学习到一个规范的地图视图表示使用相机感知的交叉视图注意力机制从个别相机视图的映射。每个摄像机使用位置嵌入,这取决于其内在和外在校准。这些嵌入允许Transformer学习跨不同视图的映射,而无需显式地对其进行几何建模。该架构包括一个卷积图像编码器的每个视图和跨视图Transformer层,以推断地图视图语义分割。我们的模型是简单的,易于并行化,并运行在实时的【形】。所提出的架构在nuScenes数据集上以最先进的方式执行,推理速度快4倍。代码可在https://github.com/bradyz/cross_view_transformers上获得。
2022-05-05 cs.AI cs.CV
Exploiting Spatial Sparsity for Event Cameras with Visual Transformers
Institute of Neuroinformatics, University of Z\"urich;ETH Z\"urich, Z\"urich, Switzerland
事件摄像机通过异步输出事件流报告亮度的局部变化。事件在像素位置上是空间稀疏的,亮度变化很小。我们建议使用一个可视化的Transformer(ViT)架构,利用其处理可变长度输入的能力。ViT的输入由累积到时间仓中并在空间上分离成称为补丁的非重叠子区域的事件组成。当子区域内的非零像素位置的数量高于阈值时,选择块。我们表明,通过对选定的活动补丁微调ViT模型,我们可以将推理过程中输入主干的补丁的平均数量减少至少50%,而N-Caltech 101数据集的分类精度只有轻微下降(0.34%)。这种减少意味着使用服务器CPU的乘法累加(MAC)操作减少了51%,推理速度增加了46%。
2022-02-10 cs.CV
DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection
Technical University of Munich(慕尼黑工业大学);Perciv AI(珀西夫人工智能公司);Delft University of Technology(代尔夫特理工大学)
本文提出 DPFT,一种利用 radar cube 并融合相机平面与地平面投影的相机-雷达目标检测方法,在 K-Radar 上达到最先进性能且恶劣天气稳健、推理高效。
2024-11-27 cs.CV
MIC-BEV: Multi-Infrastructure Camera Bird's-Eye-View Transformer with Relation-Aware Fusion for 3D Object Detection
University of California, Los Angeles(加州大学洛杉矶分校)
针对基础设施多摄像头3D目标检测的现有模型性能不佳问题,提出带图增强融合的MIC-BEV框架,构建M2I合成数据集,实验证明其在多数据集上达SOTA且鲁棒性强。
2026-11-02 cs.CV
3DPPE: 3D Point Positional Encoding for Multi-Camera 3D Object Detection Transformers
Houmo AI(厚墨人工智能);University of Sydney(悉尼大学);ETH Zürich(苏黎世联邦理工学院);University of Adelaide(阿德莱德大学)
提出3DPPE方法,通过预测深度近似3D点位置并引入3D检测Transformer解码器,在nuScenes数据集上显著提升多相机3D目标检测性能。
2023-07-28 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis(加州大学戴维斯分校)
针对3D目标检测的多模态数据融合需求,提出纯ViT架构的分层检测模型FusionViT,通过Transformer嵌入图像与点云并经融合ViT融合特征,在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers
Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
3D视觉感知任务,包括基于多相机图像的3D检测和地图分割,对于自动驾驶系统至关重要。在这项工作中,我们提出了一个名为BEVFormer的新框架,它使用时空Transformers学习统一的BEV表示,以支持多个自动驾驶感知任务。简言之,BEVFormer通过预定义的网格形状的BEV查询与空间和时间空间进行交互,从而利用空间和时间信息。为了聚合空间信息,我们设计了空间交叉注意,每个BEV查询提取跨相机视图的感兴趣区域的空间特征。对于时间信息,我们提出了时间自注意递归地融合历史BEV信息。我们的方法在nuScenes \texttt{test}集合上的NDS度量方面达到了新的最先进的56.9\%,比以前的最佳技术高出9.0个点,与基于LiDAR的基线的性能相当。我们进一步表明,BEVFormer显着提高速度估计的准确性和召回的对象在低能见度条件下。代码可在\url{https://github.com/zhiqi-li/BEVFormer}上获得。
2022-07-13 cs.CV
Temporal and Contextual Transformer for Multi-Camera Editing of TV Shows
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Communication University of China(中国传媒大学);Nanjing University(南京大学)
在多个摄像机中选择合适的摄像机视角的能力在电视节目传输中起着至关重要的作用。但由于缺乏高质量的训练数据,使得统计模式的识别和智能化处理变得困难。为了解决这个问题,我们首先收集了一个新的基准设置与四个不同的场景,包括音乐会,体育比赛,晚会表演,比赛,其中每个场景包含6个同步轨道记录不同的相机。它包含88小时的原始视频,有助于14小时的编辑视频。基于此基准,我们进一步提出了一种新的方法时间和上下文Transformer,利用历史镜头和其他视图的线索,使镜头过渡的决定,并预测将使用的视图。大量的实验表明,我们的方法优于现有的方法建议多摄像机编辑基准。
2022-10-17 cs.AI cs.CV cs.MM
Look Around and Pay Attention: Multi-camera Point Tracking Reimagined with Transformers
Northeastern University(东北大学)
LAPA通过基于Transformer的架构,结合注意力机制和几何约束,实现多摄像机点跟踪的高效准确追踪,优于现有方法。
2025-12-03 cs.CV
MotionTrack: End-to-End Transformer-based Multi-Object Tracing with LiDAR-Camera Fusion
Virginia Tech(弗吉尼亚理工大学);Motional
提出基于Transformer的端到端LiDAR-Camera融合多目标跟踪算法MotionTrack,通过数据关联与查询增强模块实现多类别目标的同时检测与跟踪,在nuScenes数据集上AMOTA达0.55,优于经典基线模型。
2023-06-29 cs.CV
PDC-ViT : Source Camera Identification using Pixel Difference Convolution and Vision Transformer
United Arab Emirates University(阿联酋大学);Qatar University(卡塔尔大学);Northumbria University(诺森比亚大学);University of Sharjah(沙迦大学)
本文提出PDC-ViT方法,通过将像素差分卷积(PDC)与视觉Transformer结合进行源相机识别,利用APDC和RPDC提取像素细微特征并输入ViT分类,在五个数据集上验证了其高准确率与鲁棒性。
2025-01-27 cs.CV
Segmentation Guided Sparse Transformer for Under-Display Camera Image Restoration
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Hong Kong University of Science and Technology(香港科技大学);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分部);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区);SAMSUNG Electronics(三星电子)
针对屏下相机图像退化问题,提出分割引导的稀疏Transformer方法SGSFormer,以实例分割为先验引导稀疏自注意力过滤冗余噪声,聚焦退化区域特征,提升复原质量。
2025-03-20 cs.CV eess.IV
DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers
Keio University(庆应义塾大学);SB Intuitions
针对多视图Transformer中基于相机参数的位置编码导致训练后期性能停滞的问题,提出解耦位姿位置编码(DPPE),将旋转和平移显式分离,实现稳定长训练并提升外推泛化能力。
2026-11-04 cs.AI cs.CV
BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs
Nullmax;Zhengzhou University(郑州大学)
鸟瞰图中的语义分割是自动驾驶的一项重要任务。虽然这项任务已经吸引了大量的研究工作,但灵活地应对自动驾驶汽车上配备的任意(单个或多个)相机传感器仍然具有挑战性。在本文中,我们提出了BEVSegFormer,一个有效的基于变换的方法,用于任意摄像机设备的BEV语义分割。具体来说,我们的方法首先编码图像特征从任意相机与共享的骨干。这些图像特征,然后增强的可变形的基于变换的编码器。此外,我们引入了BEV Transformer解码器模块来解析BEV语义分割结果。设计了一种有效的多摄像机变形注意单元来实现BEV到图像的视图转换。最后,根据BEV中的网格布局对查询进行整形,并上采样以监督方式产生语义分割结果。我们在公共nuScenes数据集和自我收集的数据集上评估了所提出的算法。实验结果表明,我们的方法取得了很好的性能BEV语义分割从任意相机钻机。我们还通过消融研究证明了每个组件的有效性。
2022-08-17 cs.CV
Boosting 3-DoF Ground-to-Satellite Camera Localization Accuracy via Geometry-Guided Cross-View Transformer
The Australian National University(澳大利亚国立大学);Ford Motor Company(福特汽车公司)
针对基于图像检索的跨视图地对星定位精度低的问题,提出几何引导跨视图Transformer结合神经位姿优化器与不确定性引导空间相关的方法,在KITTI数据集上大幅提升3自由度定位精度。
2023-07-20 cs.CV
DriveVGGT: Calibration-Constrained Visual Geometry Transformers for Multi-Camera Autonomous Driving
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究所);Li Auto Inc.(理想汽车)
DriveVGGT通过引入时间视频注意模块、多摄像头一致性注意模块和分解的解码过程,整合稀疏空间重叠、校准几何约束和刚性外参恒定等先验知识,提升自动驾驶场景下的重建效率和精度。
2026-03-30 cs.CV
Multiview Detection with Shadow Transformer (and View-Coherent Data Augmentation)
Australian National University(澳大利亚国立大学)
多视点检测结合多个摄像机视点来处理遮挡问题,其核心问题是多视点融合。给定从多个视图到公共地平面上的特征映射投影,最先进的方法通过卷积来解决这个问题,无论对象位置如何,卷积都应用相同的计算。然而,这种投影不变的行为可能不是最好的选择,因为对象特征根据其位置和相机经历各种投影失真。在本文中,我们提出了一种新的多视图检测器,MVDeTr,采用新引入的阴影Transformer聚合多视图信息。与卷积不同,阴影Transformer在不同的位置和相机上以不同的方式参与,以处理各种类似阴影的扭曲。我们提出了一个有效的训练方案,其中包括一个新的视图相干数据增强方法,它适用于随机增强,同时保持多视图的一致性。在两个多视图检测基准,我们报告新的国家的最先进的精度与建议的系统。代码可在https://github.com/hou-yz/MVDeTr上获得。
2021-08-12 cs.CV
Explainable Multi-Camera 3D Object Detection with Transformer-Based Saliency Maps
RWTH Aachen University(亚琛工业大学)
本文提出一种基于原始注意力、比梯度法更高效的显著性图生成方法,用于多摄像头3D物体检测的DetR类ViT,在nuScenes上经扰动测试验证,优于其他可解释性方法,并强调跨层注意力聚合的重要性。
2023-12-22 cs.CV cs.LG
SPOT-Occ: Sparse Prototype-guided Transformer for Camera-based 3D Occupancy Prediction
Artificial Intelligence Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学人工智能方向(广州));Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学计算机科学与工程系)
SPOT-Occ提出了一种基于稀疏原型的Transformer解码器,通过引导特征选择和聚焦聚合提升基于相机的3D占用预测的效率与精度。
2026-02-04 cs.CV cs.LG cs.RO
Learning Multi-Scene Absolute Pose Regression with Transformers
Bar-Ilan University(巴伊兰大学)
绝对相机姿态回归器仅从捕获的图像估计相机的位置和取向。通常,具有多层感知器头的卷积骨干用图像和姿势标签进行训练,以一次嵌入单个参考场景。最近,该方案被扩展为通过用一组完全连接的层替换MLP头来学习多个场景。在这项工作中,我们建议学习多场景绝对相机姿态回归与Transformers,其中编码器用于聚合激活地图与自我注意和解码器转换潜在的功能和场景编码到候选姿势预测。这种机制允许我们的模型专注于为本地化提供信息的一般特征,同时并行嵌入多个场景。我们评估我们的方法对常见的基准室内和室外数据集,并表明它超越了多场景和最先进的单场景绝对姿态回归。我们在https://github.com/yolish/multi-scene-pose-transformer上公开发布我们的代码。
2021-07-26 cs.CV
An Initial Study of Bird's-Eye View Generation for Autonomous Vehicles using Cross-View Transformers
Federal University of Santa Catarina (UFSC)(圣卡塔琳娜联邦大学)
本文研究利用跨视角Transformer从相机图像生成道路、车道标线和规划轨迹三类BEV地图,发现四相机配置配合L1损失在跨城镇泛化测试中表现最稳健。
2025-08-17 cs.AI cs.CV
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Hong Kong University of Science and Technology(香港科技大学);Huawei(华为);City University of Hong Kong(香港城市大学)
LiDAR和摄像头是自动驾驶中用于3D目标检测的两种重要传感器。尽管传感器融合在这一领域越来越受欢迎,但对较差图像条件的鲁棒性,例如,不良照明和传感器未对准的问题还未得到充分研究。现有的融合方法很容易受到这样的条件,主要是由于硬关联的激光雷达点和图像像素,建立校准矩阵。我们提出了TransFusion,这是一种强大的LiDAR相机融合解决方案,具有软关联机制来处理劣质图像条件。具体来说,我们的TransFusion由卷积骨干和基于Transformer解码器的检测头组成。解码器的第一层使用稀疏的对象查询集从LiDAR点云预测初始边界框,其第二解码器层自适应地将对象查询与有用的图像特征融合,利用空间和上下文关系。Transformer的注意力机制使我们的模型能够自适应地确定从图像中获取哪些信息,从而形成一种鲁棒有效的融合策略。我们还设计了一个图像引导的查询初始化策略来处理点云中难以检测的对象。TransFusion在大规模数据集上实现了最先进的性能。我们提供了大量的实验来证明其对退化的图像质量和校准误差的鲁棒性。我们还将所提出的方法扩展到3D跟踪任务,并在nuScenes跟踪排行榜中获得第一名,显示了其有效性和泛化能力。
2022-03-22 cs.CV