Dataset and Benchmark: Novel Sensors for Autonomous Vehicle Perception
University of Michigan(密歇根大学)
本文构建 NSAVP 多模态数据集,融合双目事件、热成像、单色与 RGB 相机及高精度位姿真值,并通过地点识别基准评估新型传感器对自动驾驶感知的增强潜力。
2024-01-24 cs.CV cs.RO
Deep Eyes: Binocular Depth-from-Focus on Focal Stack Pairs
DGene Inc.(DGene 公司);ShanghaiTech University(上海科技大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
人类视觉系统依赖于双目立体提示和单目聚焦提示来获得有效的3D感知。在计算机视觉中,这两个问题传统上在单独的轨道中解决。在本文中,我们提出了一个统一的基于学习的技术,同时使用这两种类型的线索进行深度推理。具体来说,我们使用一对焦点堆栈作为输入来模拟人类的感知。我们首先构建一个全面的焦点堆栈训练数据集,由深度引导光场渲染合成。然后,我们构建了三个单独的网络:一个焦点网从一个单一的焦点堆栈中提取深度,一个EDoF-Net从焦点堆栈中获得扩展景深(EDoF)图像,和一个立体网进行立体匹配。我们展示了如何将它们集成到一个统一的BDfF-Net中,以获得高质量的深度图。综合实验表明,我们的方法优于国家的最先进的准确性和速度,有效地模仿人类视觉系统。
2020-08-10 cs.CV
MV-dVRK: A Multi-Viewpoint Benchmark for Spatial Surgical Perception
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院);Erbe Group(爱尔博集团);Tübingen University Hospital(蒂宾根大学医院);Johns Hopkins University(约翰霍普金斯大学)
本文提出首个离体手术多视点基准MV-dVRK,含静态与动态手术数据,用于对比不同三维重建方法,发现多视点优化方法在1mm容差下覆盖67%真实表面点,优于前馈基础模型的43%。
2026-09-03 cs.CV cs.RO
PLT-D3: A High-fidelity Dynamic Driving Simulation Dataset for Stereo Depth and Scene Flow
Pilotier;University of Waterloo(滑铁卢大学)
本文提出 PLT-D3 动态天气驾驶仿真数据集,基于 Unreal Engine 5 提供高分辨率立体图像及深度、场景流真值,并建立深度估计、光流和场景流基准。
2024-06-11 cs.CV
H-OmniStereo: Zero-Shot Omnidirectional Stereo Matching with Heading-Aligned Normal Priors
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology(电子与计算机工程系,香港科学与技术大学)
本文提出H-OmniStereo框架,通过构建高质量合成数据集和引入方向对齐法线估计器,解决全方位立体匹配中数据稀缺和视角先验退化问题,实现更高精度和跨视角一致性。
2026-05-16 cs.CV
Saliency Detection for Stereoscopic Images Based on Depth Confidence Analysis and Multiple Cues Fusion
Tianjin University(天津大学);Chinese Academy of Sciences(中国科学院)
立体知觉是人类视觉系统的重要组成部分,它使大脑能够感知深度。然而,在现有的显著性检测模型中,深度信息没有得到很好的探索。在这封信中,提出了一种新的立体图像显著性检测方法。首先,我们提出了一个衡量深度图可靠性的指标,并利用它来减少深度图不佳对显著性检测的影响。然后,将输入图像表示为图,并将深度信息引入到图构造中。在此基础上,提出了一种新的基于颜色和深度信息的紧致度定义,并用于计算紧致度显著图。为了补偿紧凑性显著性检测在显著区域与背景外观相似时的检测误差,基于深度细化的前景种子选择机制和多线索对比度计算前景显著性图。最后,根据两个显著图的重要性,通过加权和的方法将它们合成一个最终的显著图。两个公开的立体数据集上的实验表明,该方法的性能优于其他10个国家的最先进的方法。
2017-10-14 cs.CV
Light of Normals: Unified Feature Representation for Universal Photometric Stereo
BUAA(北京航空航天大学);HKUST(香港科技大学);BAAI(北京人工智能研究院);FNii, CUHKSZ(FNii,CUHKSZ);NTU(国立台湾大学);WHU(武汉大学);BNU(北京师范大学);NII(日本国立信息与通信技术研究所);PKU(北京大学);AIR, THU(AIR,清华大学)
本文提出LINO UniPS,通过Light Register Tokens和交错注意力块实现光照与法线信息解耦,并结合小波双分支架构和法线梯度损失恢复高频细节,提升通用光度立体的性能。
2026-03-09 cs.CV
Multi-View Stereo Representation Revisit: Region-Aware MVSNet
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
针对现有多视图立体方法忽略表面拓扑、无纹理区域与边界重建效果差的问题,提出区域感知的RA-MVSNet,通过预测距离体和斑块感知机制提升重建完整性,在DTU和Tanks & Temples数据集上取得SOTA结果。
2023-04-27 cs.CV
The Blackbird Dataset: A large-scale dataset for UAV perception in aggressive flight
Massachusetts Institute of Technology(麻省理工学院)
Blackbird无人机(UAV)数据集是一个大规模的、激进的室内飞行数据集,使用定制的四旋翼平台收集,用于评估敏捷感知。Blackbird数据集的灵感来自未来高速全自主无人机竞赛的潜力,包含17条飞行轨迹和5种环境下168次飞行的10多个小时的飞行数据,速度高达$7.0ms^-1$。每次飞行都包括来自120 Hz立体声和向下的真实感虚拟相机、100 Hz IMU、$\sim190Hz$电机速度传感器和360 Hz毫米精度运动捕捉地面实况的传感器数据。每次飞行的相机图像都使用FlightGoggles在各种环境中进行了逼真的渲染,以方便高性能感知算法的简单实验。该数据集可从http://blackbird-dataset.mit.edu/下载
2018-10-03 cs.CV cs.RO
Perception-Oriented Stereo Image Super-Resolution
Fudan University(复旦大学)
近年来基于深度学习的立体图像超分辨率(StereoSR)研究推动了立体图像超分辨率的发展。然而,现有的StereoSR模型主要集中在提高定量评价指标,忽略了超分辨率立体图像的视觉质量。为了提高感知性能,本文提出了第一个面向感知的立体图像超分辨率的方法,利用反馈,通过对StereoSR结果的感知质量的评价提供。为了给StereoSR模型提供准确的指导,我们开发了第一个特殊的立体图像超分辨率质量评估(StereoSRQA)模型,并进一步构建了StereoSRQA数据库。大量的实验表明,我们的StereoSR方法显着提高了感知质量,提高了立体图像的视差估计的可靠性。
2022-07-14 cs.CV eess.IV
Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception
Australian National University(澳大利亚国立大学);CSIRO(澳大利亚联邦科学与工业研究组织)
立体相机系统在机器人应用中扮演着重要的角色,以感知3D世界。然而,传统的相机由于底层的基于帧的机制而具有诸如低动态范围、运动模糊和延迟的缺点。事件相机解决了这些限制,因为它们以精细的时间分辨率独立地报告每个像素的亮度变化,但它们无法直接获取绝对强度信息。虽然集成的混合事件帧传感器(例如,DAVIS)是可用的,数据的质量受到这种相机的电路制造中的像素级耦合的影响。本文提出了一种立体混合事件-帧(SHEF)相机系统,该系统提供了一种具有单独的高质量纯事件和纯帧相机的传感器模态,克服了每个单独传感器的局限性,并允许立体深度估计。我们提供了一个SHEF数据集,旨在评估视差估计算法,并介绍了一种立体视差估计算法,该算法使用从事件流中提取的边缘信息与帧数据中检测到的边缘相关。我们的视差估计优于SHEF数据集上最先进的立体匹配算法。
2022-05-11 cs.CV
Computer Stereo Vision for Autonomous Driving
UC San Diego(加州大学圣地亚哥分校);ATG Robotics(ATG机器人公司);University of Bristol(布里斯托尔大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
作为自动驾驶系统的重要组成部分,自动驾驶汽车感知随着并行计算架构的最新进展而有了很大的飞跃。随着微型但功能齐全的嵌入式超级计算机的使用,计算机立体视觉已被初步应用于自动驾驶汽车的深度感知。计算机立体视觉的两个关键方面是速度和精度。它们都是理想的但相互矛盾的特性,因为具有更好视差精度的算法通常具有更高的计算复杂性。因此,开发一种用于资源有限的硬件的计算机立体视觉算法的主要目的是提高速度和精度之间的权衡。在本章中,我们将介绍用于自动驾驶汽车系统的计算机立体视觉的硬件和软件方面。然后,我们讨论了四个自主汽车感知任务,包括1)视觉特征检测,描述和匹配,2)三维信息获取,3)目标检测/识别和4)语义图像分割。然后详细介绍了计算机立体视觉和多线程CPU和GPU架构上的并行计算的原理。
2020-12-17 cs.CV
Real-time Stereo-based 3D Object Detection for Streaming Perception
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);Hofstra University(霍夫斯特拉大学);National University of Defense Technology(国防科技大学)
本文提出了StreamDSGN,首个面向流式感知的实时双目立体3D目标检测端到端框架,通过利用历史信息预测下一时刻物体3D属性,并结合特征流融合、运动一致性回归损失和大卷积核主干三种策略,在KITTI Tracking数据集上将流式平均精度提升最高4.33%。
2024-10-16 cs.CV
3D Human Pose Perception from Egocentric Stereo Videos
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对第一人称视角自遮挡导致3D人体姿态估计不准的问题,提出融合场景深度特征与时序增强关节查询的transformer框架,同时发布两个更大规模的基准数据集,实验证明方法性能显著优于现有方案。
2024-05-15 cs.CV
Back to the Future Cyclopean Stereo: a human perception approach combining deep and geometric constraints
Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo (ICMC-USP)(圣保罗大学数学与计算机科学研究所(ICMC-USP));Courant Institute of Mathematical Sciences, New York University (NYU)(纽约大学柯朗数学科学研究所(NYU));Instituto de Matemática Pura e Aplicada (IMPA)(纯数学与应用数学研究所(IMPA))
本文提出一种结合独眼三维表面几何模型与学习型立体特征的方法,并利用单目先验填补遮挡和无纹理区域,在保持与纯数据驱动方法相当精度的同时显著提升视觉质量。
2025-03-08 cs.CV
StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception
Stanford University(斯坦福大学);Northwestern University(西北大学);Lambda, Inc(Lambda公司)
该研究提出StereoPolicy,一种利用立体视觉提升机器人操作策略的框架,通过同步立体图像对增强几何推理,无需构建显式3D表示,在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。
2026-09-29 cs.CV cs.RO
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology(香港科技大学)
我们设计了一个多视角视觉系统,利用低成本的单目RGB摄像机,以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同,所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中,我们结合的参考图像和周围的图像之间的立体匹配的成本体积,形成一个融合的成本体积,是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明,我们获得的视差图比两帧立体匹配更准确:在我们的实验中,平均绝对误差减少了50.2%。
2020-01-22 cs.CV
StereoCarla: A High-Fidelity Driving Dataset for Generalizable Stereo
School of Computer Science, Wuhan University(武汉大学计算机学院);IAIR, Xi’an Jiaotong University(西安交通大学IAIR);Waytous;CASIA(中国科学院自动化所);University of Bologna(博洛尼亚大学);University of California, Berkeley(加州大学伯克利分校);AIR, Tsinghua University(清华大学AIR)
提出基于CARLA的高保真合成立体数据集StereoCarla,通过丰富相机配置与环境条件,提升立体匹配模型的跨域泛化精度与多数据集训练兼容性。
2025-09-16 cs.CV
ExStereo: Lifting 2D Vision-Language-Action Models to 3D with Explicit Stereo Representations
Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院)
ExStereo通过显式立体表示增强二维VLA模型的三维感知,利用立体匹配和交叉注意力机制,在仿真和真实机器人上显著提升操作性能。
2026-10-06 cs.CV cs.RO
E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception
The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰斯·霍普金斯大学)
从立体内窥镜视频中重建机器人手术场景是手术数据科学中一个重要而有前途的课题,它可能支持许多应用,如手术视觉感知,机器人手术教育和术中上下文感知。然而,目前的方法大多局限于重建静态解剖假设没有组织变形,工具遮挡和去遮挡,和相机移动。然而,这些假设并不总是满足微创机器人手术。在这项工作中,我们提出了一个高效的重建管道,高度动态的手术场景,运行在28帧/秒。具体来说,我们设计了一个基于变换的立体深度感知的有效的深度估计和一个轻量级的工具分割器来处理工具遮挡。在此基础上,提出了一种动态重建算法,该算法可以估计组织变形和摄像机运动,并随着时间的推移聚合信息的手术场景重建。我们在两个数据集上评估了拟议的管道,公共Hamlyn中心内窥镜视频数据集和我们内部的DaVinci机器人手术数据集。实验结果表明,该方法能有效地恢复手术工具遮挡的场景,并能实时处理真实手术场景中摄像机的运动。
2021-07-01 cs.AI cs.CV
ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg(汉堡大学信息学院);Agile Robots SE(敏捷机器人公司);Technical University of Munich(慕尼黑技术大学);Mohamed Bin Zayed University of Artificial Intelligence (MBUZAI)(Mohamed Bin Zayed人工智能大学)
ClearDepth通过视觉Transformer和特征后融合模块,提升透明物体的深度感知,以辅助机器人操作。
2026-03-09 cs.CV cs.RO
Stereoscopic Depth Perception Through Foliage
Johannes Kepler University Linz(约翰开普勒林茨大学);University of Cambridge(剑桥大学)
针对植被遮挡导致深度辨别困难的问题,提出结合计算光学合成孔径感知与人类立体视觉的方法,实验证明该协同系统能有效辨别隐藏物体深度,实现单一方法无法完成的任务。
2023-10-24 cs.CV eess.IV
StereoMV2D: A Sparse Temporal Stereo-Enhanced Framework for Robust Multi-View 3D Object Detection
the school of automation, Northwestern Polytechnical University(自动化学院,西北工业大学);the school of electronic and information engineering, Suzhou University of Science and Technology(电子信息工程学院,苏州科技大学)
StereoMV2D通过整合时间立体建模,提升多视角3D目标检测的鲁棒性和精度,无需显著增加计算开销。
2025-12-19 cs.CV
Unleashing the Temporal Potential of Stereo Event Cameras for Continuous-Time 3D Object Detection
KAIST(韩国科学技术院)
提出仅依赖事件相机的立体三维目标检测框架,通过双重过滤机制提取语义和几何信息,并利用对象中心信息增强回归,在动态环境中优于现有方法。
2025-08-04 cs.CV
MobiFuse: A High-Precision On-device Depth Perception System with Multi-Data Fusion
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);SHANGHAI TRANSSION CO., LTD(上海Transssion有限公司);Seoul National University(首尔大学)
MobiFuse结合双RGB与ToF摄像头,提出DEI模态表征深度误差,采用渐进式融合策略生成精确深度图,使深度测量误差最高降低77.7%,并在3D重建与分割等任务中展现强泛化能力。
2024-12-18 cs.CV
SID: Stereo Image Dataset for Autonomous Driving in Adverse Conditions
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
本文提出大规模立体图像数据集 SID,包含 27 个序列、超过 178k 对图像,覆盖恶劣天气、光照变化及镜头脏污等场景,旨在支持自动驾驶感知算法在复杂条件下的开发与测试。
2024-07-06 cs.CV
DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection
Shanghai University(上海大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
提出DDStereo,一种双解码器立体Transformer,通过轻量级解码器分支和紧凑视差特征提取器,实现实时开放集3D目标检测,在封闭和开放集协议下均达到最先进精度。
2026-07-08 cs.CV
Cross-modal Generative Model for Visual-Guided Binaural Stereo Generation
Northwestern Polytechnical University(西北工业大学)
提出视觉引导的生成对抗方法,利用共享时空视觉信息从单声道生成双耳立体声,并首次提出空间感知评估指标,在2个数据集和5个指标上达到最优性能。
2023-11-13 cs.CV cs.LG cs.SD
Glasgow's Stereo Image Database of Garments
University of Glasgow(格拉斯哥大学)
为了利用主动双目机器人视觉系统深入了解布料感知和操作,我们编制了一个包含80个立体对彩色图像的数据库,其中包含相应的水平和垂直视差图以及掩模注释,用于创建并发布3D服装点云渲染。立体图像服装数据库是EU-FP 7服装感知和操纵(CloPeMa)项目下进行的研究的一部分,属于通过CloPeMa发布的更广泛的数据库集合(www.clopema.eu)。该数据库基于16种不同的现成服装。每件衣服都在该项目的双目机器人头上以五种不同的姿势配置成像。该数据库的完整副本仅可在https://sites.google.com/site/ugstereodatabase/上用于科学研究。
2013-11-28 cs.CV cs.RO
MVTrans: Multi-View Perception of Transparent Objects
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Nvidia(英伟达);University of Washington(华盛顿大学)
透明物体感知是家庭和实验室环境中机器人操作等应用的关键技能。现有方法利用RGB-D或立体声输入来处理包括深度和姿态估计的感知任务的子集。然而,透明物体感知仍然是一个开放的问题。在本文中,我们放弃了不可靠的深度图从RGB-D传感器和扩展的立体的方法。我们提出的方法,MVTrans,是一个端到端的多视图架构,具有多种感知能力,包括深度估计,分割和姿态估计。此外,我们建立了一个新的程序照片逼真的数据集生成管道,并创建了一个大规模的透明目标检测数据集,Syn-TODD,它适用于所有三种模式,RGB-D,立体和多视图RGB的训练网络。项目网址:https://ac-rad.github.io/MVTrans/
2023-02-22 cs.AI cs.CV cs.RO
Not Your Stereo-Typical Estimator: Combining Vision and Language for Volume Perception
Purdue University(普渡大学)
本文提出融合立体视觉隐式3D线索与自然语言显式先验知识的方法,通过多模态表示提升体积估计精度。
2026-04-10 cs.AI cs.CV cs.LG
Blind Stereo Image Quality Assessment Inspired by Brain Sensory-Motor Fusion
Isfahan University of Technology(伊斯法罕理工大学);McMaster University(麦克马斯特大学);University of Michigan(密歇根大学)
3D和立体成像的使用正在迅速增加。压缩、传输和处理会降低立体图像的质量。这种图像的质量评估不同于其2D对应物。代表人类视觉系统(HVS)的3D感知的图像被期望更准确地评估立体质量。本文受大脑感觉/运动融合过程的启发,将两幅立体图像融合在一起。然后从每幅融合图像中提取两幅合成图像。不同的失真对合成图像的统计分布的影响。基于观察到的统计变化,从这些合成图像中提取特征。这些特征可以揭示扭曲的类型和严重程度。然后,提出了一种堆叠的神经网络模型,该模型对提取的特征进行学习,准确地评价立体图像的质量。该模型在流行数据库的3D图像上进行了测试。实验结果表明,该方法优于现有的立体图像质量评价方法
2017-09-03 cs.CV
LIGA-Stereo: Learning LiDAR Geometry Aware Representations for Stereo-based 3D Detector
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
基于立体的3D检测旨在使用中间深度图或隐式3D几何表示从立体图像中检测3D对象边界框,这为3D感知提供了低成本的解决方案。然而,与基于LiDAR的检测算法相比,其性能仍然较差。为了检测和定位精确的3D边界框,基于LiDAR的模型可以从LiDAR点云中编码精确的对象边界和表面法线方向。然而,由于立体匹配的限制,基于立体的检测器的检测结果容易受到错误的深度特征的影响。为了解决这个问题,我们提出了LIGA-Stereo(LiDAR几何感知立体检测器),在基于LiDAR的检测模型的高级几何感知表示的指导下学习基于立体的3D检测器。此外,我们发现现有的基于体素的立体检测器未能有效地学习语义特征,从间接的3D监督。我们附加了一个辅助的2D检测头,以提供直接的2D语义监督。实验结果表明,上述两种策略提高了几何和语义表示能力。在KITTI官方基准测试中,与现有的立体检测器相比,该方法对汽车、行人、骑自行车者的3D检测性能分别提高了10.44%、5.69%、5.97% mAP。基于立体和基于LiDAR的3D探测器之间的差距进一步缩小。
2021-08-18 cs.CV
Vision-Based Environmental Perception for Autonomous Driving
Ontario Tech University(安大略理工大学)
视觉感知在自动驾驶中起着重要的作用。主要任务之一是目标检测和识别。由于视觉传感器具有丰富的颜色和纹理信息,可以快速准确地识别各种道路信息。常用的技术是基于提取和计算图像的各种特征。最近发展的基于深度学习的方法具有更好的可靠性和处理速度,在识别复杂元素方面具有更大的优势。对于深度估计,视觉传感器由于其小尺寸和低成本也用于测距。单目相机使用来自单个视点的图像数据作为输入来估计对象深度。相比之下,立体视觉是基于视差,匹配不同视角的特征点,深度学习的应用也进一步提高了准确度。此外,同步定位与地图构建(SLAM)可以建立道路环境模型,从而帮助车辆感知周围环境并完成任务。本文首先介绍和比较了各种目标检测和识别方法,然后阐述了深度估计的发展,并对基于单目、立体和RDBG传感器的各种方法进行了比较,接着对SLAM的各种方法进行了回顾和比较,最后总结了视觉技术目前存在的问题并提出了未来的发展趋势。
2022-12-22 cs.CV
Cheating Stereo Matching in Full-scale: Physical Adversarial Attack against Binocular Depth Estimation in Autonomous Driving
本文提出一种基于纹理的物理对抗攻击方法,用于攻击自动驾驶中的立体匹配模型,通过3D物理对抗示例和新的3D立体匹配渲染模块,提升攻击的隐蔽性和有效性。
2026-03-16 cs.AI cs.CV
SteReFo: Efficient Image Refocusing with Stereo Vision
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Technical University of Munich(慕尼黑工业大学)
无论是为了吸引观众对特定对象的注意力,给人以深度的印象还是简单地再现类似人类的场景感知,浅景深图像都被专业和业余摄影师广泛使用。为此,DSLR相机中使用了高质量的光学系统,以聚焦于特定的深度平面,同时产生视觉上令人愉悦的散景。我们提出了一个物理激励的管道来模仿这种效果,从所有的焦点立体图像,通常由移动相机检索。它能够在KITTI图像上以76 FPS后验改变焦平面,以实现实时应用。正如我们的合成词所暗示的,SteReFo有效地将基于立体的深度估计和重聚焦相互关联。与其他方法相比,我们的管道同时是完全可区分的,物理激励的,并且对场景内容不可知。除了重新聚焦静态图像之外,它还能够对移动对象进行计算视频聚焦跟踪。我们在公开的数据集SceneFlow,KITTI,CityScapes上评估了我们的方法,并量化了建筑变化的质量。
2019-09-29 cs.CV
Icy Moon Surface Simulation and Stereo Depth Estimation for Sampling Autonomy
Texas A&M University(德克萨斯农工大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
针对冰月着陆器采样任务缺乏高分辨率视觉数据集的问题,提出GUISS框架以生成冰月表面立体数据集,并评估了传统与深度学习的立体匹配深度估计算法。
2024-01-23 cs.CV cs.GR cs.RO
PhraseStereo: The First Open-Vocabulary Stereo Image Segmentation Dataset
Centre Inria d’Universite Cote d’Azur(法国国家信息与自动化技术研究所(Inria))
针对现有短语定位研究多局限于单视图、忽略立体几何线索的问题,本文提出首个立体图像短语-区域分割数据集PhraseStereo,基于PhraseCut用GenStereo生成右视图,为语言、视觉与3D感知交叉研究奠基。
2025-10-01 cs.CV
Stereo Acoustic Perception based on Real Time Video Acquisition for Navigational Assistance
BMS College of Engineering(BMS工程学院);Indian Institute of Science(印度科学研究院)
智能导航系统(电子旅行辅助)的基础上的目标检测机制已被设计成检测的障碍物,立即阻碍路径的存在,通过实时的视频处理。该算法可用于任何通用的导航辅助。本文讨论,牢记视障人士的导航,并不限于此。摄像机将周围环境的图像输入达芬奇数字媒体处理器DM642,该处理器一帧一帧地处理视频。处理器执行图像处理技术,其结果包含关于对象的图像像素的信息。该算法的目的是选择的对象,其中,对导航构成最大威胁。一个数据库包含总共三个声音的构建。因此,每个图像都转换为哔哔声,每个哔哔声都通知导航员他正前方的障碍物。本文实现了一种算法,是更有效的,相比它的前辈。
2012-08-09 cs.CV cs.MM cs.SD
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统,结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验,实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法,通过GPU加速稀疏立体匹配,提升远距离测距鲁棒性。
2026-04-09 cs.CV
BEVStereo++: Accurate Depth Estimation in Multi-view 3D Object Detection via Dynamic Temporal Stereo
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学);MEGVII Technology(旷视科技)
针对多视图3D目标检测中深度感知模糊导致的性能瓶颈,提出BEVStereo++,通过动态时序立体策略结合运动补偿与长序列帧融合,在Waymo和nuScenes数据集上达到SOTA。
2023-04-09 cs.CV
Deep Depth Estimation from Thermal Image: Dataset, Benchmark, and Challenges
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);School of Computer Science and Engineering, Pusan National University(釜山国立大学计算机科学与工程学院)
针对恶劣环境下热成像深度估计缺乏大规模数据与基准的问题,本文提出MS$^2$多光谱立体数据集,并评估多种深度网络,揭示模态差异与挑战。
2025-03-28 cs.CV cs.RO
Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo
Faculty of Electrical Engineering and Computer Science, Coburg University of Applied Science(电气工程与计算机科学学院,科堡应用科学大学)
针对球面立体图像中极线对应呈曲线导致二维位移的问题,采用球面到等距柱状投影预处理将极线拉直恢复单轴视差,结合RAFT+EACS框架实现实时高精度视差估计。
2026-06-24 cs.CV
Road obstacles positional and dynamic features extraction combining object detection, stereo disparity maps and optical flow data
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);National Institute for Digital Convergence(国家数字融合研究所)
智能车辆导航系统中最相关的任务之一是检测障碍物。重要的是,用于导航目的的视觉感知系统识别障碍物,并且该系统可以提取可能影响车辆行为的基本信息也很重要,无论它是为人类驾驶员生成警报还是引导自动驾驶车辆以便能够做出驾驶决策。在本文中,我们提出了一种方法,用于识别障碍物和提取类,位置,深度和运动信息,从这些对象,采用专门从被动视觉获得的数据。我们在两个不同的数据集上进行了实验,所获得的结果显示了使用深度和运动模式来评估障碍物的潜在威胁状态的良好效果。
2020-06-24 cs.CV
BEVStereo: Enhancing Depth Estimation in Multi-view 3D Object Detection with Dynamic Temporal Stereo
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);MEGVII Technology(旷视科技);Huazhong University of Science and Technology(华中科技大学)
受深度感知固有模糊性的限制,当代基于摄像机的3D目标检测方法陷入了性能瓶颈。直观地,利用时间多视图立体视觉(MVS)技术是解决这种模糊性的自然知识。然而,传统的MVS尝试在应用于3D目标检测场景时存在两个方面的缺陷:1)所有视图之间的亲和力测量具有昂贵的计算成本; 2)难以处理对象经常移动的室外场景。为此,我们引入了一种有效的时间立体方法来动态选择匹配候选的规模,使显着减少计算开销。更进一步,我们设计了一个迭代算法来更新更有价值的候选,使其适应移动的候选。我们将我们提出的方法实例化到多视图3D检测器,即BEVStereo。BEVStereo实现了新的最先进的性能(即,52.5%mAP和61.0%NDS)。同时,大量的实验表明,我们的方法可以更好地处理复杂的室外场景比当代MVS方法。代码已在https://github.com/Megvii-BaseDetection/BEVStereo上发布。
2022-09-21 cs.CV
SGM3D: Stereo Guided Monocular 3D Object Detection
Fudan University(复旦大学);Baidu Inc.(百度公司)
本文提出SGM3D框架,通过多粒度域自适应和IoU匹配对齐,将立体输入学到的三维特征迁移到单目检测中,在KITTI和Lyft上取得领先结果。
2022-02-24 cs.CV
Y-GAN: A Generative Adversarial Network for Depthmap Estimation from Multi-camera Stereo Images
School of Computing and Information Science(计算与信息科学学院);Florida International University(佛罗里达国际大学)
深度感知是在现实世界中交互的自主系统的关键组成部分,例如送货机器人,仓库机器人和自动驾驶汽车。自主机器人中的任务,如3D物体识别,同时定位与地图构建(SLAM),路径规划和导航,需要某种形式的3D空间信息。深度感知是计算机视觉和机器人学中一个长期存在的研究问题,有着悠久的历史。许多使用深度学习的方法,包括从运动恢复运动恢复结构、从X轴恢复形状、单目、双目和多视图立体视觉,都产生了可接受的结果。然而,这些方法存在几个缺点,例如需要昂贵的硬件,需要监督的训练数据,没有用于比较的地面真实数据,以及忽视遮挡。为了解决这些缺点,这项工作提出了一种新的深度卷积生成对抗网络架构,称为Y-GAN,它使用来自三个摄像头的数据来估计多摄像头视频流中每帧的深度图。
2019-06-03 cs.CV cs.LG stat.ML
WideDepth: Millimeter-Accurate Benchmark for Fisheye Depth Estimation
Robotics Center(机器人中心);AXXX;Trusted AI Research Center, RAS(可信人工智能研究中心,俄罗斯科学院)
提出首个室内鱼眼深度估计数据集WideDepth,包含101个场景的5K高分辨率立体对和毫米级真值,并引入基于LiDAR的立体鱼眼图像生成方法,评估多种模型,微调后性能提升高达62%。
2026-05-22 cs.CV cs.RO
Stereo 4D Radar for 3D Object Detection: Integrating Geometric Alignment and Absolute Velocity Estimation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出立体4D雷达的3D目标检测框架,利用左右雷达几何视差估计物体绝对速度并融合互补特征,在内部数据集上较单目4D雷达基线实现AP 3D提升8.82点、AP BEV提升9.0点。
2026-09-03 cs.CV
Toward Real World Stereo Image Super-Resolution via Hybrid Degradation Model and Discriminator for Implied Stereo Image Information
Fuzhou University(福州大学);University of Edinburgh(爱丁堡大学);Beijing Radio and TV Station(北京广播电视台);Imperial Vision Technology(帝视科技)
针对现有单图像超分辨率方法应用于立体图像时会破坏视差一致性的问题,本文提出融合隐含立体信息判别器与混合退化模型的新方法,可在提升视觉效果的同时维持视差一致性,在合成与真实数据集上均表现优异。
2023-12-13 cs.CV eess.IV
Dual-Level Precision Edges Guided Multi-View Stereo with Accurate Planarization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出DPE-MVS方法,通过引入精细与粗略双层级精度边缘信息增强平面模型构建鲁棒性,并改进PatchMatch采样策略与自适应patch尺寸调整,在ETH3D和Tanks & Temples基准上取得最先进性能。
2024-12-29 cs.CV
StereoINR: Cross-View Geometry Consistent Stereo Super Resolution with Implicit Neural Representation
School of Remote Sensing and Information Engineering, Wuhan University, Hubei, China(遥感与信息工程学院,武汉大学,湖北,中国)
本文提出 StereoINR,将立体图像对建模为连续隐式表示,结合空间变形与交叉注意力机制,实现任意倍率且跨视图几何一致的立体图像超分辨率重建。
2025-07-05 cs.CV eess.IV
Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimationand 3D Object Detection
Cerema(法国路桥与道路研究中心);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Queen Mary University of London(伦敦玛丽女王大学)
准确检测和定位物体的能力被认为是感知自动驾驶汽车的最重要因素。从二维到三维目标检测,最困难的是确定从自车到目标的距离。像LiDAR这样昂贵的技术可以提供精确和准确的深度信息,因此大多数研究都倾向于关注这种传感器,显示出基于LiDAR的方法和基于相机的方法之间的性能差距。尽管许多作者已经研究了如何将LiSAR与RGB相机融合,但据我们所知,还没有研究将LiSAR和立体声融合到深度神经网络中以执行3D目标检测任务。本文介绍了SLS融合,一种新的方法,融合数据从4光束激光雷达和立体相机通过神经网络的深度估计,以实现更好的密集深度图,从而提高三维目标检测性能。由于4光束激光雷达比众所周知的64光束激光雷达便宜,因此这种方法也被归类为低成本的基于传感器的方法。通过对KITTI基准测试的评估,结果表明,与基线方法相比,该方法显著提高了深度估计性能。此外,当将其应用于3D目标检测时,实现了基于低成本传感器的方法的新的技术状态。
2021-05-28 cs.CV
DenVisCoM: Dense Vision Correspondence Mamba for Efficient and Real-time Optical Flow and Stereo Estimation
Machine Intelligence Group, Birla Institute of Technology and Science, Pilani, Hyderabad Campus, India(机智人工智能组,比拉理工学院,比拉理工学院,海得拉巴校区,印度);Université Côte d’Azur, Inria, France(蔚蓝大学,法国国家信息与自动化研究所)
DenVisCoM通过结合Mamba和Transformer模块,实现高效实时的光流和立体视觉估计。
2026-02-02 cs.CV