Epipolar Focus Spectrum: A Novel Light Field Representation and Application in Dense-view Reconstruction
Northwestern Polytechnical University(西北工业大学);Nanjing University(南京大学)
现有的光场表示,如极平面图像(EPI)和子孔径图像,不考虑跨视图的结构特征,所以他们通常需要额外的视差和空间结构线索的后续任务。此外,它们在处理遮挡或较大视差场景时存在困难。为此,本文提出了一种新的极聚焦谱(EFS)表示通过重新安排EPI频谱。与经典的EPI表示(其中EPI线对应于特定深度)不同,存在从EFS线到视图的一对一映射。因此,与稀疏采样的光场相比,具有相同视场(FoV)的密集采样的光场导致这种线性结构在其对应的EFS中具有相同开口角的双锥形区域中的更紧凑的分布。因此,EFS表示对于场景深度是不变的。为了证明其有效性,我们开发了一个可训练的基于EFS的光场重建管道,其中可以通过补偿给定稀疏光场的“缺失EFS线”来重建密集光场,从而产生具有交叉视图一致性的有希望的结果,特别是在存在严重遮挡和大视差的情况下。在人工数据集和真实数据集上的实验结果表明了该方法的有效性和优越性。
2022-04-01 cs.CV eess.IV
We Learn Better Road Pothole Detection: from Attention Aggregation to Adversarial Domain Adaptation
UC San Diego(加州大学圣迭戈分校);HKUST Robotics Institute(香港科技大学机器人研究所);University of Bristol(布里斯托大学)
由认证检查员进行的人工目视检查仍然是道路坑洞检测的主要形式。然而,这一过程不仅繁琐、费时和费钱,而且对视察员来说也很危险。此外,路面坑槽检测结果往往是主观的,因为它们完全依赖于个人的经验。我们最近推出的视差(或逆深度)变换算法可以更好地区分损坏和未损坏的道路区域,它可以很容易地部署到任何语义分割网络,以获得更好的道路坑洞检测结果。为了提高性能,我们提出了一种新的注意力聚合(AA)框架,它采取了不同类型的注意力模块的优点。此外,我们开发了一种有效的训练集增强技术的基础上对抗领域自适应,其中合成道路RGB图像和转换后的道路视差(或逆深度)图像生成,以加强语义分割网络的训练。实验结果表明,首先,变换后的视差(或逆深度)图像变得更有信息量;其次,我们的最佳性能实现AA-UNet和AA-RTFNet分别优于所有其他最先进的单模态和数据融合网络,用于道路坑洞检测;最后,基于对抗性领域自适应的训练集增强技术不仅提高了状态估计的准确性,艺术语义分割网络,而且还加速了它们的融合。
2020-12-11 cs.CV cs.RO
End-to-End Learning of Multi-scale Convolutional Neural Network for Stereo Matching
Peking University(北京大学)
深度神经网络在立体匹配任务中表现出了优异的性能。最近,基于CNN的方法已经表明,立体匹配可以被公式化为一个监督学习任务。然而,很少有人关注的上下文语义信息和细节的融合。为了解决这个问题,我们提出了一种基于丰富的上下文细节和语义信息的视差估计网络,称为多尺度特征网络(MSFNet)。首先,我们设计了一种新的结构,通过融合多尺度特征来编码丰富的语义信息和细粒度的细节。结合了逐元素添加和拼接的优点,有利于语义信息和细节信息的融合。其次,引入了一种引导机制,引导网络自动将更多的注意力集中在不可靠的区域。第三,我们制定了一致性检查作为一个错误的地图,获得的低阶段功能与细粒度的细节。最后,我们采用左特征和合成左特征之间的一致性检查来细化初始视差。在场景流和KITTI 2015基准测试上的实验表明,该方法可以达到最佳的性能。
2019-06-25 cs.CV
Disparity Estimation Using a Quad-Pixel Sensor
Institute of Science Tokyo(东京科学大学);Olympus Medical Systems Corporation(奥林巴斯医疗系统公司)
本文提出QPDNet,通过融合四像素传感器垂直与水平立体匹配相关性进行视差估计,并构建合成训练数据流程,实验证明其优于现有立体和双像素方法。
2024-09-01 cs.CV
UWStereo: A Large Synthetic Dataset for Underwater Stereo Matching
Ocean University of China(中国海洋大学);University of Southampton(南安普顿大学);University of Glasgow(格拉斯哥大学)
本文提出大型合成水下立体匹配数据集UWStereo,包含29,568对带精确视差标注的图像,并通过跨域掩码重建与跨视图注意力增强策略提升模型泛化能力。
2024-09-03 cs.CV
Semi-Supervised Disparity Estimation with Deep Feature Reconstruction
University of Freiburg(弗莱堡大学)
尽管深度学习在差异估计方面取得了成功,但领域泛化差距仍然是一个问题。我们提出了一个半监督管道,通过对标记的合成数据进行联合监督训练和对未标记的真实数据进行自我监督训练,成功地将DispNet适应于真实世界的领域。此外,考虑到广泛使用的光度损失的局限性,我们分析了深度特征重建作为视差估计的有前途的监督信号的影响。
2021-06-01 cs.CV
End-to-End 3D Hand Pose Estimation from Stereo Cameras
Snap Inc.(Snap公司);Nanyang Technological University(南洋理工大学);Wormpex AI Research(Wormpex人工智能研究院)
这项工作提出了一种端到端的方法来估计立体相机的完整的3D手部姿势。现有的从立体相机估计手部姿态的方法大多应用立体匹配来获得深度图,并使用基于深度的解决方案来估计手部姿态。相比之下,我们建议绕过立体匹配,直接估计的3D手的姿势从立体图像对。所提出的神经网络架构从任何关键点预测器扩展到估计手部关节的稀疏视差。为了有效地训练模型,我们提出了一个大规模的合成数据集,由立体图像对和地面真实的3D手部姿势注释。实验结果表明,该方法优于现有的基于立体深度的方法。
2022-06-03 cs.CV
DISCO: Depth Inference from Stereo using Context
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);BITS Pilani(比尔拉科学技术学院皮拉尼分校)
最近的基于深度学习的方法已经优于经典的立体匹配方法。然而,当前基于深度学习的端到端立体匹配方法采用具有跳过连接的通用编码器-解码器风格的网络。为了限制计算需求,许多网络执行过度的下采样,这导致有用的低级信息的显著丢失。此外,许多网络设计没有利用丰富的多尺度上下文信息。在这项工作中,我们通过仔细设计网络架构来解决上述问题,以在整个网络中保留所需的空间信息,同时实现大的有效感受野来提取多尺度上下文信息。我们首次创建了一个反映使用智能手机捕获的真实图像的合成视差数据集;这使我们能够在常见的真实图像上获得最先进的结果。所提出的模型DISCO在合成场景流数据集上进行了预训练,并在流行的基准测试和我们内部具有挑战性的现实生活图像数据集上进行了评估。该模型在质量和定量指标方面优于现有的最先进的方法。
2019-05-31 cs.CV
How useful is photo-realistic rendering for visual learning?
Carnegie Mellon University(卡内基梅隆大学)
获取数据似乎很便宜,而且在很多方面确实如此,但是从大量数据中创建高质量标记数据集的过程既耗时又昂贵。随着丰富的3D存储库的出现,真实感渲染系统提供了提供几乎无限数据的机会。然而,它们对视觉学习的主要价值可能是它们可以提供的数据的质量,而不是数量。渲染引擎除了提供数据外,还提供了完美的标签:精确的相机姿势是什么;精确的照明位置、温度和分布是什么;对象的几何形状是什么。在这项工作中,我们专注于通过使用合成数据的半自动化数据集创建,并将这种方法应用到一个重要的任务-对象的观点估计。使用最先进的渲染软件,我们生成了一个大型的标记数据集的汽车渲染密集的视点空间。我们研究了渲染参数对估计性能的影响,并表明真实感是很重要的。我们发现,从合成数据概括并不比两个真实图像数据集之间所需的领域自适应更难,并且将合成图像与少量真实数据相结合可以提高估计精度。
2016-09-08 cs.CV
Light-Field Dataset for Disparity Based Depth Estimation
Indian Institute of Technology Kharagpur(印度理工学院Kharagpur分校);Dolby Laboratories, Inc(Dolby实验室)
本文针对光场深度估计缺乏合适数据集的问题,构建并公开了一个包含真实与合成图像的光场数据集,并分析了对焦位置对视差的影响及现有数据集的不足。
2025-11-08 cs.CV
Variational Disparity Estimation Framework for Plenoptic Image
University of Stuttgart(斯图加特大学)
本文提出了一种计算框架,用于准确地估计全光图像的视差图。所提出的框架是基于变分原理,并提供内在的亚像素精度。在框架中引入的光场运动张量允许我们结合先进的鲁棒数据项,并为不同的颜色通道提供显式处理。我们的框架中嵌入了一种变形策略来解决大位移问题。我们还表明,通过应用一个简单的正则化项和指导中值滤波,位移场的精度在闭塞区域可以大大提高。我们通过与Lytro软件和当代方法在合成和真实世界数据集上的深入比较,展示了所提出的框架的出色性能。
2018-04-18 cs.CV
AnyBokeh: Physics-Guided Any-to-Any Bokeh Editing with Optical Fingerprint Transfer
提出AnyBokeh框架,通过估计源模糊状态的光学指纹并迁移到目标焦点和光圈设置,实现任意到任意散景编辑,避免全聚焦重建和测试时校准。
2026-07-01 cs.CV
Self-Supervised Light Field Depth Estimation Using Epipolar Plane Images
Hefei University of Technology(合肥工业大学)
利用光场数据可以获得密集、准确的深度图。然而,有限视差范围的合成场景不能包含真实场景的多样性。通过在合成数据中训练,当前基于学习的方法在真实场景中表现不佳。在本文中,我们提出了一个自监督学习框架的光场深度估计。与现有的端到端训练方法不同,该方法通过估计重聚焦后EPI视差偏移量来实现网络训练,扩展了核线的视差范围。为了降低EPI对噪声的敏感性,我们提出了一种新的输入模式,称为EPI-Stack,在视图维度上堆叠EPI。与传统的输入方式相比,该方法对噪声场景不太敏感,提高了估计效率。与其他现有方法相比,该方法在真实场景中,特别是在复杂遮挡和深度不连续的情况下,也能获得更高质量的结果。
2022-03-29 cs.CV
Sdf-GAN: Semi-supervised Depth Fusion with Multi-scale Adversarial Networks
从不同的算法中提炼原始视差图以利用它们的互补优势仍然具有挑战性。不确定性估计和像素之间复杂的视差关系限制了现有方法的准确性和鲁棒性,并且没有标准的方法用于融合不同类型的深度数据。在本文中,我们介绍了一种新的方法,融合视差图从不同的来源,同时纳入补充信息(强度,梯度等)。以更好地细化原始视差输入。一个可识别的网络在不同的接受领域和尺度上对差异进行分类。假设用于细化视差图的马尔可夫随机场产生真实视差分布的更好估计。提出了该算法的全监督和半监督版本。该方法包括一个更强大的损失函数来修补无效的视差值,并需要更少的标记数据训练在半监督学习模式。该算法可以推广到不同类型深度源的深度融合。实验探索了不同的融合机会:立体-单眼融合、立体-ToF融合和立体-立体融合。在公共合成数据集(Scene Flow,SYNTH 3,我们的合成花园数据集)和真实数据集(Kitti 2015数据集和Trimbot 2020 Garden数据集)上的实验表明,该算法与最新算法相比具有优越性。
2019-05-06 cs.CV
VommaNet: an End-to-End Network for Disparity Estimation from Reflective and Texture-less Light Field Images
Shanghai Jiao Tong University(上海交通大学);The University of Manchester(曼彻斯特大学);Vommatec Co. Ltd.(Vommatec有限公司)
图像传感器和微透镜阵列的精确组合使得小透镜光场相机能够记录入射光的角度和空间信息,因此,可以从光场图像计算视差和深度。反过来,可以恢复记录对象的3D模型,这是其他成像系统的一大优势。然而,光场图像中的反射和无纹理区域具有复杂的条件,使得现有算法难以正确计算视差。为了解决这个问题,我们引入了一个新的端到端网络VommaNet来从反射和无纹理区域中检索多尺度特征,以进行准确的视差估计。同时,与最先进的算法相比,我们的网络在合成光场图像和真实世界数据的其他区域都取得了类似或更好的性能。目前,我们在HCI 4D光场基准测试中获得了均方误差(MSE)的最佳分数。
2018-11-17 cs.CV
FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation
Huazhong University of Science and Technology(华中科技大学)
提出FoundDP框架,结合双像素深度与单目深度基础模型的全局结构先验,通过ViT特征对齐缓解散焦模糊导致的表示退化,在弱视差区域提升结构一致性与度量精度。
2026-07-03 cs.CV
UE5-Forest: A Photorealistic Synthetic Stereo Dataset for UAV Forestry Depth Estimation
Centre for Data Science;Department of Computer Science
本文提出UE5-Forest数据集,通过Unreal Engine 5生成高逼真立体图像,解决林业环境中传统深度传感器难以获取密集地面真实 disparity 映射的问题,为监督立体匹配网络提供高质量训练资源。
2026-03-27 cs.CV
TIDE: Temporally Incremental Disparity Estimation via Pattern Flow in Structured Light System
Peking University(北京大学);Kyushu University(九州大学)
TIDE-Net利用模式流在时间上增量估计视差,仅用合成数据训练即在真实数据上超越SOTA,兼具高效与泛化优势。
2023-10-13 cs.CV
TriStereoNet: A Trinocular Framework for Multi-baseline Disparity Estimation
立体视觉是一种有效的深度估计技术,在城市和高速公路自动驾驶中具有广泛的适用性。虽然已经针对立体开发了各种基于深度学习的方法,但是来自具有固定基线的双目装置的输入数据是有限的。为了解决这个问题,我们提出了一个端到端的网络,用于处理来自三目设置的数据,这是一个狭窄和广泛的立体对的组合。在这种设计中,两对双目数据与一个共同的参考图像处理与共享的网络和中层融合的权重。我们还提出了一个引导添加方法合并两个基线的4D数据。此外,一个迭代的顺序自监督和监督学习真实和合成数据集上,使训练的三目系统的实际,而不需要地面真实数据的真实数据集。实验结果表明,三目视差网络超越的情况下,个别对被送入一个类似的架构。代码和数据集:https://github.com/cogsys-tuebingen/tristereonet。
2022-09-04 cs.CV
IRS: A Large Naturalistic Indoor Robotics Stereo Dataset to Train Deep Models for Disparity and Surface Normal Estimation
Hong Kong Baptist University(香港浸会大学);Wuhan University(武汉大学)
室内机器人定位、导航和交互在很大程度上依赖于场景理解和重建。与通常不显式引入任何几何约束的单目视觉相比,基于立体视觉的方案更有前途和鲁棒性,以产生精确的几何信息,如表面法线和深度/视差。此外,用大规模数据集训练的深度学习模型在许多立体视觉任务中表现出了优异的性能。然而,现有的立体数据集很少包含高质量的表面法线和视差地面真相,这很难满足训练室内场景的预期深度模型的需求。为此,我们引入了一个大规模的合成但自然的室内机器人立体(IRS)数据集,具有超过100 K的立体RGB图像和高质量的表面法线和视差图。利用我们定制的渲染引擎的先进渲染技术,数据集是相当接近现实世界的捕获图像,并涵盖了几个视觉效果,如亮度变化,光反射/透射,镜头光斑,生动的阴影,等我们比较IRS的数据分布与现有的立体数据集,以说明室内场景的典型视觉属性。此外,我们提出了DTN-Net,一个两阶段的深度模型表面法线估计。大量的实验表明了IRS在训练深度模型进行视差估计方面的优势和有效性,与现有方法相比,DTN-Net为正常估计提供了最先进的结果。
2021-03-26 cs.CV cs.RO
Regularising disparity estimation via multi task learning with structured light reconstruction
The Hamlyn Centre, Imperial College London(哈姆林中心,帝国理工学院)
针对医疗数据缺乏导致视差估计受限的问题,提出结合结构光重建的多任务学习框架,隐式学习视差并提升网络性能,在无额外参数下优于单任务学习。
2023-01-19 cs.CV
Matching entropy based disparity estimation from light field
Capital Normal University(首都师范大学);Beijing Information Science and Technology University(北京信息科技大学)
基于匹配的深度估计的主要挑战是防止遮挡和平滑区域中的失配。一个满足纹理丰富性、视差一致性和抗遮挡性三个特征的有效匹配窗口应该能够在一定程度上防止误匹配。根据这些特点,提出了光场空间域的匹配熵来度量匹配窗口中的正确信息量,为匹配窗口的选择提供了依据。在匹配熵正则化的基础上,引入匹配代价保真度项,建立了深度估计的优化模型。为了找到最佳的,我们提出了一个两步自适应匹配算法。首先,区域类型自适应确定,以确定闭塞,闭塞,平滑和纹理区域。然后,利用匹配熵准则自适应地选择匹配窗口的大小、形状以及可见视点。两步过程可以通过选择有效的匹配窗口来减少失配和冗余计算。对合成数据和真实数据的实验结果表明,该方法能有效提高遮挡和平滑区域的深度估计精度,对不同噪声水平具有较强的鲁棒性。因此,实现了根据4D光场数据的高精度深度估计。
2023-02-01 cs.CV
FADNet++: Real-Time and Accurate Disparity Estimation with Configurable Networks
Hong Kong Baptist University(香港浸会大学);The Hong Kong University of Science and Technology(香港科技大学)
深度神经网络(DNN)在计算机视觉领域取得了巨大成功。视差估计问题倾向于由DNN解决,DNN比传统的手工制作的基于特征的方法实现更好的预测精度。然而,现有的DNN很难同时提供高效的计算和丰富的表达能力,这使得它们难以部署在实时的【形】高质量的应用中,特别是在移动设备上。为此,我们提出了一个高效、准确、可配置的深度网络,用于视差估计,名为FADNet++。FADNet++利用几种自由的网络设计和训练技术,可以通过快速的模型推理速度提高其准确性,适用于实时的【形】应用。此外,它使用户能够轻松配置不同大小的模型,以平衡准确性和推理效率。我们进行了广泛的实验,以证明FADNet++在从服务器到移动平台的六个GPU设备中的合成和真实数据集上的有效性。实验结果表明,FADNet++及其变体实现了最先进的预测精度,并且运行速度比现有的3D模型快了一个数量级。在移动GPU上以每秒15帧(FPS)以上的速度运行的限制下,FADNet++为SceneFlow数据集实现了新的最先进的结果。
2021-10-06 cs.CV cs.LG
Synthetic Image Verification in the Era of Generative AI: What Works and What Isn't There Yet
University Federico II of Naples(那不勒斯费德里科二世大学);NVIDIA(英伟达)
本文综述了生成式AI时代合成图像检测与溯源的主要方法,分析其优缺点,并指出当前热点与未来研究方向。
2024-04-30 cs.CV
Learning Stereo from Single Images
Niantic;University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院)
有监督的深度网络是在立体图像对中找到对应关系的最佳方法之一。与所有监督方法一样,这些网络在训练期间需要地面实况数据。然而,收集大量准确的密集对应数据是非常具有挑战性的。我们建议,这是不必要的,有这样一个高度依赖地面真实深度,甚至相应的立体声对。受单目深度估计的最新进展的启发,我们从单个图像生成合理的视差图。反过来,我们在精心设计的管道中使用这些有缺陷的视差图来生成立体训练对。以这种方式训练使得可以将单个RGB图像的任何集合转换成立体训练数据。这导致显著减少了人力,无需收集真实深度或手动设计合成数据。因此,我们可以在像COCO这样的数据集上从头开始训练立体匹配网络,这在以前很难用于立体。通过大量的实验,我们证明了我们的方法在KITTI,ETH3D和Middlebury上进行评估时,优于使用标准合成数据集训练的立体网络。
2020-08-20 cs.CV
Depth estimation from 4D light field videos
Kagoshima University(鹿儿岛大学)
本文提出一种端到端神经网络架构,利用4D光场视频中的时间信息提升噪声区域的深度估计精度,并构建了中等规模的合成4D光场视频数据集用于训练和验证。
2020-12-08 cs.CV cs.LG eess.IV
SMD-Nets: Stereo Mixture Density Networks
University of Bologna(博洛尼亚大学);MPI-IS(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
尽管立体匹配精度在过去几年中通过深度学习大大提高,但有效恢复清晰边界和高分辨率输出仍然具有挑战性。在本文中,我们提出了立体混合密度网络(SMD-Nets),这是一个简单而有效的学习框架,与广泛的2D和3D架构兼容,可以改善这两个问题。具体来说,我们利用双峰混合密度作为输出表示,并表明,这允许尖锐和精确的差距估计附近的不连续性,同时明确建模的任意性的不确定性固有的意见。此外,我们制定的视差估计作为一个连续的问题,在图像域中,允许我们的模型查询在任意空间精度的差异。我们进行了全面的实验,一个新的高分辨率和高度逼真的合成立体数据集,包括立体对在8 Mpx分辨率,以及在现实世界的立体数据集。我们的实验表明,在标准GPU上提高了物体边界附近的深度精度和超高分辨率视差图的预测。我们证明了我们的技术的灵活性,通过提高各种立体声骨干的性能。
2021-04-08 cs.CV
SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic Data via Stereo
Toyota Research Institute(丰田研究院);University of California, Berkeley(加州大学伯克利分校)
由于未知物体的形状、材料、排列方式和光照条件的多样性,机器人在非结构化环境中对未知物体的操纵是一个具有挑战性的问题。即使有大规模的真实世界数据汇集,在各种照明条件下对透明和反射物体的鲁棒感知和操纵仍然具有挑战性。为了解决这些挑战,我们提出了一种方法来执行仿真到现实迁移的机器人感知。底层模型SimNet被训练为单个多头神经网络,使用模拟的立体数据作为输入,模拟的对象分割掩模、3D定向边界框(OBB)、对象关键点和视差作为输出。SimNet的一个关键组成部分是结合了一个学习的立体声子网络来预测视差。SimNet在2D汽车检测、未知目标检测和可变形物体关键点检测方面进行了评估,其性能明显优于使用结构光RGB-D传感器的基线。通过使用OBB和关键点预测来推断抓取位置,SimNet可用于在简单和困难的场景中使用我们的丰田HSR机器人在四个家庭环境中对未知物体进行端到端操作。在未知物体抓取实验中,来自基线RGB-D网络和SimNet的预测能够成功抓取大多数容易的物体。然而,RGB-D基线仅抓住35%的硬(例如,透明)对象,而SimNet掌握了95%,这表明SimNet可以在未知环境中对未知对象(包括透明对象)进行鲁棒操作。
2021-06-30 cs.CV cs.LG cs.RO
Learning to Think Outside the Box: Wide-Baseline Light Field Depth Estimation with EPI-Shift
Heidelberg University(海德堡大学);Robert Bosch GmbH(罗伯特·博世有限公司);TU Dresden(德累斯顿工业大学)
提出了一种基于全卷积神经网络结构的光场数据深度估计方法。我们的目标是设计一个流水线,实现高精度的结果,小和宽基线光场。由于光场训练数据是稀缺的,所有基于学习的方法使用一个小的感受野,并在小的视差范围内操作。为了处理宽基线光场,我们引入了EPI移位的想法:虚拟地移位光场堆栈,从而能够保持与视差范围无关的小感受野。通过这种方式,我们的方法“学会在感受野的盒子之外思考”。我们的网络进行联合分类的整数差距和回归的一致性偏移。U-Net组件提供出色的长距离平滑。EPI-Shift大大优于最先进的基于学习的方法,并与手工制作的方法相当。我们在公开的合成小基线基准和大基线真实世界记录上证明了这一点。
2019-09-19 cs.CV cs.GR
Generative AI for Enhanced Wildfire Detection: Bridging the Synthetic-Real Domain Gap
本文提出利用生成式AI技术合成烟雾数据集,并结合无监督领域适应方法提升野火检测模型的准确性和可扩展性。
2025-09-02 cs.AI cs.CV
StereoGAN: Bridging Synthetic-to-Real Domain Gap by Joint Optimization of Domain Translation and Stereo Matching
Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
大规模的合成数据集有利于立体匹配,但通常会引入已知的域偏差。虽然以CycleGAN为代表的无监督图像到图像翻译网络在处理域间隙方面表现出巨大的潜力,但由于翻译后的像素失真和立体匹配问题,将该方法推广到立体匹配并非易事。在本文中,我们提出了一个端到端的训练框架与域翻译和立体匹配网络来应对这一挑战。首先,在我们的端到端框架中,域转换和立体匹配网络之间的联合优化使前者最大限度地促进后者。其次,该框架引入了两种新的损失,即,双向多尺度特征重投影损失和相关性一致性损失,以帮助将所有合成立体图像转换为真实图像,并保持极线约束。上述两个贡献的有效结合导致令人印象深刻的立体一致的翻译和视差估计精度。此外,增加了模式搜索正则化项,以赋予合成到真实的翻译结果更高的细粒度多样性。大量的实验表明,所提出的框架的有效性,立体匹配的桥梁合成到真正的领域差距。
2020-05-05 cs.CV
Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations
UCLA(加州大学洛杉矶分校)
我们通过为立体声训练的深度学习模型研究了图像的对抗性扰动对视差估计的影响。我们发现,不可察觉的添加剂扰动可以显着改变视差图,并相应地感知场景的几何形状。这些扰动不仅会影响它们所针对的特定模型,还会转移到具有不同架构的模型,并使用不同的损失函数进行训练。我们表明,当用于对抗性数据增强时,我们的扰动会导致训练模型更加稳健,而不会牺牲模型的整体准确性。这与在图像分类中观察到的情况不同,在图像分类中,将受扰动的图像添加到训练集使模型不那么容易受到对抗性扰动的影响,但会损害整体准确性。我们使用最新的立体网络测试我们的方法,并在公共基准数据集上评估其性能。
2021-03-26 cs.CV cs.LG
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
单目深度估计的目的是估计单个图像的逐像素深度图,其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据,这些数据通常很难获得,而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而,合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中,我们建议使用立体匹配网络作为代理,从合成数据中学习深度,并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略,以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明,国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
What Makes Synthetic Data Effective in Image Segmentation
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);Beihang University(北京航空航天大学);School of Computer Science and Engineering(计算机科学与工程学院)
本文研究了合成数据在图像分割中的有效性,通过分析最先进的扩散模型生成的合成图像,发现密集场景构成和精细实例保真度是关键因素,并提出了一种统一框架SENSE,以提升分割性能。
2026-05-19 cs.CV
What Is Wrong with Synthetic Data for Scene Text Recognition? A Strong Synthetic Engine with Diverse Simulations and Self-Evolution
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室);WeChat Vision, Tencent Inc.(腾讯公司微信视觉团队)
本文提出UnionST合成引擎,通过多样化的模拟和自我进化框架,提升合成数据的现实性和有效性,实验表明其在复杂场景中优于现有合成数据。
2026-03-19 cs.CV
What Makes Synthetic Hard Negatives Work in Vision-Language Pretraining?
Imperial College London(伦敦帝国理工学院);Centre for Research and Technology Hellas(希腊研究与技术中心)
本文通过几何分析揭示合成困难负样本在视觉-语言预训练中的两种失败模式,提出SNAP方法生成不涉及正样本的模态内困难负样本,在CLIP和FLIP上带来零样本检索、分类和线性探针的稳定提升。
2026-10-27 cs.AI cs.CV
M4Depth: Monocular depth estimation for autonomous vehicles in unseen environments
University of Liège(列日大学)
当无法使用深度传感器时,估计与物体的距离对于自动驾驶车辆至关重要。在这种情况下,必须从机载RGB摄像机估计距离,这是一项复杂的任务,特别是在自然户外景观等环境中。本文提出了一种新的深度估计方法M4 Depth。首先,我们建立了一个双射的深度和两个连续帧的视差之间的关系,并展示了如何利用它来执行运动不变的像素级深度估计。然后,我们详细介绍了M4Depth,它是基于一个金字塔形的卷积神经网络架构,其中每一级通过使用两个定制的成本卷细化输入视差图估计。我们使用这些成本量来利用运动所施加的视觉时空约束,并使网络对不同的场景具有鲁棒性。我们在公共数据集上的测试和泛化模式下对我们的方法进行了基准测试,这些数据集具有在各种户外场景中记录的合成相机轨迹。结果表明,我们的网络在这些数据集上的表现优于最先进的技术,同时在标准的深度估计基准上也表现良好。我们的方法的代码可在https://github.com/michael-fonder/M4Depth上公开获得。
2022-07-01 cs.CV
What Synthesis is Missing: Depth Adaptation Integrated with Weak Supervision for Indoor Scene Parsing
National Taiwan University(台湾大学)
场景解析是使自主系统能够理解周围环境并与之交互的关键步骤。有监督的深度学习方法在解决场景解析问题方面取得了很大进展,然而,代价是费力的手动像素级注释。为了减轻这种努力,合成数据以及监管不力都进行了调查。尽管如此,综合生成的数据仍然遭受严重的域转移,而弱标签往往是不精确的。此外,大多数现有的弱监督场景解析工作仅限于显著的前景对象。因此,这项工作的目的是双重的:在可行的情况下利用合成数据,并在必要时整合薄弱的监督。更具体地说,我们通过利用深度作为传递域来实现这一目标,因为它的合成与真实的差异比颜色低得多。与此同时,我们执行弱本地化从容易获得的图像级标签和集成使用一种新的基于轮廓的计划。我们的方法被实现为一个教师-学生学习框架,通过生成伪地面真值来解决迁移学习问题。仅使用基于深度的自适应,该方法在流行的室内场景解析SUN RGB-D数据集上已经优于先前的迁移学习方法。与迁移学习中以前的最先进技术相比,我们提出的两阶段集成将完全监督方法的差距缩小了一半以上。
2019-03-23 cs.CV
Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
提出自适应多模态交叉熵损失(ADL)以建模立体匹配中边缘像素的多模态分布,并优化视差估计器,使经典网络如GANet在KITTI基准上达到最先进性能。
2024-03-15 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo(东京大学)
场景文本识别(STR)任务有一个共同的做法:所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反,当我们必须在没有合成数据的情况下训练STR模型时,只在较少的真实标签上训练STR模型(标签较少的STR)是很重要的:对于难以合成生成的手写或艺术文本,以及对于英语以外的语言,我们并不总是有合成数据。然而,有一个隐含的常识,即在真实数据上训练STR模型几乎是不可能的,因为真实数据是不够的。我们认为,这种常识阻碍了STR的研究与较少的标签。在这项工作中,我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据,并表明,我们可以训练STR模型令人满意的只有真正的标记数据。随后,我们发现简单的数据增强,以充分利用真实数据。此外,我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此,我们得到了一个竞争模型的国家的最先进的方法。据我们所知,这是第一项研究,1)仅使用真实标签显示出足够的性能,2)将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得:https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
Can You Trust What You See? Human and AI Detection of Synthetic Legal Evidence
Faculty of Law, McGill University(麦吉尔大学法学院)
研究人类和前沿多模态大模型在民事纠纷场景中区分真实照片与AI生成图像的能力,发现两者均不可靠,提出结合人工审查、MLLM筛查和来源认证的解决方案。
2026-05-29 cs.AI cs.CV
Training Deep Learning Algorithms on Synthetic Forest Images for Tree Detection
Laval University(拉瓦尔大学)
森林环境中基于视觉的分割是自主林业操作(如树木砍伐和转发)的关键功能。深度学习算法在执行目标检测等视觉任务方面表现出了良好的效果。然而,这些算法的监督学习过程需要来自大量多样性图像的注释。在这项工作中,我们建议使用模拟森林环境自动生成具有像素级注释的43 k逼真合成图像,并使用它来训练用于树木检测的深度学习算法。这使我们能够解决以下问题:i)在恶劣的合成森林环境中,我们应该期望深度学习有什么样的性能,ii)哪些注释对于训练最重要,iii)RGB和深度之间应该使用什么模式。我们还报告了通过直接预测真实图像上的限界框、分割掩模和关键点,在我们的合成数据集上学习的特征的有前途的迁移学习能力。代码可在GitHub上获取(https://github.com/norlab-ulaval/PercepTreeV1)。
2022-10-08 cs.AI cs.CV
Learning to Curate What You Generate for Generalizable Few-Shot Class-Incremental Learning
University of Science and Technology Beijing(北京科技大学);Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Singapore Management University(新加坡管理大学)
针对基础数据稀缺的泛化小样本类增量学习,提出利用潜在扩散模型生成合成数据,并通过知识策展策略选择高质量样本,结合边界稳定适应方案,有效缓解语义漂移和类别冲突。
2026-10-07 cs.CV
Smart Feature is What You Need
Beijing University of Technology(北京工业大学)
针对3D弱监督目标检测中缺乏形状引导、标签抖动的问题,提出即插即用的多尺度混合注意力网络MMA,通过邻接与差异注意力构建特征表征,既拉近全监督与弱监督性能差距,还能将标签抖动转化为数据增强来源,提升检测性能。
2024-06-22 cs.CV
Analysis of Training Object Detection Models with Synthetic Data
Hasselt University(哈塞尔特大学);Flanders Make(法兰德斯制造研究院);Expertise Centre for Digital Media(数字媒体专业中心)
最近,合成训练数据的使用一直在上升,因为它以较低的成本提供正确标记的数据集。该技术的缺点是,真实目标图像和合成训练数据之间的所谓域间隙导致性能下降。在本文中,我们试图提供一个全面的概述如何使用合成数据的目标检测。我们分析了生成数据的各个方面以及用于训练模型的技术。我们通过设计一些实验,在工业金属对象数据集(DIMO)上训练模型来实现这一点。该数据集包含真实图像和合成图像。合成部分具有不同的子集,这些子集要么是真实数据的精确合成副本,要么是某些方面随机化的副本。这使我们能够分析哪些类型的变化对合成训练数据有利,以及哪些方面应该建模以紧密匹配目标数据。此外,我们还研究了什么类型的训练技术有利于推广到真实数据,以及如何使用它们。此外,我们还分析了在合成图像上训练时如何利用真实图像。所有这些实验都在真实数据上进行了验证,并以真实数据训练的模型为基准。结果提供了一些有趣的外卖,可以作为使用合成数据的目标检测的基本准则。可在https://github.com/EDM-Research/DIMO_ObjectDetection上获得重现结果的代码。
2022-11-29 cs.AI cs.CV
EMCStereo: Attention-Enhanced Stereo Matching for Thin-Structure Depth Estimation with a Synthetic Tree-Branch Benchmark
Victoria University of Wellington(惠灵顿维多利亚大学);University of Canterbury(坎特伯雷大学)
EMCStereo通过集成三种轻量级注意力模块改进立体匹配,并构建合成树枝数据集VirtualTree,在多个基准上实现高精度细薄结构深度估计。
2026-09-15 cs.CV
What neurosurgeons need to see: synthetic intra-operative MRI from ultrasound for brain-shift compensation in brain tumour surgery
Department of Neurosurgery, Neurovascular Unit, Río Hortega University Hospital, Valladolid, Spain(西班牙巴利亚多利德里奥·奥尔特加大学医院神经外科神经血管科);Specialized Group in Biomedical Imaging and Computational Analysis (GEIBAC), Instituto de Investigación Biosanitaria de Valladolid (IBioVALL), Valladolid, Spain(西班牙巴利亚多利德生物医学研究与计算分析专业组(GEIBAC),巴利亚多利德生物健康研究所(IBioVALL))
提出一种端到端流水线,通过融合术前MRI、术中超声生成的合成MRI及锚定该合成图像的可变形配准,生成术前成像空间中的全脑MRI体积,以补偿脑移位,为神经导航提供类似MRI的术中视野更新。
2026-06-03 cs.CV cs.LG
Bridging the Ex-Vivo to In-Vivo Gap: Synthetic Priors for Monocular Depth Estimation in Specular Surgical Environments
RoCAL, Rochester Institute of Technology(罗切斯特理工学院RoCAL实验室);Department of Otolaryngology Head and Neck Surgery, University of Rochester Medical Center(罗切斯特大学医学中心耳鼻喉科与头颈外科部门);University of Washington, Department of Otolaryngology–Head and Neck Surgery(华盛顿大学耳鼻喉科与头颈外科部门)
本文提出合成先验用于改善外科环境中单目深度估计,通过DV-LORA适应深度anything v2架构,在SCARED数据集上达到新状态,同时引入ROCAL-T 90数据集验证模型在真实临床场景中的鲁棒性。
2026-04-20 cs.CV cs.RO
WHTMix: Efficient Stereo Depth Estimation via Walsh-Hadamard Token Mixing
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
研究针对立体深度估计在高分辨率和低延迟要求下的问题,提出用沃尔什-哈达玛令牌混合器替代立体变压器的联合自注意力阶段,并引入混合对数视差损失函数,实现减少计算量、延迟及降低远距离物体误差。
2026-10-16 cs.CV eess.IV eess.SP
Diversity and Diffusion: Observations on Synthetic Image Distributions with Stable Diffusion
Google Research(谷歌研究院)
本文通过分析Stable Diffusion等文本到图像系统生成的合成图像与自然图像的语义差异,揭示出歧义性、提示遵循、多样性不足和概念表示缺失四个限制因素,并提供了关于CLIP嵌入几何的新见解。
2023-10-31 cs.AI cs.CV cs.LG