This paper describes a viewpoint-robust object-based change detection network (OBJ-CDNet). Mobile cameras such as drive recorders capture images from different viewpoints each time due to differences in camera trajectory and shutter timing. However, previous methods for pixel-wise change detection are vulnerable to the viewpoint differences because they assume aligned image pairs as inputs. To cope with the difficulty, we introduce a deep graph matching network that establishes object correspondence between an image pair. The introduction enables us to detect object-wise scene changes without precise image alignment. For more accurate object matching, we propose an epipolar-guided deep graph matching network (EGMNet), which incorporates the epipolar constraint into the deep graph matching layer used in OBJCDNet. To evaluate our network's robustness against viewpoint differences, we created synthetic and real datasets for scene change detection from an image pair. The experimental results verified the effectiveness of our network.
Unsupervised Deep Epipolar Flow for Stationary or Dynamic Scenes
Australian National University(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Data61 CSIRO(联邦科学与工业研究组织数据61研究所);NEC Labs America(NEC美国实验室);Northwestern Polytechnical University(西北工业大学)
TransFusion: Cross-view Fusion with Transformer for 3D Human Pose Estimation
University of California, Irvine(加州大学欧文分校);Facebook(脸书);Amazon(亚马逊)
估计每个视图中的2D人体姿态通常是校准的多视图3D姿态估计中的第一步。但是2D姿态检测器的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响。为了解决这些挑战,以前的工作从对极几何中导出不同视图之间的点对点对应关系,并利用这些对应关系来合并预测热图或特征表示。而不是预测后的合并/校准,在这里,我们介绍了一个Transformer框架的多视图3D姿态估计,旨在通过整合来自不同视图的信息,直接提高个人的2D预测。受以前的多模态Transformers的启发,我们设计了一个统一的Transformer架构,名为TransFusion,融合来自当前视图和相邻视图的线索。此外,我们提出了核线场的概念,编码到Transformer模型的三维位置信息。由对极场引导的3D位置编码提供了对不同视图的像素之间的对应性进行编码的有效方式。在Human 3.6M和Ski-Pose上的实验表明,与其他融合方法相比,该方法具有更高的效率和一致的改进。具体来说,我们在Human 3.6M上实现了25.8 mm MPJPE,仅使用256 x 256分辨率的5 M参数。
Epipolar Geometry Improves Video Generation Models
University of Oxford(牛津大学);Google Research(谷歌研究院);CREST-ENSAE, Institut Polytechnique de Paris(巴黎理工学院CREST-ENSAE研究中心);Technical University of Munich(慕尼黑技术大学)
DELS-MVS: Deep Epipolar Line Search for Multi-View Stereo
Graz University of Technology(格拉茨技术大学);Sony Europe B.V.(索尼欧洲公司)
我们提出了一种基于深度学习的多视图立体视觉(MVS)的新方法。对于参考图像中的每个像素,我们的方法利用深度架构直接沿着对应的核线搜索源图像中的对应点。我们将我们的方法称为DELS-MVS:深度对极线搜索多视图立体视觉。深度MVS中的先前工作在深度空间内选择感兴趣的范围,将其离散化,并且根据所得到的深度值对极线进行采样:这可能导致对极线的不均匀扫描,从而导致图像空间的不均匀扫描。相反,我们的方法直接在极线上工作:这保证了图像空间的均匀扫描,并避免了选择感兴趣的深度范围的需要,这通常是先验未知的,并且可以从场景到场景变化很大,以及需要适当的离散化的深度空间。事实上,我们的搜索是迭代的,这避免了建立成本卷,存储和处理成本都很高。最后,我们的方法对估计的深度图进行鲁棒的几何感知融合,利用每个深度旁边预测的置信度。我们在ETH 3D、Tanks and Temples和DTU基准上测试了DELS-MVS,并取得了与最先进方法相比具有竞争力的结果。
An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes
Engineering Research Center of Learning-Based Intelligent System (Ministry of Education)(教育部学习驱动智能系统工程研究中心);key Laboratory of Computer Vision and System (Ministry of Education)(教育部计算机视觉与系统重点实验室);School of Computer Science and Engineering, Tianjin University of Technology(天津工业大学计算机科学与工程学院)
Sparis: Neural Implicit Surface Reconstruction of Indoor Scenes from Sparse Views
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
场景文本检测任务由于其广泛的应用而在计算机视觉中引起了相当大的关注。近年来,许多研究者将语义分割的方法引入到场景文本检测中,取得了很好的效果。为了提高场景文本检测的分割效果,提出了一种基于条件生成对抗网络的场景文本检测器框架--DGST(Discriminator Guided Scene Text detector)。该方法取代了现有的基于语义分割的二值文本评分图,生成了包含更多信息的多尺度软文本评分图,更合理地表示文本位置,解决了文本提取过程中文本像素粘连的问题。标准数据集上的实验表明,所提出的DGST带来了显着的增益,并优于国家的最先进的方法。具体而言,它在ICDAR 2015数据集上实现了87%的F-测量。
Key Laboratory of Grain Information Processing(粮食信息处理关键实验室);Control(Henan University of Technology), Ministry of Education(控制(河南工业大学),教育部);College of Information Science(信息科学学院);Engineering, Henan University of Technology(工程,河南工业大学);School of Mathematical Sciences, Shenzhen University(数学科学学院,深圳大学);Guangdong Key Laboratory of Intelligent Information Processing(广东智能信息处理重点实验室)
Prompt-guided Scene Generation for 3D Zero-Shot Learning
The University of New South Wales(新南威尔士大学);Australian National University(澳大利亚国立大学);North South University(北南大学);University of Technology Sydney(悉尼科技大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting
The Chinese University of Hong Kong(香港中文大学);Stanford University(斯坦福大学);Snap Inc.(Snap公司);University of California Los Angeles(加利福尼亚大学洛杉矶分校);ByteDance(字节跳动)