AHAP: Reconstructing Arbitrary Humans from Arbitrary Perspectives with Geometric Priors
AHAP通过融合多视角几何信息,实现无需相机标定的任意视角人类重建,提升了在现实场景中的适用性和效率。
2026-03-13 cs.CV
Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙菲莎大学)
本文提出DAC框架,仅用透视图像训练并以ERP统一表示任意FoV图像,通过俯仰感知转换、FoV对齐和多分辨率增强实现鱼眼与360度相机的零样本度量深度SOTA。
2025-03-16 cs.AI cs.CV cs.RO
Perspective Phase Angle Model for Polarimetric 3D Reconstruction
Guangdong University of Technology(广东工业大学);Southern University of Science and Technology(南方科技大学)
当前的偏振三维重建方法,包括那些在偏振文献中建立良好的形状,都是在正交投影假设下开发的。然而,在大视场的情况下,该假设不成立,并且可能导致在做出该假设的方法中的显著重构误差。为了解决这个问题,我们提出了适用于透视相机的透视相位角(PPA)模型。与正射模型相比,PPA模型更准确地描述了透视投影下偏振相位角与表面法线的关系。此外,PPA模型使得可以仅从一个单视图相位角图估计表面法线,并且不会遭受所谓的$π$模糊性问题。实际数据的实验表明,PPA模型是更准确的表面法线估计与透视相机比正交模型。
2022-07-21 cs.CV
Resolving Scale Ambiguity Via XSlit Aspect Ratio Analysis
University of Delaware(特拉华大学);Microsoft Research(微软研究院)
在透视相机中,正面平行的3D对象的图像保持其纵横比不随其深度而变化。这种不变性在摄影中很有用,但对于透视投影来说是独一无二的。在本文中,我们表明,替代的非透视相机,如交叉狭缝或XSlit相机表现出不同的深度相关的纵横比(DDAR)的属性,可用于3D恢复。我们首先进行全面的分析,以表征DDAR,推断对象的深度从其AR,和模型可恢复的深度范围,灵敏度和误差。我们表明,在真实的曼哈顿世界场景中重复的形状模式可以用于使用单个XSlit图像进行3D重建。我们还扩展了我们的分析模型线的斜率。具体而言,平行3D线在其图像上表现出深度相关斜率(DDS),这也可以用于推断其深度。我们使用真实的XSlit相机,XSlit相机和折反射镜来验证我们的分析。实验表明,DDAR和DDS提供了重要的深度线索,并使有效的单图像场景重建。
2015-06-14 cs.CV
DepthMaster: Unified Monocular Depth Estimation for Perspective and Panoramic Images
VISUAL COMPUTING LAB POLYU(PolyU视觉计算实验室)
提出DepthMaster统一框架,通过将全景图分解为重叠透视块并引入对应一致性损失和虚拟投影相机几何先验,解决透视与全景深度估计的几何差异和数据稀缺问题,在13个数据集上实现零样本最优性能。
2026-06-12 cs.CV
A fast minimal solver for absolute camera pose with unknown focal length and radial distortion from four planar points
Centre for Mathematical Sciences(数学科学中心);Lund University(隆德大学)
在本文中,我们提出了一个快速的最小解算器的绝对相机姿态估计从四个已知的点,位于一个平面。我们假设一个具有未知焦距和未知径向畸变的透视相机模型。径向畸变采用单参数分割模型进行建模。我们表明,这个问题的解决方案可以从一个单变量六次多项式。这导致非常快速且数值稳定的求解器。
2018-06-05 cs.CV
Perspective Plane Program Induction from a Single Image
Google Research(谷歌研究院);Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
我们研究的逆图形问题推断一个整体表示的自然图像。给定一个输入图像,我们的目标是诱导一个神经符号,类似程序的表示,共同模型相机姿势,对象位置,和全球场景结构。这种高级的整体场景表示进一步促进了低级图像操作任务,例如修复。我们制定了这个问题,共同寻找最好的描述输入图像的相机姿态和场景结构。这种联合推理的好处是双重的:场景规则性作为一个新的线索,透视校正,反过来,正确的透视校正导致简化的场景结构,类似于正确的形状如何导致最规则的纹理形状从纹理。我们提出的框架,透视平面程序归纳(P3I),结合了基于搜索和基于梯度的算法,有效地解决了这个问题。P3I在一组互联网图像上的表现优于一组基线,包括相机姿态估计,全局结构推断和下游图像处理任务。
2020-06-25 cs.CV cs.LG stat.ML
Perspective-consistent multifocus multiview 3D reconstruction of small objects
Australian National University(澳大利亚国立大学);CSIRO DATA61(澳大利亚联邦科学与工业研究组织数据61所)
基于图像的昆虫和生物标本等小尺度物体的三维重建或三维摄影测量具有挑战性,这是由于使用具有固有的有限景深的高放大率镜头,以及物体的精细结构和复杂的表面特性。由于这些挑战,传统的3D重建技术不能在没有适当的图像预处理的情况下应用。一种这样的预处理技术是多焦点堆叠,其组合从相同视角捕获的一组部分聚焦的图像以创建单个聚焦图像。传统的多焦点图像捕获使用微距轨道上的相机。此外,多焦点叠加技术没有适当地考虑尺度和偏移。结果,所得到的焦点对准图像包含违反透视图像形成的伪影。使用这样的图像的3D重建将不能产生对象的精确3D模型。本文展示了如何有效地解决这个问题,通过一个新的多焦点堆叠过程,其中包括一个新的固定镜头多焦点捕获和摄像机校准的图像缩放和移位。初步的实验结果证实了我们的期望,并表明,相机构成的固定镜头图像的噪声至少是传统的移动镜头图像的3倍。
2019-12-06 cs.CV
Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens
本文提出一种方法,通过校准标记将训练于透视图像的基础单目深度估计器扩展至鱼眼图像,无需重新训练即可对齐潜在嵌入分布,提升深度估计精度。
2026-07-07 cs.AI cs.CV cs.LG
TARS: Timestep-Aware Data Scaling for 3D-Free Video Re-Shooting
该研究提出无3D的视频重拍摄范式TARS,通过自监督学习结合数据缩放与文本-相机联合条件设置,实现稳健的相机与视角控制,在大运动下合成未见区域的表现优于现有方法。
2026-08-04 cs.CV
Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective
Northwestern Polytechnical University(西北工业大学);EPFL(洛桑联邦理工学院);Shanghai AI Laboratory(上海人工智能实验室)
针对逐帧重建忽略NRSfM时空特性的问题,提出从序列到序列转换视角的深度NRSfM框架,结合形状-运动预测、上下文建模与子空间约束实现端到端批量训练,在多数据集上取得更优效果。
2024-08-13 cs.CV
Perspective-1-Ellipsoid: Formulation, Analysis and Solutions of the Camera Pose Estimation Problem from One Ellipse-Ellipsoid Correspondence
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);University of Luxembourg(卢森堡大学)
针对现有椭圆-椭球对应相机位姿估计方法存在特异性损失、效率低的问题,提出椭球专用理论框架,将问题简化为1自由度问题并给出解析解,同时开源代码以推动相关问题高效求解。
2026-10-12 cs.CV
Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera
Computational Media Innovation Centre, Victoria University of Wellington(惠灵顿维多利亚大学计算媒体创新中心);School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学工程与计算机科学学院)
六自由度(6-DoF)视频通过使用户能够在捕获的场景中以广泛的视野移动来提供远程呈现。与需要复杂相机设置的方法相比,基于摄影测量的基于图像的渲染方法可以处理以任何姿势捕获的图像,这更适合于普通用户。然而,现有的基于图像的渲染方法是基于透视图像的。当用于重建6-DoF视图时,它通常需要捕获数百张图像,这使得数据捕获成为一个繁琐且耗时的过程。与传统的透视图像相比,360°图像在Single Shot中捕获整个周围视图,从而为6-DoF视图重建提供更快的捕获过程。本文提出了一种新的方法来提供6自由度的经验,在一个广泛的区域使用非结构化的收集360°全景由传统的360°相机捕获。我们的方法包括360°数据采集,新颖的深度估计,以产生一个高质量的球形深度全景,和高保真的自由视点生成。我们使用在各种环境中捕获的数据,将我们的方法与最先进的方法进行了比较。我们的方法在测试场景中表现出更好的视觉质量和鲁棒性。
2022-03-31 cs.CV
EKFPnP: Extended Kalman Filter for Camera Pose Estimation in a Sequence of Images
Iran University of Science & Technology(伊朗科技大学)
在现实世界的应用中,透视n点(PSPs)问题通常应该应用于一系列图像中,这些图像中的一组易漂移特征随时间被跟踪。在本文中,我们考虑相机姿态的时间依赖性和特征的不确定性的顺序相机姿态估计。使用扩展的卡尔曼滤波器(EKF),从摄像机运动模型计算摄像机位姿的先验估计,然后通过最小化参考点的重投影误差来校正。实验结果表明,使用模拟和真实数据,所提出的方法提高了鲁棒性的相机姿态估计,在噪声的存在下,相比,国家的最先进的。
2020-04-22 cs.CV eess.IV
Hybrid Light Field Imaging for Improved Spatial Resolution and Depth Range
Istanbul Medipol University(伊斯坦布尔梅迪波尔大学)
光场成像涉及捕获光的角度和空间分布;它实现了新的功能,例如捕获后数字重新聚焦、相机孔径调整、透视移位和深度估计。基于微透镜阵列(MLA)的光场相机提供了一种成本有效的光场成像方法。基于MLA的光场相机存在两个主要限制:低空间分辨率和窄基线。虽然低空间分辨率限制了光场相机的通用用途和适用性,但是窄基线限制了深度估计范围和准确度。在本文中,我们提出了一个混合立体成像系统,包括一个光场相机和一个普通的相机。该混合系统解决了基于MLA的光场相机的空间分辨率和窄基线问题,同时保留了光场成像能力。
2017-07-31 cs.CV
SHAPE: Linear-Time Camera Pose Estimation With Quadratic Error-Decay
0pt School of Computer
我们提出了一种新的摄像机姿态估计或透视n点(PPENS)算法,一致性区域和半空间相交的想法的基础上。我们的算法具有线性的时间复杂度和平方重建误差,减少至少二次方,作为特征点对应的数量增加。受三角测量和帧量化理论的启发,我们定义了一致性重建,然后提出了SHAPE,我们提出的一致性姿态估计算法。我们比较这个算法与国家的最先进的姿态估计技术的准确性和误差衰减率。实验结果验证了我们的假设最坏情况下的二次衰减,并证明其有前途的性能相比,其他方法。
2016-02-24 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine(加州大学尔湾分校);Carnegie Mellon University(卡内基梅隆大学)
单目深度预测器通常在大规模训练集上进行训练,这些训练集自然偏向于相机姿态的分布。因此,训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题,我们提出了两种新的技术,在训练和预测过程中利用相机的姿态。首先,我们引入了一种简单的视角感知数据增强,它通过以几何一致的方式扰动现有示例,合成具有更多样化视图的新训练样本。其次,我们提出了一个条件模型,利用每图像相机构成的先验知识,将其编码为输入的一部分。我们表明,联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明,我们的方法提高性能时,应用到一系列不同的预测架构。最后,我们表明,显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时,对真实图像进行评估。
2021-03-28 cs.CV
3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective
Sea-NExT Joint Lab, National University of Singapore(新加坡国立大学Sea-NExT联合实验室);Zhejiang University(浙江大学)
本文提出一种自监督学习方法,通过因果视角从单张图像重建3D非刚性物体,解决3D标注困难、模板限制和内在模糊性问题,实验表明其在时尚数据集上能实现高质量重建。
2023-03-13 cs.CV
RPC-GS: Gaussian Splatting with native RPC Rendering for Satellite Imagery
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光学研究所、系统技术与图像 exploitation 研究所)
提出首个原生使用RPC模型的高斯泼溅框架RPC-GS,通过直接投影高斯均值和协方差避免近似误差,在卫星基准数据集上重建误差最低。
2026-11-19 cs.CV
Image-Space Refraction Correction for Underwater 3D Reconstruction: Warping Flat-Port Views into Pinhole Perspective
提出基于物理的图像空间折射校正方法,消除平端口水下成像的碗状变形,兼容现有重建与SLAM算法,在真实数据集上提升帧注册并保持低重投影误差。
2026-10-07 cs.CV
A Generic Multi-Projection-Center Model and Calibration Method for Light Field Cameras
Northwestern Polytechnical University(西北工业大学);ShanghaiTech University(上海科技大学)
光场相机可以捕获光线的空间和角度信息,从而通过单次曝光实现3D重建。光场相机的内参数对三维重建的几何形状有很大的影响。本文在传统的两平行平面(TPP)表示的基础上,提出了一种具有6个内参数的多投影中心(MPC)模型来表征光场相机。MPC模型通常可以参数化不同成像构造中的光场,包括常规和聚焦光场相机。通过四维光线约束和三维几何约束,推导出一种三维射影变换来描述几何结构与MPC坐标之间的关系。基于MPC模型和投影变换,我们提出了一种校准算法来验证我们的光场相机模型。我们的校准方法包括一个封闭的形式的解决方案和非线性优化,通过最大限度地减少重投影误差。仿真和真实场景数据的实验结果验证了我们的算法的性能。
2018-08-07 cs.CV
F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories
The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Texas A&M University(得克萨斯农工大学)
本文提出了一种新的基于网格的NeRF称为F2-NeRF(Fast-Free-NeRF)的新视图合成,它可以实现任意输入相机轨迹,并且只需几分钟的训练时间。现有的快速基于网格的NeRF训练框架,如Instant-NGP,Plenoxels,DVGO或TensoRF,主要是为有界场景设计的,并依赖于空间扭曲来处理无界场景。现有的两种广泛使用的空间扭曲方法仅针对面向前的轨迹或360度以目标为中心的轨迹设计,而不能处理任意轨迹。在本文中,我们深入研究了空间扭曲的机制来处理无界场景。基于我们的分析,我们进一步提出了一种新的空间扭曲方法,称为透视扭曲,它允许我们处理任意的轨迹在基于网格的NeRF框架。大量的实验表明,F2-NeRF能够使用相同的透视变形来渲染高质量的图像上的两个标准数据集和一个新的自由轨迹数据集由我们收集。项目页面:https://totoro97.github.io/projects/f2-nerf。
2023-03-28 cs.CV cs.GR
MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep Point-wise Voting Network
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
估计物体的6D姿态是计算机视觉的一项基本任务。然而,大多数传统方法都依赖于来自单一视角的相机数据,因此存在遮挡问题。我们克服了这个问题,我们的新的多视图6D姿态估计方法称为MV 6D,准确地预测在一个混乱的场景中的所有对象的6D姿态的基础上,从多个角度的RGB-D图像。我们的方法基于PVN 3D网络,该网络使用单个RGB-D图像来预测目标对象的关键点。我们通过使用来自多个视图的组合点云并将来自每个视图的图像与DenseFusion层融合来扩展这种方法。与当前的多视图姿态检测网络(如CosyPose)相比,我们的MV 6D可以以端到端的方式学习多个视角的融合,并且不需要多个预测阶段或后续的预测微调。此外,我们提出了三个新的真实感数据集的杂乱场景与严重的闭塞。所有这些都包含来自多个视角的RGB-D图像和地面实况,例如语义分割和6D姿态估计。MV 6D在多视图6D姿态估计方面的表现明显优于最先进的技术,即使在相机姿态已知不准确的情况下也是如此。此外,我们表明,我们的方法对动态相机设置是鲁棒的,并且其准确性随着视角数量的增加而逐渐增加。
2022-08-01 cs.AI cs.CV cs.LG
Accurate calibration of multi-perspective cameras from a generalization of the hand-eye constraint
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
多视角相机在许多应用中正迅速变得重要,例如智能车辆和虚拟或增强现实。然而,大的系统尺寸或相邻视场中没有重叠通常使其校准复杂化。我们提出了一种新的解决方案,它依赖于外部运动捕捉系统的可用性。我们的核心贡献包括一个扩展的手眼校准问题,共同解决多眼基地的问题,在封闭的形式。我们还证明了它的等价性多眼在手的问题。我们的方法的实际有效性得到了我们的实验的支持,表明该方法是高效和准确的,并优于现有的封闭形式的替代品。
2022-04-13 cs.CV cs.RO
Relative Pose for Nonrigid Multi-Perspective Cameras: The Static Case
ShanghaiTech University(上海科技大学)
本文研究静态非刚性多相机装置在不同方位下的相对位姿估计问题,通过悬臂梁模型将重力引入广义对极约束,使重力向量可观测,并分析了两种算法下的可观测性。
2024-01-17 cs.CV cs.RO
Adapting CNNs for Fisheye Cameras without Retraining
Australian Centre For Robotics (ACFR)(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
针对大视场鱼眼图像校正需大幅裁剪、现有CNN无法直接适配的问题,提出无需重训的RectConv层替换方案,可直接处理原生鱼眼图像,在公开数据集上验证了分割与检测效果,推动透视图像资源适配多类相机。
2024-04-12 cs.CV cs.RO
Analytical Modeling of Vanishing Points and Curves in Catadioptric Cameras
Instituto Superior Técnico(高等技术学院);University of Oxford(牛津大学);University of Utah(犹他大学)
消失点和消失线是透视相机中的经典几何概念,其历史可以追溯到3个世纪。消失点是图像平面上的点,其中3D空间中的平行线看起来会聚,而消失线穿过2个或更多个消失点。虽然这样的概念在透视相机中是简单和直观的,但它们在折反射相机(使用镜子和透镜获得)中的对应物则更加复杂。例如,3D空间中的直线映射到折反射相机中的更高阶曲线。在透视图像中,一组3D平行线的投影会聚在一个点上,而在折反射相机中,它们会聚到多个点。据我们所知,我们不知道任何系统的发展分析模型消失点和消失曲线在不同类型的折反射相机。在本文中,我们推导出参数方程的消失点和消失曲线的校准参数,镜面形状系数,并在三维空间中的平行线的方向矢量。我们在模拟和真实实验中展示了各种折反射相机的消失点估计和绝对姿态估计的令人信服的实验结果。
2018-04-25 cs.CV cs.RO
Spherical formulation of geometric motion segmentation constraints in fisheye cameras
Valeo Vision Systems(法雷奥视觉系统公司);University of Limerick(利默里克大学)
我们介绍了一种视觉运动分割方法采用球面几何鱼眼相机和自动驾驶。针孔图像中三个常用的几何约束(正高度,正深度和核线约束)被重新表述为球坐标,只要相机校准是已知的,使它们对特定的相机配置不变。第四个约束,被称为反平行约束,被添加到解决运动视差模糊,以支持检测相对于主车辆进行平行或接近平行运动的移动物体。一个最终的约束约束,被称为球面三视图约束,虽然没有在我们提出的算法描述。结果表明,该建议是一种有效的运动分割方法,直接就业的鱼眼图像。
2021-04-26 cs.CV cs.RO
A Minimal Closed-Form Solution for Multi-Perspective Pose Estimation using Points and Lines
University of Utah(犹他大学);Instituto Superior Técnico(高等技术学院)
我们提出了一个最小的解决方案,姿态估计使用点和线的多视角相机。在本文中,我们把多视角相机作为一个刚性连接的透视相机的集合。这些类型的成像设备对于需要大覆盖范围的几种计算机视觉应用非常有用,例如监控、自动驾驶汽车和运动捕捉工作室。虽然现有方法已经考虑了仅使用点或线的情况,但是对于多视角相机,还没有解决涉及点和线两者的混合情况。我们提出了两种情况下的解决方案。在第一种情况下,我们给出了两个点和一条线的2D到3D对应关系。在后一种情况下,我们给出了一个点和两条线的2D到3D对应关系。我们表明,解决方案的两点和一条线的情况下,可以制定为一个四次方程。这很有趣,因为我们可以得到一个封闭形式的解决方案,从而实现高计算效率。后一种情况涉及两条线和一个点,可以映射到一个八次方程。我们展示了模拟和真实的实验来证明现有方法的优势和好处。
2018-07-26 cs.CV cs.RO
The Right (Angled) Perspective: Improving the Understanding of Road Scenes Using Boosted Inverse Perspective Mapping
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所)
自动驾驶汽车执行的许多任务,如道路标记检测、物体跟踪和路径规划,在鸟瞰图中都更简单。因此,反向透视映射(IPM)通常被应用于从车辆的前置摄像头去除透视效果,并将其图像重新映射到2D域,从而产生自上而下的视图。然而,不幸的是,由于相机的分辨率,这会导致物体在更远距离处的不自然模糊和拉伸,从而限制了适用性。在本文中,我们提出了一种对抗性学习方法,用于从实时的单个摄像机图像生成显着改进的IPM。生成的鸟瞰图像包含更清晰的特征(例如道路标记)和更均匀的照明,同时(动态)对象自动从场景中删除,从而以更好的方式显示底层道路布局。我们展示了我们的框架使用现实世界的数据从牛津RobotCar数据集,并表明,场景理解任务直接受益于我们的增强IPM方法。
2019-05-02 cs.CV cs.RO
Virtual Inverse Perspective Mapping for Simultaneous Pose and Motion Estimation
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院);Information Technology Center, The University of Tokyo(东京大学信息技术中心)
我们提出了一个自动的方法对地面移动机器人安装单目相机的姿态和运动估计。该框架采用了半密集的方法,从基于特征的方法和基于图像配准的方法,通过设置多个补丁的图像位移计算,通过一个高度准确的图像配准技术的好处。为了提高精度,我们在细化步骤中引入虚拟逆透视映射(IPM),以消除透视对图像配准的影响。通过虚拟IPM的几何光束法平差公式,联合和鲁棒地估计位姿和运动。与传统的视觉里程计方法不同,所提出的方法是免费的累积误差,因为它直接估计的姿态和运动对地面利用安装在地面移动机器人的相机配置,其中相机的垂直运动是可伸缩的相比,其高度在帧间隔和附近的地面表面是近似平坦的。我们进行了实验,其中俯仰角和滚转角的相对平均误差约为1.0度,并且行进距离的绝对平均误差为0.3mm,即使在短时间内的相机抖动下。
2023-03-09 cs.CV cs.RO
PUCK: Parallel Surface and Convolution-kernel Tracking for Event-Based Cameras
The University of Manchester(曼彻斯特大学);Istituto Italiano di Tecnologia(意大利理工学院)
当视觉集成到机器人中与目标进行高速交互时,低延迟和准确性是基本要求,因为它们会影响系统的可靠性和稳定性。在这种情况下,传感器和算法的选择对于整个控制回路非常重要。事件相机技术可以保证在动态环境中的快速视觉感测,但需要一种跟踪算法,该算法可以跟上由机器人自我运动引起的高数据率,同时保持精度和鲁棒性。在本文中,我们介绍了一种新的跟踪方法,利用指数减少有序表面(EROS)的数据表示解耦事件的处理和跟踪计算。后者使用卷积核来检测和跟踪在平面上移动的圆形目标。为了对最先进的基于事件的跟踪进行基准测试,我们提出了跟踪在表面上滑动的空气曲棍球的任务,未来的目标是控制iCub机器人精确及时地到达目标。实验结果表明,我们的算法实现了低延迟和跟踪精度之间的最佳折衷时,机器人是静止的,当移动。
2022-05-16 cs.CV cs.RO
Geometric Models of Rolling-Shutter Cameras
随着低功耗、低成本CMOS传感器在相机中的使用越来越频繁,带卷帘快门的相机变得越来越普遍。滚动快门意味着并非所有扫描线都在相同的时间间隔内曝光。当相机或场景中的对象移动时,滚动快门的效果是明显的,并且可能导致投影估计中的系统偏差。我们开发了一个通用的滚动快门相机的投影方程,并显示它是如何受到不同类型的相机运动。在正面平行运动的情况下,我们展示了如何相机可以建模为X狭缝相机。我们还开发了近似的投影方程的非零角速度的光轴和近似的投影方程的恒定速度螺旋运动。我们演示了滚动快门如何影响相机的投影几何形状,进而影响运动结构。
2005-03-29 cs.CV cs.RO
A 4D Radar Camera Extrinsic Calibration Tool Based on 3D Uncertainty Perspective N Points
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University(自动化与智能感知学院、医疗机器人研究院、上海交通大学);Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai 200240(系统控制与信息处理重点实验室、中华人民共和国教育部、上海200240);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(瑞金医院、上海交通大学医学院);Renji hospital, Shanghai Jiao Tong University School of Medicine(仁济医院、上海交通大学医学院)
本文提出3DUPnP标定框架,通过建模雷达球坐标噪声传播并补偿非零误差期望,实现4D毫米波雷达与相机的高精度外参标定,实验证明其优于CPnP基线。
2025-07-26 cs.RO
LAPTNet: LiDAR-Aided Perspective Transform Network
INRIA Grenoble Rhone-Alpes(法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心);INSA Lyon(里昂国立应用科学学院);Hacettepe University(哈塞特佩大学)
语义网格是机器人周围环境的有用表示。它们可以用于自动驾驶汽车,以简洁地表示汽车周围的场景,为导航或碰撞评估等下游任务捕获重要信息。来自不同传感器的信息可用于生成这些网格。有些方法仅依赖于RGB图像,而其他方法则选择结合来自其他传感器(如雷达或LiDAR)的信息。在本文中,我们提出了一个架构,融合激光雷达和相机信息生成语义网格。通过使用来自LiDAR点云的3D信息,LiDAR辅助透视变换网络(LAPTNet)能够将相机平面中的特征与鸟瞰图相关联,而无需预测有关场景的任何深度信息。与最先进的仅使用相机的方法相比,LAPTNet在NuScenes数据集验证分割中提出的类的最先进的竞争方法上实现了高达8.8点(或38.13%)的改进。
2022-11-14 cs.AI cs.CV cs.RO
Reduced egomotion estimation drift using omnidirectional views
从给定的图像序列的相机运动的估计变得退化的序列的长度增加。在这封信中,这一现象证明,并提出了一种方法来提高估计精度。所提出的方法使用一个全方位的相机,除了透视一个,并利用其放大视图,通过利用全方位和透视图像之间的对应关系。仿真和真实图像实验表明,该方法提高了估计精度。
2013-12-01 cs.CV cs.RO
Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset
University of Glasgow(格拉斯哥大学);University of Verona(维罗纳大学)
本文提出HARPER数据集,聚焦机器人视角下的3D人体姿态估计与预测,通过同步的机器人内置相机和6相机OptiTrack系统提供亚毫米级精度的骨骼真值,并建立可复现的基准以供未来研究严格比较。
2024-03-23 cs.CV cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology(昆士兰科技大学)
在本文中,我们提出了一种新的方法,视觉伺服的机器人,被称为3D移动到看到(3DMTS)的基础上,找到下一个最好的看法,使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示,该平台包含一个自定义的3D相机阵列,用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示,通过使用目标函数的梯度移动末端执行器,即使在遮挡之间,也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比,3DMTS方法的总体性能获得了目标尺寸平均增加29.3%,基线方法获得了9.17%。结果表明,定性和定量的3DMTS方法在大多数情况下表现更好,并产生三倍的目标大小相比,基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测,以用于进一步操纵,例如抓取和收获。
2018-09-21 cs.RO
Head and eye egocentric gesture recognition for human-robot interaction using eyewear cameras
Universitat Jaume I(海梅一世大学);Institute of New Imaging Technologies(新型成像技术研究所)
非语言交流在人机交互(HRI)的各种场景中起着特别重要的作用。因此,这项工作解决了人类手势识别的问题。特别是,我们专注于头部和眼睛的姿态,并采用以自我为中心(第一人称)的角度使用眼镜相机。我们认为,这种以自我为中心的观点可能会提供一些概念和技术上的好处场景或机器人为中心的观点。提出了一种基于运动的识别方法,该方法在两个时间粒度上进行操作。局部地,利用卷积神经网络(CNN)估计帧到帧单应性。该CNN的输出被输入到长短期记忆(LSTM)中,以捕获与表征手势相关的长期时间视觉关系。关于网络架构的配置,一个特别有趣的发现是,使用单应性CNN的内部层的输出相对于使用单应性矩阵本身增加了识别率。虽然这项工作的重点是动作识别,还没有机器人或用户的研究已经进行,该系统的设计,以满足实时的限制。令人鼓舞的结果表明,所提出的自我中心的观点是可行的,这一概念验证工作提供了新的和有用的贡献,令人兴奋的领域HRI。
2022-06-10 cs.CV cs.HC cs.RO
ES-PTAM: Event-based Stereo Parallel Tracking and Mapping
Technical University of Berlin(柏林工业大学);Robotics Institute Germany(德国机器人研究所);Sony Semiconductor Solutions Europe, Sony Europe B.V.(索尼半导体解决方案欧洲公司,索尼欧洲有限公司);Science of Intelligence Excellence Cluster(智能科学卓越集群);Einstein Center Digital Future(爱因斯坦数字未来中心)
提出基于事件的立体视觉里程计系统ES-PTAM,通过无对应映射模块和边缘图对齐跟踪模块实现深度估计与位姿估计,在多个真实数据集上显著优于现有技术。
2024-08-28 cs.CV cs.RO eess.SP
Singularity Analysis for the Perspective-Four and Five-Line Problems
Sorbonne Université(索邦大学);Centre national de la Recherche Scientifique (CNRS)(法国国家科学研究中心);Laboratoire des Sciences du Numérique de Nantes (LS2N)(南特数字科学实验室)
本文通过代数几何方法分析四点与五点线视觉伺服问题的奇异性,揭示相机位于单叶双曲面或横截线时引发控制与位姿估计问题,并证明五线情形无奇异,四线存在不可避免的奇异位置。
2026-09-25 cs.RO math.AG
A Pushing-Grasping Collaborative Method Based on Deep Q-Network Algorithm in Dual Perspectives
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
针对传统的基于2D摄像机的机械手抓取方法,当面对聚集或覆盖的场景时,在聚集和覆盖的非结构化场景中很难表现出良好的性能,原因是无法从单一视角准确识别集群场景中的物体,机械手也无法为抓取创造更好的环境。在这种情况下,本文提出了一种新的推-抓协同方法的基础上的深度Q-网络的双视角。该方法采用一种改进的深度Q网络算法,通过RGB-D摄像机从两个视角获取物体的RGB图像和点云信息,并将推取动作与抓取动作相结合,使训练后的机械手能够更好地抓取场景,从而在更复杂的抓取场景中表现良好。此外,本文还对深度Q网络的奖励函数进行了改进,提出了分段奖励函数,以加快深度Q网络的收敛速度。在V-REP仿真环境中训练了不同的模型并尝试了不同的方法,实验结果表明,本文提出的方法收敛速度快,在非结构化场景中抓取目标的成功率提高到83.5%。此外,该算法还具有泛化能力,当机器人从未掌握过的场景中出现新的目标时,具有良好的泛化性能。
2021-01-04 cs.AI cs.RO
3D Reconstruction in Noisy Agricultural Environments: A Bayesian Optimization Perspective for View Planning
University of Minnesota(明尼苏达大学)
本文提出一种考虑环境噪声的几何重建质量函数及自适应贝叶斯优化算法,用于嘈杂农业环境中的3D重建视图规划,在少量相机下仍能有效提升重建质量。
2024-03-18 cs.AI cs.RO