Learning Online Multi-Sensor Depth Fusion
KU Leuven(鲁汶大学);Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Lund University(隆德大学)
许多手持式或混合现实设备与单个传感器一起用于3D重建,尽管它们通常包括多个传感器。多传感器深度融合能够显著提高3D重建方法的鲁棒性和准确性,但现有技术不足以处理以不同值范围以及噪声和离群值统计操作的传感器。为此,我们引入了SenFuNet,这是一种深度融合方法,可以学习特定于传感器的噪声和离群值统计数据,并以在线方式组合来自不同传感器的深度帧数据流。我们的方法融合多传感器的深度流,而不管时间同步和校准和推广以及很少的训练数据。我们在现实世界的CoRBS和Scene3D数据集以及CNAS数据集上使用各种传感器组合进行实验。实验表明,我们的融合策略优于传统的和最近的在线深度融合方法。此外,多个传感器的组合比使用单个传感器产生更鲁棒的离群值处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/SenFuNet上获得。
2022-09-21 cs.CV
3D Reconstruction of Simple Objects from A Single View Silhouette Image
Trinity College Ireland(爱尔兰三一学院);National University of Singapore(新加坡国立大学)
虽然最近的深度神经网络已经在从单视图图像进行3D重建方面取得了有希望的结果,但这些依赖于图像中RGB纹理的可用性和作为监督的额外信息。在这项工作中,我们提出了新的堆叠分层网络和端到端的训练策略,以首次解决更具挑战性的任务,即从单视图2D轮廓图像进行3D重建。我们证明,我们的模型是能够进行3D重建从一个单一的视图剪影图像定性和定量。使用Shapenet对单视图重建进行评估,并与单个网络进行比较,以突出所提出的堆叠网络和端到端训练策略所获得的改进。此外,将IoU形式的3D重建与来自单视图RGB图像的现有技术3D重建进行比较,并且所提出的模型实现了比来自单视图RGB图像的现有技术更高的IoU。
2017-01-17 cs.CV
MuSHRoom: Multi-Sensor Hybrid Room Dataset for Joint 3D Reconstruction and Novel View Synthesis
Tampere University(坦佩雷大学);The University of Hong Kong(香港大学);Aalto University(阿尔托大学)
针对消费级设备上三维重建与照片真实感渲染分离的问题,提出多传感器混合房间数据集MuSHRoom,支持联合三维重建和新视角合成,并提供基准测试以推动端到端融合。
2024-12-16 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文,并使用像素对齐的图像特征来捕获精细的局部细节,从而实现高质量的重建。现有的方法使用RNN,特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差,而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下,我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是,我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量,我们表现出改进的3D重建性能相比,现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节,从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性,在这些数据集上,我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
PlückeRF: A Line-based 3D Representation for Few-view Reconstruction
The Australian National University(澳大利亚国立大学)
本文提出PlückeRF,一种基于结构化特征增强线的3D表示,通过连接3D位置与输入视图像素光线来更有效地利用多视图信息,在少视图重建中优于三平面表示及现有前馈方法。
2025-06-04 cs.CV
High Fidelity 3D Reconstructions with Limited Physical Views
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司);The University of Adelaide(阿德莱德大学)
多视图三角测量是从已知校准和足够视图的2D对应进行3D重建的黄金标准。然而,在实践中,需要昂贵的多视图设置-涉及数十甚至数百个摄像机-以便获得许多现代应用所需的高保真3D重建。在本文中,我们提出了一种新的方法,利用神经形状先验在2D-3D提升方面的最新进展,同时还执行多视图等方差。我们展示了我们的方法如何使用有限(2-3)数量的未校准相机视图实现与昂贵的校准多视图钻机相当的保真度。
2021-10-22 cs.AI cs.CV cs.LG
3D-RETR: End-to-End Single and Multi-View 3D Reconstruction with Transformers
ETH Zurich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学)
3D重建的目的是从2D视图重建3D对象。以前的3D重建工作主要集中在视图之间的特征匹配或使用CNN作为骨干。最近,Transformers在计算机视觉的多种应用中显示出有效性。然而,Transformers是否可以用于3D重建仍不清楚。在本文中,我们填补了这一空白,提出3D-RETR,这是能够执行端到端的3D重建与Transformers。3D-RETR首先使用预训练的Transformer从2D输入图像中提取视觉特征。3D-RETR然后使用另一个Transformer Decoder来获得体素特征。然后,CNN解码器将体素特征作为输入以获得重建的对象。3D-RETR能够从单个视图或多个视图进行3D重建。在两个数据集上的实验结果表明,3DRETR在三维重建方面达到了最先进的性能。其他消融研究也证明了3D-DETR受益于使用Transformers。
2021-11-16 cs.CV
Deep Learning Reconstruction for 9-View Dual Energy CT Baggage Scanner
KAIST(韩国科学技术院);GEMSS Medical Co.(GEMSS医疗公司)
在国土安全和交通安全领域,二维X射线爆炸物探测系统(EDS)得到了广泛的应用,但在识别隐藏物体的三维形状方面存在局限性。在各种类型的三维计算机断层扫描(CT)系统,以解决这个问题,本文感兴趣的是一个固定的CT使用固定的X射线源和探测器。然而,由于投影视图的数量有限,解析重建算法产生严重的条纹伪影。受最近用于稀疏视图CT重建的深度学习方法的成功的启发,在这里,我们提出了一种新的图像和正弦图域深度学习架构,用于从非常稀疏的视图测量进行3D重建。该算法已被测试的实际数据从原型9-视图双能量固定CT EDS随身行李扫描仪开发的GEMSS医疗系统,韩国,这证实了优越的重建性能比现有的方法。
2018-01-04 cs.AI cs.CV cs.LG
1st Place Solution for ICCV 2023 OmniObject3D Challenge: Sparse-View Reconstruction
Key Laboratory of Peace-building Big Data of Zhejiang Province(浙江省平安建设大数据重点实验室)
本研究针对ICCV 2023 OmniObject3D挑战赛稀疏视图重建任务,以Pixel-NeRF为基础模型,结合深度监督与由粗到细的位置编码,有效提升重建质量,最终以25.44614的PSNR获得赛道第一名。
2024-04-16 cs.CV
Descriptor-Free Multi-View Region Matching for Instance-Wise 3D Reconstruction
Osaka University(大阪大学);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出了一种不依赖于纹理或形状描述符匹配的实例分割的多视图扩展。对于具有重复纹理和形状的场景,多视图实例分割变得具有挑战性,例如,植物叶子,由于使用纹理或形状描述符的多视图匹配的困难。为此,我们提出了一种基于对极几何的多视点区域匹配方法,该方法不依赖于任何特征描述符。我们进一步表明,核线区域匹配可以很容易地集成到实例分割和有效的实例明智的3D重建。实验结果表明,该方法在多视点实例匹配和三维重建中的准确性较基线方法有较大提高。
2020-11-27 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题,提出PMNI方法,利用表面法线图整合几何信息,在神经SDF框架内同步恢复准确姿态与高保真表面,性能达最优。
2025-04-14 cs.CV
CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction
School of Computer Science, Beijing Institute of Technology(计算机学院,北京理工大学)
针对3DGS在跨视角大变化场景中的优化挑战,提出基于多分支构建与融合的跨视角Gaussian Splatting方法,通过梯度感知正则化和Gaussian补充策略提升大规模场景重建与新视角合成性能。
2025-04-28 cs.CV
VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
VolRecon提出一种基于Signed Ray Distance Function的可泛化多视图隐式重建方法,结合多视图投影特征与粗略全局体积特征,利用射线Transformer渲染颜色和深度,在DTU和ETH3D数据集上表现优异。
2023-04-03 cs.CV
Multi-view 3D Reconstruction with Transformer
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
到目前为止,基于深度CNN的方法已经在多视图3D对象重建中取得了最先进的结果。尽管这些方法取得了长足的进步,但其两个核心模块--多视角特征提取和融合,通常是分开研究的,而对不同视角下的目标关系研究较少。在本文中,最近的巨大成功的启发自注意力为基础的Transformer模型,我们重新制定的多视图三维重建序列到序列的预测问题,并提出了一个新的框架命名为三维体积Transformer(伏特)这样一个任务。与以前使用单独设计的基于CNN的方法不同,我们将特征提取和视图融合统一在单个Transformer网络中。我们的设计的一个自然优势在于在多个无序输入之间使用自我注意来探索视图到视图的关系。在ShapeNet -一个大规模的3D重建基准数据集上,我们的方法在多视图重建中实现了新的最先进的精度,与其他基于CNN的方法相比,参数更少($70\%$更少)。实验结果也表明我们的方法具有很强的缩放能力。我们的代码将公开提供。
2021-03-24 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft(微软);National Tsing Hua University(国立清华大学);Amazon(亚马逊)
提出iFusion框架,利用扩散模型反演估计未知相机姿态,微调生成新视图,仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
针对 Gaussian Splatting 在稀疏视图下易过拟合、表面不完整的问题,提出 FatesGS 框架,融合单目深度排序、块内一致性与多视图投影特征约束,在 DTU 和 BlendedMVS 上以 60–200 倍加速超越现有方法。
2025-01-08 cs.CV
Continuous Target-free Extrinsic Calibration of a Multi-Sensor System from a Sequence of Static Viewpoints
AIT Austrian Institute of Technology(奥地利AIT技术研究所)
移动机器人应用需要关于平台上各个传感器的几何位置的精确信息。该信息由定义传感器如何相对于固定参考坐标系旋转和平移的外部校准参数给出。错误的校准参数对典型的机器人估计任务(例如SLAM)具有负面影响。在这项工作中,我们提出了一种新的方法,在机器人的操作过程中的校准参数的连续估计。参数估计基于传感器从多个静态视点获取的点云的匹配。因此,我们的方法不需要任何特殊的校准目标,并适用于任何传感器的测量可以转换为点云。我们通过校准由2个激光雷达传感器,3个摄像机和成像雷达传感器组成的多传感器系统来证明我们的方法的适用性。
2022-07-08 cs.CV cs.RO
MVBoost: Boost 3D Reconstruction with Multi-View Refinement
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);The Hong Kong Polytechnic University(香港理工大学)
针对三维重建模型因数据集稀缺泛化能力有限的问题,提出MVBoost框架,结合多视图扩散模型与三维重建模型生成伪GT数据,构建大规模数据集训练前馈模型,还优化输入视角,实现更优重建结果与泛化能力。
2024-12-02 cs.AI cs.CV
Learning to Correct 3D Reconstructions from Multiple Views
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
本文是关于降低成本的建设良好的大规模三维重建事后。我们渲染现有重建的2D视图,并训练卷积神经网络(CNN),该网络可以细化逆深度以匹配更高质量的重建。由于我们校正的视图是从相同的重建中渲染的,因此它们共享相同的几何体,因此重叠的视图彼此互补。我们从两个方面利用这一点。首先,我们在训练过程中施加一个损失,引导对相邻视图的预测具有相同的几何形状,并已被证明可以提高性能。其次,在以前的工作,它独立地纠正每个视图相反,我们还作出预测的相邻视图集联合。这是通过扭曲视图之间的特征图来实现的,从而绕过了内存密集型3D计算。我们观察到特征图中的特征是视点相关的,并提出了一种方法,用于从视图之间的相对姿态中使用多层感知器生成的动态过滤器来转换特征。在我们的实验中,我们表明,这最后一步是必要的成功融合视图之间的特征映射。
2020-01-22 cs.CV cs.RO
PoInit-of-View: Poisoning Initialization of Views Transfers Across Multiple 3D Reconstruction Systems
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·科斯勒基金会);Xi’an Jiaotong University(西安交通大学)
本文提出PoInit-of-View方法,通过优化对抗扰动在不同3D重建系统中引发视角污染,破坏关键点检测和特征匹配,从而降低重建质量。
2026-04-17 cs.AI cs.CV
Adaptive View Planning for Aerial 3D Reconstruction
University of Minnesota(明尼苏达大学)
随着小型飞行器的普及,获取用于复杂场景的高质量重建的近距离航空图像变得越来越重要。我们提出了一种自适应视图规划方法,以自动化的方式收集这样的图像。我们首先对一小组视图进行采样,以构建场景的粗略代理。然后,我们提出(i)~一种方法,建立一个视图流形视图选择,和(ii)一个算法来选择一个稀疏的视图集。然后,车辆访问这些视点以覆盖场景,并且重复该过程,直到重建质量收敛或达到期望的质量水平。视图流形在使用整个6自由度姿态空间和使用单个视图半球来选择视图之间提供了有效的效率/质量折衷。我们的研究结果表明,在现有的“探索和利用”的方法,只收集两组视图,重建质量可以大大提高,通过添加第三组。它们还表明,即使对于非常复杂的场景,三轮数据汇集也足够了。我们比较我们的算法,现有的方法在三个具有挑战性的场景。我们要求每个算法选择相同数量的视图。我们的算法产生的意见,产生最小的重建误差。
2019-09-20 cs.CG cs.CV
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
本文提出ASV3D框架,通过零样本适配和优化适配两种策略,改进单视图3D重建,在基准及真实数据集上提升了重建精度与鲁棒性,效果优于基线方法。
2026-10-09 cs.CV cs.GR
Bag of Views: An Appearance-based Approach to Next-Best-View Planning for 3D Reconstruction
University of Victoria(维多利亚大学);University of British Columbia(不列颠哥伦比亚大学);National Research Council (NRC) Canada(加拿大国家研究委员会)
提出基于外观的Bag-of-Views模型与View Planning Toolbox工具箱,通过强化学习实现离线数据集优化与在线下一最优视角规划,有效减少高质量3D重建所需的视角数量。
2023-11-17 cs.AI cs.CV
MV-DUSt3R+: Single-Stage Scene Reconstruction from Sparse Views In 2 Seconds
Meta Reality Labs(元宇宙现实实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出单阶段前馈网络 MV-DUSt3R 及增强版 MV-DUSt3R+,通过多视图与跨参考视图信息融合实现2秒级稀疏视图重建,并联合 Gaussian splatting 头支持新视图合成。
2024-12-09 cs.AI cs.CV
Frequency-based View Selection in Gaussian Splatting Reconstruction
Polytechnique Montréal(蒙特利尔理工学院)
针对3D高斯溅射重建中的主动视角选择问题,提出一种基于频域排序的方法,在无真实数据下有效估计新视角的信息增益,克服了现有模型架构限制并取得了最先进的结果。
2024-09-24 cs.CV cs.RO
Multi-Sensor Integration for Indoor 3D Reconstruction
University of Calgary(卡尔加里大学)
由Google Maps和Garmin导航仪等现代服务和技术提供的户外地图和导航信息彻底改变了许多人的生活方式。受消费者、广告商、紧急救援人员/响应者等对用于室内使用的类似导航系统的期望的激励,许多室内环境,例如购物中心、博物馆、娱乐场、机场、中转站、办公室和学校,需要被绘制地图。通常,首先通过从各个站点捕获许多点云并定义它们的空间关系来重建环境。目前,缺乏一个准确,严格,快速的方法,在室内,城市,卫星拒绝环境中的点云。本论文提出一种新颖且自动化的方法来融合使用地面激光扫描仪和微软Kinect获得的校准点云,通过将它们与低成本的惯性测量单元集成。开发的系统,名为扫描仪,是第一个联合静态运动室内三维测绘仪。
2018-02-22 cs.CV cs.RO
Multi-view and Multi-modal Event Detection Utilizing Transformer-based Multi-sensor fusion
NTT Corporation(NTT公司)
我们面临着一项具有挑战性的任务:多视图和多模态事件检测,通过利用来自分布式摄像机和麦克风及其弱标签的数据来检测大范围真实环境中的事件。在这项任务中,分布式传感器被互补地用于捕获难以用单个传感器捕获的事件,例如在复杂房间中移动的人的一系列动作,或者在房间中相距很远的人之间的通信。为了使传感器在这种情况下有效合作,系统应该能够在传感器之间交换信息,并以互补的方式组合对识别事件有用的信息。对于这样一个机制,我们提出了一个基于变换器的多传感器融合(MultiTrans),它结合了多传感器数据的基础上,不同的观点和方式的功能之间的关系。在使用为此任务新收集的数据集的实验中,我们提出的使用MultiTrans的方法提高了事件检测性能并优于比较。
2022-02-18 cs.SD eess.AS
DenseTact: Optical Tactile Sensor for Dense Shape Reconstruction
Stanford University(斯坦福大学)
提高机器人中触觉感知的性能能够实现多功能的手内操作。基于视觉的触觉传感器已被广泛使用,因为丰富的触觉反馈已被证明与操作任务中的性能提高相关。具有高分辨率的现有触觉传感器解决方案具有局限性,包括低精度,昂贵的组件或缺乏可扩展性。在本文中,提出了一种廉价的,可扩展的,紧凑的触觉传感器与高分辨率的表面变形建模的表面重建的3D传感器表面。通过测量鱼眼相机的图像,它表明,传感器可以成功地估计表面变形的实时(1.8 ms),通过使用深度卷积神经网络。该传感器在其设计和传感能力方面代表了朝着更好的目标定位,分类和表面估计迈出的重要一步,所有这些都由高分辨率形状重建实现。
2022-03-08 cs.CV cs.RO
A Unified Framework for Multi-Sensor HDR Video Reconstruction
Linköping University(林雪平大学);AG Spheron VR
现代高质量HDR视频捕获的最成功方法之一是使用具有多个传感器的相机设置,通过公共光学系统对场景进行成像。然而,这样的系统对HDR重建算法提出了若干挑战。先前的重建技术已经将去拜耳化、去噪、重采样(对准)和曝光融合考虑为单独的问题。相比之下,在本文中,我们提出了一种统一的方法,直接从原始传感器数据执行HDR组装。我们的框架包括适用于HDR视频的相机噪声模型和基于局部多项式近似拟合到所观察到的传感器数据的空间自适应HDR重建算法。该方法易于实现,并允许重建到任意分辨率和输出映射。我们提出了一种实现在CUDA和实验4 Mpixel的多传感器HDR视频系统的实时性能。我们进一步表明,我们的算法具有明显的优势,现有的方法,无论是在灵活性和重建质量。
2013-08-22 cs.CV cs.GR cs.MM
Photorealistic Image Reconstruction from Hybrid Intensity and Event based Sensor
Indian Institute of Technology Madras(印度马德拉斯理工学院)
事件传感器以非常高的时间速率输出异步亮度变化流(称为“事件”)。以前的工作恢复丢失的强度信息从事件传感器数据严重依赖于事件流,这使得重建的图像非真实感,也容易受到噪声的事件流。我们建议重建逼真的强度图像从一个混合传感器组成的低帧速率传统的相机,它具有场景的纹理信息,随着事件传感器。为了完成我们的任务,我们通过估计空间密集的场景深度和时间密集的传感器自我运动,将低帧速率强度图像扭曲到事件数据的时间密集位置。从我们的算法获得的结果是更真实的照片相比,任何以前的国家的最先进的算法。我们还证明了我们的算法的鲁棒性突然相机运动和噪声的事件传感器数据。
2019-02-11 cs.CV
DiffusionPoser: Real-time Human Motion Reconstruction From Arbitrary Sparse Sensors Using Autoregressive Diffusion
Stanford University(斯坦福大学)
本文提出DiffusionPoser,一个无需重新训练即可从任意IMU和压力鞋垫组合实时重建全身运动的单一扩散模型,并通过自回归推理保证重建与传感器信号一致及未测量自由度的真实行为。
2024-03-28 cs.CV
Illumination-Based Color Reconstruction for the Dynamic Vision Sensor
这项工作展示了一种新颖的,最先进的方法,通过动态视觉传感器(DVS)重建彩色图像。DVS是一种图像传感器,仅指示亮度的二进制变化,而没有关于捕获的波长(颜色)或强度水平的信息。提出了一种利用DVS和主动彩色光源重建全空间分辨率彩色图像的新方法。我们分析了DVS的响应,并提出了两种重建算法:基于线性和基于卷积神经网络。此外,我们证明了我们的算法的鲁棒性,如照明和距离的环境条件的变化。最后,与以往的作品相比,我们展示了我们是如何达到最先进的结果。
2022-11-12 cs.CV eess.IV
Information Entropy Initialized Concrete Autoencoder for Optimal Sensor Placement and Reconstruction of Geophysical Fields
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Shirshov Institute of Oceanology, Russian Academy of Sciences(俄罗斯科学院希尔绍夫海洋研究所);Marchuk Institute of Numerical Mathematics, Russian Academy of Sciences(俄罗斯科学院马尔丘克数值数学研究所)
我们提出了一种新的方法来重建地球物理场稀疏测量的问题的传感器的最佳位置。我们的方法包括两个阶段。在第一阶段,我们通过条件PixelCNN网络近似其信息熵来估计物理场的可变性作为空间坐标的函数。为了计算熵,提出了一种新的二维数据阵列的排序(螺旋排序),这使得可以同时获得多个空间尺度的物理场的熵。在第二阶段中,物理场的熵被用来初始化最佳传感器位置的分布。这种分布通过具有直通梯度估计器和对抗性损失的Concrete Autoencoder架构进一步优化,以同时最大限度地减少传感器数量并最大限度地提高重建精度。我们的方法与数据大小呈线性关系,与常用的主成分分析不同。我们证明了我们的方法上的两个例子:(a)温度和(b)周围的巴伦支海和斯瓦尔巴群岛的盐度场。对于这些例子,我们计算我们的方法和一些基线的重建误差。我们测试我们的方法对两个基线(1)PCA与QR分解和(2)气候。我们发现,获得的最佳传感器位置有明确的物理解释,并对应于海流之间的边界。
2022-06-28 cs.CV cs.LG physics.ao-ph
View Transformation Robustness for Multi-View 3D Object Reconstruction with Reconstruction Error-Guided View Selection
College of Computer Science and Software Engineering(计算机科学与软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (Shenzhen)(广东人工智能与数字经济实验室(深圳))
针对多视图3D物体重建的视图变换鲁棒性研究不足的问题,提出用Stable Diffusion生成新视角并结合重建误差引导的视图选择方法,在大幅视图变换场景下性能优于现有方法。
2025-10-21 cs.CV
HDR Imaging with Quanta Image Sensors: Theoretical Limits and Optimal Reconstruction
Purdue University(普渡大学)
高动态范围(HDR)成像是现代摄影的最大成就之一。HDR成像的传统解决方案是针对CMOS图像传感器(CIS)设计并应用于CMOS图像传感器的。然而,当今主流的1微米CIS相机通常具有高读取噪声和低帧速率。这些反过来又限制了采集速度和质量,使相机在HDR模式下速度变慢。在本文中,我们提出了一种新的计算摄影技术的HDR成像。由于CIS的局限性,我们使用量子图像传感器(QIS)来权衡时空分辨率和位深。QIS是一种单光子图像传感器,其像素间距与CIS相当,但暗电流和读取噪声显著降低。通过证明QIS可以提供的动态范围的基本限制以及噪声和速度的权衡,我们提供了HDR成像背景下传感器的完整理论表征。此外,我们推导出一个最佳的重建算法的单比特和多比特QIS。我们的算法是理论上最佳的\emph{all}线性重建计划的基础上曝光包围。基于合成数据和实际QIS数据的实验结果验证了理论和算法的有效性。
2020-12-02 cs.CV eess.IV
HDR Video Reconstruction with Tri-Exposure Quad-Bayer Sensors
SenseBrain
我们提出了一种新的高动态范围(HDR)的视频重建方法与新的三曝光四层传感器。由于大量曝光集及其在帧上的空间均匀部署,它们比先前的空间变化曝光(SVE)HDR视频方法对噪声和空间伪影更鲁棒。尽管如此,来自较长曝光的运动模糊、来自短曝光的噪声以及SVE方法的固有空间伪影仍然是巨大的障碍。此外,时间相干性必须考虑到视频重建的稳定性。为了应对这些挑战,我们引入了一种新颖的网络架构,分而治之,克服这些问题。为了更好地使网络适应大动态范围,我们还提出了LDR重建损失,该损失来自HDR帧的高亮和阴影像素的相等贡献。通过一系列的比较和消融研究,我们表明,我们的解决方案的三曝光四倍体是更好的捕捉比以前的重建方法,特别是对于具有较大的动态范围和运动的对象的场景。
2021-03-19 cs.CV eess.IV
A Picture is Worth a Billion Bits: Real-Time Image Reconstruction from Dense Binary Pixels
Tel-Aviv University(特拉维夫大学)
在数字图像传感器中以不断增加的分辨率追求更小的像素尺寸主要是由蜂窝电话市场中传感器和光学器件的严格的价格和形状因数要求驱动的。最近,Eric Fossum提出了一种具有密集的亚衍射极限一位像素点的图像传感器的新概念,其可以被认为是卤化银照相胶片的数字仿真。这个想法最近被体现为EPFL Gigavision相机。这种传感器的设计中的一个主要瓶颈是图像重建过程,从过采样二进制测量产生连续的高动态范围图像。泊松统计的极端量化与大多数标准图像处理和增强框架的假设不兼容。最近提出的最大似然(ML)方法解决了这个困难,但遭受图像伪影,并具有不切实际的高计算复杂性。在这项工作中,我们研究了一个变量的传感器与二进制阈值像素,并提出了一个重建算法相结合的ML数据拟合项与稀疏合成先验。我们还展示了一个高效的硬件友好的实时的【形】近似这个逆operator.Promising结果显示在合成数据以及HDR数据仿真使用多次曝光的一个定期的CMOS传感器。
2015-12-05 cs.CV
Active Object Reconstruction Using a Guided View Planner
Dalian University of Technology(大连理工大学);City University of Hong Kong(香港城市大学)
受到使用深度学习进行基于图像的对象重建的最新进展的启发,我们提出了一种使用引导视图规划器的主动重建模型。我们的目标是重建一个3D模型,从一个计划序列的信息和歧视性的意见观察到的图像。但是,围绕一个物体的这种信息和歧视性的观点在哪里呢?为了解决这个问题,我们提出了一个统一的模型,用于视图规划和对象重建,这是用来学习引导信息采集模型,并从一系列图像的重建聚合信息。实验表明,我们的模型(1)随着视图数量的增加而提高了重建精度(2),并且与其他替代方法相比,通常预测用于对象重建的更多信息的视图序列。
2018-05-08 cs.CV
Extreme Few-view CT Reconstruction using Deep Inference
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
少视角X射线CT数据的重建是一个高度不适定的问题。它通常用于临床CT、快速工业扫描或固定机架CT中需要低辐射剂量的应用。现有的分析或迭代算法通常产生重建不佳的图像,严重恶化的伪影和噪声,特别是当X射线投影的数量是相当低。本文提出了一种深度网络驱动的方法,通过将基于卷积神经网络的推理结合到最先进的迭代重建中来解决极端少视图CT。所提出的方法使用基于注意力的深度网络来解释少视图正弦图数据以推断重建图像。预测的图像,然后作为先验知识,在迭代算法的最终重建。我们证明了所提出的方法的有效性进行重建实验上的胸部CT数据集。
2019-10-11 cs.CV cs.LG eess.IV
Sampling and Reconstruction of Spatial Fields using Mobile Sensors
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
空间采样传统上是在静态环境中研究的,其中分散在空间周围的静态传感器在其位置处测量空间场。在本文中,我们研究了新兴的范例,采样和重建空间场使用传感器,通过空间移动。我们表明,移动传感提供了一些独特的优势,静态传感在感测时不变的带限空间领域。由于移动的传感器沿着其路径遇到这样的空间场作为时域信号,因此可以在对传感器处接收的信号进行采样之前采用时域抗混叠滤波器。当由沿着等间距平行线以恒定速度移动的传感器的配置使用时,这样的滤波过程导致在传感器的运动方向上的空间混叠的完全抑制。我们分析量化的优点,使用这样一个采样方案的静态采样方案,通过计算减少采样噪声,由于过滤器。我们还分析了非均匀传感器速度对重建精度的影响。通过仿真实例,我们证明了移动采样在实际问题中相对于静态采样的优势。我们将我们的分析扩展到使用移动传感器监测时变带限场的采样和重建方案。我们证明,在某些情况下,我们需要一个较低的传感器密度时,使用移动传感方案,而不是传统的静态传感方案。对于采样和重建音频场的问题,量化了确切的优点。
2012-11-01 cs.CV cs.IT cs.MM
Image reconstruction by domain transform manifold learning
A.A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital(麻省总医院A.A.马蒂诺斯生物医学成像中心);Harvard Medical School(哈佛医学院);Harvard University(哈佛大学)
图像重建在物理和生命科学领域的所有现代成像模式的实施中起着关键作用,包括光学、MRI、CT、PET和射电天文学。在图像采集期间,传感器在传感器域中对对象的中间表示进行编码,该中间表示随后通过编码函数的逆而被重建为图像。图像重建具有挑战性,因为逆变换的分析知识可能不先验存在,特别是在存在传感器非理想性和噪声的情况下。因此,标准重建方法涉及在信号处理链中用多个特设阶段来近似反函数,信号处理链的组成取决于每个采集策略的细节,并且通常需要专家参数调整来优化重建性能。我们在这里提出了一个统一的框架,图像重建,自动transfOrm流形逼近(AUTOMAP),重铸图像重建作为一个数据驱动的,监督学习任务,允许传感器和图像域之间的映射出现从一个适当的语料库的训练数据。我们使用深度神经网络实现AUTOMAP,并使用相同的网络架构和超参数,展示了其在学习各种MRI采集策略的重建变换方面的灵活性。我们进一步证明了它的效率,稀疏表示沿低维流形变换,从而产生优越的免疫力的噪声和重建文物相比,传统的手工重建方法。除了提高现有采集方法的重建性能外,我们还预计随着AUTOMAP和学习重建方法减轻重建负担,将加速发现跨模式的新采集策略。
2017-04-28 cs.CV
Randomized Iterative Reconstruction for Sparse View X-ray Computed Tomography
Tomsk Polytechnic University(托木斯克理工大学);Sc Piretus Prod Srl
随着更强大的计算机的可用性,迭代重建算法是在设计用于X射线计算机断层摄影的更有效的重建算法中正在进行的工作的主题。在这项工作中,我们将展示如何通过使用随机迭代重建算法校正相应的重建,可以改善两个分析重建算法。随机迭代重建之后的组合的分析重建也可以被视为一种重建算法,在我们已经进行的实验中,与分析重建算法相比,该重建算法使用多达$35\%$更少的投影角度,并且在重建质量方面产生相同的结果,而不显著增加执行时间。
2017-03-06 cs.CV
Planar Surface Reconstruction from Sparse Views
University of Michigan(密歇根大学)
研究了在摄像机姿态未知的情况下,由两个视点重建室内场景的平面曲面。虽然现有方法已经成功地创建了许多场景的以对象为中心的重建,但它们未能利用其他结构,例如平面,这些结构通常是室内场景的主要组成部分。在本文中,我们重建平面表面从多个视图,同时联合估计相机姿态。我们的实验表明,我们的方法是能够推进从稀疏视图重建的艺术状态,从Matterport3D具有挑战性的场景。项目网址:https://jinlinyi.github.io/SparsePlanes/
2021-08-20 cs.CV
Multi-View Fusion Transformer for Sensor-Based Human Activity Recognition
Alibaba Group(阿里巴巴集团)
基于传感器的人类活动识别(HAR)作为泛在计算和机器学习的基础问题,近年来引起了广泛关注并取得了长足进展。HAR的目标是根据从多模态传感器(如加速度计和陀螺仪)收集的丰富时间序列数据的可用性来识别人类活动。然而,最近的深度学习方法专注于数据的一个视图,即,时间视图,而浅层方法倾向于利用手工特征进行识别,例如,统计观点。在本文中,提取一个更好的功能,以提高性能,我们提出了一种新的方法,即多视图融合Transformer(MVFT)以及一种新的注意力机制。首先,MVFT编码三个信息视图,即,时间、频繁和统计视图以生成多视图特征。其次,新的注意机制揭示内部和跨视图的线索,催化三个视图之间的相互作用,详细的关系建模。此外,在两个数据集上的大量实验表明,我们的方法优于几个国家的最先进的方法。
2022-02-16 cs.AI cs.CV cs.LG
MultiEgo: A Multi-View Egocentric Video Dataset for 4D Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学);VisionStar Information Technology (Shanghai) Co., Ltd.(VisionStar信息科技(上海)有限公司)
MultiEgo是首个多视角第一人称视频数据集,用于4D动态场景重建,包含五个社交互动场景,提供高精度姿态标注和亚毫秒级时间同步,适用于自由视角视频应用。
2025-12-12 cs.CV
Robust Multi-Image HDR Reconstruction for the Modulo Camera
TU Darmstadt(达姆施塔特工业大学)
拍摄高动态范围(HDR)场景对传感器位深度有限的消费类相机构成了巨大挑战。为了解决这个问题,Zhao等人最近提出了一种新颖的传感器概念-模数相机-它捕获记录场景的最低有效位,而不是进入饱和状态。与传统的流水线类似,HDR图像可以从多次曝光中重建,但所需的图像明显少于典型的饱和传感器。虽然这个概念是有吸引力的,我们表明,原来的重建方法假设无噪声测量,否则很快就崩溃了。为了解决这个问题,我们提出了一种新的重建算法,是强大的图像噪声,并产生显着更少的文物。我们从理论上分析的正确性以及局限性,并表明,我们的方法显着优于真实数据的基线。
2017-07-05 cs.CV
MonoFusion: Sparse-View 4D Reconstruction via Monocular Fusion
Carnegie Mellon University(卡内基梅隆大学)
MonoFusion通过单目融合技术,在稀疏视角下实现高质量的动态场景4D重建,优于传统密集多视角方法。
2026-03-01 cs.CV
Heuristics based Mosaic of Social-Sensor Services for Scene Reconstruction
RMIT University(皇家墨尔本理工大学);The University of Sydney(悉尼大学)
我们提出了一个基于知识的社会传感器云服务选择和组合模型来重建马赛克场景。所提出的方法利用众包的社交媒体图像来创建图像马赛克,以在指定的位置和时间间隔重建场景。新方法依赖于图像元数据的基础上定义的功能集,以确定服务的相关性和可组合性。开发新的过滤器来过滤掉不相关的服务。采用多种机器学习策略来产生平滑的服务组合,从而产生由地理位置和时间索引的相关图像的马赛克。初步的分析结果证明了所提出的组成模型的可行性。
2020-09-21 cs.CV
3D pavement surface reconstruction using an RGB-D sensor
Texas A&M University(德州农工大学);University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
路面管理系统的核心程序是数据汇集。用于此目的的现代技术,例如点基激光器和激光扫描仪,对于购买、操作和维护来说太昂贵。因此,发展中国家的城市官员很少能够使用这些装置进行数据汇集。本文旨在介绍一种经济有效的技术,可用于路面破损数据汇集和三维路面重建。本研究中应用的技术是Kinect传感器,它不仅具有成本效益,而且足够精确。Kinect传感器可以同时注册深度和彩色图像。推车被设计成安装Kinect传感器阵列。相机进行校准,并通过奇异值分解(SVD)算法校正收集的表面的斜率。然后,提出了一个程序,用于拼接RGB-D(红绿蓝深度)图像使用SURF(加速鲁棒特征)和MSAC(M-估计采样一致性)算法,以创建一个三维结构的路面。最后,横向轮廓提取和一些现场实验进行了评估所提出的方法检测路面缺陷的可靠性。
2019-07-12 cs.CV eess.IV
Rooftop Wind Field Reconstruction Using Sparse Sensors: From Deterministic to Generative Learning Methods
Department of Computing, Imperial College London(帝国理工学院伦敦分校计算机系);Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所);CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris(巴黎理工学院伊夫林-法兰西大区研究中心)
本文通过风洞实验数据开发了基于观测的学习框架,比较了Kriging插值与UNet、ViTAE和CWGAN等深度学习模型在稀疏传感器下的屋顶风场重建效果,发现深度学习方法在SSIM、FAC2和NMSE指标上均优于Kriging插值。
2026-03-13 cs.CV
AdaGS: Confidence-Gated Diffusion Adaptation for Unposed Sparse-View 3D Gaussian Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出通过置信度融合的伪视图增强方法,解决稀疏视角下户外场景重建中的几何不一致和伪影问题,提升重建质量和稳定性。
2026-11-02 cs.CV
Sensor Data Fusion in Top-View Grid Maps using Evidential Reasoning with Advanced Conflict Resolution
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT));FZI Research Center for Information Technology(FZI信息技术研究中心)
我们提出了一种新的方法来结合证据的顶视网格地图估计的基础上异构传感器源。Dempster的组合规则,通常应用于这种情况下,提供了不希望的结果与高度冲突的输入。因此,我们使用更先进的证据推理技术,并通过建模的证据源的可靠性,提高冲突解决。我们提出了一个数据驱动的可靠性估计,以优化融合质量使用的Kitti-360数据集。我们将所提出的方法应用于激光雷达和立体相机数据的融合,并定性和定量地评估结果。结果表明,我们所提出的方法鲁棒地结合测量异构传感器,并成功地解决了传感器冲突。
2022-04-19 cs.CV
Sparse multi-view hand-object reconstruction for unseen environments
Queen Mary University of London(伦敦玛丽女王大学);Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出稀疏多视角手-物体重建模型SVHO,将多视角RGB预测直接融合为统一重建结果,无需跨视角优化,并在真实未见物体数据上验证了额外视角对重建质量的提升作用。
2024-05-02 cs.CV
Super-Resolving Unseen Hyperspectral Sensors at Any Scale via Spatial Operators
Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学);University of Michigan(密歇根大学)
提出OmniHSR,通过预测共享频带的空间算子实现跨传感器任意尺度高光谱超分辨,仅0.538M参数,在未见数据集上优于直接迁移基线,PSNR提升0.55dB,推理加速36倍。
2026-10-01 cs.CV