LiteDepth: Digging into Fast and Accurate Depth Estimation on Mobile Devices
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）
单目深度估计是计算机视觉领域的一项重要任务。虽然大量成功的方法已经取得了很好的效果，但它们中的大多数都是计算昂贵的，不适用于实时的设备上的推理。在本文中，我们的目标是解决单目深度估计的更多实际应用，其中解决方案不仅要考虑精度，还要考虑移动设备上的推理时间。为此，我们首先开发了一个端到端的基于学习的模型，具有很小的权重大小（1.4MB）和很短的推理时间（Raspberry Pi 4上的27 FPS）。然后，我们提出了一个简单而有效的数据增强策略，称为R2作物，以提高模型的性能。此外，我们观察到，只有一个单一的损失项训练的简单的轻量级模型将遭受性能瓶颈。为了缓解这个问题，我们采用多个损失项，以提供足够的约束，在训练阶段。此外，通过一个简单的动态重新加权策略，我们可以避免耗时的损失项超参数选择。最后，我们采用结构感知蒸馏，以进一步提高模型的性能。值得注意的是，我们名为LiteDepth的解决方案在MAI & AIM 2022 Monocular深度估计挑战赛中排名第二，si-RMSE为0.311，RMSE为3.79，推理时间为37 $ms$在Raspberry Pi 4上测试。值得注意的是，我们提供最快的解决方案来应对挑战。代码和型号将在\url{https://github.com/zhyever/LiteDepth}发布。
2022-09-02 cs.CV
METER: a mobile vision transformer architecture for monocular depth estimation
Sapienza University of Rome（罗马第一大学）
本文提出轻量级视觉Transformer架构METER，用于嵌入式设备上的单目深度估计，通过三种配置、新型损失函数和数据增强策略，在NYU Depth v2和KITTI数据集上超越现有轻量级方法，实现低延迟推理。
2024-03-13 cs.CV
PTC-Depth: Pose-Refined Monocular Depth Estimation with Temporal Consistency
Ajou University（亚洲大学）；Sony Creative AI Lab（索尼创意AI实验室）
本文提出PTC-Depth框架，通过轮式里程计实现稳定深度估计，结合光流三角化估计相机姿态和稀疏深度，利用递归贝叶斯估计修正尺度，提升深度预测的准确性和一致性。
2026-04-02 cs.CV
HDPV-SLAM: Hybrid Depth-augmented Panoramic Visual SLAM for Mobile Mapping System with Tilted LiDAR and Panoramic Visual Camera
York University（约克大学）
提出HDPV-SLAM，融合全景相机与倾斜激光雷达，通过深度学习稠密化深度和混合深度关联解决稀疏与重叠不足，在YUTO数据集上超越现有SLAM系统。
2023-06-22 cs.CV cs.RO
Bokeh Rendering Based on Adaptive Depth Calibration Network
Tsinghua University（清华大学）
散景渲染是一种流行且有效的技术，用于摄影中，以创建美观的效果。它被广泛用于模糊背景和突出前景中的主题，从而将观众的注意力吸引到图像的主要焦点上。在传统的数码单反相机（DSLR）中，这种效果是通过使用大光圈镜头来实现的。这使得相机能够捕捉具有浅景深的图像，其中只有图像的一小部分区域处于清晰对焦状态，而图像的其余部分则是模糊的。然而，手机中嵌入的硬件通常比数码单反相机中的小得多，也更有限。因此，移动电话无法捕获自然的浅景深照片，这可能是移动摄影的重大限制。为了应对这一挑战，在本文中，我们提出了一种使用视觉Transformer进行散景渲染的新方法，这是一种最新的强大的深度学习架构。我们的方法采用了自适应深度校准网络，作为一个置信水平，以补偿单目深度估计的错误。该网络用于结合深度信息监督渲染过程，从而以高分辨率生成高质量的散景图像。我们的实验表明，我们提出的方法优于国家的最先进的方法，实现约24.7%的LPIPS的改善，并获得更高的PSNR分数。
2023-02-21 cs.CV
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
我们提出了一种新的管道，用于在野外使用单个智能手机获取纹理网格，该智能手机可以访问图像，深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构，它可以产生过滤后的深度图，并根据相应的深度来细化相机姿态。然后，我们采用神经隐式曲面重建方法，它允许高质量的网格，并开发了一个新的训练过程，用于应用经典的多视图立体视觉方法提供的正则化。此外，我们应用微分渲染微调不完整的纹理地图，并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象，而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果，并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
Mobile-GS: Real-time Gaussian Splatting for Mobile Devices
Mobile-GS通过深度感知无序渲染和神经视图依赖增强策略，实现在移动设备上的高效实时高斯点云分裂，同时减少计算和存储需求，保持高质量渲染。
2026-03-12 cs.CV
Mobile-4DGS: Unified Static-Dynamic Real-time Mobile Gaussian Splatting
University of Technology Sydney（悉尼科技大学）；Yale University（耶鲁大学）；City University of Macau（澳门城市大学）；Australian National University（澳大利亚国立大学）；Adelaide University（阿德莱德大学）
Mobile-4DGS提出统一轻量级框架，通过能量聚合、属性增强和深度顺序重用，实现移动端实时高保真静态与动态高斯溅射，大幅降低存储和渲染开销。
2026-10-14 cs.CV
Lightweight Monocular Depth Estimation via Token-Sharing Transformer
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；MOBIS（摩比斯）
针对Transformer参数大、计算成本高难以部署在嵌入式设备的问题，提出面向嵌入式设备优化的Token-Sharing Transformer轻量化单目深度估计架构，通过全局令牌共享实现高吞吐量高精度预测，在NYU Depth v2数据集上性能与速度优于现有方法。
2023-06-09 cs.AI cs.CV cs.LG
One Shot 3D Photography
Facebook（脸书）
3D摄影是一种新的媒介，可以让观众更充分地体验捕捉到的瞬间。在这项工作中，我们指的是一个3D照片，显示视差引起的移动视点（而不是一个立体对固定的观点）。与传统照片一样，3D照片在时间上是静态的，但在移动或桌面屏幕上以及在虚拟现实设备上以交互式视差显示，其中观看它还包括立体声。我们提出了一个用于创建和查看3D照片的端到端系统，以及其中的算法和设计选择。我们的3D照片是在Single Shot中拍摄的，并直接在移动终端上处理。该方法通过使用针对移动设备优化的新的单目深度估计网络从2D输入图像估计深度来开始。它的性能与最先进的技术相比具有竞争力，但具有更低的延迟和峰值内存消耗，并且使用的参数数量级更少。所得到的深度被提升到分层的深度图像，并且在视差区域中合成新的几何形状。我们合成颜色纹理和结构的视差区域，以及使用修复网络，也优化了移动设备，直接在LDI上。最后，我们将结果转换为基于网格的表示，即使在低端设备和网络连接不佳的情况下也可以有效地传输和渲染。总而言之，在移动终端上处理只需几秒钟，结果可以立即查看和共享。我们进行了广泛的定量评估，以验证我们的系统，并将其新组件与当前最先进的组件进行比较。
2020-09-01 cs.CV cs.GR
FusionMapping: Learning Depth Prediction with Monocular Images and 2D Laser Scans
Carnegie Mellon University（卡内基梅隆大学）
获取准确的三维深度信息通常需要昂贵的多波束LiDAR设备。最近，研究人员通过预测二维彩色图像的深度信息开发了一种更便宜的选择。然而，从二维图像估计的深度信息与真实LiDAR点云之间仍然存在很大的准确性差距。在本文中，我们介绍了一种基于融合的深度预测方法，称为FusionMapping。这是第一个融合彩色图像和二维激光扫描来估计深度信息的方法。更具体地说，我们提出了一个自动编码器为基础的深度预测网络和一个新的点云细化网络的深度估计。我们分析了我们的FusionMapping方法在KITTI LiDAR测距数据集和室内移动机器人系统上的性能。结果表明，与现有方法相比，我们介绍的方法估计深度具有更好的准确性。
2019-11-29 cs.CV
SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
在野外，单目深度估计固有地预测未知尺度的深度。为了解决尺度模糊问题，我们提出了一种学习算法，利用单目同时定位与地图构建（SLAM）与本体感受传感器。这样的单目SLAM系统可以提供度量缩放的相机姿态。给定这些度量姿态和单目序列，我们提出了一种用于预训练的监督单目深度网络的自监督学习方法，以实现度量缩放的深度估计。我们的方法是基于师生公式，指导我们的网络预测高质量的深度。我们证明，我们的方法是有用的，如移动机器人导航的各种应用，并适用于不同的环境。我们的完整系统显示了对最近的自监督深度估计和完成方法在EuRoC，OpenLORIS和ScanNet数据集上的改进。
2022-03-10 cs.CV
A 3D-Deep-Learning-based Augmented Reality Calibration Method for Robotic Environments using Depth Sensor Data
Technical University of Berlin（柏林工业大学）；Microsoft Cloud and AI Security（微软云与人工智能安全部门）
增强现实和移动机器人由于具有使过程成本和时间有效的高潜力而在工业中获得了很多关注。为了促进增强现实，增强现实设备和环境之间的校准是必要的。这是一个挑战，当处理移动机器人由于所有实体的移动性，使环境动态。在这个帐户上，我们提出了一种新的方法来校准的增强现实设备使用3D深度传感器数据。我们使用尖端增强现实设备的深度相机-微软Hololens进行基于深度学习的校准。因此，我们修改了一个神经网络的基础上，最近发表的投票网架构，直接对点云输入观察的全息透镜。我们实现了令人满意的结果，并消除了标记等外部工具，从而为增强现实集成提供了更直观、更灵活的工作流程。结果适用于所有深度相机，并有希望进行进一步的研究。此外，我们还介绍了一个开源的3D点云标记工具，据我们所知，这是第一个用于标记原始点云数据的开源工具。
2019-12-27 cs.CV cs.LG cs.RO
MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices
University of Oxford（牛津大学）；Apple（苹果公司）
高质量的3D地面实况形状对于3D对象重建评估至关重要。然而，在现实中很难创建物体的复制品，即使是3D扫描仪生成的3D重建也会产生导致评估偏差的伪影。为了解决这个问题，我们介绍了一种新的多视图RGBD数据集捕获使用移动终端，其中包括高度精确的3D地面实况注释为153个对象模型具有不同的3D结构集。我们通过利用具有已知几何形状的乐高模型作为图像捕获的3D结构，在不依赖高端3D扫描仪的情况下获得精确的3D地面真实形状。由在移动终端上捕获的高分辨率RGB图像和低分辨率深度图提供的独特数据模式，当与精确的3D几何注释相结合时，为高保真3D重建的未来研究提供了独特的机会。此外，我们评估了一系列的三维重建算法的建议数据集。项目页面：www.example.com
2023-03-09 cs.CV cs.LG
Motion Guided LIDAR-camera Self-calibration and Accelerated Depth Upsampling for Autonomous Vehicles
Ford Motor Company（福特汽车公司）
提出了一种新的运动引导方法，用于LiDAR和相机的无目标自校准，并使用LiDAR点到图像参考帧上的重新投影进行实时深度上采样。通过优化目标函数来估计校准参数，该目标函数惩罚从时间同步的图像和点云序列获得的2D和重新投影的3D运动矢量之间的距离。对于上采样，提出了一种简单，但有效和时间效率的配方，最大限度地减少深度梯度的等式约束，涉及激光雷达测量。从城市环境中记录的真实数据进行验证和演示，我们的两种方法是有效的，适用于移动机器人和自动驾驶汽车应用施加实时要求。
2020-07-02 cs.CV
Learning Multi-modal Information for Robust Light Field Depth Estimation
Dalian University of Technology（大连理工大学）
光场数据已被证明有助于深度估计任务。大多数基于学习的方法从EPI或子孔径图像估计深度信息，而较少的方法关注焦点堆栈。现有的基于学习的来自焦点堆栈的深度估计方法由于散焦模糊而导致次优性能。在本文中，我们提出了一种多模态学习方法的鲁棒光场深度估计。我们首先通过设计一个上下文推理单元来挖掘内部的空间相关性，该单元分别从焦点堆栈和RGB图像中提取全面的上下文信息。然后，我们整合的上下文信息，利用注意力引导跨模态融合模块。大量的实验表明，我们的方法实现了优越的性能比现有的代表性方法在两个光场数据集。此外，在手机数据集上的视觉结果表明，我们的方法可以广泛应用于日常生活中。
2021-04-13 cs.CV
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography
Princeton University（普林斯顿大学）
现代移动连拍摄影流水线捕获并合并短帧序列以恢复增强的图像，但通常忽略它们捕获的场景的3D性质，将图像之间的像素运动视为2D聚合问题。我们表明，在一个“长脉冲”，四十二个12万像素的RAW帧捕获在一个两秒的序列，有足够的视差信息从自然的手震颤单独恢复高质量的场景深度。为此，我们设计了一种测试时间优化方法，该方法将神经RGB-D表示与长突发数据相匹配，并同时估计场景深度和相机运动。我们的平面加深度模型是端到端训练的，并通过控制网络在训练期间的什么时间可以访问哪些多分辨率体积特征来执行从粗到细的细化。我们通过实验验证了该方法，并展示了几何精度的深度重建，无需额外的硬件或单独的数据预处理和姿态估计步骤。
2023-03-27 cs.CV
GEN-SLAM: Generative Modeling for Monocular Simultaneous Localization and Mapping
Ford Greenfield Labs（福特格林菲尔德实验室）；KULeuven（鲁汶大学）
我们提出了一个基于深度学习的系统，用于任何移动机器人都必不可少的定位和避障双重任务。我们的系统从传统的几何SLAM学习，并使用单个相机输出相机在环境中的拓扑姿态以及周围障碍物的深度图。我们使用CNN在拓扑图中进行定位，并使用条件VAE输出相机图像的深度，条件是该拓扑位置估计。我们证明了我们的单目定位和深度估计系统在模拟和真实数据集上的有效性。
2019-02-06 cs.CV
PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio
PocketSplat提出一种前馈框架，通过世界空间潜在分配和精确容量控制，在移动设备上实现预算受限的高斯重建，在DL3DV和Mip-NeRF 360上达到高质量与低内存的平衡。
2026-10-05 cs.CV
LighthouseGS: Indoor Structure-aware 3D Gaussian Splatting for Panorama-Style Mobile Captures
Ulsan National Institute of Science and Technology (UNIST)（乌山国立科学技术研究院）
LighthouseGS通过利用室内结构和几何先验，提升单移动设备全景式捕捉的3D点估计和视图合成性能。
2026-02-11 cs.AI cs.CV cs.GR
Robust 6DoF Pose Estimation Against Depth Noise and a Comprehensive Evaluation on a Mobile Dataset
UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）；UCLA（加州大学洛杉矶分校）
本文针对移动设备深度噪声导致6DoF位姿估计性能下降的问题，提出基于Transformer的DTTDNet方法，并构建DTTD-Mobile数据集，显著提升了噪声下的位姿估计鲁棒性。
2025-06-03 cs.CV
Realistic Bokeh Effect Rendering on Mobile GPUs, Mobile AI & AIM 2022 challenge: Report
由于具有紧凑光学器件的移动相机无法产生强大的散景效果，因此现在人们对基于深度学习的解决方案非常感兴趣。在这项移动AI挑战赛中，目标是开发一种高效的端到端基于AI的散景效果渲染方法，该方法可以使用TensorFlow Lite在现代智能手机GPU上运行。参与者获得了大规模的EBB！散景数据集由使用佳能7 D DSLR相机捕获的5 K浅/宽景深图像对组成。在麒麟9000的Mali GPU上评估了生成模型的运行时，该GPU为大多数常见的深度学习操作提供了出色的加速结果。本文提供了在这一挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report
移动相机的作用在过去几年中急剧增加，导致越来越多的研究自动图像质量增强和RAW照片处理。在这项移动人工智能挑战中，目标是开发一个高效的端到端基于人工智能的图像信号处理（ISP）管道，取代可以使用TensorFlow Lite在现代智能手机GPU上运行的标准移动ISP。参与者获得了一个大规模的Fujifilm UltraISP数据集，该数据集由普通移动相机传感器和专业102 MP中画幅Fujifilm GFX 100相机拍摄的数千张配对照片组成。在Snapdragon 8 Gen 1 GPU上对生成模型的运行时进行了评估，该GPU为大多数常见的深度学习操作提供了出色的加速结果。所提出的解决方案与所有最新的移动GPU兼容，能够在不到20-50毫秒的时间内处理全高清照片，同时实现高保真效果。本文提供了在这一挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
MoGDE: Boosting Mobile Monocular 3D Object Detection with Ground Depth Estimation
Shanghai Jiao Tong University（上海交通大学）；Donghua University（东华大学）
移动环境中的单目3D目标检测（Mono 3D）（例如，在车辆、无人机或机器人上）是一项重要但具有挑战性的任务。由于单目视觉的远近视差现象和摄像机姿态的不断变化，使得对远距离目标的检测精度很难得到保证。受物体的深度可以根据其所在地面的深度很好地确定的见解的启发，在本文中，我们提出了一种新的Mono 3D框架，称为MoGDE，它不断估计图像的相应地面深度，然后利用估计的地面深度信息来指导Mono 3D。为此，我们利用姿态检测网络来估计相机的姿态，然后根据3D到2D的透视几何构造描绘像素级地面深度的特征图。此外，为了改进Mono 3D，利用估计的地面深度，设计了一种基于Transformer结构的RGB-D特征融合网络，利用远程自注意力机制有效识别地面接触点，并将相应的地面深度固定到图像特征图上。我们在真实世界的KITTI数据集上进行了广泛的实验。实验结果表明，MoGDE能有效地提高Mono 3D的精度和鲁棒性。与最先进的方法相比，MoGDE产生了最佳性能，并且在KITTI 3D基准测试中排名第一。
2023-03-23 cs.CV
Synthetic Depth-of-Field with a Single-Camera Mobile Phone
Google Research（谷歌研究院）
浅景深通常被摄影师用来将主体从分散注意力的背景中分离出来。然而，标准的手机摄像头不能光学地产生这样的图像，因为它们的短焦距和小光圈捕获几乎全聚焦的图像。我们提出了一个系统，计算合成浅景深图像与一个单一的移动相机和一个单一的按钮。如果图像是一个人，我们使用一个人分割网络将人及其配件从背景中分离出来。如果可用，我们还使用密集的双像素自动对焦硬件，有效地使用具有大约1毫米基线的2样本光场来计算密集的深度图。这两个信号被组合并用于渲染散焦图像。我们的系统可以在4秒内在手机上处理540万像素的图像，是全自动的，并且足够强大，可以由非专家使用。我们的系统的模块化性质允许它在没有双像素传感器或人类受试者的情况下自然降解。
2018-06-11 cs.CV cs.GR
Depth-guided Free-space Segmentation for a Mobile Robot
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对室内复杂动态环境下可通行区域分割难的问题，提出结合深度信息、无监督掩码、超像素与DPT特征对齐的方法，微调SegFormer模型，在自定义室内数据集的复杂场景下取得良好效果。
2023-11-03 cs.CV cs.RO
Towards Semi-automatic Detection and Localization of Indoor Accessibility Issues using Mobile Depth Scanning and Computer Vision
University of Washington（华盛顿大学）
为了帮助改善室内空间的安全性和可达性，研究人员和卫生专业人员已经创建了评估工具，使房主和训练有素的专家能够审计和改善房屋。随着计算机视觉、增强现实（AR）和移动传感器的进步，新的方法现在成为可能。我们介绍RASSAR（增强现实中的房间无障碍和安全扫描），这是一种新的概念验证原型，用于使用LiDAR +相机数据，机器学习和AR半自动识别，分类和定位室内无障碍和安全问题。我们目前的RASSAR原型的概述和初步评估在一个单一的家庭。
2022-10-05 cs.CV cs.CY cs.HC
Intrinsic Calibration of Depth Cameras for Mobile Robots using a Radial Laser Scanner
University of Malaga（马拉加大学）
深度相机通常采用RGB-D配置，是移动机器人平台中的常见设备，因为它们具有吸引人的功能：高频率和分辨率，低价格和功率要求等。这些传感器在深度测量中可能会出现严重的非线性误差，这会危及机器人的任务，如自由空间检测，环境重建或视觉机器人-人类交互。本文提出了一种方法来校准这样的系统误差的帮助下，第二，更精确的距离传感器，在我们的情况下，径向激光扫描仪。与最初看起来的情况相反，这并不意味着在实践中存在严重的限制，因为这两个传感器通常共同安装在许多移动机器人平台中，因为它们彼此互补。此外，激光扫描仪可以仅用于校准过程，并且在校准过程之后将其去除。本文的主要贡献是：i）校准是从概率的角度通过最大似然估计问题，和ii）所提出的方法可以很容易地自动执行移动机器人平台。为了验证所提出的方法，我们对3D平面重建的局部失真和测量中的全局偏移进行了评估，获得了更加准确的结果。为了社区的利益，已经发布了所提出方法的C++开源实现。
2019-07-03 cs.CV cs.RO
Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation
Cerebras Systems
我们建议将内存节省技术与传统的U-Net架构相结合，以增加脑肿瘤分割（BraTS）挑战模型的复杂性。BraTS挑战包括将240 x240 x155 x4输入图像3D分割为一组肿瘤类别。由于体积大，需要3D卷积层，因此该任务非常占用内存。为了解决这个问题，以前的方法使用较小的裁剪图像，同时限制模型的深度和宽度。我们的3D U-Net使用MobileNetV 2，MnasNet和最近的EfficientNet架构中定义的移动反向瓶颈块的可逆版本，以在训练期间节省激活内存。使用可逆层使模型能够在给定该层输出的情况下重新计算输入激活，通过消除在前向传递期间存储激活的需要来节省内存。反向残差瓶颈块使用轻量级的dependency可分离卷积，通过将卷积分解为逐点卷积和dependency卷积来减少计算。此外，该块通过在输入和输出线性1x 1卷积之间放置中间扩展层来反转传统的瓶颈块，从而减少通道总数。给定固定的内存预算，通过这些内存节省技术，我们能够训练高达3倍大的图像体积，深度增加25%的模型，或者通道数量高达2倍的模型。
2021-04-21 cs.CV cs.LG eess.IV
Power Efficient Video Super-Resolution on Mobile NPUs with Deep Learning, Mobile AI & AIM 2022 challenge: Report
视频超分辨率是移动设备上最受欢迎的任务之一，被广泛用于低比特率和低分辨率视频流的自动改进。虽然已经针对该问题提出了许多解决方案，但它们通常对计算要求很高，在移动设备上表现出低FPS速率和功率效率。在这次移动AI挑战中，我们解决了这个问题，并建议参与者为移动NPU设计一个端到端的实时视频超分辨率解决方案，以实现低能耗。向参与者提供包含用于4X视频放大任务的视频序列的REDS训练数据集。所有型号的运行时间和电源效率都在强大的联发科技9000平台上进行了评估，该平台具有能够加速浮点和量化神经网络的专用AI处理单元。所有提出的解决方案都与上述NPU完全兼容，表现出高达500 FPS的速率和0.2 [瓦/ 30 FPS]的功耗。本文提供了在挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
A Method of Generating Measurable Panoramic Image for Indoor Mobile Measurement System
State Key Laboratory of Information Engineering in Survering, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；Xi Rui Optoelectronics Technology Co., Ltd.（西瑞光电科技有限公司）
本文设计了一条高质量的具有深度信息的全景图像生成技术路线，涉及两个关键的研究热点：LiDAR与图像数据的融合和图像拼接。对于3D点和图像数据的融合，由于稀疏的深度图可以首先通过投影到RGB图像平面上基于我们可靠的校准和同步的传感器的LiDAR点，我们采用了一个参数自适应框架，以产生2D密集的深度图。对于图像拼接，采用基于图割的方法搜索重叠区域的最佳拼接线以减轻几何影响，采用基于金字塔多波段的图像融合以消除拼接线附近的光度影响。由于每个像素都与一个深度值相关联，因此我们将该深度值设计为球面投影中的半径，该球面投影可以进一步将全景图像投影到世界坐标，从而产生高质量的可测量全景图像。该方法在数据汇集平台上进行了测试，具有良好的应用前景。
2020-10-27 cs.CV
Compressed Depth Map Super-Resolution and Restoration: AIM 2024 Challenge Results
University of Würzburg（维尔茨堡大学）；Sony PlayStation（索尼互动娱乐 PlayStation）；Meta Reality Labs（元宇宙实境实验室）
本文总结了AIM 2024挑战赛结果，针对压缩深度图尺寸大且易因压缩损失质量的问题，提出开发创新的深度上采样技术以从压缩数据中重建高质量深度图，旨在推进深度处理技术并提升AR/VR用户体验。
2024-09-24 cs.CV eess.IV
Efficient and Accurate Quantized Image Super-Resolution on Mobile NPUs, Mobile AI & AIM 2022 challenge: Report
图像超分辨率是移动和物联网设备上的常见任务，通常需要放大和增强低分辨率图像和视频帧。虽然在过去已经针对该问题提出了许多解决方案，但是它们通常与具有许多计算和存储器约束的低功率移动NPU不兼容。在这个移动AI挑战中，我们解决了这个问题，并建议参与者设计一个有效的量化图像超分辨率解决方案，可以在移动NPU上展示实时性能。参与者获得了DIV2K数据集和经过训练的INT8模型，以进行高质量的3X图像放大。所有模型的运行时间都在Synaptics VS680智能家居板上进行了评估，该板具有能够加速量化神经网络的专用边缘NPU。所有提出的解决方案都与上述NPU完全兼容，在重建全高清分辨率图像时，显示出高达60 FPS的速率。本文提供了在挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
MobileSal: Extremely Efficient RGB-D Salient Object Detection
Nankai University（南开大学）；University of Adelaide（阿德莱德大学）
神经网络的高计算成本阻碍了RGB-D显著目标检测（SOD）的最新成功，使其无法用于实际应用。因此，本文介绍了一种新的网络，MobileSal，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示方面不如笨重的网络强大。为此，我们观察到，彩色图像的深度信息可以加强与SOD相关的特征表示，如果利用得当。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强移动网络的RGB-D SOD的特征表示能力。IDR仅在训练阶段采用，在测试期间省略，因此它是计算自由的。此外，我们提出了紧凑的金字塔细化（CPR）高效的多层次特征聚合，以获得清晰的边界显着的对象。通过整合IDR和CPR，MobileSal在六个具有挑战性的RGB-D SOD数据集上与最先进的方法相比表现良好，速度更快（对于320 $\times$ 320的输入大小为450 fps），参数更少（6.5M）。代码发布于https://mmcheng.net/mobilesal。
2022-01-12 cs.CV
Image Based Food Energy Estimation With Depth Domain Adaptation
Purdue University（普渡大学）
对膳食摄入量的评估主要依靠自我报告工具，这种工具容易出现测量误差。饮食评估方法越来越多地采用技术进步，特别是移动，基于图像的方法，以解决这些限制和进一步自动化。移动的、基于图像的方法可以通过从由移动设备捕获的进食场合图像自动估计饮食摄入来减少用户负担和偏差。在本文中，我们提出了一个“能量密度图”，这是一个像素到像素的映射从RGB图像的能量密度的食物。然后，我们将“能量密度图”与由深度传感器捕获的相关深度图相结合，以估计食物能量。该方法在Nutrition5k数据集上进行了评估。实验结果表明，与基线方法相比，改进的结果具有13.29 kCal的平均误差和13.57%的平均百分比误差之间的地面实况和估计的能量的食物。
2022-08-25 cs.AI cs.CV cs.LG
Dynamic Environment Mapping for Augmented Reality Applications on Mobile Devices
Trinity College Dublin（都柏林圣三一学院）
增强现实是当今最感兴趣的话题。它的主要目标是将虚拟内容无缝地融合到现实世界的场景中。由于移动设备中计算能力的缺乏，实时渲染具有高质量、连贯外观的虚拟对象仍然是一个活跃的研究领域。在这项工作中，我们提出了一种新的管道，允许耦合的环境采集和虚拟对象渲染的移动终端配备了深度传感器。在将人类交互保持在最低限度的同时，我们的系统可以扫描真实场景并将其投影到包含RGB+深度数据的二维环境地图上。此外，我们定义了一组标准，允许环境地图的自适应更新，以考虑场景中的动态变化。然后，在漫反射表面和远距离照明的假设下，我们的方法利用球谐系数的辐照度的解析表达式，这导致一个非常有效的渲染算法。我们表明，在我们的管道中的所有进程可以执行，同时保持在移动终端上的平均帧速率为31 Hz。
2018-09-21 cs.CV
ANTNets: Mobile Convolutional Neural Networks for Resource Efficient Image Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon Lab126（亚马逊Lab126）；Korea University（高丽大学）；Amazon Inc（亚马逊公司）
深度卷积神经网络在计算机视觉中取得了显著的成功。然而，深度神经网络需要大量的计算资源来实现高性能。虽然深度可分卷积可以是一个有效的模块来近似一个标准的卷积，它往往会导致降低网络的代表性的权力。在本文中，预算约束下，如计算成本（MAds）和参数计数，我们提出了一种新的基本架构块，ANTBlock。它通过在高维空间中对ANTBlocks中的dependency卷积层和投影层之间的通道的相互依赖性进行建模来增强表示能力。我们的实验表明，由一系列ANTBlocks构建的ANTNet在多个数据集上的性能始终优于最先进的低成本移动卷积神经网络。在CIFAR 100上，我们的模型达到了75.7%的top-1准确率，比MobileNetV 2高1.5%，参数少8.3%，计算成本少19.6%。在ImageNet上，我们的模型达到了72.8%的top-1准确率，比MobileNetV 2提高了0.8%，在iPhone 5s上达到了157.7ms（快20%）。
2019-09-04 cs.CV
Towards Domain-agnostic Depth Completion
Zhejiang University（浙江大学）；DJI Technology（大疆创新科技）；Adobe Research（奥多比研究院）；University of Oxford（牛津大学）
提出一种利用数据驱动先验和模拟稀疏模式的深度补全方法，有效提升跨领域泛化能力，为移动设备高质量深度采集提供实用方案。
2024-04-08 cs.CV
Depth Completion with Multiple Balanced Bases and Confidence for Dense Monocular SLAM
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
本文提出BBC-Net多基深度补全网络，以即插即用方式集成到稀疏SLAM系统，通过预测多平衡基与置信度并结合深度权重因子优化，实现在移动设备上的高质量在线单目稠密建图。
2025-03-07 cs.CV
Smart mobile microscopy: towards fully-automated digitization
Skoltech（斯科尔科沃科学技术学院）；SPbU（圣彼得堡国立大学）
移动显微镜是一个新形成的领域，从光学显微镜的能力和移动设备的传播，功能和不断增加的计算资源的组合中出现。尽管创建一个系统，将成功地合并显微镜，许多计算机视觉方法，并定期检查移动终端的想法，所产生的实施仍然需要一个合格的操作员的存在来控制标本数字化。在本文中，我们解决的任务，超越这一限制，并提出了一个“智能”的移动显微镜的概念，旨在自动数字化的最有价值的视觉信息的标本。我们通过将自动显微镜设置控制和经典技术（如自动对焦、焦点内过滤和焦点堆叠）相结合来实现这一点，这些技术作为移动跨平台库的一部分进行了调整和优化。
2021-05-24 cs.CV eess.IV
Bokeh-Loss GAN: Multi-Stage Adversarial Training for Realistic Edge-Aware Bokeh
Sensebrain Technology（Sensebrain科技）
在本文中，我们解决了单目散景合成的问题，我们试图从一个单一的全聚焦图像渲染一个浅景深的图像。与DSLR相机不同，由于移动光圈的物理限制，这种效果无法直接在移动相机中捕获。因此，我们提出了一种基于网络的方法，能够从单个图像输入渲染逼真的单眼散景。为此，我们引入了三种新的边缘感知散景损失，它们基于预测的单目深度图，在模糊背景的同时锐化前景边缘。然后使用对抗性损失对该模型进行微调，以生成逼真的散景效果。实验结果表明，我们的方法是能够产生一个愉快的，自然的散景效果与尖锐的边缘，同时处理复杂的场景。
2022-08-25 cs.CV eess.IV
Deploying Image Deblurring across Mobile Devices: A Perspective of Quality and Latency
MediaTek Inc.（联发科公司）
近年来，图像增强和恢复已经成为移动设备上的重要应用，例如超分辨率和图像去模糊。然而，大多数最先进的网络呈现出极高的计算复杂性。这使得它们难以以可接受的延迟部署在移动设备上。而且，当部署到不同的移动设备时，由于移动设备上的深度学习加速器的差异和限制，存在较大的延迟变化。在本文中，我们对便携式网络架构进行了搜索，以在移动设备上实现更好的质量-延迟权衡。我们进一步提出了广泛使用的网络优化图像去模糊任务的有效性。本文提供了全面的实验和比较，以揭示对延迟和图像质量的深入分析。通过以上工作，我们展示了在深度学习加速器的加速下，图像去模糊应用在移动设备上的成功部署。据我们所知，这是第一篇解决跨移动设备的图像去模糊任务的所有部署问题的论文。本文提供了实用的部署指南，并被NTIRE 2020智能手机赛道图像去模糊挑战赛冠军团队采用。
2020-04-27 cs.CV eess.IV
Veni Vidi Dixi: Reliable Wireless Communication with Depth Images
Technical University of Munich（慕尼黑工业大学）
即将到来的工业革命需要部署关键的无线传感器网络，用于自动化和监控目的。然而，无线通信的可靠性被通信环境中的移动元件（诸如人或移动机器人）变得不可预测，这导致动态变化的无线电环境。可以利用频繁的导频传输来监视无线信道中的变化。然而，这会对传感器的电池寿命造成压力。在这项工作中，一个新的无线信道估计技术，Veni Vidi Dixi，VVD，提出。VVD利用从通信环境中的监视摄像机获得的深度图像中的冗余信息，并利用卷积神经网络CNN将通信环境的深度图像映射到复杂的无线信道估计。VVD增加了无线通信的可靠性，而不需要频繁的导频传输，并且在接收机上没有额外的复杂性。所提出的方法进行测试，在室内环境中与一个移动的人进行测量。据作者所知，我们的工作是第一次获得复杂的无线信道估计，只有深度图像没有任何导频传输。收集的无线跟踪、深度图像和代码是公开的。
2019-12-04 cs.CV cs.IT cs.LG
ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data
Apple（苹果公司）
场景理解是一个非常活跃的研究领域。商业深度传感器，如Kinect，在过去几年中已经发布了几个RGB-D数据集，这些数据集催生了3D场景理解的新方法。最近，随着苹果iPad和iPhone中LiDAR传感器的推出，数百万人可以在他们常用的设备上访问高质量的RGB-D数据。这为计算机视觉社区以及应用程序开发人员开启了一个全新的场景理解时代。场景理解的基础研究以及机器学习的进步现在可以影响人们的日常体验。然而，将这些场景理解方法转化为现实世界的体验需要额外的创新和开发。本文介绍ARKitScenes。它不仅是第一个使用现在广泛使用的深度传感器捕获的RGB-D数据集，而且据我们所知，它也是发布的最大的室内场景理解数据。除了来自移动终端的原始数据和处理后的数据外，ARKitScenes还包括使用固定激光扫描仪捕获的高分辨率深度图，以及用于大型家具分类的手动标记的3D定向边界框。我们进一步分析了两个下游任务的数据的有用性：3D目标检测和颜色引导的深度上采样。我们证明了我们的数据集可以帮助推动现有最先进方法的界限，并引入了更好地代表现实世界场景的新挑战。
2022-01-12 cs.AI cs.CV
PyNET-CA: Enhanced PyNET with Channel Attention for End-to-End Mobile Image Signal Processing
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Amazon Web Services（亚马逊云服务）
从用移动终端获得的RAW数据重建RGB图像与许多图像信号处理（ISP）任务有关，例如去马赛克、去噪等。深度神经网络在单独解决这些任务方面，甚至用一个模型取代整个重建过程方面，已经显示出优于手工ISP算法的有希望的结果。在这里，我们提出了PyNET-CA，这是一种用于RAW到RGB重建的端到端移动ISP深度学习算法。该模型增强了PyNET（最近提出的移动ISP最先进模型），并通过通道注意力和子像素重建模块提高了其性能。我们通过比较实验和AIM 2020学习智能手机ISP挑战的结果证明了所提出方法的性能。我们实现的源代码可以在https://github.com/egyptdj/skyb-aim2020-public上获得
2021-04-07 cs.CV cs.LG eess.IV
A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
Universität Hamburg（汉堡大学）；RWTH Aachen University（亚琛工业大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Tsinghua University（清华大学）
在本文中，我们提出了一个多模式的移动遥操作系统，包括一个新的基于视觉的手姿态回归网络（Transteleop）和基于IMU的手臂跟踪方法。Transteleop通过低成本的深度相机观察人手，不仅生成关节角度，还通过图像到图像转换过程生成配对机器人手姿势的深度图像。一个基于关键点的重建损失探索人类和机器人之间的外观和解剖结构的相似性，并丰富了重建图像的局部特征。可穿戴摄像头支架可实现同时的手臂控制，并促进整个遥操作系统的移动性。测试数据集和各种复杂的操作任务，超越简单的取放操作的网络评估结果表明，我们的多模式遥操作系统的效率和稳定性。
2020-03-11 cs.CV cs.HC cs.RO
Depth from Small Motion using Rank-1 Initialization
Nokia Technologies（诺基亚技术）
小运动深度（DfSM）（Ha等人，2016）对于商业手持设备特别有趣，因为它允许以最小的用户努力和合作获得深度信息的可能性。由于这些设备的速度和内存问题，使用光束平差（BA）的方法的自校准优化需要少至10-15张图像。因此，优化往往需要多次迭代才能收敛，或者在某些情况下可能根本不收敛。这项工作提出了一个稳健的初始化光束法平差使用秩1分解方法（Tomasi和Kanade，1992年），（Aguiar和Albera，1999年a）。我们创建一个约束矩阵，在无噪声的情况下，秩为1，然后使用SVD来计算逆深度值和相机运动。我们只需要大约四分之一的光束法平差迭代就可以收敛。我们还提出了网格化的特征提取技术，使只有重要的和小的功能被跟踪的图像帧。这也确保了在移动终端上的全部执行时间中的加速。对于实验，我们已经记录了在两个移动终端平台上使用CPU-GPU协同处理的优化加速的建议的Rank-1初始化的执行时间。秩1-BA的组合生成更鲁棒的深度图，并且比单独使用BA显著更快。
2019-07-09 cs.CV
DVIO: Depth aided visual inertial odometry for RGBD sensors
SOC R&D, Samsung Semiconductor, Inc.（三星半导体公司 SOC 研发部）
在过去的几年中，我们已经观察到RGBD传感器在移动设备中的使用有所增加。这些传感器提供了对相机帧的深度图的良好估计，其可以用于许多增强现实应用中。本文提出了一种新的视觉惯性里程计（VIO）系统，它使用从RGBD传感器和惯性测量单元（IMU）传感器的测量估计的移动终端的运动状态。由此产生的系统被称为深度辅助VIO（DVIO）系统。在这个系统中，我们添加了深度测量作为非线性优化过程的一部分。具体而言，我们提出了使用一维（1D）特征参数化以及三维（3D）特征参数化的深度测量方法。此外，我们建议利用深度测量来估计非同步IMU和RGBD传感器之间的时间偏移。最后，我们提出了一种新的基于块的边缘化方法，以加快边缘化过程，并保持整个系统的实时性能。实验结果验证了所提出的DVIO系统优于其他国家的最先进的VIO系统的轨迹精度以及处理时间。
2021-10-20 cs.CV cs.RO
Volumetric Mapping with Panoptic Refinement via Kernel Density Estimation for Mobile Robots
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出一种基于核密度估计的非参数统计方法，用于细化移动机器人在3D场景重建中的全景分割误差，提升掩膜精度并自适应拒绝深度离群值，在合成和真实数据上验证了有效性。
2024-12-15 cs.CV cs.RO
Fast and Robust Detection of Fallen People from a Mobile Robot
University of Padova（帕多瓦大学）
本文论述了通过配备有3D深度传感器的移动机器人检测躺在地板上的倒下的人的问题。在所提出的算法中，受语义分割技术的启发，三维场景被过分割成小块。然后通过两个SVM分类器检测跌倒的人：第一个标记每个补丁，而第二个捕获它们之间的空间关系。这种新颖的方法被证明是强大和快速的。事实上，由于使用了小块，在真实的杂乱场景中，物体并排的倒下的人被正确地检测出来。此外，该算法可以在配有标准笔记本电脑的移动机器人上执行，从而可以利用机器人构建的2D环境地图和机器人导航期间获得的多个视点。此外，该算法对光照变化是鲁棒的，因为它不依赖于RGB数据，而是依赖于深度数据。所有的方法都已经在IASLAB-RGBD堕落者数据集上得到了彻底的验证，该数据集作为进一步的贡献在线发布。它由几个静态和动态序列组成，有15个不同的人和2个不同的环境。
2017-03-09 cs.CV cs.RO
UtVAA: Ultra-tiny Vision Transformer with Affix Attention for Mobile Image Classification
University of Peradeniya（佩拉德尼亚大学）；Charles Darwin University（查尔斯·达尔文大学）
提出超微型ViT架构UtVAA，通过Affix Attention块结合局部与全局特征，在极低参数量和FLOPs下实现高精度图像分类，适用于移动设备。
2026-06-16 cs.CV
Towards Multimodal Multitask Scene Understanding Models for Indoor Mobile Agents
Apple（苹果公司）
个性化移动代理中的感知系统需要开发室内场景理解模型，其可以理解3D几何形状，捕获客观性，分析人类行为等。自动驾驶系统，包括行人预测、汽车检测、交通标志识别等）。在本文中，我们首先讨论了主要挑战：现实世界室内环境的标记数据不足，甚至没有，以及其他挑战，如异构信息源之间的融合（例如，RGB图像和激光雷达点云），对不同输出集之间的关系进行建模（例如，3D对象位置、深度估计和人类姿态）和计算效率。然后，我们描述了MMISM（多模态输入多任务输出室内场景理解模型），以解决上述挑战。MMISM将RGB图像以及稀疏激光雷达点视为输入，并将3D目标检测、深度完成、人体姿势估计和语义分割视为输出任务。我们表明，MMISM的性能与单任务模型相当，甚至比单任务模型更好;例如，在基准ARKitScenes数据集上，我们将基线3D目标检测结果提高了11.7%。
2022-09-27 cs.AI cs.CV
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下，如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中，我们提出了一种高效的卷积神经网络（CNN），称为轻量级多任务CNN，用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上，年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
MIPI 2022 Challenge on RGB+ToF Depth Completion: Dataset and Report
SenseTime Research（商汤科技研究院）；SenseBrain；Shanghai AI Laboratory（上海人工智能实验室）
随着对移动平台上的计算摄影和成像的需求不断增长，在相机系统中开发和集成具有新颖算法的高级图像传感器是普遍的。然而，缺乏高质量的研究数据，以及产业界和学术界深入交流意见的难得机会，制约了移动智能摄影与成像（MIPI）的发展。为了弥补这一差距，我们介绍了第一个MIPI挑战赛，包括五个重点关注新型图像传感器和成像算法的赛道。本文介绍了RGB+ToF Depth Completion，这是五个轨道之一，致力于RGB传感器和ToF传感器（带点照明）的融合。参与者获得了一个名为TetrasRGBD的新数据集，其中包含18k对高质量的合成RGB+深度训练数据和2.3k对来自混合源的测试数据。所有的数据都是在室内场景中收集的。我们要求所有方法的运行时间在桌面GPU上都是实时的。最终结果使用客观指标和主观平均意见得分（MOS）进行评估。本文提供了在这一挑战中开发的所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/MIPI2022。
2022-09-15 cs.CV
