Learning Object Depth from Camera Motion and Video Object Segmentation
University of Michigan（密歇根大学）
视频对象分割，即，近年来，视频中目标对象与背景的分离在真实和具有挑战性的视频中取得了显著的进展。为了在3D应用中利用这一进展，本文解决了在给定相机运动的一些测量（例如，根据机器人运动学或车辆里程计）。我们首先引入了一个多样化的可扩展数据集，其次设计了一个新的深度网络，该网络仅使用分割掩模和未校准的相机移动来估计对象的深度。我们的数据生成框架创建了人工对象分割，这些分割根据相机和对象之间的距离变化进行缩放，我们的网络即使在分割错误的情况下也能学习估计对象深度。我们展示了我们的方法跨域使用机器人摄像头来定位对象从YCB数据集和车辆摄像头来定位障碍物，而驾驶。
2020-12-18 cs.CV
CED: Color Event Camera Dataset
Australian National University（澳大利亚国立大学）；ETH Zurich（苏黎世联邦理工学院）；Monash University（莫纳什大学）
事件摄像机是一种新颖的生物视觉传感器，其像素在局部强度变化时输出异步和独立的时间戳尖峰，称为“事件”。事件摄像机在延迟、高动态范围（HDR）和时间分辨率方面优于传统的基于帧的摄像机。直到最近，事件摄像机一直局限于在强度通道中输出事件，然而，最近的进步导致了彩色事件摄像机的发展，如彩色DAVIS 346。在这项工作中，我们提出并发布了第一个彩色事件相机数据集（CED），其中包含50分钟的彩色帧和事件的镜头。CED具有各种各样的室内和室外场景，我们希望这将有助于推动基于事件的视觉研究。我们还提出了一个扩展的事件摄像机模拟器ESIM，使模拟的颜色事件。最后，我们提出了三个国家的最先进的图像重建方法，可用于将彩色DAVIS346转换为连续时间，HDR，彩色摄像机可视化的事件流，并在下游的视觉应用中使用的评估。
2019-04-24 cs.CV
Lunar Terrain Relative Navigation Using a Convolutional Neural Network for Visual Crater Detection
Massachusetts Institute of Technology（麻省理工学院）；Draper（德雷珀实验室）
地形相对导航可以通过检测作为补充测量值的全球特征来校正惯性导航系统中的漂移，从而提高航天器位置估计的精度。本文提出了一种系统，使用卷积神经网络（CNN）和图像处理方法来跟踪模拟航天器的位置与扩展卡尔曼滤波器（EKF）。称为LunaNet的CNN在模拟相机帧中视觉检测陨石坑，并且这些检测与当前估计的航天器位置区域中的已知月球陨石坑相匹配。这些匹配的陨石坑被视为使用EKF跟踪的特征。由于LunaNet对图像亮度变化具有更强的鲁棒性，并且在整个轨迹中逐帧进行更具可重复性的陨石坑检测，因此可以在模拟轨迹上进行更可靠的位置跟踪。当使用标准亮度图像对轨迹进行测试时，与使用基于图像处理的陨石坑检测方法的EKF相比，LunaNet与EKF的结合使平均最终位置估计误差降低了60%，平均最终速度估计误差降低了25%。
2020-07-15 cs.CV cs.RO cs.SY
Deep learning universal crater detection using Segment Anything Model (SAM)
University of Aberdeen（阿伯丁大学）
本文提出基于 META AI 的 Segment Anything Model (SAM) 的通用撞击坑检测方案，利用零样本分割能力跨数据类型、天体和拍摄角度识别撞击坑，并通过形状指数筛选和椭圆拟合恢复撞击坑位置与尺寸。
2023-04-16 cs.CV eess.IV
Design of a Visual Pose Estimation Algorithm for Moon Landing
Middle East Technical University（中东技术大学）
针对月球精确着陆中惯性传感器导航漂移需修正的问题，提出一种利用下方陨石坑位置、结合预存数据库的地形绝对视觉位姿估计算法，经仿真验证了算法精度及陨石坑数量的影响。
2025-02-20 cs.CV cs.RO cs.SY
Multi-Camera LiDAR Inertial Extension to the Newer College Dataset
Oxford Robotics Institute（牛津机器人研究所）；University of Oxford（牛津大学）
我们提出了一个多相机激光雷达惯性数据集的4.5公里步行距离作为扩展的新学院数据集。全局快门多相机设备与IMU和LiDAR硬件同步，这比软件同步的原始数据集更准确。该数据集还提供LiDAR频率（10 Hz）下的六个自由度（DoF）地面真实姿态。描述了三个数据汇集，并演示了多相机视觉惯性里程计的示例用例。这个扩展数据集包含小而窄的通道，大规模的开放空间，以及植被覆盖的区域，以测试定位和映射系统。此外，一些序列呈现具有挑战性的情况，例如突然的照明变化、无纹理表面和侵略性运动。该数据集可在以下网址获得：https://ori-drs.github。io/newer-college-dataset/
2022-05-12 cs.CV cs.RO
LROC-PANGU-GAN: Closing the Simulation Gap in Learning Crater Segmentation with Planetary Simulators
Balliol College（贝利奥尔学院）；University of Oxford（牛津大学）；European Space Operations Centre（欧洲空间操作中心）；European Space Agency（欧洲空间局）
本文提出 LROC-PANGU-GAN，通过 CycleGAN 将 PANGU 行星仿真图像转换为逼真 LROC 图像，以保留精确真值并缩小仿真到真实域差距，从而提升下游陨石坑分割性能。
2023-10-04 cs.CV eess.IV
Dense Optical Flow based Change Detection Network Robust to Difference of Camera Viewpoints
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
提出了一种基于稠密光流变化检测网络的场景变化检测方法。在输入图像的相机姿态是固定的或已知的情况下，诸如利用监视和卫星相机，可以知道在不同时间捕获的图像之间的像素对应性。因此，可以通过对场景的外观进行建模来比较准确地检测图像之间的场景变化。另一方面，在摄像机安装在移动物体上的情况下，例如地面和空中车辆，我们必须考虑在不同时间捕获的图像之间的空间对应关系。然而，由于场景变化或缺少图像，可能难以准确地估计场景的相机姿态或3D模型。为了解决这个问题，我们提出了一个变化检测卷积神经网络，利用输入图像之间的密集光流，以提高鲁棒性相机之间的观点的差异。我们的评估的基础上的全景变化检测数据集表明，所提出的方法优于国家的最先进的变化检测算法。
2017-12-08 cs.CV
Variation of Camera Parameters due to Common Physical Changes in Focal Length and Camera Pose
本文利用新标定方法研究焦距和相机位姿物理变化对相机参数的影响，发现不同类型相机主点偏移趋势不同而位姿变化引起的偏移趋势相似，并通过重投影误差验证了发现的可靠性。
2024-09-02 cs.CV
Multi-Camera Occlusion and Sudden-Appearance-Change Detection Using Hidden Markovian Chains
Pattern Technology Lab LLC（Pattern Technology Lab有限责任公司）
本文最初提交给Xinova，作为对新事件监控方法的发明请求（RFI）的回应。提出了一种新的多摄像机目标跟踪算法。该系统可以检测突然出现的变化和闭塞使用隐藏的马尔可夫统计模型。实验结果证实，我们的系统检测突然出现的变化和遮挡可靠。
2016-10-29 cs.CV
Event-based Camera Tracker by $\nabla$t NeRF
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
本文提出首个基于场景隐式表示与事件稀疏强度变化的相机位姿估计算法TeGRA，通过最小化稀疏事件与NeRF时间梯度的误差实现高效位姿追踪。
2023-04-07 cs.CV
Illumination-Invariant Active Camera Relocalization for Fine-Grained Change Detection in the Wild
Tianjin University（天津大学）；State Administration of Cultural Heritage（国家文物局）
主动摄像机重定位（ACR）是计算机视觉中的一个新问题，它可以有效地降低细粒度变化检测（FGCD）中由于摄像机姿态不对准而引起的图像失真所造成的虚警。尽管ACR可以支持的丰硕成果，但它仍然是一个具有挑战性的问题，这是由相对姿态估计的不稳定结果引起的，特别是对于室外场景，其中照明条件失控，即，两次观察可能具有高度不同的照明。研究了一种光照不变的主动摄像机重定位方法，该方法在相对位姿估计和尺度估计两方面都有改进。我们使用平面片段作为中间表示来促进特征匹配，从而进一步提高光照变化下的姿态估计鲁棒性和可靠性。此外，通过构造一个线性系统，使图像变形误差最小化，从而获得每次ACR迭代的绝对尺度，大大减少了ACR过程的时间消耗，比现有的ACR策略快了近$1.6$倍。我们的工作大大扩展了现实世界的细粒度变化监测任务的文化遗产的可行性。大量的实验测试和实际应用验证了该方法在ACR任务中的有效性和鲁棒性。
2022-04-13 cs.CV
ShadowNav: Autonomous Global Localization for Lunar Navigation in Darkness
Jet Propulsion Laboratory (JPL)（喷气推进实验室）；California Institute of Technology (Caltech)（加州理工学院）；University of Sydney（悉尼大学）
本文提出ShadowNav，一种利用月球陨石坑前缘作为地标并通过粒子滤波进行自主全局定位的方法，旨在解决月球暗区行驶中漫游车姿态漂移问题，并在模拟和实地测试中验证了其有效性。
2024-09-14 cs.CV cs.RO
Seeing Behind Dynamic Occlusions with Event Cameras
University of Zurich（苏黎世大学）
提出首个结合传统相机与事件相机的方法，在存在动态遮挡时从单一视角重建背景，并构建大规模同步图像与事件序列数据集，PSNR比图像修复方法高3dB。
2023-08-01 cs.CV
Independent Motion Detection with Event-driven Cameras
Istituto Italiano di Tecnologia（意大利理工学院）；University of Zurich（苏黎世大学）
与以恒定帧速率发送强度图像的标准相机不同，事件驱动相机异步报告像素级亮度变化，提供低延迟和高时间分辨率（均为微秒量级）。因此，它们在机器人的快速和低功耗视觉算法方面具有很大的潜力。例如，视觉跟踪即使对于非常快的刺激也很容易实现，因为只有移动的物体才会引起亮度变化。然而，安装在移动机器人上的摄像机通常是非静止的，并且由于机器人自我运动，相同的跟踪问题会被背景杂波事件混淆。在本文中，我们提出了一种方法分割一个独立的运动对象的事件驱动的相机的运动。我们的方法检测和跟踪事件流中的角点，并学习它们的运动统计数据作为机器人的关节速度的函数时，没有独立移动的对象。在机器人操作过程中，独立移动的对象被识别的预测角速度从自我运动和测得的角速度之间的差异。我们验证了从神经形态iCub机器人收集的数据的算法。我们实现了~ 90%的精度，并表明该方法是鲁棒的头部和目标的速度变化。
2017-07-04 cs.CV
Generic Multiview Visual Tracking
Shanghaitech University（上海科技大学）；Temple University（天普大学）；Beihang University（北京航空航天大学）
视觉跟踪的最新进展大大提高了跟踪性能。然而，诸如遮挡和视图改变的挑战仍然是现实世界部署中的障碍。这些挑战的自然解决方案是使用具有多视图输入的多个相机，尽管现有系统大多限于特定目标（例如人）、静态相机和/或相机校准。为了突破这些限制，我们提出了一个通用的多视图跟踪（GMT）框架，允许摄像机移动，同时既不需要特定的对象模型，也不需要摄像机校准。我们框架中的一个关键创新是跨相机轨迹预测网络（TPN），它隐式和动态地编码相机几何关系，从而解决了遮挡等目标缺失问题。此外，在跟踪过程中，我们组装信息在不同的摄像机动态更新一个新的协作相关滤波器（CCF），这是共享摄像机，以实现对视图变化的鲁棒性。这两个组件被集成到一个相关滤波器跟踪框架中，其中使用现有的单视图跟踪数据集离线训练特征。为了进行评估，我们首先贡献了一个新的通用多视图跟踪数据集（GMTD）与仔细的注释，然后在GMTD和PETS 2009数据集上运行实验。在这两个数据集上，所提出的GMT算法显示出明显的优势。
2019-04-04 cs.CV
Color Homography Color Correction
University of East Anglia（东英吉利大学）；University of Edinburgh（爱丁堡大学）
单应性（Homographies）--一种用于将不同相机视点上的图像点关联起来的数学形式--是计算机视觉中几何方法的基础，并且用于几何相机校准、图像配准、立体视觉和其他任务。在本文中，我们展示了一个令人惊讶的结果，即在观看条件（改变光的颜色，阴影和相机）的变化的颜色也相关的单应性。提出了一种新的基于颜色单应性的颜色校正方法。实验表明，解决颜色单应性问题导致更准确的校准。
2016-08-01 cs.CV
Training-free Camera Control for Video Generation
University of Science and Technology of China（中国科学技术大学）
提出免训练相机控制方法CamTrol，利用噪声潜在变量的布局先验，通过三维点云显式建模相机运动，实现即插即用的视频生成相机控制，性能优于微调方法。
2025-02-25 cs.CV
Camera Calibration with Pose Guidance
NVIDIA（英伟达）
摄像机标定在自动驾驶或增强现实等各种计算机视觉任务中起着至关重要的作用。广泛使用的相机校准工具利用基于平面图案的方法，例如使用棋盘或AprilTag板，在没有明确指示的情况下，用户的校准专业水平显著影响校准精度和一致性。此外，校准是一项重复性任务，必须在每次更换或移动相机时执行。在拥有数百万辆汽车的生产线上校准大量摄像头（如驾驶员监控系统（DMS）摄像头）也是一个巨大的负担。为了解决上述问题，我们提出了一个校准系统，称为校准与姿势指导，以提高校准精度，减少不同用户之间的校准方差或同一人的不同试验。实验结果表明，该方法比传统的标定工具具有更高的标定精度和一致性。
2021-02-19 cs.CV
CAM-Convs: Camera-Aware Multi-Scale Convolutions for Single-View Depth
University of Zaragoza（萨拉戈萨大学）；University of Freiburg（弗莱堡大学）；Intel Labs（英特尔实验室）；Bitbrain（Bitbrain（公司））；cs.uni-freiburg.de（（注：原文本中该部分为邮箱域名，不应作为机构提取，实际有效机构为上述列出的））
单视图深度估计存在这样的问题，即在来自一个相机的图像上训练的网络不能推广到用不同相机模型拍摄的图像。因此，改变相机模型需要收集全新的训练数据集。在这项工作中，我们提出了一种新型的卷积，可以考虑相机参数，从而允许神经网络学习校准感知模式。实验证实，这大大提高了深度预测网络的泛化能力，并且当用不同的相机获取训练和测试图像时，明显优于现有技术。
2019-04-03 cs.CV
3D Scene-Adaptive Trajectory-Controllable Human Image Animation with Camera Movement
Engineering Research Center of Autonomous Unmanned System Technology（自主无人系统工程研究中心）；Ministry of Education（教育部）；Anhui Provincial Key Laboratory of Security Artificial Intelligence（安徽省安全人工智能重点实验室）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；University of Warwick（沃林格大学）；Zhejiang Yuexiu University（浙江越秀大学）；University of Surrey（萨里大学）
提出场景自适应人体动画框架，通过地面自适应3D运动重定向和视角自适应潜在融合机制，实现自然场景中人体运动与相机轨迹的可控视频生成。
2026-08-04 cs.CV
Asynchronous Convolutional Networks for Object Detection in Neuromorphic Cameras
Politecnico di Milano（米兰理工大学）
基于事件的摄像机，也称为神经形态摄像机，是一种能够以低功耗高频率感知场景变化的生物启发传感器。这些设备上的目标检测工作量有限，只是最近才上市。在本文中，我们提出了两个神经网络架构的目标检测：YOLE，它将事件集成到表面，并使用基于帧的模型来处理它们，和fcYOLE，一个异步的基于事件的完全卷积网络，它使用一种新的和一般的形式化的卷积和最大池层，以利用相机事件的稀疏性。我们评估算法与不同的扩展公开可用的数据集和一个新的合成数据集。
2019-06-13 cs.CV
Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera
Australian National University（澳大利亚国立大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）；Northwestern Polytechnical University（西北工业大学）
基于事件的相机可以在高速运动和具有挑战性的照明条件下以微秒级精度测量强度变化（称为“{ \it事件}”）。借助有源像素传感器（APS），事件摄像机可以同时输出强度帧。然而，输出图像是以相对低的帧速率捕获的，并且经常遭受运动模糊。模糊图像可以被认为是潜像序列的积分，而事件指示潜像之间的变化。因此，我们能够通过将事件数据与潜像相关联来对模糊生成过程进行建模。在本文中，我们提出了一个简单而有效的方法，\textbf{Event-based Double Integral (EDI)}模型，重建一个高帧速率，清晰的视频从一个单一的模糊帧及其事件数据。视频生成是基于解决一个简单的非凸优化问题，在一个单一的标量变量。合成和真实图像上的实验结果表明，我们的EDI模型和优化方法相比，国家的最先进的优越性。
2018-11-27 cs.CV
ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation
University of Freiburg（弗赖堡大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；Technical University of Munich（慕尼黑技术大学）；Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑））
ConfCtrl通过置信度感知插值实现视频扩散中的精确相机控制，解决大视角变化下新视角生成问题，提升几何一致性与视觉合理性。
2026-03-10 cs.CV
Towards Viewpoint-Robust End-to-End Autonomous Driving with 3D Foundation Model Priors
Chiba University（千叶大学）；National Institute of Informatics（国立信息学研究所）
本文提出一种无需数据增强的端到端自动驾驶方法，利用3D基础模型的几何先验提升视角变化鲁棒性，实验显示在pitch和高度扰动下性能提升显著。
2026-04-01 cs.CV
Learning to Deblur and Generate High Frame Rate Video with an Event Camera
Peking University（北京大学）
事件相机是生物启发的相机，可以以高时间分辨率异步测量强度的变化。事件摄像机的优势之一是，它们在记录高速场景时不会受到运动模糊的影响。在本文中，我们制定了传统的摄像机的去模糊任务的事件是一个残留的学习，我们提出了相应的网络架构，有效的学习去模糊和高帧速率视频生成任务。我们首先训练一个修改后的U-Net网络，使用相应的事件从模糊图像恢复清晰图像。然后我们用不同的下采样块训练另一个类似的网络，以使用恢复的清晰图像和事件生成高帧速率视频。实验结果表明，我们的方法可以恢复清晰的图像和视频比国家的最先进的方法。
2020-03-20 cs.CV
Depth-Aware Image Compositing Model for Parallax Camera Motion Blur
Tampere University（坦佩雷大学）
相机运动由于3D世界中的深度变化而引入空间变化的模糊。这项工作调查场景配置，这种模糊视差相机运动下产生的。我们提出了一个简单的，但准确的，图像合成模糊（ICB）模型的深度相关的空间变化模糊。（前向）模型从单个图像、深度图和相机轨迹产生逼真的运动模糊。此外，我们利用ICB模型，结合基于坐标的MLP，从模糊输入中学习清晰的神经表示。实验结果报告合成和真实的例子。结果表明，ICB正演模型计算效率高，产生逼真的模糊，尽管缺乏遮挡信息。此外，我们的方法恢复一个尖锐的表示证明是一个有竞争力的方法去模糊的任务。
2023-03-30 cs.CV
Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation
Graz University of Technology（格拉茨技术大学）；Austrian Institute Of Technology（奥地利技术研究院）
事件相机或神经形态相机模仿人类感知系统，因为它们测量每像素的强度变化而不是实际的强度水平。与传统相机相比，这种相机以稀疏事件的形式以MHz频率捕获关于场景的新信息。高时间分辨率是以丢失熟悉的每像素强度信息为代价的。在这项工作中，我们提出了一个变分模型，准确地模拟事件相机的行为，使实时的【形】重建的强度图像与任意帧速率。我们的方法是制定每一个事件的基础上，我们明确纳入信息的异步性质的事件，通过事件的相对时间戳引起的事件流形。在我们的实验中，我们验证了解决流形上的变分模型产生高质量的图像，而不显式地估计光流。
2016-08-04 cs.CV
A Survey of Feature Types and Their Contributions for Camera Tampering Detection
University of Houston（休斯顿大学）
本文综述摄像头篡改检测的特征类型，将其视为变化检测和时间序列分析问题，在真实监控视频上评估十种特征及多种时间序列模型的检测性能。
2023-10-11 cs.CV
Efficient Pipeline for Camera Trap Image Review
California Institute of Technology（加州理工学院）；Microsoft AI for Earth（微软地球人工智能）
世界各地的生物学家都使用相机陷阱来监测生物多样性和野生动物种群密度。计算机视觉社区一直在朝着自动化相机陷阱中的物种分类挑战迈进，但事实证明，很难将在一个地区训练的模型应用于在不同地理区域收集的图像。在某些情况下，由于背景的变化和以前未见过的物种的存在，准确性在新的区域灾难性地下降。我们提出了一个管道，利用一个预先训练的一般动物检测器和一个较小的一组标记的图像训练分类模型，可以有效地实现准确的结果，在一个新的区域。
2019-07-15 cs.CV
VUNet: Dynamic Scene View Synthesis for Traversability Estimation using an RGB Camera
Stanford University（斯坦福大学）；TOYOTA Central R$&$D Labs., INC.（丰田中央研究所）
我们提出了VUNet，一种新的视图（VU）的动态环境中的移动机器人的合成方法，及其应用估计未来的可通行性。我们的方法预测未来的图像给定的虚拟机器人速度命令只使用RGB图像在以前和当前的时间步长。未来图像是通过将两种类型的图像变化应用于先前图像和当前图像而产生的：1）由不同相机姿势引起的变化，以及2）由于动态障碍物的运动引起的变化。我们学习使用两种新的网络架构SNet和DNet来预测这两种类型的变化。我们结合SNet和DNet来合成未来的图像，我们将其传递给我们之前提出的方法GONet来估计机器人周围的可穿越区域。我们的定量和定性评估表明，我们的方法，视图合成预测准确的未来图像在静态和动态环境。我们还表明，这些虚拟图像可以用来正确地估计未来的可穿越性。我们应用我们的视图合成为基础的遍历性估计方法辅助遥操作的两个应用程序。
2019-01-10 cs.CV cs.RO
Event-based Camera Pose Tracking using a Generative Event Model
University of Zurich（苏黎世大学）
基于事件的视觉传感器模仿生物视网膜的操作，它们代表了传统相机的主要范式转变。基于事件的相机不是以人为选择的速率同步提供强度测量的帧，而是在亮度变化发生时异步提供关于亮度变化的信息。这种非冗余的信息片段被称为“事件”。这些传感器克服了传统相机的一些限制（响应时间、带宽和动态范围），但需要新的方法来处理它们输出的数据。我们解决的问题，基于事件的摄像机定位在一个已知的环境中，没有额外的传感，使用概率生成事件模型的贝叶斯过滤框架。我们的主要贡献是在过滤器中使用的似然函数的设计来处理所观察到的事件。基于传感器的物理特征和尖峰事件相对于亮度变化的类高斯分布的经验证据，我们建议使用对比度残差作为基于事件的相机和环境的估计姿态的测量结果解释观察到的事件。该滤波器允许在六个自由度运动的一般情况下定位。
2015-10-07 cs.CV cs.RO
AnyviewMeter: Adapting Robotic Reward Models with Camera Geometry and Multi-View Attention
Nanyang Technological University（南洋理工大学）
提出AnyviewMeter，利用相机几何与多视角注意力适配机器人奖励模型，通过低秩微调和块注意力提升单视图及多视图预测精度，显著降低误差。
2026-09-21 cs.CV cs.RO
Learned Camera Gain and Exposure Control for Improved Visual Feature Detection and Matching
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
成功的视觉导航取决于捕获包含足够有用信息的图像。在这封信中，我们探索了一种数据驱动的方法来考虑环境照明的变化，提高图像的质量，用于视觉里程计（VO）或视觉同时定位与地图构建（SLAM）。我们训练一个深度卷积神经网络模型，以预测性地调整相机增益和曝光时间参数，使得连续图像包含最大数量的可匹配特征。训练过程是完全自我监督的：我们的训练信号来自底层VO或SLAM管道，因此，模型经过优化，可以在特定管道上表现良好。我们通过广泛的真实世界实验证明，我们的网络可以预测和补偿剧烈的照明变化（例如，进出公路隧道的过渡），保持比竞争相机参数控制算法高得多的内围特征匹配数量。
2022-07-11 cs.CV cs.RO
EvMAPPER: High Altitude Orthomapping with Event Cameras
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
本文提出首个基于事件相机的无人机正射影像镶嵌方法EvMAPPER，利用事件相机像素异步触发特性，克服了传统CMOS相机在恶劣光照、运动模糊及高速运动下的局限，实现了在直射阳光和日落等复杂光照条件下的地图生成。
2024-09-26 cs.CV cs.RO
Generic Camera Attribute Control using Bayesian Optimization
KAIST（韩国科学技术院）
相机是机器人和计算机视觉领域中应用最广泛的传感器。尽管它们很受欢迎，但两个主要属性（即，增益和曝光时间）已经凭经验确定，并且图像以非常被动的方式被捕获。在本文中，我们提出了一个积极的和通用的摄像机属性控制方案，使用贝叶斯优化。我们从两个方面扩展了我们以前的工作[1]。首先，我们提出了一种方法，共同控制相机增益和曝光时间。其次，为了加快贝叶斯优化过程，我们引入了使用相机响应函数（CRF）的图像合成。这些合成图像使我们能够减少贝叶斯优化阶段的图像采集时间，大大提高了整体控制性能。所提出的方法在室内和室外环境中，光照条件迅速变化进行了验证。补充材料可在https://youtu.be/XTYR_Mih3OU上查阅。
2018-08-14 cs.CV cs.RO
Why is the video analytics accuracy fluctuating, and what can we do about it?
Purdue University（普渡大学）；NEC Laboratories America, Inc（NEC美国实验室有限公司）
通常的做法是将视频视为一系列图像（帧），并重用仅在图像上训练的深度神经网络模型，用于视频上的类似分析任务。在这篇论文中，我们证明了这种信念的飞跃，即在图像上工作良好的深度学习模型也将在视频上工作良好，实际上是有缺陷的。我们表明，即使当视频摄像机正在查看一个场景，没有改变任何人类可感知的方式，我们控制外部因素，如视频压缩和环境（照明），视频分析应用程序的准确性波动明显。出现这些波动是因为摄像机产生的连续帧在视觉上可能看起来相似，但视频分析应用程序对这些帧的感知却截然不同。我们观察到，这些波动的根本原因是摄像机自动进行的动态摄像机参数更改，以便捕获和生成视觉上令人愉悦的视频。摄像头无意中充当了一个无意的对手，因为正如我们所展示的，连续帧中图像像素值的这些微小变化对视频分析任务的准确性产生了明显的不利影响，这些视频分析任务重复使用图像训练的深度学习模型。为了解决摄像机无意中产生的对抗效应，我们探索使用迁移学习技术，通过图像分析任务学习中的知识迁移来改善视频分析任务中的学习。特别是，我们证明了我们新训练的Yolov5模型减少了跨帧目标检测的波动，从而更好地跟踪对象（跟踪错误减少40%）。我们的论文还提供了新的方向和技术，以减轻摄像头对用于视频分析应用的深度学习模型的对抗性影响。
2022-09-15 cs.CV cs.LG
ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation
University of Oxford（牛津大学）
ActCam通过零样本方法实现视频生成中演员动作与摄像机轨迹的联合控制，通过几何一致的条件生成提升摄像机适应性和动作真实性。
2026-05-07 cs.AI cs.CV cs.LG
Choosing Smartly: Adaptive Multimodal Fusion for Object Detection in Changing Environments
University of Freiburg（弗赖堡大学）
目标检测是自主机器人在动态变化环境中工作的一项重要任务。机器人应该能够在存在传感器噪声的情况下检测物体，传感器噪声可以通过改变摄像机的照明条件和范围传感器（特别是RGB-D摄像机）的错误深度读数而引起。为了应对这些挑战，我们提出了一种新的自适应融合方法，用于目标检测，该方法以在线方式学习加权不同传感器模态的预测。我们的方法是基于卷积神经网络（CNN）专家的混合，并结合了多种形式，包括外观，深度和运动。我们在广泛的机器人实验中测试了我们的方法，在这些实验中，我们从RGB-D数据中检测室内和室外场景中的人，并且我们证明了我们的方法可以适应苛刻的光照变化和严重的相机运动模糊。此外，我们提出了一个新的RGB-D数据集，用于在混合的室内和室外环境中进行人员检测，并使用移动机器人进行记录。代码、预训练模型和数据集可在http://adaptivefusion.cs.uni-freiburg.de上获得
2019-11-19 cs.AI cs.CV cs.LG
