Towards Quadruped-Provided Localization and Active Tracking for Micro-UAVs
IT University of Copenhagen(哥本哈根信息技术大学);Helix Lab(Helix实验室);Novo Nordisk A/S(诺和诺德公司)
本文提出由四足机器人搭载机械臂和摄像头,通过检测微型无人机上的AprilTag标记物,为其提供外部定位并主动跟踪,从而减轻无人机载荷,实现高精度自主飞行。
2026-10-06 cs.RO
Learning Active Camera for Multi-Object Navigation
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Information Technology R&D Innovation Center of Peking University(北京大学信息技术研发创新中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校)
让机器人自主地导航到多个物体是机器人应用中必不可少的,但也是困难的。关键挑战之一是如何仅使用相机传感器有效地探索环境。现有的导航方法主要集中在固定的摄像机和很少尝试已经与主动摄像机导航。因此,由于有限的摄像机范围,代理可能需要很长的时间来感知环境。相比之下,人类通常通过环顾四周来获得更大的视野,以便更好地感知环境。如何使机器人像人类一样有效地感知环境是机器人学中的一个基本问题。在本文中,我们考虑使用主动相机更有效地导航到多个对象。具体来说,我们将移动摄像机转换为马尔可夫决策过程,并将活动摄像机问题重新表述为强化学习问题。然而,我们必须解决两个新的挑战:1)如何在复杂的环境中学习一个好的相机策略; 2)如何将其与导航策略相协调。为了解决这些问题,我们精心设计了一个奖励函数,以鼓励代理主动移动摄像机探索更多的区域。此外,我们利用人类的经验来推断基于规则的相机动作来指导学习过程。最后,为了更好地协调两种策略,相机策略在做出相机移动决策时考虑导航动作。实验结果表明,我们的相机政策一致提高性能的多对象导航在两个数据集上的四个基线。
2022-10-14 cs.CV cs.RO
Next-Best-View Prediction for Active Stereo Cameras and Highly Reflective Objects
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Robotics Institute(机器人研究所)
对于高反射物体,使用主动立体相机进行深度获取是一项具有挑战性的任务。当设置允许时,多视图融合可以提供增加的深度完成水平。然而,由于高端主动式立体相机的采集速度慢,针对单个场景收集大量视点通常是不实际的。在这项工作中,我们提出了一个下一个最佳视图框架,战略性地选择相机的观点,完成深度数据的反射对象。特别是,我们明确的反射表面的镜面反射模型的基础上的Phong反射模型和光度响应函数。给定对象CAD模型和灰度图像,我们采用基于RGB的姿态估计器从现有数据中获得当前姿态预测,该数据用于形成预测的表面法线和深度假设,并允许我们然后评估来自任何候选视点的后续帧的信息增益。使用这个公式,我们实现了一个主动感知管道,在一个具有挑战性的现实世界的数据集上进行评估。评估结果表明,我们的主动深度采集方法优于两个强大的基线深度完成和对象姿态估计性能。
2022-02-27 cs.CV cs.RO
Towards Accurate Active Camera Localization
Shandong University(山东大学);Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Stanford University(斯坦福大学);vjia(3vjia)
在这项工作中,我们解决了主动相机定位的问题,主动控制相机的运动,以实现准确的相机姿态。过去的解决方案大多是基于马尔可夫定位,这减少了位置方面的相机定位的不确定性。这些方法将相机定位在离散位姿空间中,并且对定位驱动的场景属性不可知,这限制了相机在粗尺度上的位姿精度。我们建议通过一种新的主动摄像机定位算法,由一个被动和主动定位模块来克服这些限制。前者通过建立逐点相机世界对应关系,在连续位姿空间中优化相机位姿。后者显式地对场景和相机不确定性分量进行建模,以规划正确的路径,从而进行准确的相机姿态估计。我们验证了我们的算法在具有挑战性的定位场景从合成和扫描的真实世界的室内场景。实验结果表明,我们的算法优于国家的最先进的马尔可夫定位的方法和其他比较方法的精细尺度相机位姿精度。代码和数据在https://github.com/qhFang/AccurateACL上发布。
2022-07-20 cs.CV
A Height-Constrained 2-Point Minimal Solver for Pose Estimation from Active LED Markers with Event Cameras
Graz University of Technology(格拉茨工业大学);University of Picardie Jules Verne(皮卡迪儒勒·凡尔纳大学);University of Burgundy(勃艮第大学)
针对空间受限场景的位姿估计难题,提出结合机载传感器高度与倾斜角的事件相机主动LED标记点两点最小求解器,实验显示其精度优于P2P、性能与P3P相当。
2026-08-11 cs.CV cs.RO
Fixed External Cameras as Common Prior Maps for Active 3D Scene Graph Generation
Mobile Robotics Group (MRG)(移动机器人组);Visual and Multimodal Applied Learning Lab (VANDAL)(视觉与多模态应用学习实验室)
本文提出利用固定外部RGB摄像头作为共同先验地图,以实现主动、渐进式的3D场景图生成,通过融合机器人 onboard 摄像头和固定外部摄像头的数据,提高场景理解的效率和准确性。
2026-05-18 cs.AI cs.CV cs.RO
Active Control of Camera Parameters for Object Detection Algorithms
对于视觉引导机器人来说,摄像机参数不仅对感知图像的视觉质量起着重要的作用,而且还影响视觉算法的性能。通过定量评估四个目标检测算法,相对于不同的环境照明,快门速度和电压增益,它被观察到的算法的性能是高度依赖于这些变量。从这个观察,提出了一种新的主动控制的摄像机参数的方法,使机器人视觉在不同的光照条件下更强大。实验结果表明,与传统的自动曝光算法相比,该方法提高了目标检测算法的性能。
2017-05-16 cs.CV
TTCDist: Fast Distance Estimation From an Active Monocular Camera Using Time-to-Contact
University of Maryland(马里兰大学);Worcester Polytechnic Institute(伍斯特理工学院);University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所)
视觉距离估计是机器人导航、操纵和规划等众多应用的基础。受哺乳动物的视觉系统,它凝视着特定的物体,我们开发了两个新的约束条件有关的时间接触,加速度和距离,我们称之为$τ$约束和$Φ$约束。它们允许活动(移动)相机在仅使用图像的一小部分的情况下有效且准确地估计深度。该约束条件适用于距离传感、传感器融合和视觉伺服。我们成功地验证了所提出的约束与两个实验。第一个应用这两个约束条件的轨迹估计任务与单目相机和惯性测量单元(IMU)。我们的方法实现了30-70%的平均轨迹误差,同时运行25 $\times$和6.2 $\times$分别比流行的视觉惯性里程计方法VINS-Mono和ROVIO快。第二个实验表明,当约束被用于反馈与efference副本所得到的闭环系统的特征值是不变的应用控制信号的缩放。我们相信,这些结果表明,$τ$和$Φ$约束的基础上,强大的和有效的算法,为众多的机器人应用的潜力。
2023-03-07 cs.CV cs.RO
Imitation-Based Active Camera Control with Deep Convolutional Neural Network
University of Cyprus(塞浦路斯大学)
智能摄像机监控、交通监控、智能环境等应用对自动化视觉监控的需求日益增长,使得视觉主动监控方法的改进成为必要。传统上,主动监控任务通过检测、过滤和控制等模块的流水线来处理。在本文中,我们将主动视觉监控视为一个模仿学习问题,使用深度学习以监督的方式解决,直接从视觉信息到相机运动,以便通过结合计算机视觉和控制提供令人满意的解决方案。深度卷积神经网络被端到端地训练为相机控制器,该相机控制器学习控制相机跟踪多个目标所需的整个处理流水线,并从单个图像中估计它们的密度。实验结果表明,该方法对不同条件具有较强的鲁棒性,在监测目标数量和监测时间上均优于传统方法,最高可达25 FPS。从而使其成为监控和智能环境应用中多目标主动监控的实用且经济的解决方案。
2020-12-11 cs.CV
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology(香港科技大学)
我们设计了一个多视角视觉系统,利用低成本的单目RGB摄像机,以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同,所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中,我们结合的参考图像和周围的图像之间的立体匹配的成本体积,形成一个融合的成本体积,是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明,我们获得的视差图比两帧立体匹配更准确:在我们的实验中,平均绝对误差减少了50.2%。
2020-01-22 cs.CV
Camera clustering for scalable stream-based active distillation
Université catholique de Louvain(天主教鲁汶大学);Imperial College London(帝国理工学院)
本研究提出一种相机聚类的可扩展框架,结合自训练与知识蒸馏构建轻量视频目标检测模型,通过聚类减少训练模型数并扩充蒸馏数据集,实验证明其准确率显著优于单相机独立模型和通用模型方案。
2024-04-16 cs.CV
Multimodal Active Measurement for Human Mesh Recovery in Close Proximity
Toyota Motor Corporation(丰田汽车公司);Toyota Technological Institute(丰田工业大学)
针对近距离物理人机交互中相机观测不全导致人体姿态估计精度低的问题,提出融合相机与触觉、测距传感器的主动测量框架,动态优化观测位置并融合多模态数据,在模拟和真实场景中均提升了估计精度。
2024-10-08 cs.CV cs.RO
A Simplified Active Calibration algorithm for Focal Length Estimation
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
我们引入新的线性数学公式来计算主动平台中的相机的焦距。通过数学推导,我们表明,在每个方向上的焦距可以估计仅使用一个点的对应关系,涉及之前和之后的退化旋转的相机拍摄的图像。新的配方将有利于机器人和动态监控环境时,相机需要校准,而它自由移动和缩放。通过建立仅两个图像之间的对应关系后,稍微摇摄和倾斜相机和参考图像,我们提出的简化校准方法是能够计算相机的焦距。我们广泛评估衍生配方上的模拟相机,3D场景和现实世界的图像。我们对模拟和真实图像的误差分析表明,所提出的简化主动校准公式估计相机的参数具有低出错率。
2018-06-10 cs.CV
ASGrasp: Generalizable Transparent Object Reconstruction and 6-DoF Grasp Detection from RGB-D Active Stereo Camera
Samsung R&D Institute China-Beijing(三星中国北京研发中心);CFCS, School of Computer Science, Peking University(计算机科学系,北京大学);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院)
ASGrasp提出一种基于RGB-D主动立体相机的6自由度抓取检测网络,通过两层立体网络重建透明物体几何,在杂乱环境中实现超过90%的泛化抓取成功率,优于现有方法。
2025-05-24 cs.CV cs.RO
Real-time 6-DoF Pose Estimation by an Event-based Camera using Active LED Markers
Automation and Control Institute (ACIN), TU Wien(维也纳工业大学自动化与控制研究所(ACIN));Austrian Institute of Technology (AIT)(奥地利技术研究院(AIT));Prophesee GmbH(Prophesee有限公司)
本文提出一种使用主动LED标记的基于事件相机的实时6自由度位姿估计系统,以低于0.5毫秒延迟和3kHz输出率实现快速准确的定位,克服了传统相机的运动模糊问题。
2023-10-25 cs.CV cs.RO
DIJIT: A Robotic Head for an Active Observer
Department of Electrical Engineering and Computer Science, York University(电气与计算机科学系,约克大学)
提出DIJIT双目机器人头部,具有9个机械自由度和4个光学自由度,实现类人眼/头运动,用于主动视觉研究,其扫视精度接近人类。
2026-06-08 cs.CV cs.RO
Rendering-Free Lookahead for Question-Guided Active Vision
The University of Tokyo(东京大学);National Institute of Informatics(情报学研究所);Institute of Science Tokyo(东京科学大学);The University of Osaka(大阪大学)
本研究针对依赖视角的问题回答任务,提出无渲染前瞻(RFL)策略,通过离线训练学习预测未来可答性,在E3VS-Bench测试集上较基线提升平均评判者评分43%。
2026-10-09 cs.CV cs.RO
Active Depth Estimation: Stability Analysis and its Applications
University of Porto(波尔图大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
恢复周围环境的3D结构是任何视觉控制的运动恢复结构(SfM)方案中的一项重要任务。本文重点介绍的SfM,被称为增量主动深度估计的理论特性。术语增量表示在图像帧的时间序列上估计场景的3D结构。主动意味着相机致动使得其改进估计性能。本文从一种已知的深度估计滤波器出发,分析了该滤波器在摄像机控制输入下的稳定性。通过使用李雅普诺夫理论分析的估计的收敛性,我们放松了约束的投影的3D点在图像平面相比,以前的结果。尽管如此,我们的方法是能够处理的相机的有限的视野限制。通过模拟数据的实验验证了主要结果。
2020-03-16 cs.CV cs.RO
Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);SenseTime Research(商汤科技研究院)
针对监控视频理解中固定视角被动观察的局限,提出CamVLM框架,通过动态视角控制实现主动视觉推理,并构建大规模数据集和强化学习策略优化,显著提升性能。
2026-09-28 cs.CV
Illumination-Invariant Active Camera Relocalization for Fine-Grained Change Detection in the Wild
Tianjin University(天津大学);State Administration of Cultural Heritage(国家文物局)
主动摄像机重定位(ACR)是计算机视觉中的一个新问题,它可以有效地降低细粒度变化检测(FGCD)中由于摄像机姿态不对准而引起的图像失真所造成的虚警。尽管ACR可以支持的丰硕成果,但它仍然是一个具有挑战性的问题,这是由相对姿态估计的不稳定结果引起的,特别是对于室外场景,其中照明条件失控,即,两次观察可能具有高度不同的照明。研究了一种光照不变的主动摄像机重定位方法,该方法在相对位姿估计和尺度估计两方面都有改进。我们使用平面片段作为中间表示来促进特征匹配,从而进一步提高光照变化下的姿态估计鲁棒性和可靠性。此外,通过构造一个线性系统,使图像变形误差最小化,从而获得每次ACR迭代的绝对尺度,大大减少了ACR过程的时间消耗,比现有的ACR策略快了近$1.6$倍。我们的工作大大扩展了现实世界的细粒度变化监测任务的文化遗产的可行性。大量的实验测试和实际应用验证了该方法在ACR任务中的有效性和鲁棒性。
2022-04-13 cs.CV
A model-agnostic active learning approach for animal detection from camera traps
Machine Intelligence Lab, School of Information Technology, Deakin University(机器智能实验室,信息科技学院,德堪大学)
针对相机陷阱数据标注成本高的问题,提出一种模型无关的主动学习方法,融合目标级和图像级的不确定性与多样性进行样本选择,仅用30%训练数据即可达到与全量数据相当或更优的动物检测性能。
2025-07-09 cs.CV
SaPaVe: Towards Active Perception and Manipulation in Vision-Language-Action Models for Robotics
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(信息多媒体国家重点实验室,计算机科学学院,北京大学);School of Software, Beihang University(软件学院,北航);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
SaPaVe通过解耦相机与操作动作,结合自下而上训练策略,实现高效且可推广的主动感知与操作,在现实任务中成功率达31.25%。
2026-03-12 cs.CV cs.RO
Tracking Particles Ejected From Active Asteroid Bennu With Event-Based Vision
Advanced Concepts Team, European Space Agency, European Space Research and Technology Centre (ESTEC)(欧洲空间局先进概念团队、欧洲空间研究与技术中心(ESTEC))
本研究提出一种基于事件相机的解决方案,用于探测和追踪活跃小行星Bennu的厘米级粒子喷射事件,通过重建OSIRIS-REx任务场景并模拟事件观测,为未来多目标追踪提供时空数据流支持。
2023-09-13 cs.CV cs.RO
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题,提出任务驱动的异步主动视觉-动作模型,串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练,在RLBench的8个任务上持续优于基线,有效处理视觉约束。
2025-02-12 cs.CV cs.RO
Active headrest combined with a depth camera-based ear-positioning system
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
针对头部运动导致主动头枕降噪性能下降的问题,本文提出基于深度相机与 RTMpose 的人耳 2D/3D 定位跟踪方法,显著提升平移或旋转时的宽带降噪效果。
2023-12-25 cs.CV eess.IV
Cost-efficient Active Illumination Camera For Hyper-spectral Reconstruction
University of Florida(佛罗里达大学);Amazon(亚马逊)
本文提出一种成本高效、紧凑易用的主动照明相机,通过U-Net从多光谱输入重建高光谱数据,并验证其在植物根系成像中优于普通RGB相机。
2024-06-27 cs.CV cs.LG eess.IV
Simplified Active Calibration
University of Alberta(阿尔伯塔大学)
我们提出了一个新的数学公式来估计主动或机器人平台中的摄像机的内部参数。我们表明,焦距可以估计仅使用一个点对应关系,涉及之前和之后的相机的退化旋转的图像。然后将估计的焦距视为已知参数,以获得一组线性方程来计算主点。假设主点靠近图像中心,通过将图像中心集成到公式中来提高线性方程的精度。我们广泛地评估了模拟相机,3D场景和现实世界的图像的配方。我们对模拟和真实图像的误差分析表明,所提出的简化主动校准方法估计具有低出错率的相机的参数,可以用作进一步的非线性细化程序的初始猜测。简化的主动校准可以在实时环境中用于自动校准,给出了所提出的封闭形式的解决方案。
2018-07-25 cs.CV
Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
主动多目标跟踪(AMOT)是一项任务,其中摄像机由一个集中式系统控制,以自动和协作地调整它们的姿态,从而最大限度地覆盖共享视野中的目标。在AMOT中,每个摄像机只能从其观察中接收部分信息,这可能会误导摄像机采取局部最优行动。此外,全球目标,即,对象的最大覆盖,很难直接优化。为了解决上述问题,我们提出了一个坐标对齐的多摄像机协作系统的AMOT。在我们的方法中,我们将每个摄像机视为代理,并使用多智能体强化学习解决方案解决AMOT。为了表示每个智能体的观察,我们首先用图像检测器识别摄像机视图中的目标,然后在3D环境中对齐目标的坐标。我们根据全球覆盖率和四个单独的奖励条款定义每个代理的奖励。代理的行动策略是由基于价值的Q-网络导出的。据我们所知,我们是第一个研究AMOT任务的。为了训练和评估我们的系统的有效性,我们建立了一个虚拟但可信的三维环境,名为“足球场”,模仿现实世界的AMOT场景。实验结果表明,我们的系统达到了71.88%的覆盖率,比基线方法高出8.9%。
2022-02-22 cs.CV cs.MM
Coverage Optimization for Camera View Selection
Stanford University(斯坦福大学)
本文提出了一种基于覆盖的摄像头视角选择方法,通过最小化鱼信息增益的近似值来选择信息丰富的视角,从而提高三维重建质量。
2026-04-06 cs.CV cs.RO
Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions
Carnegie Mellon University(卡内基梅隆大学)
我们认为人工代理,学会共同控制他们的gripper和相机,以加强学习操纵策略的存在遮挡干扰对象。干扰物经常遮挡感兴趣的对象,并使其从视野中消失。我们提出了手/眼控制器,它学会移动相机以保持物体在视野内可见,协调操纵它以实现预期的目标,例如,将其推到目标位置。我们将以对象为中心的注意力的结构偏差纳入我们的行动者-批评者架构,我们的实验表明这是良好表现的关键。我们的研究结果进一步强调了课程与环境难度的重要性。由此产生的主动视觉/操作策略优于静态相机设置的各种杂乱的环境。
2019-02-16 cs.CV cs.LG cs.RO
Active 6D Multi-Object Pose Estimation in Cluttered Scenarios with Deep Reinforcement Learning
Imperial College London(帝国理工学院)
在这项工作中,我们将探讨如何战略选择的相机运动可以促进任务的6D多对象的姿态估计在混乱的情况下,同时尊重现实世界中的限制,重要的机器人和增强现实应用程序,如时间和距离。在所提出的框架中,一组多个对象的假设给一个代理,这是推断的对象姿态估计器,并随后时空选择的融合功能,利用验证分数,规避地面实况注释的需要。智能体对这些假设进行推理,将注意力集中在最不确定的对象上,将相机移向这样的对象。与以前提出短视政策的作品不同,我们的代理在模拟场景中使用强化学习进行训练,试图学习相机移动,从而为给定的时间和空间预算产生最准确的对象姿势假设,而无需在推理过程中渲染视点。我们的实验表明,所提出的方法成功地估计了具有挑战性的杂乱合成和真实场景中的一堆对象的6D对象姿态,与强基线相比表现出优越的性能。
2019-10-19 cs.CV cs.RO
DeltaSeek: Toward Active Perception in Evolving Construction Environments
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对施工环境动态变化导致静态感知失效的问题,提出DeltaSeek框架,形式化具身允许观察集,并通过实验区分感知限制与获取成本,验证腕部相机在解决底盘无法观察的变化上更高效。
2026-09-29 cs.CV cs.RO
Using The Feedback of Dynamic Active-Pixel Vision Sensor (Davis) to Prevent Slip in Real Time
Universitat Rovira I Virgili(罗维拉·依维尔基里大学);University of Debrecen(德布勒森大学)
本文的目的是描述一种方法来检测实时反馈的滑移和接触力。在这种新的方法中,DAVIS相机被用作视觉触觉传感器,由于其快速的处理速度和高分辨率。对四种不同形状、尺寸、重量和材料的物体进行了200次实验,以比较Baxter机器人夹持器的精度和响应,以避免打滑。先进的方法是通过使用力敏电阻(FSR 402)进行验证。DAVIS摄像机捕获的事件通过特定算法进行处理,以向Baxter机器人提供反馈,帮助其检测滑动。
2021-11-09 cs.CV cs.RO
MaFreeI2P: A Matching-Free Image-to-Point Cloud Registration Paradigm with Active Camera Pose Retrieval
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院 Cyber-Systems 研究所);Polytechnic Institute, Zhejiang University(浙江大学理工学院)
本文提出无匹配图像到点云配准范式MaFreeI2P,通过构建代价体并利用卷积网络在SE(3)空间中主动检索相机位姿,在KITTI-Odometry和Apollo-DaoxiangLake数据集上取得有竞争力的配准精度与召回率。
2024-08-05 cs.CV eess.IV
Generic Camera Attribute Control using Bayesian Optimization
KAIST(韩国科学技术院)
相机是机器人和计算机视觉领域中应用最广泛的传感器。尽管它们很受欢迎,但两个主要属性(即,增益和曝光时间)已经凭经验确定,并且图像以非常被动的方式被捕获。在本文中,我们提出了一个积极的和通用的摄像机属性控制方案,使用贝叶斯优化。我们从两个方面扩展了我们以前的工作[1]。首先,我们提出了一种方法,共同控制相机增益和曝光时间。其次,为了加快贝叶斯优化过程,我们引入了使用相机响应函数(CRF)的图像合成。这些合成图像使我们能够减少贝叶斯优化阶段的图像采集时间,大大提高了整体控制性能。所提出的方法在室内和室外环境中,光照条件迅速变化进行了验证。补充材料可在https://youtu.be/XTYR_Mih3OU上查阅。
2018-08-14 cs.CV cs.RO
A deep active learning system for species identification and counting in camera trap images
Microsoft AI for Earth(微软地球人工智能项目);University of Wyoming(怀俄明大学);California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);Uber AI(优步人工智能)
生物多样性保护依赖于有关野生动物种群分布的准确、最新信息。动作感应相机,也称为相机陷阱,是人口调查的重要工具,因为它们便宜且不具侵入性。然而,从相机陷阱图像中提取有用的信息是一个繁琐的过程:一个典型的相机陷阱调查可能会产生数百万的图像,需要缓慢,昂贵的人工审查。因此,由于资源有限,关键信息往往丢失,关键的保护问题可能回答得太慢,无法支持决策。计算机视觉有望大幅提高基于图像的生物多样性调查的效率,最近的研究已经利用深度学习技术从相机陷阱图像中自动提取信息抽取。然而,结果的准确性取决于可用于训练模型的数据的数量、质量和多样性,并且文献集中于具有数百万相关标记训练图像的项目。许多相机陷阱项目没有大量的标记图像,因此无法从现有的机器学习技术中受益。此外,即使是具有来自类似生态系统的标记数据的项目也难以采用深度学习方法,因为图像分类模型过度拟合特定图像背景(即,相机位置)。在本文中,我们的重点不是自动标记相机陷阱图像,但在加速这一过程。我们结合了机器智能和人类智能的力量,构建了一个可扩展、快速和准确的主动学习系统,以最大限度地减少识别和计数相机陷阱图像中动物所需的手动工作。我们提出的方案可以在320万个图像数据集上匹配最先进的精度,只需14,100个手动标签,这意味着将手动标记工作减少了99.5%以上。
2019-10-22 cs.CV cs.LG eess.IV
ActFormer: Scalable Collaborative Perception via Active Queries
New York University(纽约大学);Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院)
针对多机器人协同感知的可扩展性问题,提出ActFormer模型,通过BEV查询主动选择相关相机聚合信息,在V2X-Sim数据集上以更少查询显著提升3D目标检测性能。
2024-03-08 cs.CV
DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification for Cameras with Optical Image Stabilization System
Texas A&M University(德克萨斯农工大学)
移动设备中的光学图像稳定(OIS)系统通过操纵镜头来补偿手抖动来减少图像模糊。然而,OIS动态地改变固有相机参数(即,$\mathrm{K}$矩阵),这阻碍了准确的相机姿态估计或3D重建。在这里,我们提出了一种新型的基于神经网络的方法,该方法实时估计$\mathrm{K}$矩阵,以便可以在移动设备上以相机本地分辨率运行姿态估计或场景重建,以获得最高的准确度。我们的网络设计满意的投影模型差异功能和三维点的位置作为输入,并采用多层感知器(MLP)近似$f_{\mathrm{K}}$流形。我们还设计了一个独特的训练方案,该网络通过引入反向传播的PNN(BP神经网络)层,使重投影误差可以作为损失函数。训练过程利用精确的校准图案来捕获精确的$f_{\mathrm{K}}$流形,但是训练的网络可以在任何地方使用。我们将所提出的动态内在流形估计网络命名为DIME-Net,并在三种不同的移动设备上实现和测试。在所有情况下,DIME-Net可以减少重投影误差至少$64\%$,表明我们的设计是成功的。
2023-03-20 cs.CV cs.RO
Deep Unsupervised Common Representation Learning for LiDAR and Camera Data using Double Siamese Networks
ETH Zürich(苏黎世联邦理工学院)
传感器模态的域间隙对自主机器人的设计提出了挑战。为了缩小这一差距,我们提出了两个无监督的训练框架,用于找到LiDAR和相机数据的共同表示。第一种方法利用双连体训练结构来确保结果的一致性。第二种方法使用Canny边缘图像引导网络朝向期望的表示。所有网络都是以无监督的方式训练的,为可扩展性留出了空间。使用常见的计算机视觉应用程序的结果进行评估,并概述了所提出的方法的局限性。
2020-01-03 cs.CV cs.RO
Multi-Target Active Object Tracking with Monte Carlo Tree Search and Target Motion Modeling
在这项工作中,我们致力于多目标主动对象跟踪(AOT),其中有多个目标以及多个摄像机的环境中。目标是最大化所有摄像机的整体目标覆盖范围。以前的工作做了一个强有力的假设,每个摄像机是固定在一个位置,只允许旋转,这限制了它的应用。在这项工作中,我们放宽设置,允许所有相机都沿着边界线移动和旋转。在我们的设置中,动作空间变得更大,这导致识别最佳动作的计算复杂性更高。为此,我们提出利用多智能体强化学习(MARL)网络的动作选择来修剪蒙特卡罗树搜索(MCTS)方法的搜索树,从而更有效地找到最优动作。此外,我们还对目标的运动进行建模,预测目标的未来位置,从而更好地估计MCTS过程中的未来环境状态。建立了一个多目标的二维环境来模拟体育比赛,实验结果表明,该方法可以有效地提高目标覆盖率。
2022-05-07 cs.CV cs.LG
An active learning model to classify animal species in Hong Kong
School of Biological Sciences(生物科学学院);University of Hong Kong(香港大学)
针对相机陷阱图像手动标注耗时及模型跨地域泛化能力不足的问题,采用深度主动学习工作流训练了一个适用于香港动物物种图像分类的模型。
2024-03-23 cs.CV
Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo
Princeton University(普林斯顿大学)
从结构光捕获中恢复深度的主动立体相机已成为3D场景重建和跨应用领域理解任务的基石传感器模态。现有的主动式立体相机在物体表面上投射伪随机点图案以独立于物体纹理来提取视差。这种手工制作的图案是在与场景统计、环境照明条件和重建方法隔离的情况下设计的。在这项工作中,我们提出了第一种方法来共同学习结构化照明和重建,参数化的衍射光学元件和神经网络,在一个端到端的方式。为此,我们引入了一种新的微分成像模型的主动立体,依赖于波和几何光学,和一个新的三目重建网络。我们称之为“波尔卡线”的联合优化模式与重建网络一起实现了跨成像条件的最先进的主动立体深度估计。我们验证所提出的方法在模拟和硬件原型,并表明我们的方法优于现有的主动立体声系统。
2021-05-26 cs.CV
Active Perception and Representation for Robotic Manipulation
Kindred Systems;University of Waterloo(滑铁卢大学)
绝大多数视觉动物主动控制它们的眼睛、头部和/或身体,将目光投向环境的不同部分。相比之下,强化学习在机器人操作中的最新应用采用相机作为被动传感器。这些都是精心放置,以查看一个场景从一个固定的姿势。主动感知使动物能够收集关于世界的最相关信息,并将其计算资源集中在需要的地方。它还使他们能够从不同的距离和视角观看物体,提供丰富的视觉体验,从中学习环境的抽象表示。受灵长类动物视觉运动系统的启发,我们提出了一个框架,利用主动感知的好处来完成操纵任务。我们的代理使用视点变化来本地化对象,以自我监督的方式学习状态表示,并执行目标导向的行动。我们将我们的模型应用到一个6自由度动作空间的模拟抓取任务中。与被动的固定摄像头相比,主动模型在目标抓取方面的性能提高了8%。与普通的深度Q学习算法相比,我们的模型的样本效率至少高出四倍,突出了主动感知和表示学习的优势。
2020-03-15 cs.CV cs.LG cs.RO
Observer-Actor: Active Vision Imitation Learning with Sparse-View Gaussian Splatting
ObAct通过主动视觉探索提升双臂机器人模仿学习的鲁棒性,利用稀疏视角高斯点云增强观测清晰度,实验显示其在无遮挡和有遮挡情况下均显著优于固定相机设置。
2026-03-04 cs.CV cs.LG cs.RO
Sparse Camera Network for Visual Surveillance -- A Comprehensive Survey
University of Washington(华盛顿大学);University of Technology, Sydney(悉尼科技大学);Birkbeck College, University of London(伦敦大学伯贝克学院)
传感器制造、通信和计算方面的技术进步正在刺激新应用的开发,这些新应用正在将传统的视觉系统转变为无处不在的智能相机网络。多摄像机网络中的视觉线索分析能够实现广泛的应用,从灵巧家庭和办公自动化到大面积监控和交通监控。虽然密集的摄像机网络-其中大多数摄像机具有较大的重叠视场-已经得到了很好的研究,但我们主要关注稀疏的摄像机网络。稀疏的摄像机网络使用尽可能少的摄像机进行大面积监控,并且大多数摄像机具有彼此不重叠的视场。这项任务是具有挑战性的,由于缺乏知识的网络的拓扑结构,在不同的视图中的特定跟踪目标的外观和运动的变化,以及在网络中理解复合事件的困难。在这篇综述论文中,我们提出了一个全面的调查最近的研究成果,以解决问题的摄像机内跟踪,拓扑结构学习,目标外观建模,并在稀疏摄像机网络的全球活动的理解。一些当前开放的研究问题进行了讨论。
2013-02-03 cs.CV
Non-Line-of-Sight Tracking and Mapping with an Active Corner Camera
本文提出了一种无需多照明位置的主动角落相机方法,实现了对运动物体的准确重建和静止场景的映射,提升室内态势感知能力。
2022-08-02 cs.CV eess.IV physics.optics
Sidekick Policy Learning for Active Visual Exploration
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
我们认为一个积极的视觉探索的情况下,代理必须智能地选择其相机运动,有效地重建整个环境,只有一个有限的一组狭窄的视野瞥见。虽然智能体在训练过程中对环境具有完全的可观察性,但一旦部署,它就只有部分可观察性,这受到它所看到的部分和允许的相机运动的限制。我们引入辅助策略学习来利用这种可观察性的不平衡。其主要思想是一个预备学习阶段,尝试简化版本的最终探索任务,然后通过奖励塑造或初始政策监督指导代理。为了支持解释所产生的政策,我们还开发了一种新的政策可视化技术。对360个场景和3D对象的主动视觉探索任务的结果表明,与现有方法相比,sidekicks始终提高了性能和收敛速度。代码,数据和演示都是可用的。
2018-07-29 cs.CV
Towards Active Vision for Action Localization with Reactive Control and Predictive Learning
Oklahoma State University(俄克拉荷马州立大学)
诸如动作定位的视觉事件感知任务主要集中在静态观察者下的监督学习设置,即,照相机是静态的并且不能由算法控制。它们通常受到\textit{annotated}训练数据的质量、数量和多样性的限制,并且通常不推广到域外样本。在这项工作中,我们解决的问题,主动行动本地化的目标是本地化的行动,同时控制的几何和物理参数的主动相机,以保持在视野中的行动没有训练数据。我们制定了一个基于能量的机制,该机制结合了预测学习和反应控制来执行主动动作定位,而无需奖励,这在现实环境中可能是稀疏的或不存在的。我们在模拟和真实世界的环境中进行了广泛的实验,两个任务-主动目标跟踪和主动动作定位。我们证明了所提出的方法可以以流的方式推广到不同的任务和环境,而无需明确的奖励或训练。我们表明,所提出的方法优于无监督的基线,并获得有竞争力的性能相比,那些训练与强化学习。
2021-11-09 cs.CV
On-line non-overlapping camera calibration net
我们提出了一种简单易用的非重叠摄像机标定方法。首先,连续的图像被馈送到基于PoseNet的网络,以获得帧之间相机的自我运动。接下来,估计相机之间的姿态。而不是使用一个批处理的方法,我们提出了一个在线的方法,相机间的姿态估计。此外,我们在计算图上实现了整个过程。仿真实验和KITTI数据集的实验表明,该方法是有效的仿真。
2020-02-19 cs.CV
Intelligent Querying for Target Tracking in Camera Networks using Deep Q-Learning with n-Step Bootstrapping
Indraprastha Institute of Information Technology (IIIT-Delhi)(英德拉普拉萨信息技术学院(IIIT-德里))
监控摄像机网络是各种视觉分析应用的有用基础设施,可以基于网络中的目标跟踪进行高级推断和预测。多摄像机跟踪的研究主要集中在目标的重新识别和轨迹关联问题上。然而,由于摄像机网络可以生成大量的视频数据,用于进行重新识别或轨迹关联查询的低效方案可能导致过大的计算需求。在本文中,我们解决的问题,智能调度的重新识别查询在多摄像机跟踪设置。为此,我们制定了目标跟踪问题的摄像机网络作为一个MDP和学习的强化学习为基础的政策,选择一个摄像机进行重新识别查询。所提出的摄像机选择方法不假设摄像机网络拓扑结构的知识,但由此产生的政策隐式地学习它。我们还表明,这样的政策可以直接从数据中学习。使用NLPR MCT和杜克MTMC多相机多目标跟踪基准,我们的经验表明,所提出的方法大大减少了查询帧的数量。
2020-04-20 cs.CV
Panoramic Annular Localizer: Tackling the Variation Challenges of Outdoor Localization Using Panoramic Annular Images and Active Deep Descriptors
Zhejiang University(浙江大学)
视觉定位是一个有吸引力的问题,估计相机定位从数据库图像的基础上查询图像。它是各种应用的关键任务,如自动驾驶汽车,辅助导航和增强现实。该任务的挑战性问题在于查询和数据库图像之间的各种外观变化,包括光照变化,动态对象变化和视点变化。为了解决这些问题,本文提出了一种结合全景环形透镜和鲁棒深度图像描述子的全景环形定位器。将单摄像机拍摄的全景环形图像进行处理后送入NetVLAD网络,形成主动深度描述子,利用序贯匹配生成定位结果。在公共数据集和现场进行的实验表明了该系统的有效性。
2019-07-15 cs.CV
See the World through Network Cameras
数百万台网络摄像机已部署在世界各地。来自许多网络摄像机的实时数据可以提供多个位置的即时视图,应用于公共安全,交通管理,城市规划,农业,林业,社会科学,大气信息等。本文介绍了全球网络摄像机的实时数据和潜在的应用。其次,本文概述了CAM 2系统提供给用户在https://www.cam2project.net/。这些信息包括发现网络摄像机和创建摄像机数据库、用户界面和计算平台的策略。第三,本文描述了网络摄像机数据提供的许多机会和需要解决的挑战。
2019-04-14 cs.CV cs.DC
Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
University of Dayton(代顿大学);Umm Al-Qura University(乌姆·古拉大学)
本文提出了一种新的方法,用于标记真实世界的神经形态相机传感器数据,通过计算在短时间窗口内每个像素处生成事件的可能性,我们将其称为“事件概率掩模”或“事件概率掩模”。其应用包括(i)事件去噪性能的客观基准测试,(ii)训练用于噪声去除的卷积神经网络,称为“事件去噪卷积神经网络“(EDnCNN),以及(iii)估计内部神经形态相机参数。我们提供了第一个数据集(DVSNOISE20)的真实世界标记的神经形态相机事件的噪声去除。
2020-03-23 cs.CV
A Robust Illumination-Invariant Camera System for Agricultural Applications
目标检测和语义分割是农业应用中最广泛采用的两种深度学习算法。在户外为这些任务获取的图像质量的变化的主要来源之一是改变照明条件,这可以改变对象的外观或整个图像的内容。虽然迁移学习和数据增强在一定程度上减少了对大量数据的需求,以训练深度神经网络,但农业中品种繁多和缺乏共享数据集使得大规模的现场部署变得困难。在本文中,我们提出了一个高吞吐量的强大的主动照明为基础的相机系统,在所有照明条件下产生一致的图像。我们详细介绍了一些实验,这些实验显示图像质量的一致性导致相对较少的图像用于训练深度神经网络以执行目标检测任务。我们进一步提出了在极端照明条件下的现场实验结果,其中没有主动照明的图像显着缺乏提供一致的结果。实验结果表明,平均而言,在一致数据上训练的用于目标检测的深度网络需要近四倍的数据才能达到相似的准确度。这项拟议的工作可能为农业中的计算机视觉需求提供实用的解决方案。
2021-01-06 cs.CV