Key Frame Proposal Network for Efficient Pose Estimation in Videos
Northeastern University（东北大学）；Motorola Solutions, Inc.（摩托罗拉系统公司）
视频中的人体姿态估计依赖于本地信息，要么独立地估计每个帧，要么跨帧跟踪姿态。在本文中，我们提出了一种新的方法相结合的局部方法与全球背景。我们引入了一个轻量级的，无监督的，关键帧建议网络（K-FPN）来选择信息帧和一个学习字典来恢复这些帧的整个姿势序列。K-FPN加速了姿态估计，并对具有遮挡、运动模糊和照明变化的坏帧提供了鲁棒性，而学习的字典提供了全局动态上下文。在Penn Action和sub-JHMDB数据集上的实验表明，该方法具有较高的准确率和较好的加速性能。
2020-07-30 cs.CV
Object Proposal Generation using Two-Stage Cascade SVMs
Boston University（波士顿大学）；University of Oxford（牛津大学）
目标建议算法作为目标识别和检测的第一步已经显示出很大的前景。好的对象建议生成算法需要高的对象召回率以及低的计算成本，因为生成对象建议通常被用作预处理步骤。因此，如何在不降低召回率的情况下加快目标建议的生成和评估过程的问题引起了人们的极大兴趣。在本文中，我们提出了一种新的对象建议生成方法，使用两级级联支持向量机，其中在第一阶段的线性滤波器学习预定义的量化尺度/纵横比独立，并在第二阶段的全局线性分类器学习跨所有的量化尺度/纵横比校准，使所有的建议可以比较正确。得分最高的提案是我们的最终输出。具体来说，我们解释了我们的尺度/纵横比量化方案，并研究了$\ell_1$和$\ell_2$正则化器的组合在级联SVM中的效果，在学习中有/没有排名约束。在VOC 2007数据集上进行了全面的实验，实验结果表明，该算法具有较高的目标召回率和计算效率，达到了目前最先进的性能。此外，我们的方法已被证明是适用于不仅类特定的，但也通用对象的建议生成。
2014-07-20 cs.CV
Drosophila-Inspired 3D Moving Object Detection Based on Point Clouds
National University of Defense Technology（中国人民解放军国防科技大学）；National Innovation Institute of Defense Technology（国防科技创新研究院）
三维运动目标检测是动态景物分析中最关键的任务之一。在本文中，我们提出了一种新的果蝇启发的三维运动目标检测方法使用激光雷达传感器。根据初级运动检测器的原理，我们研制了一种基于果蝇浅层视觉神经通路的运动检测器。该检测器对目标的运动敏感，并能很好地抑制背景噪声。该方法通过设计不同连接方式的神经回路，以由粗到精的方式搜索运动区域，并提取每个运动区域的点云，形成运动对象建议。然后使用改进的3D目标检测网络来估计每个建议的点云，并有效地生成3D包围盒和对象类别。我们评估所提出的方法广泛使用的KITTI基准测试，并通过使用所提出的方法的运动检测的任务，获得了最先进的性能。
2020-05-06 cs.CV
HMAD: Advancing E2E Driving with Anchored Offset Proposals and Simulation-Supervised Multi-target Scoring
HAOMO.AI Technology Co., Ltd（HAOMO.AI技术有限公司）；Tsinghua University（清华大学）
HMAD框架结合基于BEV的锚定偏移轨迹生成与仿真监督多目标评分，解决了端到端自动驾驶中轨迹多样性与最优路径选择难题，在CVPR 2025测试集取得44.5%驾驶分数。
2025-05-29 cs.CV
Learned Equivariant Rendering without Transformation Supervision
NYU（纽约大学）；NVidia（英伟达）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频中自动划定为对象和背景。我们的方法依赖于移动对象是等变的，相对于他们的跨帧的变换和背景是恒定的。经过训练后，我们可以实时的操纵和渲染场景，以创建对象、变换和背景的不可见组合。我们展示了移动MNIST与背景的结果。
2020-11-11 cs.CV
Should All Proposals be Treated Equally in Object Detection?
Microsoft Corporation（微软公司）；UC San Diego（加州大学圣地亚哥分校）
目标检测器的复杂性和精度的权衡是资源受限的视觉任务的关键问题。以前的工作强调检测器实现高效的骨干。在这项工作中，由检测头的建议处理的这种权衡的影响进行了研究。据推测，提高检测效率需要一个范式的转变，对不平等的处理建议，分配更多的计算好的建议比穷人。这导致更好地利用可用的计算预算，从而实现相同FLOPS的更高精度。我们将其制定为一个学习问题，其目标是在检测头中将操作员分配给建议，以便限制总计算成本并最大化精度。关键的发现是，这种匹配可以作为一个函数来学习，该函数将每个建议嵌入映射到操作符上的独热代码中。虽然该函数引入了复杂的动态网络路由机制，但它可以通过简单的MLP来实现，并且可以通过现成的对象检测器来学习端到端。对于给定的计算复杂性，这种"动态建议处理"（DPP）的性能明显优于最先进的端到端对象检测器（DETR，稀疏R-CNN）。
2022-07-07 cs.CV
Dynamic Sparse R-CNN
Advanced Micro Devices, Inc.（超威半导体公司）
稀疏R-CNN是最近通过对稀疏、可学习的建议框和建议特征进行集合预测的强大目标检测基线。在这项工作中，我们提出用两种动态设计来改进稀疏R-CNN。首先，稀疏R-CNN采用一对一的标签分配方案，其中匈牙利算法仅用于为每个地面真值匹配一个正样本。这样的一对一分配对于所学习的建议框和地面实况之间的匹配可能不是最佳的。为了解决这个问题，我们提出了基于最优传输算法的动态标签分配（DLA），以在稀疏R-CNN的迭代训练阶段分配越来越多的正样本。我们限制匹配逐渐松散的顺序阶段，因为后期阶段产生的改进建议，提高精度。其次，在稀疏R-CNN的推理过程中，学习到的建议框和特征对于不同的图像保持固定。受动态卷积的启发，我们提出了动态建议生成（DPG），以动态地组装多个建议专家，为连续的训练阶段提供更好的初始建议框和功能。因此，DPG可以导出样本相关的建议框和特征以进行推理。实验表明，我们的方法，名为动态稀疏R-CNN，可以提高强大的稀疏R-CNN基线与不同的骨干目标检测。特别是，Dynamic Sparse R-CNN在COCO 2017验证集上达到了最先进的47.2% AP，在相同的ResNet-50主干上超过了Sparse R-CNN 2.2% AP。
2022-05-04 cs.AI cs.CV cs.LG
A Dataset To Evaluate The Representations Learned By Video Prediction Models
Toyota Research Institute（丰田研究院）；University of Michigan（密歇根大学）
我们提出了一个参数化的合成数据集，称为移动符号，以支持视频预测网络的客观研究。使用几个实例化的数据集，其中的变化是明确控制，我们突出了现有的国家的最先进的方法中的问题，并提出使用具有更大的语义意义的性能指标，以提高实验的可解释性。我们的数据集提供了规范的测试用例，这将有助于社区更好地理解并最终改进未来通过此类网络学习的表示。代码可在https://github.com/rszeto/moving-symbols上获得。
2018-03-22 cs.CV
Proposal Distribution Calibration for Few-Shot Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
在低数据机制下，将在足够的监督下学习的对象检测器适应新的类是迷人而具有挑战性的。在Few-Shot目标检测（FSOD）中，广泛采用两步训练范例来减轻严重的样本不平衡，即，在基本类上进行整体预训练，然后在所有类的平衡设置中进行部分微调。由于未标记的实例在基础训练阶段被抑制为背景，因此学习的RPN容易对新实例产生有偏见的建议，导致性能急剧下降。不幸的是，极端的数据稀缺性加剧了提案分布偏差，阻碍了RoI头部向新类的发展。在本文中，我们介绍了一种简单而有效的建议分布校准（PDC）方法，通过回收其在基础训练中赋予的定位能力和丰富高质量的正样本进行语义微调，来巧妙地增强ROI头部的定位和分类能力。具体来说，我们采样建议的基础上的建议统计校准的分布偏差和施加额外的本地化和分类损失的采样建议快速扩展的基础检测器到新的类。在常用的Pascal VOC和MS COCO数据集上进行的实验证明了我们的PDC对FSOD的有效性。代码可在github.com/Bohao-Lee/PDC上获得。
2022-12-15 cs.CV
Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术中心）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口，假设先前的位置是准确的，轨迹是平滑的，并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而，这些可能并不总是有效的，特别是对于快速和不规则移动的对象。在这里，我们提出了一个对象跟踪器，不限于本地搜索窗口，并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议，一个新的实例特定的对象性措施，并评估他们对对象模型，可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中，我们更新的对象模型集中在硬假阳性提供的建议，这有助于抑制干扰所造成的困难的背景杂波，并学习如何重新排名的建议，根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量，我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器，并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2016-05-06 cs.CV
Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing
COMSATS University Islamabad（伊斯兰堡COMSATS大学）
本研究提出一种空间门控潜在扩散方法，通过门控混合源与编辑轨迹并应用图像空间掩码，在胸部X光片反事实编辑中实现高目标完成率（97.4%）和联合有效性（93.5%），同时有效保留无关内容。
2026-10-02 cs.CV eess.IV
DeepFH Segmentations for Superpixel-based Object Proposal Refinement
University of Hamburg（汉堡大学）
类无关对象建议生成是许多目标检测流水线中重要的第一步。然而，现代系统的对象建议在分割方面是相当不准确的，并且仅粗略地遵守对象边界。由于典型的细化步骤通常不适用于成千上万的建议，我们提出了一个基于超像素的细化系统的对象建议生成系统。利用深度特征上的精确超像素和超像素池，我们在端到端的学习系统中改进了初始的粗略建议。此外，我们提出了一种新的DeepFH分割，它丰富了经典的Felzenszwalb和Huttenlocher（FH）分割，具有深度特征，从而改善了分割结果和更好的对象建议细化。在带有LVIS注释的COCO数据集上，我们证明了我们基于DeepFH超像素的改进优于最先进的方法，并导致更精确的对象建议。
2021-08-07 cs.CV
Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）
我们研究了如何学习一个策略与组合的概括性。我们提出了一个两阶段的框架，重构高奖励的教师政策到一个概括的学生政策与强烈的归纳偏见。特别是，我们实现了一个以对象为中心的GNN为基础的学生政策，其输入对象是通过自监督学习从图像中学习。从经验上讲，我们评估我们的方法对四个困难的任务，需要合成的概括性，并实现卓越的性能相比，基线。
2020-10-26 cs.AI cs.CV cs.LG
Pose-Guided Human Parsing with Deep Learned Features
University of California, Los Angeles（加州大学洛杉矶分校）
人体语义区域的分析是以人为中心的分析的关键。在本文中，我们提出了一个基于段的解析管道，探索人体姿态信息，即人体模型的联合位置，这提高了部分建议，加快推理和规范化的解析过程中的同时。具体来说，我们首先针对深度模型预测的人体关节生成零件片段建议，然后使用基于姿势的特征和深度学习的零件潜在特征来训练特定于零件的排名模型以进行片段选择。最后，通过与或图来推断所提出的部分段的最佳集合。我们评估我们的方法上流行的宾夕法尼亚大学复旦大学行人解析数据集，并证明了使用的姿态信息的解析管道的每个阶段的有效性。最后，我们表明，我们的方法产生优越的部分分割精度相比，国家的最先进的方法。
2015-11-25 cs.CV
Event Camera as Region Proposal Network
Technical University Dortmund（多特蒙德工业大学）
受人类视杆细胞充当视觉区域候选网络的启发，本研究用事件相机替换detectron2中Mask R-CNN的RPN来生成运动物体候选，在精度相当的情况下提升了检测速度、降低了计算成本。
2023-05-01 cs.CV
Meta-Learning the Search Distribution of Black-Box Random Search Based Adversarial Attacks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
基于随机搜索机制的对抗攻击在黑盒鲁棒性评估方面取得了令人瞩目的成果。然而，正如我们在这项工作中所展示的，它们在不同的查询预算制度的效率取决于手动设计和启发式调整的基础建议分布。我们研究了如何通过基于攻击过程中获得的信息在线调整提案分布来解决这个问题。我们认为广场攻击，这是一个国家的最先进的基于分数的黑盒攻击，并证明其性能可以提高学习控制器，调整参数的建议分布在线攻击期间。我们在具有白盒访问的CIFAR10模型上使用基于梯度的端到端训练对控制器进行训练。我们证明，插入学习控制器的攻击一致提高其黑盒鲁棒性估计在不同的查询制度高达20%的广泛的不同模型与黑盒访问。我们进一步表明，学习的自适应原则可以很好地转移到其他数据分布，如CIFAR100或ImageNet以及目标攻击设置。
2021-11-22 cs.AI cs.CV cs.LG
Deep Tracking on the Move: Learning to Track the World from a Moving Vehicle using Recurrent Neural Networks
University of Oxford（牛津大学）
本文提出了一种端到端的方法来跟踪静态和动态对象的自动驾驶车辆驾驶通过拥挤的城市环境。与传统的跟踪方法不同，该方法是端到端学习的，并且能够从原始激光输入数据直接预测完整的未被遮挡的占用网格地图。受最近提出的DeepTracking方法[Ondruska，2016]的启发，我们采用递归神经网络（RNN）来捕获环境状态的时间演变，并建议使用空间Transformer模块来利用车辆自运动的估计。我们的研究结果证明了使用单个学习模型从移动和静止平台通过遮挡跟踪一系列对象的能力，包括汽车，公共汽车，行人和骑自行车的人。实验结果表明，该模型还可以预测对象的未来状态从当前的输入，具有更高的精度比以前的工作。
2017-04-19 cs.AI cs.CV cs.LG
SalProp: Salient object proposals via aggregated edge cues
Indian Institute of Technology Delhi（印度理工学院德里分校）；National Institute of Technology Goa（印度国立理工学院果阿分校）
在本文中，我们提出了一种新的对象提案生成方案，制定了一个基于图的显着的边缘分类框架，利用边缘上下文。在所提出的方法中，我们构建了一个贝叶斯概率边缘图分配一个显着值的边缘利用低级别的边缘功能。然后学习条件随机场，以有效地将这些特征与对象/非对象标签结合起来进行边缘分类。我们提出了一个对象得分生成的窗口，通过分析显着的边缘密度内的限界框。在PASCAL VOC 2007数据集上进行的大量实验表明，该方法与10种常用的通用目标检测技术相比，具有较好的性能，同时使用较少的建议。
2017-06-14 cs.CV
SF2SE3: Clustering Scene Flow into SE(3)-Motions via Proposal and Selection
University of Freiburg（弗赖堡大学）
我们提出了SF 2SE 3，一种新的方法来估计场景动态的分割成独立移动的刚性对象和它们的SE（3）运动的形式。SF 2SE 3可在两个连续的立体或RGB-D图像上运行。首先，噪声场景流通过应用现有的光流和深度估计算法获得。SF 2SE 3然后迭代地（1）采样像素集以计算SE（3）-运动建议，以及（2）相对于最大覆盖公式选择最佳SE（3）-运动建议。最后，通过基于与输入场景流的一致性和空间接近性将像素唯一地分配给所选择的SE（3）运动来形成对象。主要的新颖之处是一个更明智的战略抽样的议案和最大的覆盖范围制定的建议选择。我们进行评估多个数据集上的应用SF 2SE 3场景流估计，对象分割和视觉里程计。SF 2SE 3在场景流估计方面的表现与现有技术相当，并且在分割和测距方面更准确。
2022-09-26 cs.CV
Unsupervised Online Video Object Segmentation with Motion Property Understanding
无监督视频对象分割的目标是在不需要任何用户注释的情况下自动分割无约束视频中的运动对象。到目前为止，只有少数无监督的在线方法已在文献中报道，他们的性能仍然远远不能令人满意，因为补充信息，从未来的帧不能处理在线设置。为了解决这个具有挑战性的问题，在本文中，我们提出了一种新的无监督在线视频对象分割（UOVOS）框架，通过将运动属性定义为与分割区域的通用对象同时移动。通过结合显著运动检测和目标建议，逐像素融合策略，以有效地去除检测噪声，如动态背景和静止目标。此外，通过利用从紧接在前的帧中获得的分割，采用前向传播算法来处理不可靠的运动检测和对象建议。在多个基准数据集上的实验结果证明了该方法的有效性。与最先进的无监督在线分割算法相比，该方法实现了6.2%的绝对增益。此外，我们的方法在DAVIS-2016基准数据集上实现了比最佳无监督离线算法更好的性能。我们的代码可以在项目网站上找到：https://github.com/visiontao/uovos。
2019-08-06 cs.CV cs.LG
Self-supervised Segmentation via Background Inpainting
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The University of British Columbia（不列颠哥伦比亚大学）；Balgrist University Hospital（巴尔格里斯特大学医院）；University of Zurich（苏黎世大学）
虽然有监督的目标检测和分割方法实现了令人印象深刻的准确性，他们推广不良的图像，其外观显着不同的数据，他们已经trainedon.To解决这个问题时，注释数据是昂贵的，我们引入了一个自我监督的检测和分割方法，可以与潜在的移动摄像机捕获的单个图像。在我们的方法的核心在于观察对象分割和背景重建是相互关联的任务，并且，对于结构化场景，背景区域可以从周围环境中重新合成，而描绘移动对象的区域则不能。我们将这种直觉编码成一个自我监督的损失函数，我们利用它来训练一个基于建议的分割网络。考虑到提案的离散性，我们开发了一种基于蒙特卡洛的训练策略，该策略允许算法探索对象提案的大空间。我们将我们的方法应用于图像中的人体检测和分割，这些图像在视觉上偏离标准基准，并且优于现有的自监督方法。
2020-11-11 cs.CV
3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation
RWTH Aachen University（亚琛工业大学）；Google（谷歌）；Technical University Munich（慕尼黑工业大学）
提出了一种基于三维点云的实例分割方法3D-MPA。给定一个输入点云，我们提出了一个以对象为中心的方法，每个点投票的对象中心。我们从预测的对象中心采样对象建议。然后，我们从投票支持同一对象中心的分组点特征中学习提案特征。图卷积网络引入了建议间关系，除了较低级别的点特征之外，还提供了更高级别的特征学习。每个建议包括一个语义标签，一组相关的点，我们定义了一个前景-背景掩码，对象得分和聚合功能。以前的工作通常执行非最大抑制（NMS）的建议，以获得最终的目标检测或语义实例。然而，NMS可以丢弃潜在正确的预测。相反，我们的方法保留了所有建议，并根据学习到的聚合特性将它们分组在一起。我们表明，分组建议改善了NMS和优于以前的国家的最先进的方法的任务上的三维目标检测和语义实例分割的ScanNetV 2基准和S3 DIS数据集。
2020-03-30 cs.CV
PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud
The Chinese University of Hong Kong（香港中文大学）
在本文中，我们提出了PointRCNN的三维目标检测从原始点云。整个框架由两个阶段组成：第一阶段用于自底向上的3D建议生成，第二阶段用于在规范坐标中细化建议以获得最终检测结果。与以往的方法不同的是，该方法不需要从RGB图像生成建议，也不需要将点云投影到鸟瞰图或体素上，而是通过将整个场景的点云分割成前景点和背景，以自底向上的方式直接从点云生成少量高质量的3D建议。阶段2子网络将每个建议的池化点转换为规范坐标，以学习更好的局部空间特征，并将其与阶段1中学习的每个点的全局语义特征相结合，以进行准确的框细化和置信度预测。在KITTI数据集的3D检测基准上进行的大量实验表明，我们提出的架构仅使用点云作为输入，性能优于最先进的方法，具有显着的边缘。该代码可在https://github.com/sshaoshuai/PointRCNN上获得。
2019-05-16 cs.CV
Self-supervised Training of Proposal-based Segmentation via Background Prediction
EPFL（洛桑联邦理工学院）；Balgrist University Hospital, University of Zurich（苏黎世大学巴尔格里斯特大学医院）
虽然监督的目标检测方法实现了令人印象深刻的准确性，他们推广不良的图像，其外观显着不同的数据，他们已经trainedon.To解决这个问题的情况下，注释数据是昂贵的，我们引入了一个自我监督的方法来目标检测和分割，能够与单目图像捕获的移动相机。我们的方法的核心在于观察分割和背景重建是相互关联的任务，以及这样的想法，因为我们观察到一个结构化的场景，背景区域可以从周围环境中重新合成，而描绘对象的区域则不能。因此，我们将这种直觉编码为一个自我监督的损失函数，我们利用它来训练一个基于建议的分割网络。考虑到对象提案的离散性，我们开发了一种基于蒙特卡洛的训练策略，使我们能够探索对象提案的大空间。我们的实验表明，我们的方法在图像中产生准确的检测和分割，这些图像在视觉上偏离标准基准，优于现有的自监督方法，并接近利用大型注释数据集的弱监督方法。
2019-07-18 cs.CV
Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks
Osnabrück University（奥斯纳布吕克大学）；Institute of Cognitive Science（认知科学研究所）
该研究将神经网络激活空间分为影响旧任务的读出范围子空间与不影响的零空间，证明基于正则化的持续学习算法过度限制了可塑性，还提出深度网络功能相关子空间的估计方法，为开发兼顾稳定与高可塑性的持续学习算法提供指导。
2024-06-20 cs.CV cs.LG q-bio.NC
Spatio-Temporal Learnable Proposals for End-to-End Video Object Detection
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种新的思想，通过利用视频目标检测的时间信息生成对象的建议。现代基于区域的视频对象检测器中的特征聚合严重依赖于从单帧RPN生成的学习建议。这迫切需要引入额外的组件，如NMS，并在低质量帧上产生不可靠的建议。为了解决这些限制，我们提出了SparseVOD，这是一种新颖的视频目标检测流水线，它采用稀疏R-CNN来利用时间信息。特别地，我们在Sparse R-CNN的动态头中引入了两个模块。首先，在时域RoI对齐操作的基础上增加时域特征提取模块，提取RoI提案特征。其次，出于序列级语义聚合的动机，我们将注意力引导的语义建议特征聚合模块，以增强检测前的对象特征表示。所提出的SparseVOD有效地减少了复杂的后处理方法的开销，并使整个管道端到端可训练。大量的实验表明，我们的方法在mAP中将单帧稀疏RCNN显著提高了8%-9%。此外，除了在具有ResNet-50主干的ImageNet VID数据集上实现最先进的80.3% mAP之外，我们的SparseVOD在增加IoU阈值（IoU > 0.5）方面明显优于现有的基于提议的方法。
2022-10-07 cs.CV
Detecting Temporally Consistent Objects in Videos through Object Class Label Propagation
用于检测移动或静态视频对象的对象提案需要解决诸如速度、存储器复杂性和时间一致性之类的问题。我们提出了一个有效的视频对象建议（VOP）生成方法，并显示其有效性，学习一个更好的视频对象检测器。使用所提出的VOP学习的基于深度学习的视频对象检测器在Youtube对象数据集上实现了最先进的检测性能。我们进一步提出了一个集群的VOPs，可以有效地用于检测对象的视频流的方式。与应用基于逐帧卷积神经网络（CNN）的目标检测相反，我们提出的称为视频使能器中的对象粗糙标签传播（OVERLESS）的方法只需要通过对象建议的流聚类和类别标签传播来对每个视频帧中的所有候选建议的一小部分进行分类。源代码将很快提供。
2016-01-20 cs.CV
Diagnosing State-Of-The-Art Object Proposal Methods
Institute for Infocomm Research（信息通信研究院）；Nanyang Technological University（南洋理工大学）；Nanyang Polytechnic（南洋理工学院）
对象建议已经成为一种流行的范例，以取代PASCAL VOC和ImageNet中当前性能最好的方法中的穷举滑动窗口搜索。最近，Hosang等人对现有方法在各种图像级退化方面进行了第一次统一的研究。另一方面，重要的问题是“什么样的对象级特征真正影响现有方法的性能？”“尚未得到答复。受Hoiem et al.启发的分类目标检测的工作，本文进行了第一次元分析的各种对象级别的特征的影响，国家的最先进的目标建议方法。具体来说，我们研究的对象大小，长宽比，图标视图，颜色对比度，形状规则性和纹理的影响。我们还分析了现有方法的定位精度和延迟的各种PASCAL VOC对象类。我们的研究揭示了现有方法在非图标视图，小对象尺寸，低颜色对比度，形状规则性等方面的局限性。根据我们的观察，经验教训也学习和分享现有对象建议技术的选择以及未来的设计。
2015-07-16 cs.CV
Post-interactive Multimodal Trajectory Prediction for Autonomous Driving
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机与通信工程学院）；College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与运载工程学院）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；Department of Civil Engineering, Monash University（莫纳什大学土木工程系）
本文提出Pioformer，一种由粗到细的Transformer模型，通过显式提取后交互特征并结合三阶段训练，在Argoverse 1数据集上显著降低多模态轨迹预测误差。
2025-03-12 cs.CV
Moving Off-the-Grid: Scene-Grounded Video Representations
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Inceptive
提出MooG模型，通过允许标记移出网格并结合交叉注意力与位置嵌入，实现场景元素的持续表示，在视频任务上优于网格上基线。
2024-11-08 cs.AI cs.CV cs.LG
Efficient moving point handling for incremental 3D manifold reconstruction
Politecnico di Milano（米兰理工大学）
随着增量运动恢复结构算法变得有效，表示场景地图的良好稀疏点云逐帧变得可用。从这些点的3D德洛内三角剖分，最先进的算法构建场景的流形粗糙模型。这些算法仅在新点的位置估计不变的情况下才将新点逐步集成到3D重建中。事实上，每当一个点在3D德洛内三角剖分中移动时，例如因为它的估计得到了细化，一组四面体必须被移除并替换为新的四面体以保持德洛内属性;流形重建的管理变得如此复杂，并且它需要潜在的大开销。在本文中，我们研究了不同的方法，并提出了一种有效的策略来处理流形估计过程中的移动点。我们用KITTI数据集的四个序列测试了我们的方法，并与最先进的方法相比，证明了我们的建议的有效性。
2015-07-20 cs.CV
Learning to Segment Moving Objects
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆茨曼实验室）
我们研究了无约束视频中运动对象的分割问题。给定一个视频，任务是分割至少在一帧中表现出独立运动的所有对象。我们将其制定为一个学习问题，并使用三个线索设计我们的框架：（i）一对帧之间的独立对象运动，这补充了对象识别，（ii）对象外观，这有助于纠正运动估计中的错误，以及（iii）时间一致性，这对分割施加了额外的约束。该框架是一个具有显式记忆模块的双流神经网络。这两个流分别对视频序列中的外观和运动线索进行编码，而存储器模块则利用时间一致性捕获对象随时间的演变。运动流是在合成视频上训练的卷积神经网络，以分割光流场中独立移动的对象。在视频中建立“视觉记忆”的模块，即，所有视频帧的联合表示用从少量训练视频序列学习的卷积递归单元来实现。对于测试视频帧中的每个像素，我们的方法根据学习到的时空特征以及特定于视频的“视觉记忆”分配对象或背景标签。我们评估我们的方法广泛的三个基准，DAVIS，弗赖堡-伯克利运动分割数据集和SegTrack。此外，我们提供了一个广泛的消融研究，调查的训练数据的选择和建议的框架中的每个组件的影响。
2017-12-01 cs.CV
PointTriNet: Learned Triangulation of 3D Point Sets
Carnegie Mellon University（卡内基梅隆大学）；LIX, École Polytechnique, IP Paris（巴黎综合理工学院计算机科学实验室（LIX））
这项工作考虑了几何深度学习中的一个新任务：在3D空间中的一组点之间生成三角剖分。我们提出了PointTriNet，这是一种可区分和可扩展的方法，可以将点集三角剖分作为3D学习管道中的一层。该方法迭代地应用两个神经网络：分类网络预测候选三角形是否应该出现在三角测量中，而建议网络建议其他候选者。这两个网络的结构是在附近的点和三角形的PointNets，使用一种新的三角形相对输入编码。由于这些学习问题是在局部几何数据上进行的，因此我们的方法是有效的和可扩展的，并且可以推广到看不见的形状类别。我们的网络是以无监督的方式从一系列表示为点云的形状中训练出来的。我们证明了这种方法对于经典网格任务的有效性，对离群值的鲁棒性，以及作为端到端学习系统的一个组成部分。
2020-07-23 cs.CV cs.LG stat.ML
4D-StOP: Panoptic Segmentation of 4D LiDAR using Spatio-temporal Object Proposal Generation and Aggregation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
在这项工作中，我们提出了一种新的范例，称为4D-StOP，以解决4D Panoptic LiDAR分割的任务。4D-StOP首先使用基于投票的中心预测生成时空建议，其中4D体积中的每个点投票对应的中心。这些tracklet建议使用学习的几何特征进一步聚合。轨迹片段聚合方法有效地在整个时空体积上生成视频级4D场景表示。这与使用由高斯概率分布表示的时空嵌入的现有端到端可训练的最先进方法形成对比。与使用高斯概率分布对整个4D体积进行建模相比，我们基于投票的tracklet生成方法以及基于几何特征的聚合生成了显着改善的全景LiDAR分割质量。当应用于SemanticKITTI测试数据集时，4D-StOP达到了新的最先进水平，LSTQ得分为63.9，与当前性能最好的端到端可训练方法相比，这是一个很大的改进（+7%）。代码和预训练模型可在https://github.com/LarsKreuzberg/4D-StOP上获得。
2022-09-29 cs.CV
Moving in a 360 World: Synthesizing Panoramic Parallaxes from a Single Panorama
National Tsing Hua University（台湾清华大学）
我们提出了全方位神经辐射场（OmniNeRF），第一种方法的应用程序的松弛启用新的全景视图合成。新的视图合成的工作集中在有限的视野和透视图像需要在特定条件下拍摄足够的图片。相反，OmniNeRF可以生成未知视点的全景图像，给定单个等矩形图像作为训练数据。为此，我们建议通过在3D世界和不同的2D全景坐标之间在不同的虚拟相机位置来回投影来增强单个RGB-D全景。通过这样做，我们能够优化全向神经辐射场，其中可见像素从固定中心处的全向视角收集，用于从不同的相机位置估计新的视角。因此，建议OmniNeRF实现令人信服的渲染表现出视差效果的新颖的全景视图。我们展示了我们的每一个建议在合成和真实世界数据集上的有效性。
2021-06-21 cs.CV
Boosting Convolutional Features for Robust Object Proposals
University of California, Los Angeles（加州大学洛杉矶分校）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
深度卷积神经网络（CNN）在图像分类方面表现出了出色的性能，但在许多类别的对象检测任务中仍有改进的空间，特别是对于混乱的场景和遮挡。现代检测算法，如具有CNN的区域（Girshick等人，2014）依赖于选择性搜索（Uijlings等人，2013年）提出了具有高概率表示对象的区域，其中又部署了CNN用于分类。选择性搜索代表了一系列复杂的算法，这些算法设计有多个分割，外观和显着性提示，通常会带来显着的运行时开销。此外，（Hosang等人，2014）已经表明，由于不稳定的超像素，即使对于轻微的图像扰动，大多数方法也具有低再现性。尽管CNN随后被用于性能最好的对象检测管道中的分类，但目前的建议方法对这些模型如何解析对象及其丰富的学习表示是不可知的。因此，他们可能会提出可能不像高级对象或完全错过其中一些的区域。为了克服这些缺点，我们提出了一种提升方法，该方法直接利用分层CNN特征来快速检测感兴趣区域。我们在ImageNet 2013检测基准上展示了它的性能，并将其与最先进的方法进行了比较。
2015-03-21 cs.AI cs.CV cs.LG
Robot Localization Using a Learned Keypoint Detector and Descriptor with a Floor Camera and a Feature Rich Industrial Floor
Fraunhofer IML（弗劳恩霍夫物流研究所）
提出KOALA框架，利用深度神经网络从工业地板图像提取关键点特征，无需可读标记即可实现高精度机器人定位，位置误差2cm，有效解决机器人绑架问题。
2025-04-04 cs.CV cs.RO
Multi-stage Object Detection with Group Recursive Learning
Beijing Institute of Technology University（北京理工大学）；Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）
大多数现有的检测流水线独立地处理对象建议，并分别预测限界框位置和分类分数。然而，建议之间的重要语义和空间布局相关性往往被忽视，这实际上是有用的更准确的目标检测。在这项工作中，我们提出了一种新的EM类组递归学习方法，通过将周围的建议，并提供一个最佳的空间配置的目标检测的上下文迭代细化对象的建议。此外，我们建议将弱监督对象分割线索和基于区域的目标检测纳入一个多阶段的架构，以充分利用学习的分割功能，以更好的目标检测在一个端到端的方式。该架构由三个级联网络组成，分别学习执行弱监督对象分割，对象建议生成和递归检测细化。将组递归学习和多阶段架构相结合，在PASCAL VOC 2007和VOC 2012数据集上分别提供了78.6%和74.9%的竞争性mAP，显著优于许多成熟的基线[10] [20]。
2016-08-18 cs.CV
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）
我们提出了一种新的深度强化学习技术，可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构，以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略，而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移，智能体识别哪些对象对决策至关重要，并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习（MOREL），它在一系列Atari游戏中得到了演示，其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外，所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG
Accelerating Learned Image Compression Through Modeling Neural Training Dynamics
Purdue University（普渡大学）
本文通过建模神经训练动态，提出STDET机制和SMA技术，减少可训练参数并降低训练方差，从而在不牺牲性能的前提下加速学习图像压缩模型的训练收敛。
2025-05-23 cs.CV eess.IV
Mining Unseen Classes via Regional Objectness: A Simple Baseline for Incremental Segmentation
Beijing Institute of Technology（北京理工大学）；University of Birmingham（伯明翰大学）；Beijing Jiaotong University（北京交通大学）
增量或持续学习已经被广泛研究用于图像分类任务以减轻灾难性遗忘，灾难性遗忘是在学习新概念时忘记先前学习的知识的现象。对于类增量语义分割，由于背景移位，这种现象经常变得更糟，即，在先前阶段学习的一些概念在当前训练阶段被分配给背景类，因此，显著地降低了这些旧概念的性能。为了解决这个问题，我们提出了一个简单而有效的方法，在本文中，命名为挖掘看不见的类通过区域对象分割（MicroSeg）。我们的MicroSeg是基于这样的假设，即具有强对象性的背景区域可能属于历史或未来阶段的那些概念。因此，为了避免在当前训练阶段忘记旧知识，我们的MicroSeg首先使用提案生成器将给定图像拆分为数百个分段提案。然后，在优化期间，对来自背景的具有强对象性的那些分段建议进行聚类并分配新定义的标签。这样可以更好地感知旧概念在特征空间中的分布特征，从而缓解背景移动造成的灾难性遗忘。在Pascal VOC和ADE 20K数据集上进行的大量实验显示了具有竞争力的结果，很好地验证了所提出的MicroSeg的有效性。
2023-01-07 cs.CV
Sparse R-CNN: End-to-End Object Detection with Learnable Proposals
The University of Hong Kong（香港大学）；Tongji University（同济大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of California Berkeley（加州大学伯克利分校）
我们提出了稀疏R-CNN，这是一种用于图像中目标检测的纯稀疏方法。现有的目标检测工作严重依赖于密集的目标候选，例如在大小为$H\times W$的图像特征图的所有网格上预定义的$k$锚框。然而，在我们的方法中，向对象识别头提供总长度为$N$的固定稀疏学习对象建议集以执行分类和定位。通过将$HWk$（多达数十万）手工设计的候选对象消除为$N$（例如100个）可学习的建议，稀疏R-CNN完全避免了与候选对象设计和多对一标签分配相关的所有工作。更重要的是，最终预测直接输出，没有非最大抑制后程序。稀疏R-CNN在具有挑战性的COCO数据集上展示了与成熟检测器基线相当的准确性，运行时间和训练收敛性能，例如，在标准$3\times$训练计划中实现45.0 AP，并使用ResNet-50 FPN模型以22 fps运行。我们希望我们的工作可以启发重新思考密集先验的目标检测器的公约。该代码可从以下网址获得：https://github.com/PeizeSun/SparseR-CNN。
2021-04-26 cs.CV
STELA: A Real-Time Scene Text Detector with Learned Anchor
UESTC（电子科技大学）；Sichuan University（四川大学）
为了实现目标框的高覆盖率，传统的基于锚点的检测器的常规策略是在每个空间位置利用多个先验，特别是在场景文本检测任务中。在这项工作中，我们提出了一个简单而直观的方法，面向多个文本检测的特征图的每个位置只与一个参考框。这个想法的灵感来自两阶段R-CNN框架，该框架可以通过使用学习的建议来估计任何形状的对象的位置。我们的方法的目的是将这种机制集成到一个onestage检测器中，并使用通过回归操作获得的学习锚来取代原始锚到最终预测中。基于RetinaNet，该方法在多个公共基准测试中取得了有竞争力的性能，具有完全实时的【形】效率（800 p时为26：5 fps），超过了所有基于锚点的场景文本检测器。此外，由于对锚点设计的关注较少，我们相信我们的方法很容易应用于其他类似的检测任务。该代码将在https://github.com/xhzdeng/stela上公开发布。
2019-09-23 cs.CV
SSAP: Single-Shot Instance Segmentation With Affinity Pyramid
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics, Inc（地平线机器人公司）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，无命题实例分割由于其简洁高效的流水线而受到越来越多的关注。通常，无建议方法生成实例不可知的语义分割标签和实例感知特征，以将像素分组为不同的对象实例。然而，以前的方法大多采用单独的模块来完成这两个子任务，并且需要多次推理。我们认为，单独对待这两个子任务是次优的。事实上，采用多个单独的模块大大降低了应用的潜力。这两个互补的子任务之间的相互利益也未被探索。为此，本文提出了一种单镜头无命题的实例分割方法，该方法只需要一次预测。我们的方法是基于一个像素对亲和金字塔，它计算的概率，两个像素属于同一个实例中的分层方式。亲和度金字塔也可以与语义类标注联合学习，实现互惠互利。此外，结合学习的亲和金字塔，提出了一种新的级联图划分模块，从粗到细顺序生成实例。与以前耗时的图划分方法不同，该模块实现了$5\times$加速，平均精度（AP）相对提高了9%。我们的方法在具有挑战性的Cityscapes数据集上实现了最先进的结果。
2019-09-04 cs.CV
Grasp Proposal Networks: An End-to-End Solution for Visual Learning of Robotic Grasps
South China University of Technology（华南理工大学）；Samsung, USA（三星美国）
从视觉观察中学习机器人抓握是一项有前途但具有挑战性的任务。最近的研究表明，它通过准备和学习大规模的合成数据集的巨大潜力。对于目前流行的6自由度平行爪夹持器的抓取设定，现有的方法大多采用随机采样抓取候选对象，然后使用学习的评分函数对其进行评价的策略。这种策略是有限的，在采样效率和覆盖范围之间的冲突的最佳把握。为此，我们提出了一种新的，端到端的\emph{Grasp Proposal Network (GPNet)}，在这项工作中，预测一个看不见的对象从一个单一的和未知的相机视图观察到的6自由度把握不同的设置。GPNet建立在抓取建议模块的关键设计之上，该模块在离散但规则的3D网格拐角处定义了\emph{anchors of grasp centers}，该模块可以灵活地支持更精确或更多样化的抓取预测。为了测试GPNet，我们提供了一个6自由度物体抓取的合成数据集;使用基于规则的标准，模拟测试和真实测试进行评估。比较结果表明，我们的方法比现有的优势。值得注意的是，GPNet通过指定的覆盖率获得了更好的模拟结果，这有助于在实际测试中实现现成的翻译。我们将公开我们的数据集。
2020-09-26 cs.CV
Learned Non-Maximum Suppression for 3D Object Detection
Institute of Control Theory and Systems Engineering, TU Dortmund University（控制理论与系统工程研究所，多特蒙德技术大学）
提出两种基于学习的过滤模块（D2D-Rescore和GossipNet3D）替代启发式NMS，通过检测间关系提升3D检测性能，尤其改善小物体和稀有类别的检测精度。
2026-06-02 cs.AI cs.CV cs.LG
StarNet: Targeted Computation for Object Detection in Point Clouds
Google Brain（谷歌大脑）；Waymo
从LiDAR点云中检测物体是自动驾驶汽车技术的重要组成部分，因为LiDAR提供了高分辨率的空间信息。先前关于点云3D目标检测的工作已经从传统的相机图像中重新利用了卷积方法。在这项工作中，我们提出了一个目标检测系统称为星网专门设计，以利用点云数据的稀疏性和三维性质。StarNet完全基于点，不使用全局信息，具有数据依赖锚点，并使用采样而不是学习区域建议。我们展示了这种设计如何在大型Waymo Open Dataset和KITTI检测数据集上实现与卷积基线相比具有竞争力或卓越的性能。特别是，我们展示了我们的检测器如何在Waymo Open Dataset上的行人检测中超越竞争基线超过7个绝对mAP，同时计算效率更高。我们展示了我们的重新设计-即只使用本地信息和使用采样，而不是学习的建议-导致一个更灵活和适应性更强的系统：我们演示了我们如何可以改变一个单一的训练StarNet的计算成本，而无需重新训练，以及我们如何可以针对优先级和优先级感兴趣的领域提出建议。最后，我们展示了我们的设计如何允许通过使用从先前帧到检测器的目标计算的检测来合并时间上下文，这导致性能的进一步提高而无需额外的计算成本。
2019-12-02 cs.CV
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity
Meta AI Research（元人工智能研究院）；UC Berkeley（加州大学伯克利分校）
开放世界实例分割是将像素分组为对象实例而无需任何预定分类的任务。这是具有挑战性的，因为最先进的方法依赖于从大型标记数据集获得的显式类语义，并且域外评估性能显着下降。在这里，我们提出了一种新的方法，面具的建议，通用的网络（GGN），没有语义监督。我们的方法结合了像素亲和力的局部测量与实例级掩码监督，产生一个训练方案，旨在使模型的通用数据多样性允许。我们介绍了一种预测成对亲和力（PA）的方法，这是一种学习到的像素对之间的局部关系。PA很好地概括了看不见的类别。从PA中，我们构建了一个大的伪地面实况实例掩码集;结合人工注释的实例掩码，我们训练了GGN，并在各种基准测试（包括COCO、LVIS、ADE 20 K和UVO）上在开放世界实例分割上显著优于SOTA。代码可在项目网站上获得：www.example.com。
2022-04-12 cs.CV
High-level camera-LiDAR fusion for 3D object detection with machine learning
Universidad Autónoma de Occidente（西方自治大学）
本文解决了3D目标检测问题，这对于自动驾驶等应用至关重要。我们的框架使用单目相机和LiDAR数据的组合上的机器学习（ML）管道来检测移动平台周围3D空间中的车辆。它使用由最先进的（SOTA）2D对象检测器生成的截头体区域建议将LiDAR点云分割成代表潜在单个对象的点群。我们评估了经典ML算法的性能，作为整体管道的一部分，用于估计移动平台周围车辆周围的3D边界框的参数。我们的研究结果表明，一个有效的和准确的推断验证集，实现了87.1%的整体准确性。
2021-05-24 cs.CV cs.LG cs.RO
Faraway-Frustum: Dealing with Lidar Sparsity for 3D Object Detection using Fusion
随着到传感器的距离的增加，学习到的点云表示不能很好地概括。例如，在大于60米的范围内，激光雷达点云的稀疏程度达到了甚至人类也无法相互辨别物体形状的程度。然而，对于快速移动的车辆来说，这个距离不应该被认为很远：车辆可以在两秒内以70英里/小时的速度移动60米。为了实现安全可靠的自动驾驶，在这些范围内进行精确的3D目标检测是必不可少的。在此背景下，我们介绍遥远的截头体：一种新的融合策略，用于检测遥远的对象。主要策略是仅依赖于2D视觉来识别对象类，因为对象形状不会随着深度的增加而急剧变化，并且使用点云数据在3D空间中对遥远的对象进行对象定位。对于距离较近的物体，我们使用学习的点云表示，而不是按照国家的最先进的。这种策略消除了目标检测与学习的点云表示的主要缺点。KITTI数据集上的实验表明，我们的方法优于国家的最先进的一个相当大的利润率为遥远的目标检测鸟瞰图和3D。我们的代码是开源的，可在https://github.com/dongfang-steven-yang/faraway-frustum上公开获取。
2021-03-27 cs.CV
Integrating Feature and Image Pyramid: A Lung Nodule Detector Learned in Curriculum Fashion
Peking University（北京大学）；Deepwise Inc.（深睿医疗）
肺结节在CT图像中的大小和外观变化很大。小于10 mm的结节在卷积神经网络中下采样后容易丢失信息，这导致灵敏度低。在本文中，三维图像和特征金字塔的组合，利用低层次的纹理特征与高层语义特征相结合，从而导致更高的召回率。然而，3D操作是耗时和内存消耗，这加剧了医疗图像爆炸性增长的情况。针对这一问题，我们提出了一个通用的课程培训策略，以加快培训。设计了一种动态抽样方法，选取对网络训练贡献最大的部分样本，从而大大减少了训练时间。在实验中，我们证明了所提出的网络优于以前的最先进的方法。同时，我们的采样策略将LUNA16上的建议网络的训练时间减半。
2018-08-01 cs.CV
Autonomous Aerial Cinematography In Unstructured Environments With Learned Artistic Decision-Making
Carnegie Mellon University（卡内基梅隆大学）；Technische Universität München（慕尼黑工业大学）；Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）；University of Washington（华盛顿大学）
航空摄影正在彻底改变需要实时和动态相机视角的行业，如娱乐，体育和安全。然而，在障碍物存在的情况下拍摄移动目标时安全驾驶无人机是非常繁重的，通常需要多个专业的人类操作员。因此，需要一种能够实时推理几何形状和场景上下文的自主电影摄影师。现有的方法并不能解决这个问题的所有方面;它们要么需要高精度的运动捕捉系统或GPS标签来定位目标，要么依赖于环境的先前地图，要么只遵循飞行前指定的艺术准则。在这项工作中，我们解决了这个问题的整体，并提出了一个完整的系统，实时航空电影摄影，首次结合：（1）基于视觉的目标估计;（2）3D符号距离映射的遮挡估计;（3）有效的轨迹优化长时间的地平线相机运动;和（4）学习为基础的艺术镜头选择。我们广泛评估我们的系统在模拟和现场实验中拍摄动态目标移动通过非结构化环境。我们的研究结果表明，我们的系统可以在现实世界中可靠地运行，没有限制性的假设。我们还为每个模块提供了深入的分析和讨论，希望我们的设计权衡可以推广到其他相关的应用程序。完整系统的视频可以在https://youtu.be/ookhHnqmlaU上找到。
2019-10-15 cs.AI cs.CV cs.LG
Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection
The Chinese University of Hong Kong（香港中文大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个缩小和放大网络生成对象的建议。一个关键的观察结果是，很难用同一组特征对不同尺寸的锚钉进行分类。不同大小的盒子应该根据网络内的不同深度相应地放置：高分辨率层上的较小盒子具有较小的步幅，而低分辨率层上的较大盒子具有较大的步幅。受conv/deconv结构的启发，我们充分利用两个特征映射流的低级别局部细节和高级别区域语义，它们是互补的，以识别图像中的对象。进一步提出了一个映射注意决策（MAD）单元，以积极地搜索两个流之间的神经元激活，并参加最有贡献的特征学习的最终损失。该单元用作决策器，以自适应地激活沿着某些通道的映射，其唯一目的是优化整体训练损失。MAD的一个优点是，在每个特征通道上执行的学习权重是基于输入上下文实时预测的，这比卷积核的固定执行更合适。在PASCAL VOC 2007、ImageNet DET、MS COCO三个数据集上的实验结果表明，该算法在区域建议的平均查全率（AR）和目标检测的平均查准率（AP）方面优于其他现有算法.
2018-06-08 cs.CV
InsPro: Propagating Instance Query and Proposal for Online Video Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）
视频实例分割（VIS）的目的是分割和跟踪视频中的对象。现有方法通常首先生成帧级或剪辑级对象实例，然后通过附加跟踪头或复杂实例匹配算法将它们关联。这种显式的实例关联方法增加了系统的复杂性，并未能充分利用视频中的时间线索。在本文中，我们设计了一个简单，快速，但有效的基于查询的框架在线VIS。该框架通过一个实例查询和建议传播机制以及几个专门开发的组件，可以隐式地执行精确的实例关联。具体来说，我们生成帧级的对象实例的基础上传播从以前的帧的一组实例查询建议对。通过认真制定的策略，这个实例查询-建议对学会了跨框架与一个特定对象绑定。当使用这样的对来预测当前帧上的对象实例时，不仅生成的实例自动地与其在先前帧上的前兆相关联，而且模型获得用于预测相同对象的良好先验。通过这种方式，我们自然地实现了与分割并行的隐式实例关联，并巧妙地利用了视频中的时间线索。为了证明我们的方法InsPro的有效性，我们在两个流行的VIS基准上对其进行了评估，即，YouTube-VIS 2019和YouTube-VIS 2021。在没有花哨的情况下，我们的InsPro与ResNet-50骨干网在这两个基准上分别达到43.2 AP和37.6 AP，优于所有其他在线VIS方法。
2023-01-05 cs.CV
