HMR-Net: Hierarchical Modular Routing for Cross-Domain Object Detection in Aerial Images
Department of Computer Science, University of York(约克大学计算机科学系);SEIEE, Shanghai Jiao Tong University(上海交通大学SEIEE);Computer Vision Laboratory, Linkoping University(林哈姆大学计算机视觉实验室);School of Computing and Mathematical Sciences, University of Leicester(莱斯特大学计算与数学科学学院);SCEE, East China Normal University(华东师范大学SCEE)
提出层次化模块化路由框架,通过领域路由和场景路由实现跨数据集和复杂场景下的结构化专业化,并利用条件专家模块支持零样本新类别检测。
2026-06-16 cs.CV
From Label Error Detection to Correction: A Modular Framework and Benchmark for Object Detection Datasets
Institute of Computer Science Osnabrück University(计算机科学研究所 奥斯纳布吕克大学);Quality Match GmbH(Quality Match公司)
本文提出Rechecked框架,通过众包微任务系统纠正目标检测数据集中的标签错误,验证了其在KITTI数据集上的有效性,并展示了结合检测与纠正方法能有效提升数据质量。
2026-01-30 cs.CV cs.LG
An intelligent modular real-time vision-based system for environment perception
Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米卡比尔理工大学);University of Calgary(卡尔加里大学)
很大一部分驾驶危险是由人为错误和无视当地驾驶法规造成的;因此,智能辅助系统可能是有益的。本文提出了一种新的基于视觉的模块化组件,通过感知环境来确保驾驶员的安全。每个模块都是基于准确性和推理时间设计的,以提供实时的【形】性能。因此,所提出的系统可以在具有最低硬件要求的各种车辆上实施。我们的模块化软件包包括四个主要部分:车道检测、目标检测、分割和单目深度估计。每个部分都伴随着新的技术,以提高其他部分以及整个系统的准确性。此外,开发了GUI以向驾驶员显示感知信息。除了使用公共数据集(如BDD 100 K)外,我们还收集并注释了一个本地数据集,用于微调和评估我们的系统。我们表明,我们的系统的准确性是在80%以上的所有部分。我们的代码和数据可在https://github.com/Pandas-Team/Autonomous-Vehicle-Environment-Perception上获得
2023-03-29 cs.CV cs.RO
Hierarchical semantic segmentation using modular convolutional neural networks
Vayavision(Vayavision 公司)
涉及识别物体的部分或容器的内容物的图像识别任务可以被视为分层问题,其可以通过初始识别主要物体,然后识别其部分或内容物来解决。为了实现这样的模块化识别,有必要使用一种识别方法(识别一般对象)的输出作为第二种方法(识别部分或内容)的输入。近年来,卷积神经网络已经成为图像分割和分类的主要方法。本文研究了一种将卷积神经网络串联起来用于透明血管内材料的语义分割的方法。它应用一个完全卷积的神经网络将图像分割成容器和背景,容器区域用作第二个网络的输入,第二个网络识别玻璃容器的内容。将第一网络生成的分割图转移到第二网络是使用阀过滤器注意力方法执行的,该方法涉及在图像的不同片段上使用不同的过滤器。这种模块化的语义分割方法优于使用单个网络识别血管及其内容物的单步的方法。模块化神经网络的一个优点是它允许从现有的训练模块构建网络,以及训练网络模块的转移和重用,而不需要对组装的网络进行任何再训练。
2017-10-14 cs.CV
Analyzing Modular CNN Architectures for Joint Depth Prediction and Semantic Segmentation
Technical University Dresden(德累斯顿工业大学);University of Twente(特文特大学)
本文讨论了设计一个模块化的神经网络架构,共同解决不同的任务的任务。作为示例,我们使用给定单个RGB图像的深度估计和语义分割的任务。本文的主要工作是分析深度预测图和语义预测图之间的跨模态影响。虽然大多数以前的作品只专注于测量精度的提高,我们提出了一种方法来量化的跨模态的影响。我们发现,有最终的准确性和跨模态的影响之间的关系,虽然不是一个简单的线性。因此,较大的跨模态影响不一定转化为提高的准确性。我们发现,一个有益的平衡之间的跨模态的影响,可以实现网络架构和猜想,这种关系可以用来理解不同的网络设计选择。为此,我们提出了一种卷积神经网络(CNN)架构,融合了深度估计和语义标记的最新结果。通过平衡深度和语义预测之间的跨模态影响,我们使用NYU-Depth v2基准测试改进了这两项任务的结果。
2017-02-26 cs.CV cs.RO
MOPA: Modular Object Navigation with PointGoal Agents
Simon Fraser University(西蒙菲莎大学);University of Padova(帕多瓦大学);FBK(布鲁诺·凯斯勒基金会);Meta AI
本研究提出具身智能目标导航的模块化方法MOPA,复用预训练PointGoal智能体作导航模块以降本增效,实验发现简单均匀探索策略优于先进方法。
2024-01-27 cs.CV cs.RO
Tiny Neural Networks for Multi-Object Tracking in a Modular Kalman Framework
Daimler Truck AG, Research and Advanced Development(戴姆勒卡车股份公司,研发与高级发展部门);Institute for Intelligent Systems, University of Applied Sciences(应用科学大学智能系统研究所);Center for Artificial Intelligence, Baden-Württemberg Cooperative State University (DHBW)(巴登-符腾堡州立合作大学人工智能中心)
本文提出一种模块化方法,将紧凑的神经网络整合到基于卡尔曼滤波的多目标跟踪管道中,设计了三个微型任务专用网络以提高模块化、可解释性和实时性,实验表明其在KITTI基准上显著提升了跟踪精度和鲁棒性。
2026-03-23 cs.CV cs.LG
Modular Quantization-Aware Training for 6D Object Pose Estimation
CVLab, EPFL(EPFL计算机视觉实验室);Magic Leap(Magic Leap公司)
针对边缘设备上6D姿态估计网络过大问题,提出模块化量化感知训练(MQAT),利用架构模块化结构实现混合精度量化,在缩小模型4倍以上的同时提升精度超过7%。
2024-11-04 cs.CV cs.LG cs.RO
Long-HOT: A Modular Hierarchical Approach for Long-Horizon Object Transport
UC San Diego(加州大学圣地亚哥分校);NEC Labs America(NEC美国实验室);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个新的对象运输任务和一个新的模块化框架,时间扩展导航解决了长期的体现探索和导航的关键挑战。我们的第一个贡献是设计了一个新的长热环境,专注于深度探索和长期规划,其中代理需要有效地找到并拾取目标对象进行和下降在目标位置,负载约束和可选的访问容器,如果它找到一个。此外,我们提出了一个模块化的分层传输策略(HTP),建立一个拓扑图的场景进行探索的帮助下,加权边界。我们的分层方法使用组合的运动规划算法,以达到点目标内探索的位置和对象的导航政策,在未知的位置移动到语义目标。在我们提出的Habitat运输任务和MultiOn基准上的实验表明,我们的方法显着优于基线和以前的工作。此外,我们通过仅在任务的简单版本上进行训练来证明对更困难的运输场景的有意义的泛化,从而验证了我们的模块化方法对长时间运输的有效性。
2022-10-28 cs.CV cs.RO
SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
现有技术的目标检测方法是复杂的,具有各种模块,例如主干、特征融合颈、RPN和RCNN头,其中每个模块可以具有不同的设计和结构。如何平衡计算成本和精度的权衡,以进行结构组合以及多个模块的模块化选择?神经结构搜索(NAS)在寻找最优解方面显示出巨大的潜力。现有的NAS在目标检测方面的工作主要集中在单个模块的优化设计上,如主干或特征融合颈,而忽略了整个系统的平衡性。在本文中,我们提出了一个两个阶段的粗到精的搜索策略命名为结构到模块NAS(SM-NAS)的GPU友好的设计,既有效的模块组合和更好的模块级架构的目标检测。具体而言,结构级搜索阶段首先旨在找到不同模块的有效组合;然后模块级搜索阶段进化每个特定模块,并将帕累托前沿推向更快的任务特定网络。我们考虑一个多目标搜索的搜索空间覆盖了许多流行的设计检测方法。我们通过探索从头开始的快速训练策略,直接搜索检测骨干,而无需预先训练的模型或任何代理任务。由此产生的架构在推理时间和准确性方面主导了最先进的目标检测系统,并证明了对多个检测数据集的有效性,例如,与FPN相比,推理时间减半,额外提高了1% mAP,并且在MaskRCNN的推理时间相似的情况下达到了46% mAP。
2019-11-30 cs.CV
Deep MDP: A Modular Framework for Multi-Object Tracking
University of Alberta(阿尔伯塔大学)
本文提出基于马尔可夫决策过程的模块化多目标跟踪框架Deep MDP,允许替换功能组件以适应不同应用,并提供集成检测、分割与标注的交互式GUI,为社区提供易用易改的代码库。
2023-10-22 cs.CV
Pose-based Modular Network for Human-Object Interaction Detection
Guangdong University of Technology(广东工业大学);Chinese University of Hong Kong(香港中文大学)
人-物交互检测是场景理解中的一项关键任务。目标是推断场景中的三元组<主语、谓语、宾语>。在这项工作中,我们注意到,人类姿势本身以及相对于目标对象的人类姿势的相对空间信息可以提供信息线索HOI检测。我们贡献了一个基于姿态的模块化网络(PMN),它探讨了绝对姿态特征和相对空间姿态特征,以提高HOI检测,并与现有的网络完全兼容。我们的模块由一个分支组成,该分支首先独立地处理每个关节的相对空间姿态特征。另一个分支通过完全连接的图结构更新绝对姿态特征。然后将处理后的姿势特征馈送到动作分类器中。为了评估我们提出的方法,我们将该模块与最先进的模型VS-GATs相结合,并在两个公共基准测试:V-COCO和HICO-DET上获得了显着的改进,这表明了它的有效性和灵活性。代码可在\url{https://github.com/birlrobotics/PMN}上获得。
2020-08-05 cs.CV
Disentangled Representation Learning via Modular Compositional Bias
KAIST(韩国科学技术院)
针对现有解纠缠表示学习方法因因子特定策略导致的扩展性问题,提出模块化组合偏置,通过因子特定重组规则重混潜在变量,结合先验损失与组合一致性损失,仅调整混合策略即可实现属性、对象及两者的解纠缠,实验表现出竞争力并实现全局风格与对象的联合解纠缠。
2025-11-11 cs.CV cs.LG
Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
Indian Institute of Technology Mandi(印度理工学院曼迪分校);DIT University(DIT大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究比较模块化OCR流程与端到端模型在退化图像上的文本VQA性能,发现模块化方法准确率更高,且传统OCR指标无法可靠预测下游VQA表现,强调任务感知评估的重要性。
2026-09-15 cs.CV
A Modular Pipeline for 3D Object Tracking Using RGB Cameras
University Bremen(不来梅大学)
提出一种使用RGB网络摄像头的模块化流水线,通过扩展卡尔曼滤波器等技术处理遮挡与多目标,在极少人工标注下准确计算多目标的3D轨迹。
2025-03-06 cs.CV
Modular Interactive Video Object Segmentation: Interaction-to-Mask, Propagation and Difference-Aware Fusion
UIUC(伊利诺伊大学厄巴纳-香槟分校);HKUST(香港科技大学);Kuaishou Technology(快手科技)
我们提出了模块化的交互式VOS(MiVOS)框架,它使交互到掩码和掩码传播,允许更高的通用性和更好的性能。单独训练,交互模块将用户交互转换为对象掩码,然后由我们的传播模块在读取时空记忆时使用新颖的顶部$k$过滤策略在时间上传播。为了有效地考虑到用户的意图,提出了一种新的差异感知模块,学习如何正确地融合之前和之后的每个交互,这是对齐的目标帧,通过采用时空记忆的掩模。我们用不同形式的用户交互(例如,涂鸦,点击),以显示我们的方法优于当前最先进的算法,同时需要更少的帧交互,具有推广到不同类型的用户交互的额外优势。我们贡献了一个大规模的合成VOS数据集,具有480万帧的像素精确分割,以配合我们的源代码,以促进未来的研究。
2021-03-21 cs.CV
A Modular Multi-stage Lightweight Graph Transformer Network for Human Pose and Shape Estimation from 2D Human Pose
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);College of Computing and Informatics(计算与信息学院)
在这项研究中,我们解决了现有基于深度学习的人类网格重建方法在平衡精度和计算效率方面所面临的挑战。这些方法通常优先考虑准确性,导致大的网络尺寸和过度的计算复杂性,这可能阻碍它们在诸如虚拟现实系统的真实世界场景中的实际应用。为了解决这个问题,我们引入了一个模块化的多级轻量级的基于图的Transformer网络的人体姿势和形状估计从二维人体姿势,基于姿势的人体网格重建方法,优先考虑计算效率,而不牺牲重建精度。我们的方法包括一个2D到3D提升器模块,该模块利用图形Transformers来分析2D人体姿势中的结构化和隐式关节相关性,以及一个网格回归模块,该模块将提取的姿势特征与网格模板相结合以产生最终的人体网格参数。
2023-01-31 cs.AI cs.CV
EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院);TUM(慕尼黑工业大学);MCML(慕尼黑计算与机器学习中心)
EgoTrack3D是一种模块化框架,可从第一人称视角RGB视频重建动态三维场景,在ADT数据集上较基线提升11% PCL,还能在退化观测下维持准确空间表示。
2026-08-11 cs.CV
A modular framework for object-based saccadic decisions in dynamic scenes
Exzellenzcluster Science of Intelligence(智能科学卓越集群);Technische Universität Berlin(柏林工业大学)
视觉探索我们周围的世界不是一个被动的过程。相反,随着时间的推移,我们积极探索世界并获取视觉信息。在这里,我们提出了一个新的模型来模拟人类的眼动行为在动态的现实世界的场景。我们将这种主动场景探索建模为顺序决策过程。我们适应流行的漂移-扩散模型(DDM)的感知决策,并将其扩展到多个选项,定义存在于场景中的对象。对于每一个可能的选择,该模型随着时间的推移整合证据,并且一旦证据越过决策阈值就触发决策(扫视眼球运动)。在主动观看的背景下,在决策和基于对象的场景感知之间建立这种明确的联系是高度相关的,在主动观看的背景下,在与外部环境交互的同时不断做出决策。我们通过精心设计的消融研究验证了我们的模型,并探索了模型参数的影响。VidCom数据集上的比较支持所提出的方法的可扩展性。
2021-06-10 cs.CV
Enhancing efficiency of object recognition in different categorization levels by reinforcement learning in modular spiking neural networks
University of Tehran(德黑兰大学)
人类视觉系统包含一系列模块,这些模块在上级、基本和下级分类水平上参与视觉感知。在过去的几十年里,各种计算模型已经被提出来模拟视觉皮层的分层前馈处理,但视觉系统的许多关键特性,如实际的神经处理和学习机制,被忽视。遵循生物学的思路,提出了一个不同分类层次的目标识别计算模型,在每个分类层次上使用一个带有强化学习规则的脉冲神经网络作为一个模块。每个模块都解决了每个分类级别的对象识别问题,仅基于其最后一层的类特定神经元的最早尖峰,而不使用任何外部分类器。根据每个分类层次所需的信息,利用相应的带通滤波图像。我们提出的模型的性能通过三个基准数据集的各种评估标准进行评估,并且在所有实验中我们提出的模型的识别准确率都得到了显着提高。
2021-02-10 cs.CV
Modular Diffusion Models for Structured Visual Recognition
Department of Computer Science, University of British Columbia(不列颠哥伦比亚大学计算机科学系);Vector Institute for AI(向量人工智能研究所);CompVis, Ludwig Maximilian University of Munich(慕尼黑路德维希·马克西米利安大学计算机视觉实验室);Munich Center for Machine Learning(慕尼黑机器学习中心);CIFAR AI Chair(CIFAR人工智能教席)
提出模块化扩散模型(MDMs),通过将扩散过程分解为任务特定模块,学习结构化输出的分布,以处理视觉识别中的不确定性,在目标检测、实例分割和场景图生成任务上取得优势。
2026-06-23 cs.CV
LEGO: Learning and Graph-Optimized Modular Tracker for Online Multi-Object Tracking with Point Clouds
School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University(人工智能与先进计算学院,西安交通大学利物浦大学);Momoni AI;Department of Automation, Shanghai Jiaotong University(自动化学院,上海交通大学);College of Science and Engineering, James Cook University(科学与工程学院,詹姆斯库克大学);School of Engineering, Swinburne University of Technology(工程学院,斯威灵斯大学)
针对在线多目标跟踪的数据关联问题,提出融合图优化、自注意力与卡尔曼滤波的LEGO模块化跟踪器,仅用LiDAR便在KITTI汽车MOT基准上取得领先性能。
2025-09-05 cs.AI cs.CV
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题,提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性,用独立模块补偿抓取误差,经真实场景测试,该框架能提高效率,是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
Learning Local Pattern Modularization for Point Cloud Reconstruction from Unseen Classes
School of Software, Tsinghua University(清华大学软件学院);Wayne State University(韦恩州立大学)
本文提出通过学习和定制局部模式模块化来构建类别无关的物体中心局部先验,从而在无需分割监督或相机位姿的条件下,从单张图像高精度重建未见类别的三维点云。
2024-09-04 cs.CV
Dynamic Full-body Motion Agent with Object Interaction via Blending Pre-trained Modular Controllers
KAIST(韩国科学技术院)
本文提出一种框架,通过结合预训练的运动先验和模仿代理,在规划和执行阶段生成动态且长期的人-物交互动作,如持桌奔跑,提升了动态人-物交互任务的成功率。
2026-05-12 cs.CV
Object Pose and Shape Estimation for Grasping: Does it Work?
Robotics Research Center, IIIT Hyderabad(IIIT海得拉巴机器人研究中心);National University of Singapore(新加坡国立大学)
本文通过对比端到端抓取合成方法与模块化方法(先估计目标姿态和形状再采样抓取),评估现有姿态和形状估计方法在抓取任务中的有效性。
2026-05-26 cs.CV cs.RO