Synthesizing Training Data for Object Detection in Indoor Scenes
George Mason University(乔治梅森大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
在杂乱的室内环境中检测物体是服务机器人的关键功能之一。计算机视觉中性能最好的目标检测方法利用深度卷积神经网络(CNN)来同时检测和分类杂乱场景中的感兴趣对象。这种模型的训练通常需要大量的带注释的训练数据,这是耗时的并且获得成本高。在这项工作中,我们探讨了使用合成生成的合成图像来训练最先进的对象检测器的能力,特别是对于对象实例检测。我们将纹理对象模型的2D图像转换为各种位置和尺度的真实环境图像。我们的实验评估不同的叠加策略,从纯粹的基于图像的混合所有的方式到深度和语义通知定位的对象模型到真实场景。我们证明了这些对象检测器训练策略在两个公开可用的数据集GMU-Kitterfly和Washington RGB-D Scenes v2上的有效性。作为一个观察,用仔细组合到场景中的合成示例来增强一些手工标记的训练数据,产生具有与使用更多手工标记的数据相当的性能的对象检测器。从广义上讲,这项工作图表新的机会,通过利用现有的对象模型存储库,在一个纯粹的自动方式或只有很少数量的人类注释的例子,为新的对象训练检测器。
2017-09-08 cs.CV cs.RO
Improving Place Recognition Using Dynamic Object Detection
Intel Corporation(英特尔公司);Alma College(阿尔玛学院)
我们提出了一种新的方法来放置识别非常适合于环境中有许多动态对象-对象,可能会或可能不会出现在代理的后续访问。通过将对象检测预处理步骤,我们的方法产生高质量的地方表示,将对象信息。这不仅导致在动态环境中显着改善的地方识别,它也显着降低内存/存储的要求,这可能会增加移动代理的有效性与有限的资源。
2020-06-12 cs.CV cs.RO eess.IV
A Multimodal Depth-Aware Method For Embodied Reference Understanding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);KIT Campus Transfer GmbH (KCT)(KIT校园转移有限公司);Istanbul Technical University(伊斯坦布尔技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多模态深度感知方法,结合语言模型数据增强、深度图模态和深度感知决策模块,提升复杂环境中的参照物识别准确性。
2026-04-29 cs.CV cs.HC cs.RO
RISeg: Robot Interactive Object Segmentation via Body Frame-Invariant Features
Rice University(莱斯大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出 RISeg,利用机器人交互产生的机身坐标系不变运动特征纠正静态 UOIS 掩码,在杂乱场景中以约 2–3 次交互将分割准确率提升至 80.7%。
2024-03-04 cs.CV cs.RO
Robust Data Association for Object-level Semantic SLAM
Qualcomm(高通)
在真实的室内环境中同时进行地图构建和定位(SLAM)仍然是一项具有挑战性的任务。传统的SLAM方法严重依赖于低层次的几何约束,如角或线,这可能会导致跟踪失败,在无纹理的环境或混乱的世界与动态对象。本文提出了一种紧凑的语义SLAM框架,该框架联合利用几何和对象级语义约束,可以获得更一致的映射结果,并获得更准确的位姿估计。本文的主要贡献有两个:a)提出了一个鲁棒高效的SLAM数据关联和优化框架,该框架同时对离散语义标记和连续姿态进行建模。b)提出了一种将二维激光雷达地图与目标检测相结合的紧凑地图表示。在公共室内数据集、TUM-RGBD、ICL-NUIM和我们自己收集的数据集上的实验证明,与其他流行的SLAM系统相比,SLAM系统的鲁棒性和准确性得到了提高,同时地图维护效率也得到了提高。
2019-09-30 cs.CV cs.RO
Beyond Motion Cues and Structural Sparsity: Revisiting Small Moving Target Detection
AVP lab, the School of Aeronautics and Astronautics, Sun Yat-sen University, Shenzhen(AVP实验室,航空宇航学院,中山大学深圳校区)
本文针对小运动目标检测的低鲁棒性问题,提出基于张量低秩稀疏分解的TenRPCANet框架,通过自注意力与特征细化模块实现最优性能,在红外与空间目标检测任务上表现出色。
2026-08-06 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而,没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中,我们提出了在视频的每一帧中估计3D姿态,并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性,提高了3D姿态估计精度。
2020-11-04 cs.CV
MaskPlus: Improving Mask Generation for Instance Segmentation
Northwestern University(西北大学)
实例分割是计算机视觉中一个有前途但又具有挑战性的课题。最近的方法,如Mask R-CNN,通常将这个问题分为两个部分-检测组件和掩码生成分支,并且主要集中在检测部分的改进上。在本文中,我们提出了一种方法,该方法使用五种新的优化技术来扩展Mask R-CNN,以改进掩码生成分支并减少训练中掩码分支和检测组件之间的冲突。这五种技术相互独立,可以灵活地用于构建各种实例分割体系结构,以提高整体精度。我们证明了我们的方法的有效性与COCO数据集上的测试。
2019-09-27 cs.CV
dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3
IITB-Monash Research Academy(IITB-莫纳什研究学院);IIT Bombay(印度理工学院班加罗尔);Monash University(莫纳什大学)
本文提出dinov3.seg,通过改进DINOv3模型实现开放词汇语义分割,结合文本嵌入与视觉特征,提升复杂场景下的分割精度与鲁棒性。
2026-03-19 cs.AI cs.CV
RealCamo: Boosting Real Camouflage Synthesis with Layout Controls and Textual-Visual Guidance
College of Artificial Intelligence, Nankai University, Tianjin, China(人工智能学院,南开大学,天津,中国);School of Data Science, Fudan University, Shanghai, China(数据科学学院,复旦大学,上海,中国)
RealCamo通过布局控制和文本-视觉引导提升真实伪装合成,解决现有方法在伪装效果和背景一致性上的不足。
2026-01-15 cs.CV
Real-Time Object Detection in Occluded Environment with Background Cluttering Effects Using Deep Learning
Beijing Institute of Technology(北京理工大学);University of Engineering and Technology Peshawar(白沙瓦工程技术大学)
针对遮挡和背景杂乱环境下的目标检测问题,本文采用SSD和YOLO算法,结合数据预处理、增强及模型融合等技术,开发了实时目标检测系统,实验表明SSD-Mobilenet v2模型的准确率和每秒帧数优于YOLO V3和V4。
2024-01-02 cs.AI cs.CV
GraNet: A Multi-Level Graph Network for 6-DoF Grasp Pose Generation in Cluttered Scenes
Shanghai Jiao Tong University(上海交通大学)
本文提出基于多层级图与结构感知注意力的GraNet框架,从点云场景生成6-DoF抓取位姿,在GraspNet-1Billion上达到SOTA并经真实机器人验证。
2023-12-06 cs.CV cs.RO
GraspClutter6D: A Large-scale Real-world Dataset for Robust Perception and Grasping in Cluttered Scenes
Korea Institute of Machinery & Materials (KIMM)(韩国机械材料研究院);Gwangju Institute of Science and Technology (GIST)(全州科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出了大规模真实世界抓取数据集 GraspClutter6D,包含1000个高度杂乱场景及丰富6D姿态与抓取标注,验证了其能显著提升杂乱环境下机器人抓取网络的性能。
2025-08-14 cs.AI cs.CV cs.RO
Informative Object-centric Next Best View for Object-aware 3D Gaussian Splatting in Cluttered Scenes
Interdisciplinary Program in Artificial Intelligence, SNU(人工智能交叉学科项目,SNU);Dept. of Mechanical Engineering, SNU(机械工程系,SNU)
本文提出了一种基于对象的下一步最佳视角策略,通过利用对象特征提升3D高斯散射在杂乱场景中的重建鲁棒性,实验表明深度误差显著降低。
2026-02-09 cs.CV cs.RO
Improving 6D Pose Estimation of Objects in Clutter via Physics-aware Monte Carlo Tree Search
Rutgers University(罗格斯大学)
这项工作提出了一个过程,有效地搜索在混乱的场景中,特别是在涉及闭塞和对象相互依赖的情况下,各个对象的6D姿态假设的组合。候选对象姿态的初始集合由最先进的目标检测和全局点云配准技术生成。由于重叠和遮挡,使用这些技术的每个对象的最佳得分姿势可能不准确。尽管如此,本工作中提供的实验迹象表明,根据配准技术,具有较低排名的对象姿态可能比具有高排名的对象姿态更接近真实姿态。这激发了全局优化过程,通过考虑对象之间的场景级物理交互来改善这些姿势。它还意味着必须搜索交互对象的候选姿态的笛卡尔积,以便确定最佳场景级假设。为了有效地执行搜索,每个对象的候选姿势被聚类,以减少它们的数量,但仍然保持足够的多样性。然后,通过蒙特卡罗树搜索(MCTS)过程来执行对候选对象姿态的组合的搜索,该MCTS过程使用场景的观察到的深度图像与给定假设姿态的场景的渲染之间的相似性作为指导搜索过程的分数。MCTS通过使用置信上限(UCB)技术,以原则性的方式处理微调最有希望的姿势和探索新姿势之间的权衡。实验结果表明,这个过程是能够快速识别在混乱的场景中的物理一致的对象姿态,显着更接近地面实况相比,点云配准方法发现的姿态。
2017-10-24 cs.CV cs.RO
Descriptor transition tables for object retrieval using unconstrained cluttered video acquired using a consumer level handheld mobile device
University of Cambridge(剑桥大学);University of St Andrews(圣安德鲁斯大学)
视觉识别和基于视觉的大型数据库对象检索是具有广泛潜在应用的任务。在本文中,我们提出了一种新的识别方法,从视频序列,适合从数据库中获取的高度不受约束的条件下,例如,使用移动消费级设备,如手机检索。在最低级别上,我们将每个序列表示为密集包装的局部外观描述符的3D网格。虽然图像平面几何形状是通过提取描述符的相邻区域的大重叠来隐式地捕获的,但是3D信息是通过描述符转换表来提取的,该描述符转换表是从每个已知图库对象的单个序列中学习的。这些允许我们沿着第三维(对应于视点变化)连接局部描述符,从而为每个视频生成一组可变长度的马尔可夫链。这种链的两个集合的匹配被公式化为统计假设检验,由此选择每个的子集以最大化对应的视频序列显示相同对象的可能性。阿姆斯特丹图书馆的对象图像和一个新的高度挑战性的视频数据集,使用手机获取的经验评估所提出的算法的有效性。在这两个数据集上,我们的方法被证明是成功的识别背景杂波和大的视点变化的存在。
2016-03-21 cs.CV
Online Adaptation for Implicit Object Tracking and Shape Reconstruction in the Wild
University of California San Diego(加利福尼亚大学圣地亚哥分校);TuSimple(图森未来)
针对杂乱、部分观测 LiDAR 场景,提出利用视频连续性在线自适应 DeepSDF 的统一框架,实现三维跟踪与形状重建相互迭代增强,并在 Waymo、KITTI 上显著超越现有方法。
2022-07-05 cs.CV
Efficient Heatmap-Guided 6-Dof Grasp Detection in Cluttered Scenes
Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心)
针对杂乱场景下6自由度抓取生成质量与实时性受限的问题,提出以抓取热图为引导的全局到局部式高效抓取检测框架,结合非均匀锚点采样,实现了实时高精度检测,在真实机器人实验中取得94%抓取成功率与100%杂乱完成率。
2024-05-14 cs.AI cs.CV cs.RO
Multi-Model 3D Registration: Finding Multiple Moving Objects in Cluttered Point Clouds
Massachusetts Institute of Technology(麻省理工学院);University of Wisconsin at Madison(威斯康星大学麦迪逊分校)
本文研究了多模型3D配准问题,旨在同时重建杂乱点云中多个运动物体的位姿变化,提出了一种基于期望最大化(EM)的方法,并在理论和实验上验证了其在动态场景中联合估计传感器自身运动与多物体运动的有效性。
2024-02-16 cs.CV cs.RO
Improving Map Re-localization with Deep 'Movable' Objects Segmentation on 3D LiDAR Point Clouds
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息研究所);Valeo Schalter und Sensoren GmbH(法雷奥开关与传感器有限公司)
定位和地图是实现自主车辆导航的重要组成部分,并且需要超过基于商业GPS的系统的精度。目前的里程计和映射算法能够提供这种准确的信息。然而,这些算法对动态障碍物和环境变化的鲁棒性的缺乏,即使是短时间内,也迫使在每次会话上生成新的地图,而不利用先前获得的地图。在本文中,我们提出了使用深度学习架构来从3D LiDAR点云中分割可移动物体,以获得更持久的3D地图。这反过来将允许在随后的日子里更好、更快和更准确地重新定位和重新估计。我们展示了我们的方法在一个非常动态和混乱的场景,超市停车场的有效性。为此,我们在不同的日子记录了几个序列,并比较了使用和不使用我们的可移动物体分割方法的定位误差。结果表明,我们能够在过滤后的地图上准确地重新定位,一致地减少了平均35.1%(相对于未过滤的地图版本)和47.9%(相对于在当前会话中创建的独立地图)之间的轨迹误差。
2019-10-08 cs.CV cs.LG cs.RO
CMG-Net: An End-to-End Contact-Based Multi-Finger Dexterous Grasping Network
East China Normal University(华东师范大学);Midea Group(美的集团);Guangdong Polytechnic Normal University(广东技术师范大学)
在本文中,我们提出了一种新的表示抓取使用多指机器人手和物体之间的接触进行操作。这种表示显著降低了预测维度并加速了学习过程。我们提出了一个有效的端到端网络,CMG-Net,通过有效地预测多指抓取姿势和手配置从单点云在杂乱的环境中抓取未知物体。此外,我们还创建了一个合成抓取数据集,其中包含5000个杂乱场景,80个对象类别和2000万个注释。我们进行了全面的实证研究,并证明了我们的抓取表示和CMG-Net的有效性。我们的工作明显优于三指机器人手的最新技术。我们还证明了使用合成数据训练的模型对真实机器人的表现非常好。
2023-03-23 cs.AI cs.CV cs.RO
Deep Spatiotemporal Clutter Filtering of Transthoracic Echocardiographic Images: Leveraging Contextual Attention and Residual Learning
Cardiovascular Imaging and Dynamics, Department of Cardiovascular Sciences, KU Leuven(心血管影像与动力学,心血管科学系,KU莱顿大学);Life and Health Sciences Research Institute (ICVS), School of Medicine, University of Minho(生命与健康科学研究所(ICVS),医学院,蒙德兹大学);Ai–School of Technology, IPCA(2Ai技术学院,IPCA);Department of Cardiac Technology, College of Applied Medical Sciences, Imam Abdulrahman Bin Faisal University(心脏技术系,应用医学科学学院,伊玛目阿卜杜勒拉赫曼·本·法伊兹大学)
本研究提出了一种深度卷积自编码器网络,利用上下文注意力与残差学习技术,实现心胸超声图像中回波杂波的高效滤除。
2025-12-07 cs.CV eess.IV
Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Skan AI;Texas A&M University(德克萨斯大学阿姆斯特朗分校);University of California, Irvine(加州大学 Irvine 分校)
本文提出AttWarp方法,通过注意力引导的图像扭曲增强MLLMs对细节和空间关系的感知能力,提升准确性和推理能力。
2026-09-30 cs.CV cs.LG
Improving Local Effectiveness for Global robust training
University of Oxford(牛津大学)
尽管很受欢迎,但深度神经网络很容易被愚弄。为了缓解这一不足,研究人员正在积极开发新的训练策略,鼓励对小输入扰动具有鲁棒性的模型。已经提出了几种成功的鲁棒训练方法。然而,它们中的许多依赖于强大的对手,当输入维度很高并且模型结构复杂时,生成这些对手的成本可能非常高。我们采用了一个新的角度对鲁棒性,并提出了一种新的训练算法,允许更有效地利用对手。我们的方法提高了模型的鲁棒性在每个局部球围绕对手,然后,通过结合这些局部球通过一个全球性的长期,实现整体的鲁棒性。我们证明,通过最大限度地利用对手通过专注于本地球,我们实现了强大的准确性与弱对手。具体来说,我们的方法达到了与在MNIST、CIFAR-10和CIFAR-100上对强大对手训练的最先进方法相似的鲁棒准确度水平。因此,减少了整体训练时间。此外,当与强大的对手一起训练时,我们的方法与MNIST上的最新技术相匹配,并在CIFAR-10和CIFAR-100上优于它们。
2021-10-26 cs.CV cs.LG
DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学)
在这项工作中,我们开发的方法Few-Shot图像分类从一个新的角度最佳匹配图像区域之间。我们采用地球移动器的距离(EMD)作为度量来计算密集的图像表示之间的结构距离,以确定图像的相关性。经验模式分解生成匹配代价最小的结构元素间的最优匹配流,用于计算图像距离进行分类。为了生成EMD公式中元素的重要权重,我们设计了一个交叉引用机制,它可以有效地减轻杂乱的背景和类内外观变化大所造成的不利影响。为了实现k-shot分类,我们建议学习一个结构化的全连接层,它可以直接用EMD对密集的图像表示进行分类。基于隐函数定理,EMD可以作为一个层插入到网络中进行端到端训练。我们广泛的实验验证了我们的算法的有效性,该算法在五个广泛使用的Few-Shot分类基准上的性能明显优于最先进的方法,即miniImageNet,tieredImageNet,Fewshot-CIFAR 100(FC 100),Caltech-UCSD Birds-200-2011(CUB)和CIFAR-FewShot(CIFAR-FS)。我们还证明了我们的方法在图像检索任务的有效性,在我们的实验。
2023-03-30 cs.CV cs.LG eess.IV
Task-Oriented 6-DoF Grasp Pose Detection in Clutters
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出任务导向六自由度抓取姿态检测问题(TO6DGC),构建大规模数据集6DTG并设计单阶段模型OSTG,通过任务导向点选择和抓取生成模块,在杂乱场景中实现优于基线的任务感知抓取。
2025-02-24 cs.CV cs.RO
Deep Cuboid Detection: Beyond 2D Bounding Boxes
Carnegie Mellon University(卡内基梅隆大学);Magic Leap, Inc.(Magic Leap公司)
我们提出了一个深长方体检测器,它需要一个混乱的场景的消费者质量的RGB图像,并定位所有的3D长方体(盒状物体)。与经典方法相反,经典方法从低级别线索(如角点,边缘和消失点)拟合3D模型,我们提出了一种端到端的深度学习系统来检测许多语义类别(例如,烤箱、运输箱和家具)。我们本地化长方体的二维限界框,并同时本地化长方体的角落,有效地产生一个3D的解释盒状物体。我们通过迭代地汇集卷积特征来改进关键点,从而显著改进了基线方法。我们的深度学习长方体检测器以端到端的方式进行训练,适用于增强现实(AR)和机器人技术中的实时应用。
2016-11-30 cs.CV
Improving Generalization with Domain Convex Game
Beijing Institute of Technology(北京理工大学)
领域泛化(DG)倾向于通过学习具有多个源域的模型来缓解深度神经网络泛化能力差的问题。一个经典的解决DG的方法是域增广,其共同的信念是多样化的源域将有利于分布外泛化。然而,这些主张是直观地理解的,而不是数学上的。我们的探索经验表明,模型泛化和域的多样性之间的相关性可能不是严格的正相关,这限制了域增强的有效性。因此,这项工作旨在保证和进一步加强这一链的有效性。为此,我们提出了一个新的角度DG重铸它作为一个凸域之间的游戏。我们首先鼓励每个多样化的领域,以提高模型的泛化精心设计的正则化项的基础上超模块化。同时,构造样本滤波器,剔除低质量样本,避免潜在有害信息的影响。该框架为DG的形式化分析提供了一条新的途径,启发式分析和大量实验证明了该框架的合理性和有效性。
2023-03-23 cs.CV cs.LG
ATM: Improving Model Merging by Alternating Tuning and Merging
Sapienza University of Rome(萨皮恩扎罗马大学)
本文提出ATM方法,通过交替调优与合并改进模型合并,理论证明任务向量等价于多任务梯度,并在数据受限场景及轻量级精炼中验证其有效性。
2025-08-08 cs.AI cs.CV cs.LG
When in Doubt: Improving Classification Performance with Alternating Normalization
Cornell University(康奈尔大学);Facebook AI
我们引入了交替归一化分类(CAN),这是一种用于分类的非参数后处理步骤。CAN通过使用高置信度验证示例的预测类分布重新调整其预测类概率分布来提高具有挑战性的示例的分类准确性。CAN可以很容易地应用于任何概率分类器,具有最小的计算开销。我们使用模拟实验分析CAN的属性,并实证证明其有效性在一组不同的分类任务。
2021-09-28 cs.CL cs.CV cs.LG
ICGNet: A Unified Approach for Instance-Centric Grasping
ETH Zürich(苏黎世联邦理工学院);Texas A&M University(德克萨斯农工大学)
针对杂乱场景中抓取检测缺乏实例级组合理解的问题,提出端到端 ICGNet,从单视角点云生成实例中心表示并联合完成物体重建与抓取检测,在合成基准和真实清理任务中优于现有方法。
2024-05-09 cs.CV cs.RO
Improving the Effectiveness and Efficiency of Stochastic Neighbour Embedding with Isolation Kernel
Deakin University(迪肯大学);Nanjing University(南京大学)
针对t-SNE中高斯核易导致结构表征失真、计算成本高的问题,提出用孤立核替换高斯核,既提升可视化质量又能高效处理大规模数据集,且不损失准确率。
2021-07-08 cs.AI cs.CV cs.LG
Measuring and improving the quality of visual explanations
解释神经网络决策的能力与其安全部署密切相关。已经提出了几种方法来突出对给定网络决策重要的特征。然而,对于如何衡量这些方法的有效性,没有达成共识。我们提出了一个新的评价解释的程序。我们用它来研究从神经网络中的一系列可能的来源中提取的视觉解释。我们量化的好处,结合这些来源和挑战最近呼吁考虑偏置参数。我们通过对ImageNet分类器中偏差参数影响的一般评估来支持我们的结论
2020-03-20 cs.CV cs.LG stat.ML
Improving the Effectiveness of Deep Generative Data
Bosch Center for Artificial Intelligence(博世人工智能中心);Institute of Industrial Manufacturing and Management IFF, University of Stuttgart(斯图加特大学工业制造与管理研究所);Fraunhofer Institute for Manufacturing Engineering and Automation (IPA)(弗劳恩霍夫制造工程与自动化研究所)
本研究针对深度生成模型合成图像用于下游任务时性能下降的问题,提出内容差距是主要诱因并给出优化策略,在多数据集分类任务中效果优于基线,数据稀缺场景提升更明显。
2023-11-08 cs.CV
Improving Image Tracing with Convolutional Autoencoders by High-Pass Filter Preprocessing
Deggendorf Institute of Technology(代根多夫应用技术大学)
针对图像追踪任务,提出结合高通滤波预处理、卷积自编码器重建与矢量化的处理流程,可在实现图像更抽象表示的同时提升矢量化效率。
2023-06-15 cs.CV
Improving Unsupervised Video Object Segmentation with Motion-Appearance Synergy
Microsoft Research Asia(微软亚洲研究院);University of Michigan(密歇根大学)
我们提出了IMAS,一种在训练或推理中无需手动注释即可分割视频中主要对象的方法。以前的方法在无监督视频对象分割(UVOS)已经证明了有效的运动作为输入或监督分割。然而,在诸如可变形对象和具有反射的对象的情况下,运动信号可能是无信息的甚至是误导的,从而导致不令人满意的分割。相比之下,IMAS通过运动-外观协同作用实现了改善的UVOS。我们的方法有两个训练阶段:1)运动监督的对象发现阶段,通过可学习的残差路径处理运动外观冲突; 2)具有低级和高级外观监督的细化阶段,以纠正从误导性运动线索中学习到的模型误解。此外,我们提出了运动语义对齐作为一个模型不可知的注释免费hyperparam调整方法。我们证明了它的有效性,在调整关键hyperparams以前调整与人类注释或手工制作的hyperparams特定的指标。IMAS大大提高了几个常见的UVOS基准分割质量。例如,在DAVIS 16基准测试中,我们仅使用标准ResNet和卷积头就超过了之前的方法8.3%。我们打算发布我们的代码用于未来的研究和应用。
2022-12-17 cs.CV
Design and Identification of Keypoint Patches in Unstructured Environments
Ulsan National Institute of Science and Technology(蔚山科学技术院)
针对非结构化杂乱环境中模糊和阴影导致关键点检测困难的问题,本文设计了四种考虑尺度、旋转和相机投影的关键点贴片,并定制 Superpoint 网络以增强图像退化下的检测鲁棒性,通过真实视频测试验证了其在视觉自主系统中的有效性。
2024-10-01 cs.CV cs.RO
Improving Synthetically Generated Image Detection in Cross-Concept Settings
Information Technologies Institute, CERTH(希腊研究与技术中心信息技术研究所);Czech Technical University in Prague(布拉格捷克理工大学)
针对合成图像检测器跨概念泛化不足的问题,本文提出依据概率质量估计模型的质量评分筛选逼真生成图像进行训练,并在 StyleGAN2 与 Latent Diffusion 上验证其性能提升。
2023-04-24 cs.AI cs.CV