Multimodal Point Cloud Semantic Segmentation With Virtual Point Enhancement
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology (HUST)(华中科技大学人工智能与自动化学院);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
提出基于虚拟点增强的多模态点云语义分割方法,通过自适应滤波模块提取有效伪点并利用噪声鲁棒稀疏特征编码器,显著提升了中程和小型目标的分割精度。
2025-04-02 cs.CV
Comparison of the Deep-Learning-Based Automated Segmentation Methods for the Head Sectioned Images of the Virtual Korean Human Project
Nagoya University(名古屋大学);Ajou University School of Medicine(亚洲大学医学院)
提出了一种基于深度卷积神经网络(DCNN)的可视韩国人(VKH)项目头部切片图像的端到端全自动分割方法。通过将分类网络转换为全卷积网络(FCN),可以创建比原始输入图像更小的粗预测图,用于分割目的。为了细化该地图并获得密集的像素级输出,标准的FCN使用反卷积层来对粗略的地图进行上采样。然而,基于反卷积的上采样增加了网络参数的数量,并且由于插值而导致细节损失。另一方面,扩张卷积是最近引入的一种新技术,它试图在不增加网络参数的情况下捕获多尺度上下文信息,同时保持预测图的高分辨率。我们使用标准FCN和基于扩张卷积的FCN对VKH数据集的头部切片图像进行语义分割。定量结果表明,当使用扩张卷积的FCN时,分割精度提高了约20%。
2017-03-15 cs.CV
Egocentric Human Segmentation for Mixed Reality
Universidad Autonoma de Madrid(马德里自治大学);Nokia Bell-Labs(诺基亚贝尔实验室)
本文的目标是利用语义分割网络从以自我为中心的视频中分割出人体部位。我们的贡献是双重的:i)我们创建了一个半合成数据集,由超过15,000张真实图像和以自我为中心的人体部位的相关像素标签组成,例如包含不同人口统计因素的手臂或腿; ii)基于ThunderNet架构,我们实现了一种深度学习语义分割算法,该算法能够执行超过实时要求(720 x 720图像为16 ms)。相信该方法将增强虚拟环境的临场感,并将构成一个更真实的解决方案,以标准的虚拟化身。
2020-06-08 cs.CV
VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection
University of North Texas(北德克萨斯大学)
针对LiDAR点云稀疏性导致远距离及遮挡目标检测困难的问题,本文提出利用相机图像生成虚拟点并融合语义标签,结合距离感知数据增强,显著提升3D检测精度。
2023-12-26 cs.CV
Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs Towards Robot-assisted Intubation
CUHK(香港中文大学);BUCT(北京化工大学)
针对口咽器官真实数据集受限导致深度学习分割训练困难的问题,提出基于SOFA虚拟数据集和IRB图像混合策略的域自适应Sim-to-Real方法,有效提升了分割精度与训练稳定性,助力机器人辅助插管手术。
2023-06-27 cs.CV cs.RO eess.IV
Foveated Instance Segmentation
New York University(纽约大学);Meta Reality Labs(元宇宙现实实验室)
本文提出FovealSeg框架,利用实时注视数据仅对感兴趣实例进行分割,显著降低计算开销,在ADE20K和LVIS上分别达到0.56和0.54的IoU,优于基线。
2025-03-27 cs.AI cs.CV
Flow-based Video Segmentation for Human Head and Shoulders
University of Alberta(阿尔伯塔大学)
在为视频会议和虚拟现实应用程序创建优雅的媒体时,人体头部和肩部的视频分割是必不可少的。主要的挑战是以实时的方式处理高质量的背景减除,并解决运动模糊下的分割问题,例如,在会议视频期间摇头或挥手。为了克服视频分割中的运动模糊问题,本文提出了一种新的基于流的编解码器网络(FUNet),它结合了传统的Horn-Schunck光流估计技术和卷积神经网络来实现鲁棒的实时视频分割。我们还介绍了一个视频和图像分割数据集:ConferenceVideoSegmentationDataset。代码和预训练模型可在我们的GitHub存储库中找到:\url{https://github.com/kuangzijian/Flow-Based-Video-Matting}。
2021-04-20 cs.CV
ViLiVO: Virtual LiDAR-Visual Odometry for an Autonomous Vehicle with a Multi-Camera System
Shanghai Jiao Tong University(上海交通大学);SAIC Motor(上海汽车集团股份有限公司)
在本文中,我们提出了一个多摄像机视觉里程计(VO)系统的自主车辆。我们的系统主要由一个虚拟激光雷达和一个姿态跟踪器。我们使用透视变换的方法来合成一个环绕视图的图像从无失真的鱼眼相机图像。利用语义分割模型,可以提取出自由空间。虚拟激光雷达的扫描是通过离散化自由空间的轮廓来生成的。在姿态跟踪方面,提出了一种融合特征匹配和虚拟激光雷达扫描匹配结果的视觉里程计系统。只有那些位于自由空间区域中的特征点被用来确保用于位姿估计的2D-2D匹配。此外,进行光束法平差(BA),以最小化特征点重投影误差和扫描匹配误差。我们将我们的系统应用于配备四个鱼眼摄像头的自动驾驶汽车。测试场景包括室外停车场和室内车库。实验结果表明,我们的系统实现了更强大的和准确的性能相比,基于鱼眼相机的单目视觉里程计系统。
2019-09-30 cs.CV cs.RO
Optical Flow augmented Semantic Segmentation networks for Automated Driving
CDV AI Research(CDV人工智能研究院);Valeo Vision Systems(法雷奥视觉系统公司);Valeo R&D DVS(法雷奥研发DVS中心);Nile University(尼罗河大学)
运动是自动驾驶系统中的主要线索。通常计算光流以检测移动对象并使用三角测量来估计深度。在本文中,我们的动机是利用现有的密集光流,以提高性能的语义分割。为了提供一个系统的研究,我们构建了四种不同的架构,使用RGB,流,RGBF级联和两个流RGB +流。我们使用最先进的流量估计器FlowNet v2在两个汽车数据集上评估这些网络,即Virtual KITTI和Cityscapes。我们还利用虚拟KITTI中的地面实况光流作为一个理想的估计器和标准的Farneback光流算法来研究噪声的影响。在Virtual KITTI中使用流地面实况,双流架构实现了最佳结果,IoU提高了4%。正如预期的那样,卡车、货车和汽车等移动物体的IoU分别增加了38%、28%和6%。FlowNet的平均IoU提高了2.4%,移动物体的改善幅度更大,卡车、货车和汽车分别提高了26%、11%和5%。在Cityscapes中,流动增强为摩托车和训练等移动物体提供了改善,IoU增加了17%和7%。
2019-01-11 cs.CV cs.LG stat.ML
PanDepth: Joint Panoptic Segmentation and Depth Completion
Tampere University(坦佩雷大学)
本文提出一种多任务模型PanDepth,联合处理全景分割与深度补全,利用RGB图像和稀疏深度图,在保持低计算成本和高精度的同时,完成多种分割任务,并在Virtual KITTI 2上验证。
2024-03-06 cs.CV
MetaGraspNet_v0: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人们对由机器人系统驱动的智能工厂越来越感兴趣,以解决重复性的繁重任务。在机器人驱动的智能工厂应用中,一个有影响力但具有挑战性的任务是机器人抓取:使用机器人手臂在不同的环境中自主抓取物体。机器人抓取需要各种计算机视觉任务,如目标检测、分割、抓取预测、拾取规划等。虽然在利用机器学习进行机器人抓取方面取得了重大进展,特别是在深度学习方面,但仍然需要大规模、高质量的RGBD数据集,这些数据集涵盖了各种场景和排列。为了解决这个大的,多样化的数据问题,我们受到最近兴起的虚拟世界概念的启发,它极大地缩小了虚拟世界和物理世界之间的差距。Metaverse使我们能够创建真实世界制造场景的数字孪生,并虚拟地创建不同的场景,从中可以生成大量数据用于训练模型。在本文中,我们提出了MetaGraspNet:一个大规模的基准数据集,通过基于物理的元宇宙合成的视觉驱动的机器人抓取。建议的数据集包含100,000张图像和25种不同的对象类型,并分为5个难点,以评估不同抓取场景下的目标检测和分割模型性能。我们还提出了一个新的布局加权的性能指标旁边的数据集,用于评估目标检测和分割性能的方式,更适合于机器人把握应用程序相比,现有的通用性能指标。我们的基准数据集在Kaggle上开源,第一阶段包括详细的目标检测、分割、布局注释和布局加权性能度量脚本。
2022-08-30 cs.CV cs.RO
Parallax Motion Effect Generation Through Instance Segmentation And Depth Estimation
University of Campinas (UNICAMP)(坎皮纳斯大学(UNICAMP));NTNU -- Norwegian University of Science and Technology(挪威科技大学(NTNU))
立体视觉是计算机视觉中的一个日益增长的主题,因为该技术为现代解决方案的开发提供了无数的机会和应用,例如虚拟和增强现实应用。为了增强用户在三维虚拟环境中的体验,运动视差估计是一种很有前途的技术,以实现这一目标。在本文中,我们提出了一种算法,从一个单一的图像产生视差运动效果,利用国家的最先进的实例分割和深度估计的方法。这项工作还提出了对这样的算法进行比较,以调查视差运动效果的效率和质量之间的权衡,考虑到多任务学习网络能够估计实例分割和深度估计一次。实验结果和视觉质量评估表明,PyD-Net网络(深度估计)结合Mask R-CNN或FBNet网络(实例分割)可以产生视觉质量良好的视差运动效果。
2020-10-06 cs.CV cs.LG eess.IV
BusyHands: A Hand-Tool Interaction Database for Assembly Tasks Semantic Segmentation
Stony Brook University(石溪大学)
视觉分割最近取得了巨大的进步,为各种场景类型提供了现成的解决方案,包括人手和其他身体部位。然而,在执行复杂任务(例如手动装配)时,仍然严重缺乏人手的分割。从工具、工件、背景和其他身体部位分割手是非常困难的,因为自遮挡和复杂的手握和姿势。在本文中,我们介绍了BusyHands,这是一个大型的开放数据集,包含了执行13种不同的基于工具的装配任务的手的像素级注释图像,这些任务来自真实世界的捕获和虚拟世界的渲染。我们的第一个同类数据集中包含了7906个样本,其中包括从Kinect V2相机和Blender获得的RGB和深度图像。我们评估了几个国家的最先进的语义分割方法对我们的数据集作为一个建议的性能基准。
2019-02-19 cs.CV
Adversarially Domain-adaptive Latent Diffusion for Unsupervised Semantic Segmentation
University of Cambridge(剑桥大学);University of Kent(肯特大学);Tsinghua University(清华大学);Inje University(仁济大学);King’s College London(伦敦国王学院)
针对虚拟与真实域差异导致语义分割泛化难的问题,提出基于潜在扩散的ICCLD方法,通过编码器间连接和对抗学习对齐特征,在多个数据集上超越现有UDA方法。
2025-04-07 cs.AI cs.CV
FSD V2: Improving Fully Sparse 3D Object Detection with Virtual Voxels
Center for Research on Intelligent Perception and Computing (CRIPAC), National Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所模式识别国家重点实验室智能感知与计算研究中心);TuSimple(图森未来)
FSDv2提出虚拟体素机制取代FSDv1的手工聚类实例分割,解决中心特征缺失问题并简化结构,在三个大规模激光雷达数据集上取得最先进性能。
2023-08-07 cs.CV cs.RO
Applying Deep Learning for cockpit segmentation in the context of mixed reality
Laboratdrio de Robética, sistemas inteligentes e Complezos - RobSIC(机器人、智能系统与复杂性实验室 - RobSIC);Instituto de Ciências Tecnoldgicas Universidade Federal de Itajubd, Campus Itabira, MG(科技学院 巴西联邦大学它雅布德分校,伊塔比拉校区,马里兰);Universidade Tecnológica Federal do Parand - UTFPR, Campus Pato Branco/PR(帕托布兰科/PR技术联邦大学 - UTFPR)
本文提出利用U-net和DeepLabV3+卷积神经网络对驾驶舱图像进行前景与背景分割,以促进混合现实中的虚实融合,实现了约90%的准确率。
2026-06-02 cs.CV cs.GR
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的神经网络模块,将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比,我们努力实现一个简单,快速和通用的模块,可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比,我们提出了一个快速的局部注意力层,在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络:ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%,而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
Forest Inspection Dataset for Aerial Semantic Segmentation and Depth Estimation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文构建含真实与虚拟航拍图像、语义标签及深度图的森林巡检数据集,评测 HRNet 与 PointFlow network,并提出森林砍伐程度评估框架。
2024-03-11 cs.AI cs.CV
Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality
The University of Tokyo(东京大学)
在室外混合现实系统中,由于场景的复杂性,实时遮挡处理需要很大的计算量,是一个主要的问题。仅使用分割,这是很难准确地渲染一个虚拟物体遮挡的复杂对象,如树木,灌木丛等,在本文中,我们提出了一种新的遮挡处理方法,实时,室外,全方位的混合现实系统,只使用从单目图像序列的信息。首先,我们提出了一个语义分割计划预测量的可见性为不同类型的对象在场景中。我们还同时计算前景概率图使用深度估计从光流。最后,我们结合分割结果和概率图,使用基于概率的绘制方法绘制计算机生成的对象和真实场景。我们的研究结果表明,在处理闭塞相比,现有的混合为基础的方法有很大的改善。
2017-07-30 cs.CV
Semantic 3D Occupancy Mapping through Efficient High Order CRFs
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
语义3D映射可以用于许多应用,例如机器人导航和虚拟交互。近年来,在语义分割和几何三维映射方面取得了很大的进展。然而,它仍然是具有挑战性的结合这两个任务,从图像的准确和大规模的语义映射。在本文中,我们提出了一个增量和(近)实时语义映射系统。建立了一个3D滚动占用网格地图来表示世界,这是内存和计算效率高,并有界的大规模环境。我们利用CNN分割作为先验预测,并通过一种新的CRF模型进一步优化3D网格标签。利用超像素增强光顺性,形成鲁棒的PN高阶势.一个有效的平均场推理的图形优化。我们在KITTI数据集上评估了我们的系统,并将分割精度提高了10%。
2017-07-24 cs.CV cs.RO
Semantic Segmentation and Data Fusion of Microsoft Bing 3D Cities and Small UAV-based Photogrammetric Data
University of Southern California(南加州大学);Institute for Creative Technologies(创意技术研究所);US Army(美国陆军)
借助最先进的传感和摄影测量技术,微软Bing地图团队已经创建了来自11个不同国家的超过125个高度详细的3D城市,覆盖数十万平方公里的区域。3D城市模型是使用摄影测量技术创建的,高分辨率的图像是从飞机上安装的相机捕获的。这样一个大型的3D城市数据库已经引起了美国陆军的注意,因为它可以创建虚拟仿真环境来支持军事行动。然而,3D城市模型没有建筑物、植被和地面等语义信息,无法实现复杂的用户级和系统级交互。在I/ITSEC 2019上,作者提出了一个全自动数据分割和对象信息抽取框架,用于使用基于无人机的摄影测量数据创建模拟地形。本文讨论了扩展我们设计的数据分割框架以分割3D城市数据的后续步骤。在这项研究中,作者首先研究了现有框架在应用于Bing数据时的优势和局限性。基于无人机和基于飞机的摄影测量数据之间的主要差异突出。基于飞机的摄影测量数据,这可能会对分割性能产生负面影响的数据质量问题,确定。基于这些发现,我们设计了一个专门用于分割Bing数据的工作流,同时考虑了Bing数据的特点。此外,由于最终目标是在虚拟仿真环境中结合使用小型无人机(UAV)收集的数据和Bing数据,因此需要将这两个来源的数据对齐并注册在一起。为此,作者还提出了一个数据配准工作流程,利用传统的迭代最近点(ICP)与提取的语义信息。
2020-08-21 cs.CV
Learning from Future: A Novel Self-Training Framework for Semantic Segmentation
Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);SenseTime Research(商汤科技研究院);Shanghai Jiao Tong University(上海交通大学)
自我训练在半监督学习中显示出巨大的潜力。它的核心思想是使用在标记数据上学习的模型为未标记的样本生成伪标签,并反过来自我学习。为了获得有效的监督,主动尝试通常使用动量老师进行伪标签预测,但观察确认偏差问题,其中不正确的预测可能提供错误的监督信号并在训练过程中积累。这种缺陷的主要原因是,流行的自我训练框架充当了用以前的知识指导当前状态的角色,因为老师只更新了过去的学生。为了缓解这个问题,我们提出了一种新的自我训练策略,它允许模型从未来学习。具体地说,在每个训练步骤中,我们首先虚拟地优化学生(即,缓存梯度而不将它们应用于模型权重),然后用虚拟的未来学生更新教师,最后要求教师为当前学生产生伪标签作为指导。通过这种方式,我们设法提高伪标签的质量,从而提高性能。我们还开发了我们的未来自我训练(FST)框架的两个变体,通过深入(FST-D)和广泛(FST-W)窥视未来。以无监督的领域自适应语义分割和半监督的语义分割为例,实验证明了该方法在大范围场景下的有效性和优越性.代码将公开提供。
2022-09-18 cs.CV
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology(华南理工大学);University of Utah(犹他大学)
我们引入了切片间图像增强的思想,即在两个连续图像之间增加医学图像和相应的分割标签的数量,以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同,常规数据增强方法仅通过使用简单的参数化变换(诸如旋转、翻转、缩放等)添加新的虚拟样本来直接增加训练样本的数量,我们的目标是根据两幅连续图像之间的关系来增加数据,这不仅增加了训练样本的数量,而且增加了训练样本的信息。为此,我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试,获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种多分辨率深度学习架构,用于语义分割密集的大规模点云。密集的点云数据需要在语义分割之前进行计算量大的特征编码过程。以前的工作已经使用不同的方法从原始点云大幅降采样,因此可以利用常见的计算硬件。虽然这些方法可以在一定程度上减轻计算负担,但它们对于多次扫描的处理能力仍然有限。我们提出了MuGNet,一个内存高效的,端到端的图神经网络框架,对大规模点云进行语义分割。我们减少了计算需求,通过利用一个图神经网络上预先形成的点云图,并保留了精度的分割与双向网络,融合特征嵌入在不同的分辨率。我们的框架已经在包括斯坦福大学大规模3D室内空间数据集(S3DIS)和虚拟KITTI数据集在内的基准数据集上进行了验证。我们证明,我们的框架可以在单个11 GB GPU上同时处理多达45个房间扫描,同时仍然超过其他基于图形的S3DIS分割解决方案,总体准确率为88.5%(+3\%),准确率为69.8%(+7.7\%)mIOU。
2020-09-18 cs.CV
FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Carnegie Mellon University(卡内基梅隆大学)
最近的长尾实例分割方法仍然在具有很少训练数据的稀有对象类上挣扎。我们提出了一种简单而有效的方法,特征增强和采样自适应(FASA),通过增强特征空间来解决数据稀缺问题,特别是对于稀有类。特征增强(FA)和特征采样组件都是自适应于实际训练状态的- FA由过去迭代中观察到的真实样本的特征均值和方差来通知,并且我们以损失适应的方式对生成的虚拟特征进行采样,以避免过度拟合。FASA不需要任何精心设计的损失,并消除了对类间迁移学习的需要,这通常涉及大量成本和手动定义的头/尾类组。我们表明FASA是一种快速,通用的方法,可以很容易地插入到标准或长尾分割框架,具有一致的性能增益和很少的额外成本。FASA也适用于其他任务,如具有最先进性能的长尾分类。
2021-09-30 cs.CV
Eyenet: Attention based Convolutional Encoder-Decoder Network for Eye Region Segmentation
Couger Inc.(库格公司)
随着增强现实和虚拟现实领域向沉浸式方向的发展,对眼球跟踪的准确性和快速性提出了更高的要求。Facebook Research组织了一个名为OpenEDS语义分割的挑战赛,对关键眼睛区域进行逐像素分割:巩膜、虹膜、瞳孔和其他所有区域(背景)。有两个约束条件集的参与者,即MINUS和计算复杂性的模型。最近,研究人员使用卷积神经网络(CNN)分割眼睛区域取得了相当好的结果。然而,在这项任务中涉及的环境挑战,如低分辨率,模糊,不寻常的闪烁和照明,偏角,离轴,使用眼镜和虹膜区域的不同颜色阻碍了分割的准确性。为了解决眼睛分割中的挑战,本工作提出了一种鲁棒的和计算效率高的基于注意力的卷积编码器-解码器网络,用于分割所有的眼睛区域。我们的模型,命名为EyeNet,包括修改后的残余单元作为骨干,两种类型的注意力块和多尺度监督分割上述四个眼睛区域。我们提出的模型在测试数据上获得了0.974的总分(EDS评估指标),这表明与基线方法相比具有更好的结果。
2019-10-08 cs.CV
Embedding-based Instance Segmentation in Microscopy
Max Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学与遗传学研究所);Center for Systems Biology Dresden (CSBD)(德累斯顿系统生物学中心);IT4Innovations, VŠB - Technical University of Ostrava(IT4Innovations,俄斯特拉发技术大学);Fondatione Human Technopole(人类技术基金会)
在2D和3D显微镜数据中自动检测和分割对象对于无数生物医学应用非常重要。在自然图像域中,基于空间嵌入的实例分割方法被认为可以产生高质量的结果,但它们用于分割显微镜数据的实用性目前研究很少。在这里,我们介绍EmbedSeg,一种基于嵌入的实例分割方法,它在2D和3D显微镜数据集上的性能优于现有的最先进的基线。此外,我们表明,EmbedSeg具有足够小的GPU内存占用训练,即使在笔记本电脑GPU上,使它几乎每个人都可以访问。最后,我们介绍了四个新的3D显微镜数据集,我们将其与地面真实训练标签一起公开提供。我们的开源实现可以在https://github.com/juglab/EmbedSeg上找到。
2021-04-29 cs.CV cs.LG eess.IV
A Bhattacharyya Coefficient-Based Framework for Noise Model-Aware Random Walker Image Segmentation
University of Münster(明斯特大学);Sichuan University(四川大学)
一种建立良好的交互式图像分割方法是随机步行算法。近年来,对这一系列分割方法的大量研究一直在进行,并有许多应用。这些方法通常使用简单的高斯权重函数,该函数取决于强烈影响分割性能的参数。在这项工作中,我们提出了一个通用的框架,推导出基于概率建模的权重函数。这个框架可以具体化,以应付几乎任何定义良好的噪声模型。它消除了关键参数,从而避免了耗时的参数搜索。我们推导出了常见噪声类型的特定权重函数,并在合成数据以及不同的生物医学图像数据(来自纽约大学fastMRI数据集的MRI图像,采用双线性技术获得的幼虫图像)上显示了其优越的性能。我们的框架也可以用于多个其他应用程序,例如,图割算法及其扩展。
2022-06-02 cs.CV eess.IV
SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion
Tampere University(坦佩雷大学)
针对自主机器的整体场景理解需求,提出名为SemSegDepth的端到端多任务模型,联合处理语义分割与深度补全,在Virtual KITTI 2数据集上验证了联合学习可同时提升两项任务的性能。
2024-03-06 cs.AI cs.CV cs.LG
Has Anything Changed? 3D Change Detection by 2D Segmentation Masks
Czech Technical University in Prague(布拉格捷克理工大学);National Technical University of Athens(雅典国立技术大学);University of West Attica(西阿提卡大学)
本文提出一种无监督3D变化检测方法,结合2D分割掩码与图优化来发现室内场景中新增、移动或移除的物体,并在3Rscan数据集上取得SoTA结果。
2023-12-02 cs.CV
Revisiting foundation models for cell instance segmentation
Georg-August-University Göttingen, Institute of Computer Science(哥廷根大学计算机科学学院);CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine, Göttingen(下萨克森人工智能与因果医学方法中心,哥廷根);Cluster of Excellence Multiscale Bioimaging (MBExC), Georg-August-University Göttingen(多尺度生物成像(MBExC)集群,哥廷根大学)
本文评估了多种细胞分割基础模型在显微镜图像数据集上的性能,并引入了自动提示生成策略来提升SAM基础模型的性能。
2026-03-18 cs.CV
A Review on Deep Learning Techniques Applied to Semantic Segmentation
University of Alicante(阿利坎特大学)
图像语义分割越来越受到计算机视觉和机器学习研究者的关注。许多正在兴起的应用都需要准确高效的分割机制:自动驾驶、室内导航,甚至虚拟或增强现实系统等等。这一需求与深度学习方法在几乎所有与计算机视觉相关的领域或应用目标中的兴起相吻合,包括语义分割或场景理解。本文综述了应用于各种应用领域的语义分割深度学习方法。首先,我们描述了这个领域的术语以及强制性的背景概念。接下来,主要的数据集和挑战将被公开,以帮助研究人员决定哪些是最适合他们的需求和目标的数据集。然后,现有的方法进行了审查,突出他们的贡献和他们在该领域的意义。最后,定量结果给出了所描述的方法和数据集,他们进行了评估,后续的结果进行了讨论。最后,我们指出了一组有前途的未来工作,并得出我们自己的结论,深度学习技术的语义分割的艺术状态。
2017-04-22 cs.AI cs.CV
Real-Time Facial Segmentation and Performance Capture from RGB Input
Pinscreen(Pinscreen公司);University of Southern California(南加州大学)
我们介绍了无约束的实时的【形】三维面部性能捕捉的概念,通过明确的语义分割的RGB输入。为了确保鲁棒性,最先进的监督学习方法依赖于在野外捕获的人脸图像的大型训练数据集。虽然对于大部分可见的面部已经证明了令人印象深刻的跟踪质量,但由于头发,配件或手对脸手势造成的任何遮挡都会导致显著的视觉伪影和跟踪准确性的损失。遮挡的建模由于其巨大的外观变化空间而在很大程度上被避免。为了解决这个高维度的灾难,我们在无约束的图像中进行跟踪,假设非人脸区域可以被完全掩盖。随着深度学习的最新突破,我们证明了通过重新利用最初为一般语义分割设计的卷积神经网络,可以实现实时的【形】像素级面部分割。我们开发了一个有效的架构的基础上,具有互补特性的双流反卷积网络,并引入精心设计的训练样本和数据增强策略,以提高分割的准确性和鲁棒性。我们采用最先进的基于回归的面部跟踪框架,以分割的面部图像作为训练,并在极端遮挡甚至侧视图的情况下展示准确和不间断的面部性能捕获。此外,所得到的分割可以直接用于在输入图像上合成部分3D面部模型,并实现无缝的面部操作任务,例如虚拟化妆或面部替换。
2016-04-10 cs.CV
Frequency-based Matcher for Long-tailed Semantic Segmentation
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);University of Technology Sydney(悉尼科技大学)
本文针对长尾语义分割任务,构建了三个代表性数据集和双指标评估基准,并提出基于频率的Transformer匹配器,通过一对多匹配自动确定各类别查询数量,以缓解过度抑制问题。
2024-06-06 cs.CV
Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes
Computer Vision Lab, TU Dresden(德累斯顿工业大学计算机视觉实验室);Autonomous Vision Group, MPI for Intelligent Systems Tübingen(蒂宾根马克斯·普朗克智能系统研究所自主视觉研究组);Computer Vision and Geometry Group, ETH Zürich(苏黎世联邦理工学院计算机视觉与几何研究组)
深度学习在计算机视觉中的成功是基于大型注释数据集的可用性。为了降低对手动标记图像的需求,虚拟渲染的3D世界最近越来越受欢迎。创建逼真的3D内容本身就具有挑战性,需要大量的人力。在这项工作中,我们提出了一种替代的范式,结合真实和合成数据学习语义实例分割和目标检测模型。利用这一事实,即不是所有方面的场景是同样重要的这项任务,我们建议增加现实世界的图像与虚拟对象的目标类别。大规模捕捉真实世界的图像既简单又便宜,并且直接提供真实的背景外观,而不需要创建复杂的环境3D模型。我们提出了一个有效的程序来增强真实图像与虚拟对象。这使我们能够创建逼真的合成图像,既表现出现实的背景外观和大量的复杂的对象安排。与建模完整的3D环境相比,我们的增强方法只需要一些用户交互与目标对象的3D形状相结合。通过大量的实验,我们得出了正确的参数集,以产生增强的数据,可以最大限度地提高实例分割模型的性能。此外,我们展示了我们的方法在训练标准深度模型用于室外驾驶场景中汽车的语义实例分割和目标检测方面的实用性。我们在KITTI 2015数据集和Cityscapes数据集上测试了在我们的增强数据上训练的模型,我们已经用像素精确的地面实况进行了注释。我们的实验表明,在增强图像上训练的模型比在合成数据上训练的模型或在有限数量的带注释的真实数据上训练的模型更好地泛化。
2017-08-04 cs.CV
Learning Semantic Segmentation from Synthetic Data: A Geometrically Guided Input-Output Adaptation Approach
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
最近,越来越多的注意力已经被吸引到使用合成数据和计算机生成的注释来训练语义分割模型。然而,领域差距仍然是一个主要的障碍,并阻止从合成数据学习的模型推广到现实世界的应用。在这项工作中,我们利用额外的几何信息,从合成数据,一个强大的,但在很大程度上被忽视的线索,弥合域的差距。这种几何信息可以很容易地从合成数据中生成,并且被证明与语义信息紧密耦合。利用几何信息,我们提出了一个模型,在两个层面上减少域移位:在输入层面上,我们用额外的几何信息增强传统的图像翻译网络,将合成图像翻译成逼真的风格;在输出层面上,我们建立了一个任务网络,它同时对合成数据进行深度估计和语义分割。同时,我们鼓励网络通过输出空间上的对抗训练来保持深度和语义之间的相关性。然后,我们在两对合成到真实的数据集上验证了我们的方法:虚拟KITTI到KITTI,以及SYNTHIA到Cityscapes,与非适应基线和仅使用语义标签的方法相比,我们实现了显着的性能提升。这证明了来自合成数据的几何信息对于跨域语义分割的有用性。
2019-01-13 cs.CV
UnrealROX: An eXtremely Photorealistic Virtual Reality Environment for Robotics Simulations and Synthetic Data Generation
University of Alicante(阿利坎特大学)
在机器人视觉问题中,数据驱动算法几乎在各个方面都超过了传统技术。这些算法需要大量的高质量数据才能在训练过程后正常工作。在现实世界中收集和注释如此大量的数据是一项耗时且容易出错的任务。这些问题限制了规模和质量。合成数据生成已经变得越来越流行,因为它生成更快并且自动注释。然而,当前的大多数数据集和环境缺乏真实感、交互性和来自真实世界的细节。UnrealROX是一个建立在虚幻引擎4之上的环境,旨在通过利用机器人代理探索的超现实室内场景来减少现实差距,机器人代理还在模拟世界中以视觉上逼真的方式与对象进行交互。照片级真实感场景和机器人由虚幻引擎渲染到虚拟现实头戴设备中,头戴设备可捕获视线,以便操作人员可以移动机器人并使用机器人手的控制器;场景信息按帧转储,以便可以离线再现,以生成原始数据和地面实况注释。这种虚拟现实环境使机器人视觉研究人员能够为各种各样的问题生成逼真的和视觉上合理的数据,如类和实例语义分割,目标检测,深度估计,视觉抓取和导航。
2019-11-08 cs.CV cs.MM cs.RO
Pin the Memory: Learning to Generalize Semantic Segmentation
Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室);Ewha Womans University(梨花女子大学)
深度神经网络的兴起为语义分割带来了多项突破。尽管如此,在源域上训练的模型在新的具有挑战性的领域中往往不能正常工作,这直接关系到模型的泛化能力。提出了一种基于元学习框架的记忆引导的语义分割领域泛化方法。特别是,我们的方法抽象的概念知识的语义类到范畴记忆是恒定的领域之外。基于元学习的概念,我们反复训练记忆引导网络并模拟虚拟测试,以1)学习如何记忆与领域无关且不同的类信息,2)提供外部固定的记忆作为类指导,以减少任意未知领域的测试数据中表示的模糊性。为此,我们还提出了记忆发散和特征内聚损失,这鼓励学习记忆读取和更新过程的类别感知领域泛化。大量的实验语义分割证明了我们的方法优于国家的最先进的作品在各种基准的泛化能力。
2022-05-30 cs.CV cs.LG
An Efficient Style Virtual Try on Network for Clothing Business Industry
随着服装制造业的日益发展,将神经网络与工业相结合来减少产品冗余的方法越来越受到重视,为了减少服装冗余,实现个性化定制,虚拟试穿领域出现了更多的研究者,他们试图将目标服装转移到参考图上,但是虚拟试穿最大的问题是由于形状和运动的遮挡,使得衣服变形,导致衣服上的图案和纹理无法恢复。提出了一种新的风格化虚拟试穿网络,该网络既能保持服装纹理和图案的真实性,又能获得无差别的风格化试穿,网络分为三个子网络,第一个是用户图像、目标服装正面图像、语义分割图像和姿态热图,生成更详细的人体解析图。二是利用UV位置图和稠密对应,将图案和纹理实时的映射到变形后的剪影上,使其实时的保留,在提高图像真实性的基础上保证空间结构的合理性。第三,对生成的虚拟试穿图像进行风格化和调整。通过最细微的变化,用户可以选择服装的质地、颜色和款式,提高用户的体验。
2021-05-30 cs.CV
Shooting Labels: 3D Semantic Labeling by Virtual Reality
University of Bologna(博洛尼亚大学)
一些大规模的注释数据集,如ImageNet,Pascal VOC和COCO的可用性,已经导致深度学习通过在几个视觉任务中取得惊人的结果来彻底改变计算机视觉研究。我们认为,促进注释数据集生成的新工具可能有助于在整个应用程序和领域中传播数据驱动的AI。在这项工作中,我们提出了拍摄标签,第一个3D标签工具,密集的3D语义分割,利用虚拟现实渲染标签的任务一样简单和有趣的玩视频游戏。我们的工具可以非常迅速地对大规模环境进行语义标记,无论手头的3D数据的性质如何(例如点云,网格)。此外,Shooting Labels有效地集成了多用户注释,以自动提高标注精度并计算标签不确定性图。此外,在我们的框架内,3D注释可以投影到2D图像中,从而加快了一个众所周知的缓慢和昂贵的任务,如像素语义标记。我们在两种不同的场景中展示了我们的工具的准确性和效率:Matterport3D提供的室内工作空间和从1000多个KITTI图像重建的大规模室外环境。
2020-10-24 cs.CV
Exploring AI in Fashion: A Review of Aesthetics, Personalization, Virtual Try-On, and Forecasting
本文综述了四个领域的方法、数据集和评估指标,涵盖美观、个性化、虚拟试穿和预测,探讨了技术方法与推荐系统的关系及跨领域依赖,识别了集成AI驱动时尚系统面临的挑战和未来方向。
2026-03-19 cs.CV cs.LG
Latents2Segments: Disentangling the Latent Space of Generative Models for Semantic Segmentation of Face Images
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
随着越来越多的增强现实和虚拟现实应用程序的出现,旨在对人脸图像进行有意义的和受控的风格编辑,解析人脸图像以产生准确和细粒度的语义分割地图的任务比以往任何时候都更有动力。少数解决该问题的现有技术(SOTA)方法通过将关于面部结构或其他面部属性(诸如表情和姿态)的先验结合到其深度分类器架构中来实现。我们在这项工作中的努力是通过将SOTA多类人脸分割模型所需的先验知识和复杂的预处理操作重新构建为下游任务,在生成自动编码器模型的潜在空间中对面部语义感兴趣区域(ROI)进行解纠缠。我们目前的结果,我们的模型的性能CelebAMask-HQ和HELEN数据集。我们的模型的编码的潜在空间实现了显着更高的解纠缠的语义ROI比其他SOTA作品。此外,它实现了13%的推理速度和可比的准确性相对于公开可用的SOTA的语义分割的人脸图像的下游任务。
2022-07-06 cs.CV
Transfer Learning from Synthetic to Real LiDAR Point Cloud for Semantic Segmentation
Nanyang Technological University(南洋理工大学)
从合成数据到真实数据的知识转移已被广泛研究,以减轻各种计算机视觉任务(如语义分割)中的数据注释约束。然而,由于缺乏大规模的合成数据集和有效的转换方法,对二维图像和三维点云分割的研究远远落后。我们通过收集SynLiDAR来解决这个问题,SynLiDAR是一个大规模的合成LiDAR数据集,包含具有精确几何形状和全面语义类的逐点注释点云。SynLiDAR从多个虚拟环境中收集,具有丰富的场景和布局,由32个语义类的190多亿个点组成。此外,我们设计了PCT,一种新颖的点云翻译器,有效地减轻了合成和真实点云之间的差距。具体来说,我们将合成到真实的差距分解为一个外观组件和一个稀疏组件,并分别处理它们,这大大提高了点云翻译。我们在三种迁移学习设置上进行了广泛的实验,包括数据增强、半监督领域自适应和无监督领域自适应。大量的实验表明,SynLiDAR为研究3D传输提供了高质量的数据源,拟议的PCT在三种设置中一致地实现了卓越的点云转换。SynLiDAR项目页面:\url{https://github.com/xiaoaoran/SynLiDAR}
2021-12-02 cs.CV
Enforcing View-Consistency in Class-Agnostic 3D Segmentation Fields
EPFL(洛桑联邦理工学院)
本文提出一种在类无关3D分割场中强制视图一致性的方法,通过引入空间正则化项和限制竞争对象槽数量,直接学习分割场,实现对不一致掩码的鲁棒性,成功生成3D全景分割并提取高质量3D资产。
2025-04-03 cs.CV cs.GR
Virtual Accessory Try-On via Keypoint Hallucination
Shanghai Jiao Tong University(上海交通大学);Sensetime Research(商汤科技研究院)
本文提出一种以背景为导向的网络,通过幻觉前景关键点目标位置并结合配饰先验注入背景UNet,实现虚拟配饰试戴,并在STRAT数据集上验证其有效性。
2023-10-26 cs.CV
Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels
WMG, University of Warwick(华威大学WMG学院);University of Sheffield(谢菲尔德大学)
本文提出虚拟类别学习半监督方法,通过为混淆样本分配虚拟类别参与优化而不纠正标签,有效缓解确认偏差并提升类间信息共享上界,在极有限标签下的语义分割和目标检测任务上显著超越现有方法。
2024-02-12 cs.CV
Enhancing SAM with Efficient Prompting and Preference Optimization for Semi-supervised Medical Image Segmentation
Stony Brook University(石溪大学);GE Healthcare(GE医疗)
提出一种增强的SAM框架,通过无监督生成高效提示并结合直接偏好优化技术,在低标注医学图像分割任务中实现了最先进性能。
2025-03-06 cs.CV cs.LG
A Spacecraft Dataset for Detection, Segmentation and Parts Recognition
The University of Adelaide(阿德莱德大学)
现代生活的几乎所有方面都依赖于空间技术。由于计算机视觉的巨大进步,特别是基于深度学习的技术,几十年来,世界见证了深度学习在解决空间应用问题方面的日益增长的使用,例如自动驾驶机器人,示踪剂,宇宙中的昆虫机器人和航天器的健康监测。这些只是在深度学习的帮助下推动航天工业发展的一些突出例子。然而,深度学习模型的成功需要大量的训练数据才能获得良好的性能,而另一方面,用于训练深度学习模型的公开可用空间数据集非常有限。目前,没有用于基于空间的目标检测或实例分割的公共数据集,部分原因是手动注释对象分割掩码非常耗时,因为它们需要像素级标记,更不用说从空间获取图像的挑战。在本文中,我们的目标是填补这一空白,释放一个数据集的航天器检测,实例分割和部分识别。这项工作的主要贡献是使用空间站和卫星的图像开发数据集,并带有丰富的注释,包括航天器的边界框和物体部件级别的掩模,这些注释是通过自动过程和手动工作的混合获得的。我们还提供了评估与国家的最先进的方法在目标检测和实例分割作为基准的数据集。下载建议数据集的链接可以在https://github.com/Yurushia1998/SatelliteDataset上找到。
2021-06-15 cs.CV
Center Focusing Network for Real-Time LiDAR Panoptic Segmentation
Beijing Municipal Key Lab of Multimedia and Intelligent Software Technology(北京市多媒体与智能软件技术重点实验室);Beijing Institute of Artificial Intelligence(北京人工智能研究院);Beijing University of Technology(北京工业大学);Mogo Auto Intelligence and Telemetics Information Technology Co. Ltd.(摩戈汽车智能与车载信息技术有限公司)
提出中心聚焦网络(CFNet),通过中心聚焦特征编码和快速中心去重模块,实现实时且准确的激光雷达全景分割,在SemanticKITTI和nuScenes上大幅超越现有方法。
2023-11-16 cs.CV
LACV-Net: Semantic Segmentation of Large-Scale Point Cloud Scene via Local Adaptive and Comprehensive VLAD
China University of Geosciences, Wuhan(中国地质大学(武汉))
本文提出端到端LACV-Net,通过LAFA局部增强、C-VLAD多尺度全局描述及聚合损失优化边界,提升大规模点云语义分割性能。
2022-10-12 cs.CV
Generalize then Adapt: Source-Free Domain Adaptive Semantic Segmentation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
无监督领域自适应(DA)在语义分割中获得了很大的兴趣。然而,几乎所有的现有技术都假设对标记源和未标记目标两者的并发访问,使得它们不适合于要求无源自适应的场景。在这项工作中,我们使无源DA划分为两个任务:a)源只领域泛化和b)源无目标适应。对于前者,我们提供了理论见解来开发一个使用虚拟扩展的多源数据集训练的多头框架,旨在平衡泛化和特异性。对于后者,我们利用多头框架提取可靠的目标伪标签进行自我训练。此外,我们引入了一种新的条件优先执行自动编码器,阻止空间的不规则性,从而提高了伪标签的质量。在标准的GTA5到Cityscapes和SYNTHIA到Cityscapes基准上的实验显示了我们的优势,即使是对非无源的现有技术。此外,我们展示了我们与在线适应的兼容性,使部署在一个连续变化的环境中。
2021-08-25 cs.CV cs.LG
Ground material classification for UAV-based photogrammetric 3D data A 2D-3D Hybrid Approach
University of Southern California(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);China University of Mining and Technology(中国矿业大学);Ubisoft(育碧)
近年来,摄影测量已广泛应用于许多领域,以创建表示物理环境的照片级真实感3D虚拟数据。小型无人驾驶飞行器(sUAV)的创新提供了额外的高分辨率成像能力,其成本较低,用于绘制相对较大的感兴趣区域。这些尖端技术已经引起了美国陆军和海军的关注,用于快速三维战场重建,虚拟训练和模拟。我们以前的工作已经证明了从导出的摄影测量数据中提取信息抽取以创建语义丰富的虚拟环境的重要性(Chen等人,2019年)。例如,通过分割和替换摄影测量树与游戏就绪树模型,实现了模拟真实性和保真度的增加。在这项工作中,我们进一步研究了语义信息抽取问题,并集中在地面材料分割和目标检测任务。这项工作的主要创新之处在于,我们利用原始2D图像和衍生的3D摄影测量数据来克服使用每个数据源时面临的挑战。对于地面材料分割,我们利用现有的卷积神经网络架构(即,3DMV),其最初被设计用于分割RGB-D感测的室内数据。我们通过在架构中引入深度池层来考虑源图像与重建的地形模型之间的距离,从而提高了其对室外摄影测量数据的性能。为了测试我们改进的3DMV的性能,使用来自One World Terrain(OWT)数据存储库的数据创建了地面真实地面材料数据库。最后,介绍了将分割后的地面材料导入虚拟仿真场景的工作流程,并给出了可视化结果。
2022-10-15 cs.CV
Closer to Ground Truth: Realistic Shape and Appearance Labeled Data Generation for Unsupervised Underwater Image Segmentation
NORCE Norwegian Research Center AS(NORCE挪威研究中心);National University of Science and Technology "Politehnica" Bucharest(布加勒斯特理工科学技术大学);"Simion Stoilow" Institute of Mathematics of the Romanian Academy(罗马尼亚科学院西米翁斯托伊洛夫数学研究所)
针对水下鱼类分割标注数据稀缺的问题,提出两阶段无监督方法,通过形状与色彩变换生成合成训练数据,在DeepFish和自建的最大三文鱼数据集上性能接近全监督最优模型,还能提升全监督模型表现。
2025-03-20 cs.CV
Prompting Diffusion Models for Zero-Shot Instance Segmentation
Technical University of Munich (TUM)(慕尼黑工业大学);Munich Center of Machine Learning (MCML)(慕尼黑机器学习中心);Mercedes-Benz AG(梅赛德斯-奔驰集团);Visualais
提出Prompt2Seg框架,通过空间条件化增强扩散模型,利用2D高斯或置信度图作为提示,实现零样本实例分割,在多个数据集上优于基线。
2026-06-23 cs.CV