Integrated Image and Location Analysis for Wound Classification: A Deep Learning Approach
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);Advancing the Zenith of Healthcare (AZH) Wound and Vascular Center(医疗保健提升巅峰伤口与血管中心);University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校)
针对伤口分类的临床需求,提出融合伤口图像与身体位置信息的多模态深度学习网络,集成多种经典模型与注意力等模块,在两类数据集上实现优于传统方法的分类性能,可作为临床决策支持工具。
2023-08-24 cs.AI cs.CV
Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning
Nagoya University(名古屋大学);Northeastern University(东北大学);KC Machine Learning Lab(KC机器学习实验室);University of Science, Vietnam National University Ho Chi Minh City(胡志明市越南国立大学理科大学);University of California, Los Angeles(加州大学洛杉矶分校)
提出Cross4D-JEPA,通过教师-学生框架将冻结的2D基础模型(如DINOv2或V-JEPA 2)的密集补丁特征蒸馏到4D点编码器,实现每点对应和潜在空间匹配,在四个基准上优于模态内和全局跨模态基线。
2026-07-02 cs.AI cs.CV
MM-Point: Multi-View Information-Enhanced Multi-Modal Self-Supervised 3D Point Cloud Understanding
Southeast University(东南大学)
针对单2D视图信息有限的问题,提出由模态内和模态间相似性驱动的自监督点云学习方法MM-Point,结合Multi-MLP与多层级增强策略学习多视图不变性,在多项3D理解任务上达到SOTA性能。
2024-02-25 cs.AI cs.CV cs.MM
Jet Image Tagging Using Deep Learning: An Ensemble Model
Department of Physics, University of Puerto Rico Mayaguez(物理系,佛罗里达美洲大学梅aguez分校);Department of Electrical and Computer Engineering, University of Puerto Rico Mayaguez(电气与计算机工程系,佛罗里达美洲大学梅aguez分校)
针对高能物理中复杂Jet分类难题,提出将Jet数据转为二维直方图并使用双神经网络Ensemble Model进行分类,在JetNet数据集上实现优于单网络的二元与多类别分类性能。
2025-08-09 cs.AI cs.LG hep-ex
CLIP the Landscape: Automated Tagging of Crowdsourced Landscape Images
UCL SpaceTimeLab(伦敦大学空间时间实验室)
本研究针对众包景观图像地理标签预测问题,提出基于CLIP的多模态多标签分类器,结合图像、位置与标题嵌入提升准确率,构建轻量可在普通笔记本训练的流程,支持GeoAI等下游应用。
2025-06-13 cs.CV
A Multi-Modal Approach to Infer Image Affect
Johnson Controls - Innovation Garage(江森自控创新车库)
可以通过提取关于图片中的人和场景的整体构成的特征来推断人的图像中的群体情感或情绪。关于这个问题的最新技术研究了面部特征、场景提取甚至音频音调的组合。本文结合了三个额外的方式,即,人体姿势,基于文本的标记和CNN提取的特征/预测。据我们所知,这是第一次使用深度神经网络提取所有模态。我们评估我们的方法对基线的性能,并确定在本文中的见解。
2018-03-13 cs.CV cs.LG stat.ML
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago(芝加哥大学);Adobe Research(Adobe研究院)
我们开发了一种方法来学习视觉表示,包括多模态数据,由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同,这些方法在单个域中解决代理预测任务,我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息,从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练,我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型,并在各种下游任务上评估学习到的视觉表示,包括图像分类、目标检测和实例分割。例如,通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集,并显示其有效性的多标签图像标记,和跨模态检索任务。
2021-04-26 cs.CV
A Multi-Modal Foundation Model to Assist People with Blindness and Low Vision in Environmental Interaction
Tandon School of Engineering, New York University(纽约大学坦登工程学院);NYU Langone Health, New York University(纽约大学朗格尼健康中心);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出一种基于大型视觉语言模型(如InstructBLIP)的多模态方法,通过结合图像标签模型(RAM)与提示工程,为盲人和低视力人群提供环境描述与潜在风险警告,实验证明其能准确识别物体并生成深刻的环境分析。
2024-04-29 cs.AI cs.CV
Tagging like Humans: Diverse and Distinct Image Annotation
Tencent AI Lab(腾讯人工智能实验室);KAUST(阿卜杜拉国王科技大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
在这项工作中,我们提出了一个新的自动图像标注模型,被称为{ \bf多样化和独特的图像标注}(D2 IA)。生成模型D2 IA的灵感来自于人类注释的集合,这些注释创建了语义相关,但不同和多样化的标签。在D2 IA中,我们生成一个相关的和不同的标签子集,其中的标签是相关的图像内容和语义不同的对方,使用顺序采样从一个决定性的点过程(DPP)模型。通过随机扰动DPP采样过程来生成覆盖图像内容的不同语义方面或不同语义级别的多个这样的标签子集。我们利用生成对抗网络(GAN)模型来训练D2 IA。在两个基准数据集上进行的大量实验,包括定量和定性比较,以及人类受试者研究,表明所提出的模型可以产生比最先进的更多样化和独特的标签。
2018-03-31 cs.CV
Multi-Modal Multi-Granularity Tokenizer for Chu Bamboo Slip Scripts
Tsinghua University(清华大学)
本文提出一种面向楚简文字的多模态多粒度分词器,通过字符检测及字符与子字符两级识别应对古文字层级复杂性,并构建首个超10万标注的楚简数据集,在词性标注任务上较主流子词分词器F1值相对提升5.5%。
2024-09-02 cs.CL cs.CV
OmniNet: A unified architecture for multi-modal multi-task learning
IBM Cloud(IBM云);IBM Research(IBM研究院);University of Amsterdam(阿姆斯特丹大学)
Transformer是一种广泛使用的神经网络结构,特别适用于语言理解。我们引入了一个扩展和统一的架构,可用于涉及各种形式的任务,如图像,文本,视频等,我们提出了一个时空缓存机制,使学习空间维度的输入除了隐藏状态对应的时间输入序列。所提出的架构进一步使单个模型能够支持具有多种输入方式的任务以及异步多任务学习,因此我们将其称为OmniNet。例如,OmniNet的单个实例可以同时学习执行词性标记、图像描述、视觉问答和视频活动识别等任务。我们证明了,与单独训练这四个任务相比,一起训练这四个任务会导致大约三倍的压缩模型,同时保持性能。我们还表明,使用这种神经网络在某些模式上进行预训练有助于学习看不见的任务,如视频描述和视频问答。这说明了OmniNet中时空缓存上的自注意机制的泛化能力。
2020-07-03 cs.CL cs.CV cs.LG
Exploring Data Augmentation for Multi-Modality 3D Object Detection
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
与直觉相反,基于点云和图像的多模态方法的性能仅略好于或有时比仅使用点云的方法更差。本文探讨了这一现象背后的原因。由于多模态数据增强必须保持点云和图像之间的一致性的事实,该领域中的最近方法通常使用相对不足的数据增强。这种不足使他们的表现低于预期。因此,我们贡献了一个管道,命名为转换流,以弥合单一和多模态数据增强与转换反转和重放之间的差距。此外,考虑到遮挡,不同模态中的点可能被不同的对象占据,使得诸如剪贴的增强对于多模态检测来说是重要的。我们进一步提出了多模态剪贴(MoCa),它同时考虑了闭塞和物理可扩展性,以保持多模态的一致性。在不使用检测器集合的情况下,我们的多模态检测器在nuScenes数据集上实现了最先进的性能,并在KITTI 3D基准测试中实现了具有竞争力的性能。我们的方法还赢得了第三届nuScenes检测挑战赛的最佳PKL奖。代码和模型将在https://github.com/open-mmlab/mmdetection3d上发布。
2021-04-21 cs.AI cs.CV
Geometry-Aware Cross Modal Alignment for Light Field-LiDAR Semantic Segmentation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出融合光场数据和点云数据的多模态语义分割网络,通过特征补全和深度感知模块提升复杂场景下的分割性能,优于单模态方法。
2026-04-15 cs.AI cs.CV
ModaLink: Unifying Modalities for Efficient Image-to-PointCloud Place Recognition
Xi’an Jiaotong University(西安交通大学);Haomo.AI Technology Co., Ltd.(毫末智行科技有限公司);National University of Defense Technology(国防科技大学);Carnegie Mellon University(卡内基梅隆大学)
提出一种快速轻量的跨模态位置识别框架ModaLink,通过视场转换模块和非负分解编码器统一图像与点云模态,在KITTI和HAOMO数据集上实现实时且最先进的检索性能。
2024-03-27 cs.AI cs.CV cs.RO
PointCMC: Cross-Modal Multi-Scale Correspondences Learning for Point Cloud Understanding
最近,一些自监督跨模态学习方法已经证明了图像信号用于增强点云表示的潜力。然而,如何以自监督的方式直接对跨模态的局部和全局对应进行建模仍然是一个问题。为了解决这个问题,我们提出了PointCMC,这是一种新的跨模态方法,用于为自监督点云表示学习建模跨模态的多尺度对应关系。特别是,PointCMC由以下组成:(1)局部到局部(L2 L)模块,其通过优化的跨模态局部几何特征来学习局部对应关系,(2)局部到全局(L2 G)模块,其旨在通过局部-全局辨别来学习跨模态的局部和全局特征之间的对应关系,以及(3)全局到全局(G2 G)模块,其利用点云和图像之间的辅助全局对比度损失来学习高级语义对应。大量的实验结果表明,我们的方法优于现有的国家的最先进的方法在各种下游任务,如3D对象分类和分割。代码将在接受后公开提供。
2022-11-23 cs.CV
Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis
Shanghai University(上海大学)
虽然最近的点云分析取得了令人瞩目的进展,从单一的模态表示学习的范式逐渐遇到了瓶颈。在这项工作中,我们通过充分利用图像本身包含更丰富的外观信息,例如,质地、颜色和阴影。具体而言,本文介绍了一种简单但有效的点云跨模态训练(PointCMT)策略,该策略利用视图图像,即,渲染或投影3D对象的2D图像,以增强点云分析。在实践中,为了有效地从视图图像中获取辅助知识,我们开发了一个教师-学生框架,并将跨模态学习作为一个知识蒸馏问题。PointCMT通过新的特征和分类器增强标准消除了不同模态之间的分布差异,有效地避免了潜在的负迁移。请注意,PointCMT有效地改进了仅点表示,而无需修改架构。足够的实验验证了使用有吸引力的主干在各种数据集上的显著增益,即,配备PointCMT的PointNet++和PointMLP在两个基准测试中实现了最先进的性能,即,ModelNet 40和ScanObjectNN的准确率分别为94.4%和86.7%。代码将在https://github.com/ZhanHeshen/PointCMT上提供。
2022-10-09 cs.CV
Q&A Prompts: Discovering Rich Visual Clues through Mining Question-Answer Prompts for VQA requiring Diverse World Knowledge
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出Q&A Prompts方法,通过训练视觉问题生成模型挖掘图像中的问答对作为丰富视觉线索,并将其作为提示输入多模态大语言模型,在OK-VQA和A-OKVQA等需要世界知识的视觉问答数据集上取得显著提升。
2024-10-12 cs.AI cs.CL cs.CV
Connecting the Dots between Audio and Text without Parallel Data through Visual Knowledge Transfer
University of Edinburgh(爱丁堡大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
能够表示和描述环境音景的机器具有实际潜力,例如,用于音频标记和字幕系统。主流的学习范式一直依赖于平行的音频文本数据,这是,然而,很少在网络上。我们提出了VIP-ANT诱导\textbf{A} udio- \textbf{T} ext对齐,而不使用任何并行的音频文本数据。我们的核心思想是在双模态图像-文本表示和双模态图像-音频表示之间共享图像模态;图像模态作为枢轴,隐式地连接三模态嵌入空间中的音频和文本。在没有配对音频文本数据的困难zero-shot设置中,我们的模型在ESC 50和US 8 K音频分类任务上展示了最先进的zero-shot性能,甚至超过了Clotho字幕检索(具有音频查询)的监督状态2.2\% R@1。我们进一步调查了最小音频文本监督的情况,发现,例如,仅仅几百个监督的音频-文本对在US 8 K上将zero-shot音频分类精度提高了8%。然而,为了在一些zero-shot任务上匹配人类平价,我们的经验缩放实验表明,我们需要大约$2^{21} \approx 2M$监督的音频字幕对。我们的工作为学习音频文本连接开辟了新的途径,几乎没有平行的音频文本数据。
2022-05-02 cs.CL cs.CV cs.SD
Multi-modal Multi-task Pre-training for Improved Point Cloud Understanding
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
本文提出MMPT多模态多任务预训练框架,通过TLR、PLR和MCL三项自监督任务融合3D点云与2D图像信息,在无需3D标注的情况下提升下游点云理解性能。
2025-07-23 cs.CV
CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
Beihang University(北京航空航天大学)
在自动驾驶中,LiDAR点云和RGB图像是两种主要的数据形式,具有用于3D目标检测的互补线索。然而,由于各种运输方式之间的差异很大,很难充分利用它们。为了解决这个问题,我们提出了一个新的框架,即对比增强的Transformer多模态三维目标检测(CAT-Det)。具体而言,CAT-Det采用了由Pointformer(PT)分支、Imageformer(IT)分支以及跨模态Transformer(CMT)模块组成的双流结构。PT、IT和CMT联合编码用于表示对象的模态内和模态间长距离上下文,从而充分探索用于检测的多模态信息。此外,我们提出了一种有效的单向多模态数据增强(OMDA)的方法,通过分层对比学习在点和对象的水平,显着提高准确性,只有通过增加点云,这是免费的复杂生成的成对样本的两种方式。在KITTI基准上进行的大量实验表明,CAT-Det达到了一个新的最先进水平,突出了其有效性。
2022-04-04 cs.CV
MSeg3D: Multi-modal 3D Semantic Segmentation for Autonomous Driving
Zhejiang University(浙江大学);University of Glasgow(格拉斯哥大学)
LiDAR和相机是自动驾驶中可用于3D语义分割的两种模态。由于激光点不足,流行的仅使用激光雷达的方法在小而远的物体上严重遭受劣质分割,而鲁棒的多模态解决方案尚未得到充分探索,我们研究了三个关键的固有困难:模态异构性,有限的传感器视场交叉和多模态数据增强。本文提出了一种多模态三维语义分割模型(MSeg3D),该模型结合模态内特征提取和模态间特征融合来降低模态异构性。MSeg3D中的多模态融合包括基于几何的特征融合GF-Phase、跨模态特征完成和基于语义的特征融合SF-Phase。通过对LiDAR点云和多相机图像分别进行非对称变换,使多模态数据增强重新焕发活力,有利于采用多样化的增强变换进行模型训练。MSeg3D在nuScenes、Waymo和SemanticKITTI数据集上实现了最先进的结果。在故障多相机输入和多帧点云输入下,MSeg3D仍然显示出鲁棒性,并改进了仅LiDAR基线。我们的代码可在\url{https://github.com/jialeli1/lidarseg3d}上公开获取。
2023-03-15 cs.CV
CMIP-CIL: A Cross-Modal Benchmark for Image-Point Class Incremental Learning
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(北京邮电大学智能工程与自动化学院)
本文首次提出图像-点云类增量学习基准CMIP-CIL,通过对比学习预训练和冻结骨干加原型约束的增量策略,有效缓解跨模态灾难性遗忘,并在实验中大幅超越基线方法。
2025-04-11 cs.CV
Contrastive masked auto-encoders based self-supervised hashing for 2D image and 3D point cloud cross-modal retrieval
Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology(华中科技大学武汉光电国家研究中心);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院);School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院)
针对2D图像与3D点云跨模态检索中现有方法语义捕捉不足、模态鸿沟难弥合的问题,提出基于对比掩码自编码器的自监督哈希方法CMAH,通过对比学习、多模态自编码器及融合模块提升性能,在三个公开数据集上优于所有基线。
2024-08-11 cs.CV
Open-Vocabulary 3D Detection via Image-level Class and Debiased Cross-modal Contrastive Learning
UC Berkeley(加州大学伯克利分校);Peking University(北京大学)
现有的点云检测方法由于泛化能力有限,很难检测到现实世界中的开放词汇对象。此外,收集和完全注释具有众多对象类别的点云检测数据集是非常费力和昂贵的,导致现有点云数据集的类别有限,并阻碍模型学习通用表示以实现开放词汇点云检测。据我们所知,我们是第一个研究开放词汇的3D点云检测问题。我们不寻求带有完整标签的点云数据集,而是求助于ImageNet 1 K来扩展点云检测器的词汇表。我们提出OV-3DETIC,一个开放词汇的3D检测器使用图像级类监督。具体来说,我们利用两种形式,图像模态识别和点云模态定位,生成伪标签看不见的类。然后,我们提出了一种新的去偏跨模态对比学习方法,在训练过程中将知识从图像模态转移到点云模态。在不影响推理延迟的情况下,OV-3DETIC使点云检测器能够实现开放词汇检测。大量的实验表明,所提出的OV-3DETIC实现了至少10.77%的mAP改善(绝对值)和9.56%的mAP改善(绝对值)的广泛的基线上的SUN-RGBD数据集和ScanNet数据集,分别。此外,我们进行了充分的实验,以阐明为什么建议OV-3DETIC工程。
2022-07-05 cs.CV
PoIFusion: Multi-Modal 3D Object Detection via Fusion at Points of Interest
The University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出PoIFusion多模态3D目标检测框架,通过在兴趣点处融合RGB图像和LiDAR点云特征,避免视图转换的信息损失和全局注意力的计算开销,在nuScenes和Argoverse2数据集上取得SOTA表现。
2024-09-22 cs.CV
CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding
The University of Sydney(悉尼大学)
由于点云数据结构的不规则性,对大规模点云数据集进行人工标注,如3D目标分类、分割和检测,往往是一项非常费力的工作。自监督学习不需要任何人工标记,是解决这个问题的一种很有前途的方法。我们在现实世界中观察到,人类能够映射从2D图像中学习到的视觉概念来理解3D世界。受此启发,我们提出了CrossPoint,一种简单的跨模态对比学习方法来学习可转移的3D点云表示。它通过最大化点云与不变空间中对应的渲染2D图像之间的一致性来实现对象的3D-2D对应,同时鼓励点云模态中的变换的不变性。我们的联合训练目标结合了模态内和模态间的特征对应关系,从而以自监督的方式集成了来自3D点云和2D图像模态的丰富学习信号。实验结果表明,我们的方法优于以前的无监督学习方法在各种下游任务,包括3D对象分类和分割。此外,消融研究验证了我们的方法的潜力,更好地了解点云。代码和预训练模型可在http://github.com/MohamedAfham/CrossPoint上获得。
2022-03-24 cs.CV
Enhanced Cross-modal 3D Retrieval via Tri-modal Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出三模态重建与对齐方法,通过多视图图像和点云联合表示3D形状,结合细粒度融合与困难负样本对比训练,显著提升了跨模态3D双向检索性能。
2025-04-02 cs.CV
Self-supervised Modal and View Invariant Feature Learning
The City University of New York(纽约市立大学);Northwestern Polytechnical University(西北工业大学)
现有的3D数据的自监督特征学习方法大多是从点云数据或多视图图像中学习3D特征。通过探索3D对象固有的多模态属性,在本文中,我们提出了联合学习模态不变和视图不变的功能,从不同的模态,包括图像,点云,网格与异构网络的3D数据。为了学习模态和视图不变特征,我们提出了两种约束:跨模态不变约束和跨视图不变约束。跨模态不变性约束迫使网络最大化来自相同对象的不同模态的特征的一致性,而跨视图不变性约束迫使网络最大化来自相同对象的图像的不同视图的特征的一致性。已在不同的下游任务上测试了学习特征的质量,这些任务具有三种数据模式,包括点云,多视图图像和网格。通过跨模态检索任务,对不同模态和视图间的不变性进行了评估。广泛的评估结果表明,学习的功能是强大的,在不同的任务有很强的泛化能力。
2020-05-28 cs.CV
CSDN: Cross-modal Shape-transfer Dual-refinement Network for Point Cloud Completion
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Delft University of Technology(代尔夫特理工大学);Lingnan University(岭南大学);The Hong Kong Polytechnic University(香港理工大学)
你将如何修复一个物理对象与一些失踪?您可以从先前捕获的图像中想象其原始形状,首先恢复其整体(全局)但粗糙的形状,然后细化其局部细节。我们的动机是模仿物理修复过程,以解决点云完成。为此,我们提出了一个跨模态的形状转移双细化网络(简称CSDN),一个粗到精的范例与图像的全周期参与,质量点云完成。CSDN主要由“形状融合”和“双重细化”模块组成,以解决跨模态的挑战。第一个模块传输的内在形状特征,从单一的图像,以指导几何生成的点云的缺失区域,其中我们提出IPAdaIN嵌入的图像和部分点云的全局特征完成。第二模块通过调整生成点的位置来细化粗略输出,其中局部细化单元通过图形卷积利用新颖点与输入点之间的几何关系,并且全局约束单元利用输入图像来微调生成的偏移。与大多数现有的方法不同,CSDN不仅从图像中探索互补信息,而且在整个从粗到精的完成过程中有效地利用了跨模态数据。实验结果表明,CSDN表现良好,对十个竞争对手的跨模态基准。
2022-12-12 cs.CV
LVIC: Multi-modality segmentation by Lifting Visual Info as Cue
Zhejiang University(浙江大学)
针对激光雷达语义分割多模态融合中点绘制方法的投影误差问题,提出深度感知点绘制机制与LVIC框架,在nuScenes基准上取得第一,验证了鲁棒性与有效性。
2024-03-08 cs.CV
PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition
City University of Hong Kong(香港城市大学)
针对点云编码器学习能力不足的问题,提出多视图跨模态蒸馏框架PointMCD,通过可见性感知特征投影实现2D视觉与3D几何特征对齐,有效提升点云编码器在多类3D任务上的性能。
2023-06-15 cs.CV
MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment
Shanghai Jiao Tong University(上海交通大学);Bilibili Inc(哔哩哔哩股份有限公司)
针对无参考点云质量评估,本文提出MM-PCQA,结合3D子模型与2D投影图像,并用对称跨模态注意力融合特征,实验显著超越现有方法。
2023-04-24 cs.CV eess.IV
Multi-task 3D building understanding with multi-modal pretraining
Stanford University(斯坦福大学);Google(谷歌)
本文探讨了BuildingNet数据集上3D建筑类型分类和部分分割的各种学习策略。带有PointNeXt和PointNeXt分割的ULIP被扩展用于BuildingNet数据集上的分类和分割任务。具有多模态预训练的最佳多任务PointNeXt-s模型在3D建筑类型分类方面达到了59.36的总体准确度,在验证分割方面达到了31.68的PartIoU。最终的PointNeXt XL模型在BuildingNet-Points分割的测试分割中实现了31.33 PartIoU和22.78 ShapeIoU,这比BuildingNet论文中报告的PointNet++模型有了显着改进,并在CVPR 23 StruCo 3D研讨会上赢得了BuildingNet挑战赛的第一名。
2023-06-16 cs.CV eess.IV
Cross-modal Learning for Image-Guided Point Cloud Shape Completion
Politecnico di Torino(都灵理工大学)
在本文中,我们探讨了最近的话题点云完成,指导下的辅助图像。我们展示了如何有效地将来自两种模态的信息结合在局部潜在空间中,从而避免了需要复杂的点云重建方法从单视图使用的国家的最先进的。我们还研究了一种新的弱,监督设置,其中所述辅助图像通过在完成的点云上使用可微分渲染器来测量保真度,从而向训练过程提供监督信号在图像空间中。实验表明,显着的改进,超过国家的最先进的监督方法的单峰和多峰完成。我们还展示了弱监督方法的有效性,该方法优于许多监督方法,并且与仅利用点云信息的最新监督模型具有竞争力。
2022-09-20 cs.CV eess.IV
Image-to-Image Translation with Text Guidance
University of Torontoland(托伦托兰大学);University of Edenborrow(埃登伯勒大学)
本文的目标是嵌入可控因素,即,自然语言描述转化为具有生成对抗网络的图像到图像的翻译,该生成对抗网络允许文本描述确定合成图像的视觉属性。我们提出了四个关键组成部分:(1)实现词性标注,过滤掉描述中的非语义词;(2)采用仿射组合模块,有效融合不同模态的文本和图像特征;(3)采用一种新颖的细化多级结构,增强了鉴别器的鉴别能力和生成器的校正能力,以及(4)新的结构损失,以进一步改进鉴别器,从而更好地区分真实图像和合成图像。在COCO数据集上的大量实验表明,该方法在视觉真实感和与给定描述的语义一致性方面都具有优越的性能。
2020-02-12 cs.CL cs.CV cs.LG
FuseSeg: LiDAR Point Cloud Segmentation Fusing Multi-Modal Data
Graz University of Technology(格拉茨工业大学)
提出了一种简单有效的LiDAR和RGB数据融合方法来分割LiDAR点云。利用激光雷达传感器的密集本地范围表示和设置校准,我们建立两个输入模态之间的点对应关系。随后,我们能够将特征从一个域弯曲并融合到另一个域中。因此,我们可以在一个网络中联合利用来自两个数据源的信息。为了显示我们的方法的优点,我们扩展了SqueezeSeg,一个点云分割网络,具有RGB特征分支,并将其融合到原始结构中。我们的扩展名为FuseSeg,在KITTI基准测试中提高了高达18%的IoU。除了提高精度外,我们还实现了50 fps的实时性能,是KITTI LiDAR数据记录速度的五倍。
2019-12-19 cs.CV cs.RO
PTA-Det: Point Transformer Associating Point cloud and Image for 3D Object Detection
Northwestern Polytechnical University(西北工业大学);Northwest University(西北大学)
在自动驾驶中,面对车辆周围的复杂环境,基于多模态数据的三维目标检测已成为不可或缺的手段。在多模态检测过程中,激光雷达和相机同时用于捕获和建模。然而,由于激光雷达点云与摄像机图像之间存在固有的差异,使得目标检测的数据融合遇到了一系列问题。大多数多模态检测方法的性能甚至比仅使用激光雷达的方法更差。在这项研究中,我们提出了一种名为PTA-Det的方法来提高多模态检测的性能。在PTA-Det的基础上,提出了一种伪点云生成网络,该网络可以通过伪点来转换图像的纹理和语义特征。然后,通过一个基于变换的点融合转换(PFT)模块,激光雷达点和伪点的图像特征可以在一个统一的基于点的表示下进行深度融合。这些模块的结合可以克服跨模态特征融合的主要障碍,并实现互补和歧视性的建议生成表示。在KITTI数据集上的大量实验表明,PTA-Det实现了具有竞争力的结果,并支持其有效性。
2023-01-18 cs.CV cs.LG