Bottom Up Top Down Detection Transformers for Language Grounding in Images and Point Clouds
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
大多数负责在2D和3D场景中接地参考话语的模型学习从由预先训练的检测器提供的对象建议池中选择所引用的对象。这是限制性的，因为话语可能涉及各种粒度级别的视觉实体，诸如椅子、椅子的腿或椅子的前腿的尖端，其可能被检测器错过。我们提出了一个语言接地模型，出席的参考话语和对象建议池计算从一个预先训练的检测器解码参考对象与检测头，而不选择他们从池。通过这种方式，它得到了强大的预先训练的对象检测器的帮助，而不受其未命中的限制。我们称我们的模型自底向上的自上而下检测Transformers（BUTD-DETR），因为它使用语言指导（自上而下）和对象指导（自下而上）来在图像和点云中建立参考话语。此外，BUTD-DETR将目标检测视为参考基础，并使用对象标签作为在视觉场景中基础的语言提示，以这种方式增强对参考基础任务的监督。所提出的模型在流行的3D语言基础基准中设置了一个新的最先进的技术，与以前的3D方法相比具有显着的性能提升（SR 3D上为12.6%，NR 3D上为11.6%，ScanRefer上为6.3%）。当应用于2D图像时，它的性能与以前的最先进水平相当。我们消除了我们模型的设计选择，并量化了它们对性能的贡献。我们的代码和检查点可以在项目网站https://butd-detr.github.io上找到。
2022-07-21 cs.CL cs.CV
Overlap-guided Gaussian Mixture Models for Point Cloud Registration
University of Technology Sydney（悉尼科技大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
概率3D点云配准方法在克服噪声、离群值和密度变化方面表现出有竞争力的性能。然而，在部分重叠的情况下配准点云对仍然是一个挑战。本文提出了一种新的基于高斯混合模型（GMM）参数匹配的概率配准方法。我们将配准问题重新表述为对齐两个高斯混合物的问题，使得两个相应混合物之间的统计差异度量最小化。我们引入了一个基于transformer的检测模块来检测重叠区域，并通过由该检测模块计算的重叠分数来指导它们的对齐，使用Gestro来表示输入点云。实验表明，我们的方法实现了优越的配准精度和效率比国家的最先进的方法时，处理点云的部分重叠和不同的密度合成和真实世界的数据集。https://github.com/gfmei/ogmm
2022-10-17 cs.CV
Affostruction: 3D Affordance Grounding with Generative Reconstruction
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；RLWRLD
本文提出Affostruction框架，通过生成式重建完整物体几何并基于全形体进行构形定位，优于现有方法，在构形定位和3D重建上取得显著成绩。
2026-04-13 cs.CV
Octree guided CNN with Spherical Kernels for 3D Point Clouds
School of Computer Science and Software Engineering（计算机科学与软件工程学院）；The University of Western Australia（西澳大学）
我们提出了一个八叉树引导的神经网络架构和球形卷积核的机器学习从任意的三维点云。网络架构利用了不规则点云的稀疏特性，并通过空间分区分层粗化数据表示。同时，所提出的球形核系统地识别点邻域以识别数据中的局部几何结构，同时保持不变性和不对称性。我们在网络神经元的帮助下指定球形内核，这些网络神经元又与空间位置相关联。我们利用这种关联来避免网络训练过程中的动态内核生成，从而实现高分辨率点云的有效学习。所提出的技术的有效性建立在3D对象分类和分割的基准任务上，在ShapeNet和RueMonge2014数据集上实现了新的最先进技术。
2019-02-28 cs.CV
Depth-Semantic Alignment and Affinity-Guided Fusion for Structured Radar Point Cloud Generation
Zhejiang University（浙江大学）
针对毫米波雷达点云稀疏、噪声大、结构不完整的问题，提出基于视觉-雷达融合的多模态点云生成方法，利用图像语义约束和稀疏补全策略提升点云质量，并在检测跟踪任务中验证有效性。
2026-07-20 cs.CV
Explicitly Guided Information Interaction Network for Cross-modal Point Cloud Completion
The University of Hong Kong（香港大学）；Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）
本文提出EGIInet框架，通过统一编码过程实现模态对齐，并提出显式引导信息交互策略识别图像关键信息，在ViPC任务中以更少参数实现最先进性能。
2024-07-23 cs.CV
Geodesic-Former: a Geodesic-Guided Few-shot 3D Point Cloud Instance Segmenter
VinAI Research（VinAI研究院）
介绍了三维点云数据处理中的一个新问题：Few-Shot实例分割。给定几个标注的点云作为目标类的示例，我们的目标是在查询点云中分割该目标类的所有实例。为了解决这个问题，我们提出了第一个基于测地线引导的三维点云实例分割Transformer--Geodexi-Former。其关键思想是利用测地线距离来解决LiDAR 3D点云的密度不平衡问题。LiDAR 3D点云在物体表面附近密集，而在其他地方稀疏或空无一物，这使得欧几里得距离在区分不同物体时效果较差。另一方面，测地线距离更合适，因为它编码场景的几何形状，其可以用作Transformer解码器中的注意力机制的引导信号，以生成表示实例的不同特征的内核。然后，这些内核用于动态卷积以获得最终的实例掩码。为了评估Geodesic-Former的新任务，我们提出了两个常见的3D点云实例分割数据集的新分割：ScannetV 2和S3 DIS。Geodrix-Former始终优于从最先进的3D点云实例分割方法调整的强基线，具有显著的优势。代码可在https://github.com/VinAIResearch/GeoFormer上获得。
2022-08-06 cs.CV
3DContextNet: K-d Tree Guided Hierarchical Learning of Point Clouds Using Local and Global Contextual Cues
University of Amsterdam（阿姆斯特丹大学）
三维点云的分类与分割是计算机视觉中的重要任务。由于点云的不规则性质，大多数现有方法在将点云用作ConvNets的输入之前将其转换为规则的3D体素网格。不幸的是，体素表示对3D数据的几何性质高度不敏感。最近的方法将点云编码为更高维的特征以覆盖全局3D空间。然而，这些模型不能充分捕捉点云的局部结构。因此，在本文中，我们提出了一种方法，利用本地和全球的上下文线索所施加的k-d树。该方法被设计为沿着树结构逐步学习表示向量。挑战性基准测试的实验表明，该模型提供了区分点集特征。对于三维场景语义分割的任务，我们的方法显着优于国家的最先进的斯坦福大学大规模三维室内空间数据集（S3 DIS）。
2018-12-04 cs.CV
A Consistency-Aware Spot-Guided Transformer for Versatile and Hierarchical Point Cloud Registration
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）
针对点云配准中粗匹配缺乏几何一致性导致效率与可扩展性差的问题，提出一致性感知斑点引导Transformer（CAST），通过斑点引导交叉注意力与一致性感知自注意力模块及轻量级细匹配模块，实现了最先进的配准精度、效率和鲁棒性。
2024-10-14 cs.CV
Multi-Object 3D Grounding with Dynamic Modules and Language-Informed Spatial Attention
Purdue University（普渡大学）
提出D-LISA两阶段方法，通过动态视觉模块、动态相机定位和语言驱动空间注意力机制，在多目标3D Grounding任务上以12.8%的绝对优势超越现有最先进方法。
2024-12-20 cs.CV
GarmentGS: Point-Cloud Guided Gaussian Splatting for High-Fidelity Non-Watertight 3D Garment Reconstruction
Donghua University（东华大学）
针对3D Gaussian Splatting难以重建高保真非水密服装的问题，提出GarmentGS，利用10分钟级稠密点云引导高斯基元分布，实现高精度单层网格重建、快速训练与实时渲染。
2025-05-14 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University（上海交通大学）
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题，提出深度引导的点云融合及向量-矩阵分解体素网格方法，提升准确性、紧凑性和速度。
2024-03-04 cs.CV
DV-Matcher: Deformation-based Non-Rigid Point Cloud Matching Guided by Pre-trained Visual Features
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）
本文提出DV-Matcher框架，通过引入预训练视觉模型先验知识和基于形变的对齐模块，实现了非刚性点云间高质量的密集对应关系估计，在多种数据集上达到最先进水平。
2025-03-01 cs.CV
MAGE: View-guided Point Cloud Completion with Efficient Modality Alignment and Adaptive Geometry Enhancement
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS研究室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；GIPSA-lab, Univ. Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔大学GIPSA实验室，法国国家科学研究中心，格勒诺布尔国立综合理工学院）
提出统一几何感知框架，集成高效模态对齐与自适应几何增强，解决视图引导点云补全的跨模态几何不一致问题，含几何感知模态对齐等模块，实验证明性能优于现有方法。
2026-07-07 cs.CV
PointSCNet: Point Cloud Structure and Correlation Learning Based on Space Filling Curve-Guided Sampling
School of Computer Science, China University of Geosciences（中国地质大学计算机学院）；Wuhan Institute of Technology（武汉工程大学）；School of Computer Science and Engineering, Wuhan Institute of Technology（武汉工程大学计算机科学与工程学院）
本文提出点云特征提取网络 PointSCNet，通过空间填充曲线引导采样、信息融合和通道-空间注意力三个模块学习点云几何结构与局部相关性，在形状分类和部件分割任务上达到或超越最先进方法。
2024-06-14 cs.CV
Target-Guided Adversarial Point Cloud Transformer Towards Recognition Against Real-world Corruptions
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有基于Transformer的点云识别模型易过拟合、抗损坏鲁棒性不足的问题，提出集成对抗显著性标识符与目标引导提示器的APCT架构，通过迭代对抗特征擦除增强全局结构捕捉，在多个损坏基准上达SOTA。
2024-11-01 cs.CV
RefComp: A Reference-guided Unified Framework for Unpaired Point Cloud Completion
Southern University of Science and Technology（南方科技大学）；University of Warwick（沃里克大学）；Photogrammetry and Remote Sensing, ETH Zürich（摄影测量与遥感，苏黎世联邦理工学院）
针对现有无配对点云补全方法泛化能力有限的问题，提出RefComp框架，通过参考分支、目标分支及LSFM模块，在类别感知和类别无关训练设置中均实现优异性能。
2025-04-18 cs.CV
Occlusion Guided Self-supervised Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
理解两个连续时间帧之间稀疏采样点的3D空间流动是现代几何驱动系统的核心，如VR/AR，机器人和自动驾驶。由于缺乏真实的、非模拟的、标记的数据，因此强调了自我或无监督的深度架构的重要性。本文提出了一种新的自监督训练方法和一种用于遮挡情况下的三维场景流估计的体系结构。在这里，我们表明，智能流量预测和遮挡检测之间的多层融合优于传统架构的遮挡和非遮挡的情况下，由一个很大的利润。我们报告了Flyingthings 3D和KITTI数据集的最新结果，用于监督和自我监督训练。
2021-10-17 cs.CV
P2M2-Net: Part-Aware Prompt-Guided Multimodal Point Cloud Completion
Jilin University（吉林大学）
提出P2M2-Net，一种利用文本提示引导多模态特征融合的Transformer网络，实现可控且多样化的点云补全，在PartNet-Prompt数据集上训练并在两个基准上验证有效性。
2023-12-29 cs.CV
GeoUDF: Surface Reconstruction from 3D Point Clouds via Geometry-guided Distance Representation
City University of Hong Kong（香港城市大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Texas A&M University（得克萨斯农工大学）
提出GeoUDF方法，通过几何引导的可学习仿射平均估计UDF及梯度，并结合局部二次多项式建模与定制移动立方体模块，实现了高精度、高效率且具泛化性的稀疏点云表面重建。
2023-07-27 cs.CV
Deep Learning-based Point Cloud Registration for Augmented Reality-guided Surgery
Graz University of Technology（格拉茨工业大学）；University Hospital Essen (AöR)（埃森大学医院（公法机构））
本文评估了基于深度学习的点云配准方法在AR引导手术中图像到患者配准的可行性，构建了医学成像与HoloLens 2点云数据集，发现传统配准流程在挑战性数据上仍优于三种成熟深度学习模型。
2024-05-06 cs.CV cs.LG
Cross-modal Learning for Image-Guided Point Cloud Shape Completion
Politecnico di Torino（都灵理工大学）
在本文中，我们探讨了最近的话题点云完成，指导下的辅助图像。我们展示了如何有效地将来自两种模态的信息结合在局部潜在空间中，从而避免了需要复杂的点云重建方法从单视图使用的国家的最先进的。我们还研究了一种新的弱，监督设置，其中所述辅助图像通过在完成的点云上使用可微分渲染器来测量保真度，从而向训练过程提供监督信号在图像空间中。实验表明，显着的改进，超过国家的最先进的监督方法的单峰和多峰完成。我们还展示了弱监督方法的有效性，该方法优于许多监督方法，并且与仅利用点云信息的最新监督模型具有竞争力。
2022-09-20 cs.CV eess.IV
PolarNet: 3D Point Clouds for Language-Guided Robotic Manipulation
Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
针对2D图像表示难以融合多视角并推断3D关系的问题，本文提出PolarNet，用点云编码器与多模态transformer融合语言和3D信息，在RLBench及真实机器人上取得优于现有方法的表现。
2023-09-27 cs.CV cs.RO
CLR-GAM: Contrastive Point Cloud Learning with Guided Augmentation and Feature Mapping
Samsung Semiconductor US（美国三星半导体）；National Yang Ming Chiao Tung University（国立阳明交通大学）
点云数据在机器人和自动驾驶应用中起着至关重要的作用。然而，注释点云数据是耗时且不平凡的，而它们能够学习有区别的3D表示，从而增强下游任务，例如分类和分割。最近，基于对比学习的框架已经显示出以自监督方式学习3D表示的有希望的结果。然而，现有的对比学习方法不能精确地编码和关联结构特征，并且不能有效地搜索更高维的增强空间。在本文中，我们提出了CLR-GAM，一种新的对比学习为基础的框架与引导增强（GA）有效的动态探索策略和引导特征映射（GFM）增强点云之间的相似结构特征关联。我们经验证明，所提出的方法在模拟和真实世界的3D点云数据集上实现了最先进的性能，用于三个不同的下游任务，即，3D点云分类、少样本学习和对象部分分割。
2023-02-28 cs.AI cs.CV cs.LG
MVCTrack: Boosting 3D Point Cloud Tracking via Multimodal-Guided Virtual Cues
Stony Brook University（石英溪大学）；Southeast University（东南大学）；Houmo AI；Carnegie Mellon University（卡内基梅隆大学）
针对3D点云跟踪在稀疏场景下的局限，提出多模态引导虚拟线索投影（MVCP）方案，利用2D检测生成密集3D虚拟线索以丰富点云，并构建增强型跟踪器MVCTrack，在NuScenes数据集上取得竞争性性能。
2025-07-15 cs.CV cs.RO
Graph-Guided Deformation for Point Cloud Completion
Hong Kong University of Science and Technology（香港科技大学）；DJI Co.（大疆公司）
长期以来，点云的完成任务一直被认为是一个纯粹的生成任务。在通过编码器获得全局形状代码之后，使用由网络预先学习的形状生成完整的点云。然而，这样的模型不期望地偏向于先前的平均对象，并且固有地限于拟合几何细节。本文提出了一种图引导变形网络（Graph-Guided Deformation Network，GCN），将输入数据和中间生成分别作为控制点和支撑点，利用图卷积网络（Graph Convolutional Network，GCN）对点云完成任务进行优化。我们的关键见解是通过网格变形方法来模拟最小二乘拉普拉斯变形过程，这带来了对几何细节建模变化的自适应性。通过这种方法，我们也减少了完成任务和网格变形算法之间的差距。据我们所知，我们是第一个通过模仿传统图形算法和GCN引导变形来细化点云完成任务的人。我们对模拟的室内数据集ShapeNet、室外数据集KITTI和我们自己收集的自动驾驶数据集Pandar 40进行了广泛的实验。结果表明，我们的方法优于现有的国家的最先进的算法在三维点云完成任务。
2021-11-11 cs.AI cs.CV cs.RO
Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided Resampling
University of Waterloo（滑铁卢大学）；Tencent MediaLab（腾讯媒体实验室）；Ningbo University（宁波大学）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）
三维点云的客观质量评估是开发沉浸式多媒体系统在现实世界中的应用必不可少的。尽管2D图像和视频的感知质量评估取得了成功，但对于具有大规模不规则分布的3D点的3D点云，盲/无参考度量仍然很少。因此，在本文中，我们提出了一个客观的点云质量指数与结构引导呼吸（SGR）自动评估三维密集点云的感知视觉质量。SGR是一种通用的盲质量评估方法，无需任何参考信息的帮助。具体来说，考虑到人类视觉系统（HVS）是高度敏感的结构信息，我们首先利用点云的唯一的法向量执行区域预处理，其中包括关键点检索和局部区域的建设。然后，我们提取了三组与质量相关的特征，包括：1）几何密度特征; 2）颜色自然度特征; 3）角度一致性特征。人类大脑的认知特性和自然规律都涉及到设计的质量感知功能，可以捕捉扭曲的3D点云的最重要方面。在几个公开的主观点云质量数据库上进行的大量实验验证了我们提出的SGR可以与最先进的全参考，减少参考和无参考质量评估算法竞争。
2022-08-31 cs.CV cs.MM
SageMix: Saliency-Guided Mixup for Point Clouds
Korea University（高丽大学）；Meta Reality Labs（Meta现实实验室）
数据增强是提高深度学习模型泛化能力的关键。Mixup是一种简单且广泛使用的数据增强技术，已被证明可以有效缓解过拟合和数据稀缺问题。此外，最近在图像域中的显著性感知Mixup的研究表明，保留区分部分有利于提高泛化性能。然而，这些基于Mixup的数据增强在3D视觉中，特别是在点云中的探索不足。在本文中，我们提出了SageMix，一个显着性指导的混合点云，以保持显着的局部结构。具体来说，我们从两个点云中提取显著区域，并将它们平滑地组合成一个连续的形状。通过重新加权显著性分数的简单顺序采样，SageMix保留了显著区域的局部结构。大量的实验表明，该方法始终优于现有的混合方法在各种基准点云数据集。使用PointNet++，我们的方法在3D Warehouse数据集（MN40）和ScanObjectNN中分别实现了2.6%和4.0%的准确率增益。除了泛化性能，SageMix还提高了鲁棒性和不确定性校准。此外，当采用我们的方法的各种任务，包括部分分割和标准的2D图像分类，我们的方法取得了竞争力的表现。
2022-10-13 cs.CV cs.LG
A Coarse-to-Fine Approach to Multi-Modality 3D Occupancy Grounding
College of Software Technology, Zhejiang University（浙江大学软件技术学院）；College of Computer Science, Zhejiang University（浙江大学计算机科学学院）
针对现有视觉定位依赖边界框导致物体表示不准确的问题，提出基于nuScenes的3D占据定位基准及端到端多模态模型GroundingOcc，由粗到精预测物体位置与占据信息，性能优于现有基线。
2025-09-03 cs.CV cs.RO
Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration
本文提出跨模态信息引导网络CMIGNet，通过融合2D投影图像与3D点云特征，结合重叠对比学习和跨模态对比学习，并利用掩码预测模块识别关键点，在多个基准数据集上实现了精确且鲁棒的点云配准。
2023-11-02 cs.AI cs.CV
Occlusion Guided Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
3D场景流估计是感知给定深度或距离传感器的环境的重要工具。与光流不同，数据通常是稀疏的，并且在大多数情况下，在两个时间采样之间被部分遮挡。在这里，我们提出了一个新的场景流架构称为OGSF-Net紧密耦合的学习帧之间的流动和闭塞。它们的耦合共生导致更准确地预测空间流动。与传统的多动作网络不同，我们的统一方法在整个网络中融合，提高了遮挡检测和流量估计的性能。我们的架构是第一个衡量点云上的3D场景流估计中的遮挡。在Flyingthings 3D和KITTI等关键数据集中，我们实现了最先进的结果。
2021-04-19 cs.CV cs.LG
Imperceptible Adversarial Attacks on Point Clouds Guided by Point-to-Surface Field
Guangzhou University（广州大学）；SmartMore Corporation（思谋科技）；Hefei University（合肥学院）；Northwestern Polytechnical University（西北工业大学）
本文针对点云对抗攻击中不可感知性与攻击效果难以兼顾的问题，提出点到曲面（P2S）场引导扰动方向，利用去噪网络学习形状曲面的对数密度梯度场并进行距离感知调整，实验证明其不可感知性优于现有方法。
2024-12-26 cs.CR cs.CV
DiffCom: Decoupled Sparse Priors Guided Diffusion Compression for Point Clouds
University of Western Australia（西澳大学）；Xidian University（西安电子科技大学）
DiffCom提出一种由解耦稀疏先验引导的扩散压缩框架，通过双密度数据流和注意力引导去噪器，在低比特率下实现高质量点云重建，并在ShapeNet等数据集上取得更优率失真性能。
2025-10-07 cs.CV eess.IV
Guided and Unguided Conditional Diffusion Mechanisms for Structured and Semantically-Aware 3D Point Cloud Generation
Department of Computer Science；Engineering, University of Nevada, Reno, USA
本文提出一种将逐点语义条件直接嵌入扩散过程的框架，实现三维点云几何与语义的联合生成，并通过对比有引导与无引导扩散机制验证了条件变量对生成质量的显著提升。
2025-09-21 cs.AI cs.CV cs.LG
Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning
研究部件级视觉定位难题，提出OP - HRG粗到细推理引导定位策略，先定位父物体再定位部件，经自我检查反思结果，引入部件感知GRPO框架训练，训练的4B模型性能优异且可迁移到推理分割。
2026-07-20 cs.CV
Silhouette Guided Point Cloud Reconstruction beyond Occlusion
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
3D重建中的一个主要挑战是从部分前景遮挡推断完整的形状几何。在本文中，我们提出了一种方法来重建一个完整的三维形状的对象从一个单一的RGB图像，具有鲁棒性的遮挡。给定图像和可见区域的轮廓，我们的方法完成被遮挡区域的轮廓，然后生成点云。我们通过提供预测的完整轮廓作为指导，改进了非遮挡和部分遮挡对象的重建。我们还改进了3D形状预测的最新技术，从多个合成视图和基于表面的平滑和细化步骤的2D重投影损失。实验证明了我们的方法的有效性，定量和定性的合成和真实场景数据集。
2019-07-29 cs.CV cs.LG eess.IV
Improving Visual Grounding in Remote Sensing via Cluster-Guided Refinement and Model Ensemble Voting
Indian Institute of Technology Bombay（印度理工学院班加罗尔）
提出两种视觉定位流程（SGR和CGR），结合遥感专用模型RemoteSAM和通用分割模型SAM3，并通过多模型集成投票提升定位精度。
2026-05-30 cs.CV
Query-guided Regression Network with Context Policy for Phrase Grounding
University of Southern California（南加州大学）；Institute for Robotics and Intelligent Systems（机器人与智能系统研究所）
给定图像的文本描述，短语接地定位描述中的查询短语所引用的图像中的对象。最先进的方法通过基于与每个查询的相关性对一组建议进行排名来解决这个问题，这受到独立建议生成系统的性能的限制，并且忽略了来自描述中的上下文的有用线索。在本文中，我们采用了空间回归方法来打破性能限制，并引入强化学习技术，以进一步利用语义上下文信息。我们提出了一种新的带有上下文策略的查询引导回归网络（QRC Net），它联合学习建议生成网络（PGN），查询引导回归网络（QRN）和上下文策略网络（CPN）。实验表明，QRC Net在两个流行的数据集上提供了显着的准确性提高：Flickr30K实体和引用游戏，分别比最先进的提高了14.25%和17.14%。
2017-08-04 cs.CV
GuideGround: VLM-guided Semantic Understanding and Viewpoint-aware Reasoning for 3D Visual Grounding
GuideGround是一种VLM引导的3D视觉定位框架，用VLM生成的语义描述替代闭集分类、逐视图保留假设并经VLM验证，在ReferIt3D基准上性能优于现有SOTA。
2026-08-04 cs.CV
ReasonGrounder: LVLM-Guided Hierarchical Feature Splatting for Open-Vocabulary 3D Visual Grounding and Reasoning
Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）；Shanghai Innovation Institute（上海创新研究院）；NeuHelium Co., Ltd（NeuHelium公司）
提出LVLM引导的框架ReasonGrounder，利用分层3D特征高斯场实现开放词汇3D定位与推理，结合SAM和CLIP处理遮挡，并贡献新数据集ReasoningGD，显著提升真实场景定位准确率。
2025-03-30 cs.CV
GLeVE: Graph-Guided Lesion Grounding with Proposal Verification in 3D CT
Zhejiang Key Laboratory of Space Information Sensing and Transmission（浙江空间信息感知与传输重点实验室）；Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Children's Hospital, Zhejiang University School of Medicine（浙江大学医学院附属儿童医院）
本文提出GLeVE框架，通过图引导的病变接地和解剖学先验验证，解决3D CT中自由文本叙述与体积解剖之间的语义-空间差距问题，提升病变定位的准确性。
2026-05-21 cs.CV
LSVG: Language-Guided Scene Graphs with 2D-Assisted Multi-Modal Encoding for 3D Visual Grounding
School of Automation Science and Engineering, South China University of Technology（自动化科学与工程学院，华南理工大学）；School of Future Technology, South China University of Technology（未来技术学院，华南理工大学）
本文提出LSVG框架，通过构建具有被指称物体判别能力的语言引导场景图，并结合2D辅助的双分支视觉编码与图注意力机制，提升3D视觉定位中相似物体区分和关系感知能力。
2025-08-15 cs.CV
A Survey on Text-guided 3D Visual Grounding: Elements, Recent Advances, and Future Directions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文首次系统综述文本引导的3D视觉定位任务，涵盖流程要素、方法分类、数据集与评估指标，并指出未来研究方向。
2024-07-22 cs.CV
InstanceRefer: Cooperative Holistic Understanding for Visual Grounding on Point Clouds through Instance Multi-level Contextual Referring
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Southern University of Science and Technology（南方科技大学）
与基于二维图像的视觉定位相比，基于自然语言引导的点云三维目标定位更具挑战性。在本文中，我们提出了一个新的模型，命名为InstanceRefer，通过地面匹配策略，以实现优越的三维视觉接地。在实践中，我们的模型首先使用简单的语言分类模型从语言描述中预测目标类别。然后，基于类别，我们的模型从点云的全景分割中筛选出少量的候选实例（通常小于20个）。因此，考虑到实例级候选比冗余3D对象提议更合理，非平凡3D视觉基础任务已被有效地重新制定为简化的实例匹配问题。随后，对于每个候选者，我们执行多级上下文推理，即，分别涉及实例属性感知、实例间关系感知和实例间背景全局定位感知。最后，最相关的候选人被选中，并通过排名的置信度得分，这是由合作的整体视觉语言特征匹配。实验证实，我们的方法优于以前的国家的最先进的ScanRefer在线基准和Nr 3D/Sr 3D数据集。
2021-07-29 cs.CV
MHVF: Training-Free GUI Grounding via Verification-Guided Multi-Hypothesis Search
本研究针对GUI定位中易出错、易遗漏替代目标的问题，提出无训练的MHVF框架，结合多假设探索与局部视觉验证，在多个基准上显著提升了多款模型的GUI定位准确率。
2026-10-14 cs.CV
UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；AMAP, Alibaba Group（阿里云研究院）
针对传统视觉定位方法在复杂多图像场景下推理能力不足的问题，提出UniVG-R1模型，结合带CoT标注的冷启动数据与难度感知强化学习提升推理能力，在多个基准上取得SOTA及显著零样本提升。
2025-05-20 cs.CV
Weakly-Supervised Affordance Grounding Guided by Part-Level Semantic Priors
Peking University（北京大学）
针对弱监督可供性定位任务，提出基于伪标签的有监督训练流程，利用部件分割模型生成伪标签并引入标签细化、特征对齐和轻量级推理三项增强，有效弥合物体与动作间的差距并取得突破性性能提升。
2025-05-30 cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology（佐治亚理工学院）；SRI International（SRI国际）；Facebook AI Research（Facebook人工智能研究院）
我们解决了接地的问题，自由形式的文本短语，通过使用弱监督图像标题对。我们提出了一种新的端到端的模型，使用标题到图像检索作为“下游”的任务，以指导短语本地化的过程。我们的方法，作为第一步，推断感兴趣的区域（ROI）和标题中的短语之间的潜在对应关系，并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中，该（学习的）表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码，它紧密耦合的任务，并允许弱监督，以有效地指导视觉接地。我们提供了广泛的实证和定性分析，以调查我们提出的模型的不同组成部分，并将其与竞争基线进行比较。对于短语本地化，我们报告了VisualGenome数据集上比现有技术水平提高了4.9%（绝对值）。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
Generation-Guided Multi-Level Unified Network for Video Grounding
KwaiShou Inc.（快手公司）
视频接地的目的是在未修剪的视频中找到最匹配查询描述的时间戳。流行的方法可以分为矩级和裁剪级框架。矩级方法从全局角度直接预测每个暂态矩成为边界的概率，在粗接地中通常表现更好。另一方面，剪辑级别的聚合的时刻在不同的时间窗口到建议，然后推导出最相似的，导致其在细粒度接地的优势。在本文中，我们提出了一个多层次的统一框架，以提高性能，利用矩级和剪辑级方法的优点。此外，在这两个层次上，采用了一种新的世代引导的范式。该方法引入多模态生成器生成隐式边界特征和裁剪特征，并将其作为查询，通过查询器计算边界得分。生成引导的解决方案将视频接地从两个唯一通道的匹配任务增强为跨通道注意任务，从而走出了以前的框架，并取得了显着的收益。所提出的世代引导的多级统一网络（GMU）超越了先前的方法，并且在具有不同特征的各种基准上达到了最先进水平，例如，Charades-STA，ActivityNet字幕。
2023-03-14 cs.CV cs.MM
TRACE: Evidence Grounding-Guided Multi-Video Event Understanding and Claim Generation
University at Buffalo, SUNY（布法罗大学）；New York University（纽约大学）
提出TRACE框架，通过先构建文本可搜索时间线进行证据定位，再引导视觉语言模型生成声明和跨视频引用，显著提升多视频事件理解的事实完整性和归因准确性。
2026-06-01 cs.CV
Correlation-Guided Query-Dependency Calibration for Video Temporal Grounding
Sungkyunkwan University（成均馆大学）
本文提出CG-DETR，通过虚拟token自适应交叉注意力和细粒度片段-单词相关性引导，并引入时刻自适应显著性检测器，在视频时间定位多个基准上取得最先进结果。
2024-07-03 cs.CV
Learning Where to Look: Anatomical Grounding and Guided Attention for Cardiac MRI Vision-Language Models
Rutgers University（罗格斯大学）；United Imaging Intelligence（联影智能）；University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；Duke University（杜克大学）
针对心脏MRI视觉语言模型缺乏解剖定位监督的问题，提出解剖学引导预训练与CARA注意力机制，构建大规模数据集，提升临床评估与区域定位能力。
2026-10-21 cs.CV
Knowledge-guided Pairwise Reconstruction Network for Weakly Supervised Referring Expression Grounding
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
弱监督指称表达式接地（REG）的目的是根据语言查询定位图像中的指称实体，其中图像区域（建议）和查询之间的映射在训练阶段是未知的。在指称表达中，人们通常根据目标实体与其他上下文实体的关系以及视觉属性来描述目标实体。然而，以前的弱监督REG方法很少关注实体之间的关系。在本文中，我们提出了一个知识引导的成对重建网络（KPRN），它模型之间的关系的目标实体（主体）和上下文实体（对象），以及接地这两个实体。具体来说，我们首先设计了一个知识抽取模块，用于指导建议书主体和客体的选择。先验知识是以每个建议和主题/对象之间的语义相似性的特定形式获得的。其次，在这些知识的指导下，我们设计了主体和客体注意模块来构建主体-客体建议对。主题关注度将不相关的提案从候选提案中排除。客体注意选择最合适的建议作为上下文建议。第三，我们引入了成对的注意力和自适应加权方案来学习这些建议对和查询之间的对应关系。最后，一个成对的重建模块被用来衡量弱监督学习的接地。在四个大规模数据集上的大量实验表明，我们的方法大大优于现有的最先进的方法。
2019-09-05 cs.CV
Summarize Before Grounding: Query-Guided Chunk Condensation for Long-Video Temporal Grounding
Beihang University（北京航空航天大学）；University of the Chinese Academy of Sciences（中国科学院大学）；Institute of automation, Chinese academy of science（中国科学院自动化研究所）
针对长视频时间定位中冗余信息干扰问题，提出SumGround框架，通过查询引导的块压缩和关联式摘要检索，结合RLVR训练与长度感知梯度门控，在多个数据集上超越现有方法。
2026-09-29 cs.AI cs.CV
