Unlike Object Detection, Visual Grounding task necessitates the detection of an object described by complex free-form language. To simultaneously model such complex semantic and visual representations, recent state-of-the-art studies adopt transformer-based models to fuse features from both modalities, further introducing various modules that modulate visual features to align with the language expressions and eliminate the irrelevant redundant information. However, their loss function, still adopting common Object Detection losses, solely governs the bounding box regression output, failing to fully optimize for the above objectives. To tackle this problem, in this paper, we first analyze the attention mechanisms of transformer-based models. Building upon this, we further propose a novel framework named Attention-Driven Constraint Balancing (AttBalance) to optimize the behavior of visual features within language-relevant regions. Extensive experimental results show that our method brings impressive improvements. Specifically, we achieve constant improvements over five different models evaluated on four different benchmarks. Moreover, we attain a new state-of-the-art performance by integrating our method into QRNet.
答案基础旨在揭示视觉问答（VQA）的视觉证据，这需要在回答有关图像的问题时突出图像中的相关位置。以前的尝试通常使用预先训练的对象检测器来解决这个问题，但对于不在预定义词汇表中的对象没有灵活性。然而，这些黑盒方法只关注语言生成，忽视了视觉可解释性。在本文中，我们提出了双重视觉语言交互（DaVI），一个新的统一的端到端的框架，语言回答和视觉接地的能力。DaVI创新性地引入了两种视觉-语言交互机制：1）基于视觉的语言编码器，它理解包含视觉特征的问题，并产生面向语言的证据，以进一步解码答案; 2）基于语言的视觉解码器，它将视觉特征集中在与证据相关的区域上，以提供答案基础。这样，我们的方法在2022年VizWiz Grand Challenge的答案接地轨道中排名第一。
Pengcheng Laboratory（鹏城实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；Chongqing University（重庆大学）
Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；The Chinese University of Hong Kong（香港中文大学）
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
在本文中，我们提出了一种基于Transformer的方法来实现可视化接地。与以前的proposal-and-rank框架严重依赖于预训练的对象检测器或无proposal-free框架通过融合文本嵌入来升级现成的一级检测器不同，我们的方法构建在Transformer编码器-解码器之上，并且独立于任何预训练的检测器或词嵌入模型。我们的方法被称为VGTR -- Visual Grounding with Transformers，旨在在文本描述的指导下学习具有语义区分性的视觉特征，而不会损害它们的定位能力。这种信息流使我们的VGTR具有很强的能力，在捕获视觉和语言模态的上下文级别的语义，使我们能够聚集准确的视觉线索暗示的描述，以定位感兴趣的对象实例。实验表明，我们的方法优于国家的最先进的无命题的方法在五个基准相当大的利润，同时保持快速的推理速度。
HiVG: Hierarchical Multimodal Fine-grained Modulation for Visual Grounding
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
InstanceRefer: Cooperative Holistic Understanding for Visual Grounding on Point Clouds through Instance Multi-level Contextual Referring
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Southern University of Science and Technology（南方科技大学）
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；LLM-Core Xiaomi（小米LLM-Core）；The University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
GeoGround: A Unified Large Vision-Language Model for Remote Sensing Visual Grounding
Nanyang Technological University（南洋理工大学）；University of Reading（阅读大学）；Shanghai Jiao Tong University（上海交通大学）；Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Research（商汤科技研究院）
TransVG: End-to-End Visual Grounding with Transformers
CAS Key Laboratory of GIPAS, University of Science and Technology of China（中国科学技术大学中国科学院GIPAS重点实验室）；University of Rochester（罗切斯特大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
From Objects to Anywhere: A Holistic Benchmark for Multi-level Visual Grounding in 3D Scenes
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）；Tsinghua University（清华大学）；Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）
DDVT: Dynamic Dual-level Vision Transformer Fusion Network for Answer Grounding in Visual Question Answering
National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室）；School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）
BARE: Towards Bias-Aware and Reasoning-Enhanced One-Tower Visual Grounding
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Pengcheng Laboratory（鹏城实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
