Differentiated Relevances Embedding for Group-based Referring Expression Comprehension
The Hong Kong Polytechnic University（香港理工大学）；University of Glasgow（格拉斯哥大学）；Xiamen University（厦门大学）；Tsinghua University（清华大学）；Huawei Noahs Ark Lab（华为诺亚方舟实验室）；Fuzhou Institute for Data Technology（福州数据技术研究院）
The key of referring expression comprehension lies in capturing the cross-modal visual-linguistic relevance. Existing works typically model the cross-modal relevance in each image, where the anchor object/expression and their positive expression/object have the same attribute as the negative expression/object, but with different attribute values. These objects/expressions are exclusively utilized to learn the implicit representation of the attribute by a pair of different values, which however impedes the accuracies of the attribute representations, expression/object representations, and their cross-modal relevances since each anchor object/expression usually has multiple attributes while each attribute usually has multiple potential values. To this end, we investigate a novel REC problem named Group-based REC, where each object/expression is simultaneously employed to construct the multiple triplets among the semantically similar images. To tackle the explosion of the negatives and the differentiation of the anchor-negative relevance scores, we propose the multi-group self-paced relevance learning schema to adaptively assign within-group object-expression pairs with different priorities based on their cross-modal relevances. Since the average cross-modal relevance varies a lot across different groups, we further design an across-group relevance constraint to balance the bias of the group priority. Experiments on three standard REC benchmarks demonstrate the effectiveness and superiority of our method.
Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension
The University of Hong Kong（香港大学）；University of Wollongong（伍伦贡大学）；Tencent AI Lab（腾讯人工智能实验室）；Australian Centre for Robotic Vision, University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）
One for All: One-stage Referring Expression Comprehension with Dynamic Reasoning
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
Referring Expression Comprehension Using Language Adaptive Inference
College of Computer Science & Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Laboratory（上海人工智能实验室）
Hierarchical Alignment-enhanced Adaptive Grounding Network for Generalized Referring Expression Comprehension
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Institute of Big Data, Fudan University（复旦大学大数据学院）；Shanghai University of Finance and Economics（上海财经大学）；Nanyang Technological University（南洋理工大学）
Real-Time Referring Expression Comprehension by Single-Stage Grounding Network
Tencent AI Lab（腾讯人工智能实验室）；National University of Singapore（新加坡国立大学）；University of Rochester（罗切斯特大学）
在本文中，我们提出了一种新的端到端的模型，即单级接地网络（SSG），在一个图像内的参考表达式的参考定位。不同于以往的多阶段模型，依赖于对象的建议或检测到的区域，我们提出的模型的目的是通过一个单一的阶段，而不诉诸区域的建议，以及随后的区域明智的特征提取理解所指的表达。具体地说，提出了一个多模态交互器，以集中地总结关于指称表达的局部区域特征。随后，提出了一个地面定位器，直接在给定的图像中定位所指的表达。为了进一步提高定位精度，提出了一种引导注意力机制，以强制接地集中在中心区域的指示。此外，通过利用和预测视觉属性信息，地面可以进一步区分图像中的所指对象，从而提高模型的性能。RefCOCO，RefCOCO+和RefCOCOg数据集上的实验表明，我们提出的SSG不依赖于任何区域建议，可以实现与其他先进模型相当的性能。此外，我们的SSG优于以前的模型，并在ReferItGame数据集上实现了最先进的性能。更重要的是，我们的SSG具有时间效率，可以在25 ms（每秒40个引用）内从RefCOCO数据集的416*416图像中获得引用表达式，平均使用Nvidia Tesla P40，比现有的多级模型加速超过9倍。
The University of Western Australia（西澳大利亚大学）；Murdoch University（莫道克大学）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
指称表达式理解和切分是两个高度相关的任务，它们都是为了根据自然语言表达式识别指称对象。在本文中，我们提出了一种新的多任务协作网络（MCN），以实现联合学习的REC和RES的第一次。在MCN中，RES可以帮助REC实现更好的语言-视觉对齐，而REC可以帮助RES更好地定位所指对象。此外，我们解决了这种多任务设置中的一个关键挑战，即，预测冲突，两个创新的设计，即，一致性能量最大化（CEM）和自适应软非定位抑制（ASNLS）。具体来说，CEM使REC和RES能够通过最大化两个任务之间的一致性能量来关注相似的视觉区域。ASNLS基于REC的预测来抑制RES中不相关区域的响应。为了验证我们的模型，我们在REC和RES的三个基准数据集上进行了广泛的实验，即，RefCOCO、RefCOCO+和RefCOCOg。实验结果报告了MCN在所有现有方法上的显着性能增益，即，最高可达+7.13%for REC和+11.50%for RES over SOTA，这充分证实了我们的模型对于REC和RES联合学习的有效性。
ScanFormer: Referring Expression Comprehension by Iteratively Scanning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Zhejiang-Singapore Innovation and Al Joint Research Lab（浙新创新与人工智能联合研究实验室）
Continual Referring Expression Comprehension via Dual Modular Memorization
University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Laboratory（鹏城实验室）；University of Wollongong（伍伦贡大学）；Hefei University of Technology（合肥工业大学）
Self-paced Multi-grained Cross-modal Interaction Modeling for Referring Expression Comprehension
School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang University-University of Illinois at Urbana-Champaign Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校研究院）
RefBench-PRO: Perceptual and Reasoning Oriented Benchmark for Referring Expression Comprehension
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（国家人机混合增强智能重点实验室）；National Engineering Research Center for Visual Information and Applications（国家视觉信息与应用工程技术研究中心）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi’an Jiaotong University（西安交通大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究院（TeleAI））；China Telecom（中国电信）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology Beijing（北京科技大学）
LongEgoRefer: A Benchmark for Long-Form Egocentric Video Referring Expression Comprehension
Woven by Toyota, Japan（丰田公司，日本）；The University of Tokyo, Japan（东京大学，日本）；National Institute of Informatics, Japan（日本信息机构国家研究所）；Institute of Science Tokyo, Japan（东京科学研究所，日本）；NII LLMC, Japan（日本信息机构LLMC）；Kyoto University, Japan（京都大学，日本）
WeakMCN: Multi-task Collaborative Network for Weakly Supervised Referring Expression Comprehension and Segmentation
The University of Hong Kong（香港大学）；King’s College London（伦敦国王学院）；Huazhong Agricultural University（华中农业大学）；National University of Singapore（新加坡国立大学）；Shanghai AI Laboratory（上海人工智能实验室）
M2IST: Multi-Modal Interactive Side-Tuning for Efficient Referring Expression Comprehension
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Engineering, Westlake University（西湖大学工程学院）；College of Computer Science and Cyber Security (Pilot Software College), Chengdu University of Technology（成都理工大学计算机与网络安全学院（软件学院））；Yunnan Key Laboratory of Software Engineering, Yunnan University（云南大学云南省软件工程重点实验室）
Talk2Radar: Bridging Natural Language with 4D mmWave Radar for 3D Referring Expression Comprehension
Institute of Deep Perception Technology, JITRI（JITRI深度感知技术研究所）；University of Liverpool（利物浦大学）；University of Southampton（南安普顿大学）；Momoni AI（Momoni人工智能公司）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Thrust of Artificial Intelligence, HKUST (GZ)（香港科技大学（广州）人工智能学域）；Thrust of Intelligent Transportation, HKUST (GZ)（香港科技大学（广州）智能交通学域）
Video Referring Expression Comprehension via Transformer with Content-conditioned Query
Peking University（北京大学）；International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Interpretable Zero-shot Referring Expression Comprehension with Query-driven Scene Graphs
Faculty of Engineering and IT, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；Data61, Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织 Data61）
