在图像检索中,训练集与评估集之间不存在类别重叠究竟有多重要?我们重新审视了最常用的训练集 Google Landmarks v2 clean,通过识别并移除其与最常用评估集 Revisited Oxford and Paris [34] 之间的类别重叠。通过在复现的最先进方法基准上比较原始数据集与新构建的 RGLDv2-clean,我们的发现令人震惊:不仅性能出现显著下降,而且这种下降在不同方法之间并不一致,从而改变了方法排名。在构建索引时,要专注于感兴趣的对象并忽略背景杂乱需要什么条件?我们是否需要分别训练目标检测器和表示模型?是否需要位置监督?我们提出了 Single-stage Detect-to-Retrieve(CiDeR),这是一个端到端的单阶段流程,用于检测感兴趣的对象并提取全局图像表示。我们在现有训练集和新构建的 RGLDv2-clean 上均超越了此前的最先进方法。我们的数据集可在 https://github.com/dealicious-inc/RGLDv2-clean 获取。
英文摘要:
How important is it for training and evaluation sets to not have class overlap in image retrieval? We revisit Google Landmarks v2 clean, the most popular training set, by identifying and removing class overlap with Revisited Oxford and Paris [34], the most popular evaluation set. By comparing the original and the new RGLDv2-clean on a benchmark of reproduced state-of-the-art methods, our findings are striking. Not only is there a dramatic drop in performance, but it is inconsistent across methods, changing the ranking.What does it take to focus on objects or interest and ignore background clutter when indexing? Do we need to train an object detector and the representation separately? Do we need location supervision? We introduce Single-stage Detect-to-Retrieve (CiDeR), an end-to-end, single-stage pipeline to detect objects of interest and extract a global image representation. We outperform previous state-of-the-art on both existing training sets and the new RGLDv2-clean. Our dataset is available at https://github.com/dealicious-inc/RGLDv2-clean.
Revisit Anything: Visual Place Recognition via Image Segment Retrieval
Indian Institute of Science (IISc)(印度科学学院(IISc));International Institute of Information Technology, Hyderabad(海德拉巴国际信息技术学院);University of Adelaide(阿德莱德大学)
Master in Computer Vision Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉硕士项目(注:此处严格按原文提取机构,若需更简洁表述,通常“Master in Computer Vision”为项目,核心机构应为“Universitat Autònoma de Barcelona”即“巴塞罗那自治大学”,但原文明确将其与机构名关联,故按原文提取))
Selecting Relevant Web Trained Concepts for Automated Event Retrieval
Center For Automation Research, University of Maryland, College Park(马里兰大学帕克分校自动化研究中心)
复杂事件检索是一个具有挑战性的研究问题,特别是在没有训练视频的情况下。收集训练视频的替代方案是先验地训练大型语义概念库。给定事件的文本描述,事件检索通过选择与事件描述语言相关的概念并融合看不见的视频上的概念响应来执行。然而,定义一个详尽的概念词典和预训练它需要大量的计算资源。因此,最近的方法自动化的概念发现和训练,利用大量的弱注释的Web数据。紧凑的视觉上突出的概念是自动获得的概念对,或更一般地说,n-gram的使用。然而,并不是所有视觉上突出的n-gram都一定对事件查询有用--一些概念的组合可能在视觉上紧凑但不相关--这会极大地影响性能。我们提出了一个事件检索算法,构造对自动发现的概念,然后修剪这些概念是不太可能有助于检索。修剪取决于查询和正在评估的特定视频实例。我们的方法还解决了校准和领域自适应问题时出现的概念检测器看不见的视频。我们证明了在TRECVID MED 13数据集上比其他基于视觉的系统有很大的改进。