Cornell NYC Tech(康奈尔大学纽约理工校区);Cornell Computer Science Department(康奈尔大学计算机科学系);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Facebook AI Research(Facebook人工智能研究院);Microsoft Research(微软研究院);Brown University(布朗大学);California Institute of Technology(加州理工学院);University of California at Irvine(加州大学欧文分校)
Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr Dollár
备注:
1) updated annotation pipeline description and figures; 2) added new section describing datasets splits; 3) updated author list
We present a new dataset with the goal of advancing the state-of-the-art in object recognition by placing the question of object recognition in the context of the broader question of scene understanding. This is achieved by gathering images of complex everyday scenes containing common objects in their natural context. Objects are labeled using per-instance segmentations to aid in precise object localization. Our dataset contains photos of 91 objects types that would be easily recognizable by a 4 year old. With a total of 2.5 million labeled instances in 328k images, the creation of our dataset drew upon extensive crowd worker involvement via novel user interfaces for category detection, instance spotting and instance segmentation. We present a detailed statistical analysis of the dataset in comparison to PASCAL, ImageNet, and SUN. Finally, we provide baseline performance analysis for bounding box and segmentation detection results using a Deformable Parts Model.
CD-COCO: A Versatile Complex Distorted COCO Database for Scene-Context-Aware Computer Vision
IBISC Lab, Paris-Saclay University(巴黎萨克雷大学IBISC实验室);L2TI Lab, Sorbonne Paris Nord University(索邦巴黎北大学L2TI实验室);Norwegian University of Science and Technology (NTNU)(挪威科技大学)
Classification Calibration for Long-tail Instance Segmentation
National University of Singapore(新加坡国立大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Salesforce Research Asia(Salesforce亚洲研究院)
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院智能信息处理重点实验室,中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
Microsoft Research(微软研究院);UCLA(加州大学洛杉矶分校);University of Washington(华盛顿大学);Microsoft Cloud and AI(微软云计算与人工智能部门);International Digital Economy Academy(国际数字经济研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
SHOP: A Deep Learning Based Pipeline for near Real-Time Detection of Small Handheld Objects Present in Blurry Video
University of California San Diego(加州大学圣地亚哥分校);California State Polytechnic University, Pomona(加州州立理工大学波莫纳分校);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
虽然先前的工作已经研究和开发了能够进行目标检测的计算模型,但是模型仍然难以可靠地解释具有运动模糊和小目标的图像。此外,这些型号都不是专门为手持式目标检测设计的。在这项工作中,我们提出了SHOP(小型手持对象管道),一个管道,可靠和有效地解释模糊的图像包含手持对象。管道每个阶段使用的特定模型是灵活的,可以根据性能要求进行更改。首先,图像被去模糊,然后通过姿势检测系统,其中在任何在场的人的手周围提出感兴趣的区域。接下来,通过单级对象检测器对图像执行目标检测。最后,所提出的感兴趣区域被用来过滤掉低置信度的检测。在Microsoft Common Objects in Context(MS COCO)的手持设备子集上进行的测试表明,这三个阶段的过程导致误报减少了70%,而在其最强配置中,误报仅减少了17%。我们还提出了一个子集的MS COCO组成的手持对象,可用于继续发展的手持目标检测方法。https://github.com/spider-sense/SHOP
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云与人工智能);UCLA(加州大学洛杉矶分校)
使用图像-文本对的对比语言-图像预训练(CLIP)在zero-shot和迁移学习设置下都取得了令人印象深刻的图像分类结果。然而,我们表明,直接应用这样的模型来识别图像区域的目标检测导致性能不佳,由于域转移:CLIP被训练为匹配图像作为一个整体的文本描述,没有捕捉图像区域和文本跨度之间的细粒度对齐。为了缓解这个问题,我们提出了一种新的方法,称为RegionCLIP显着扩展CLIP学习区域级的视觉表示,从而实现图像区域和文本概念之间的细粒度对齐。我们的方法利用CLIP模型将图像区域与模板标题进行匹配,然后预训练我们的模型以在特征空间中对齐这些区域-文本对。当将我们的预训练模型转移到开放词汇目标检测任务时,我们的方法在COCO和LVIS数据集上的新类别分别以3.8 AP 50和2.2 AP的速度显著优于现有技术。此外,学习的区域表示支持目标检测的zero-shot推理,在COCO和LVIS数据集上都显示出有希望的结果。我们的代码可在https://github.com/microsoft/RegionCLIP上获得。
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
挤压和激励(SE)块提出了一种通道注意力机制,通过显式捕获跨通道的依赖关系来建模全局上下文。然而,我们仍然远远没有理解SE块是如何工作的。在这项工作中,我们首先重新审视SE块,然后提出了一个详细的全球背景和注意力分布之间的关系的实证研究,在此基础上,我们提出了一个简单而有效的模块,称为线性上下文变换(LCT)块。我们将所有通道分成不同的组,并在每个通道组内对全局聚合的上下文特征进行归一化,减少了不相关通道的干扰。通过对归一化的上下文特征进行线性变换,我们独立地为每个通道建模全局上下文。LCT块非常轻量级,易于插入到不同的骨干模型中,而参数和计算负担的增加可以忽略不计。大量的实验表明,LCT块在ImageNet上的图像分类任务和具有不同骨干模型的COCO数据集上的目标检测/分割中优于SE块。此外,LCT相对于现有的最先进的检测架构(例如,1.5 $\sim$ 1.7% AP $^{bbox}$和1.0 $\sim$ 1.2% AP $^{mask}$在COCO基准上的改进,而不考虑不同容量的不同基线模型。我们希望我们简单而有效的方法将有助于未来的研究基于注意力的模型。
ChatPainter: Improving Text to Image Generation using Dialogue
Microsoft Research(微软研究院);Université de Montréal(蒙特利尔大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
从Microsoft Common Objects in Context(MS COCO)等数据集上的文本描述合成逼真的图像,其中每个图像可以包含多个对象,这是一项具有挑战性的任务。先前的工作已经使用文本标题来生成图像。然而,字幕可能没有足够的信息来捕获整个图像,并且不足以使模型能够理解图像中的哪些对象对应于字幕中的哪些单词。我们发现,添加一个对话,进一步描述了场景导致显着改善的初始分数和MS COCO数据集上生成的图像的质量。
Microsoft Research(微软研究院);Microsoft Cloud + AI(微软云计算与人工智能部门)
我们提出了焦点调制网络(简称FocalNets),其中自我注意力(SA)完全被焦点调制机制所取代,用于对视觉中的令牌交互进行建模。焦点调制包括三个组件:(i)使用深度卷积层的堆栈实现的分层上下文化,以从短到长范围编码视觉上下文,(ii)门控聚合,以基于其内容选择性地收集每个查询令牌的上下文,以及(iii)元素调制或仿射变换,以将聚合的上下文注入查询。广泛的实验表明,FocalNets的性能优于最先进的SA对应物(例如,Swin和Focal Transformers)在图像分类、目标检测和分割任务上具有相似的计算成本。具体来说,具有微小和基本尺寸的FocalNets在ImageNet-1 K上实现了82.3%和83.9%的top-1准确率。在ImageNet-22 K上以224分辨率进行预训练后,当以224和384分辨率进行微调时,它分别达到了86.5%和87.3%的top-1准确率。当转移到下游任务时,FocalNets表现出明显的优势。对于使用Mask R-CNN的目标检测,使用1个\times训练的FocalNet基础比Swin对手高出2.1个点,并且已经超过了使用3个\times时间表训练的Swin(49.0 vs. 48.5)。对于使用UPerNet的语义分割,FocalNet在单尺度下的性能优于Swin 2.4,在多尺度下优于Swin(50.5 vs. 49.7)。使用大…
Fine-tuning deep CNN models on specific MS COCO categories
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Eötvös Loránd University(罗兰大学)
深度卷积神经网络(CNN)的微调通常是期望的。本文概述了我们公开提供的py-faster-rcnn-ft软件库,可用于在Microsoft Common Objects in Context(MS COCO)数据集的自定义子集上微调VGG_CNN_M_1024模型。例如,我们改进了程序,使用户不必手动在数据集中寻找合适的图像文件,然后可以在演示程序中使用。我们的实现随机选择包含至少一个对象的类别上的模型进行微调的图像。
Content-based Analysis of the Cultural Differences between TikTok and Douyin
Georgen Institute for Data Science(乔治恩数据科学研究所);University of Rochester(罗切斯特大学)
短视频社交媒体通过告诉观众一个动态的故事来吸引他们的注意力,从而摆脱了传统媒体的范式。特别是,可以采用日常物品的不同组合来表示既有趣又可理解的独特场景。由同一家公司提供的TikTok和Douyin是近年来流行的新媒体的流行例子,同时针对不同的市场(例如美国和中国)量身定制。假设他们表达的文化差异与媒体时尚和社会特质是我们的研究的主要目标。为此,我们首先使用更快的区域卷积神经网络(Faster R-CNN),该网络使用Microsoft Common Objects in COntext(MS-COCO)数据集进行预训练,以执行目标检测。基于一套从视频中检测到的对象,我们进行统计分析,包括标签统计,标签相似性,标签人分布。我们进一步使用用Kinetics数据集预训练的双流膨胀3D ConvNet(I3 D)来分类和分析人类行为。通过对比抖音和抖音的分布结果,我们发现这两个密切相关的视频社交媒体平台在对象数量、对象类别和人类行为类别等内容维度上存在丰富的相似性和对比性。
FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in Context
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里人工智能联合研究中心);Surrey Institute for People Centred AI(萨里以人为本人工智能研究所)