Inspired by recent work in machine translation and object detection, we introduce an attention based model that automatically learns to describe the content of images. We describe how we can train this model in a deterministic manner using standard backpropagation techniques and stochastically by maximizing a variational lower bound. We also show through visualization how the model is able to automatically learn to fix its gaze on salient objects while generating the corresponding words in the output sequence. We validate the use of attention with state-of-the-art performance on three benchmark datasets: Flickr8k, Flickr30k and MS COCO.
Dank Learning: Generating Memes Using Deep Neural Networks
Stanford University（斯坦福大学）
我们介绍了一个新颖的模因生成系统，它可以产生一个幽默和相关的说明任何图像。此外，该系统不仅可以以图像为条件，还可以以与模因模板相关的用户定义的标签为条件，从而为用户提供关于模因内容的处理。该系统使用预训练的Inception-v3网络返回图像嵌入，该图像嵌入被传递到基于注意力的深层LSTM模型，以产生标题-受广泛认可的Show and Tell模型的启发。我们实现了一个修改后的束搜索，以鼓励多样性的字幕。我们评估我们的模型的质量，使用困惑和人类的评价上产生的模因的质量，以及它们是否可以从真正的区别。我们的模型产生了原始的模因，这些模因总体上不能与真实的模因区分开来。
OSCAR-Net: Object-centric Scene Graph Attention for Image Attribution
Adobe Research（Adobe研究院）；University of Surrey（萨里大学）
图像讲述了强大的故事，但并不总是可信的。将图像匹配回可信来源（归因）使用户能够对他们在网上遇到的图像做出更明智的判断。我们提出了一个强大的图像哈希算法来执行这样的匹配。我们的哈希对微妙的、突出的视觉细节的操纵很敏感，这些细节可以大大改变图像所讲述的故事。然而，散列对于良性转换（质量，编解码器，大小，形状等的变化）是不变的。在网上重新发布的图片所经历的。我们的主要贡献是OSCAR-Net（Object-centric Scene Graph Attention for Image Attribution Network）;这是一个强大的图像哈希模型，灵感来自于最近Transformers在视觉领域的成功。OSCAR-Net构建了一个场景图表示，它关注每个对象的视觉外观及其空间关系的细粒度变化。该网络通过原始图像和操作图像的数据集上的对比学习进行训练，从而产生用于内容指纹识别的最新图像散列，该图像散列可扩展到数百万个图像。
Learning to generalize to new compositions in image understanding
Bar Ilan University（巴伊兰大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
最近，递归神经网络已经被用于学习使用自然语言来描述图像。然而，已经观察到，这些模型对在训练期间未观察到的场景的概括性较差，可能过于强烈地依赖于训练数据中的文本的统计。在这里，我们建议使用简短的结构化表示来描述图像，旨在捕捉描述的关键。这些结构化表示允许我们分别梳理和评估两种类型的泛化：对具有相似场景的新图像的标准泛化，以及对已知实体的新组合的泛化。我们在MS-COCO数据集上比较了两种学习方法：基于LSTM（Show，Attend and Tell）的最先进的递归网络，以及基于深度网络的简单结构化预测模型。我们发现，结构化模型对新组合的泛化能力远远好于LSTM，是预测结构化表示的精度的7倍。通过提供一个具体的方法来量化概括看不见的组合，我们认为，结构化的表示和成分分裂是一个有用的基准图像描述，并主张组成模型，捕捉语言和视觉结构。
Caregiver Talk Shapes Toddler Vision: A Computational Study of Dyadic Play
Goethe University（歌德大学）；The Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Xidian-FIAS international Joint Research Center（西安电子科技大学-法兰克福高等研究院国际联合研究中心）
