Humans tend to decompose a sentence into different parts like \textsc{sth do sth at someplace} and then fill each part with certain content. Inspired by this, we follow the \textit{principle of modular design} to propose a novel image captioner: learning to Collocate Visual-Linguistic Neural Modules (CVLNM). Unlike the \re{widely used} neural module networks in VQA, where the language (\ie, question) is fully observable, \re{the task of collocating visual-linguistic modules is more challenging.} This is because the language is only partially observable, for which we need to dynamically collocate the modules during the process of image captioning. To sum up, we make the following technical contributions to design and train our CVLNM: 1) \textit{distinguishable module design} -- \re{four modules in the encoder} including one linguistic module for function words and three visual modules for different content words (\ie, noun, adjective, and verb) and another linguistic one in the decoder for commonsense reasoning, 2) a self-attention based \textit{module controller} for robustifying the visual reasoning, 3) a part-of-speech based \textit{syntax loss} imposed on the module controller for further regularizing the training of our CVLNM. Extensive experiments on the MS-COCO dataset show that our CVLNM is more effective, \eg, achieving a new state-of-the-art 129.5 CIDEr-D, and more robust, \eg, being less likely to overfit to dataset bias and suffering less when fewer training samples are available. Codes are available at \url{https://github.com/GCYZSL/CVLMN}
Learning to Collocate Neural Modules for Image Captioning
Nanyang Technological University（南洋理工大学）
我们不会一个字一个字地从头开始说话;我们的大脑会很快构建一个像\textsc{sth do sth at someplace}这样的模式，然后填写详细的描述。为了使现有的编码器-解码器图像字幕，如人类一样的推理，我们提出了一个新的框架：学习搭配神经模块（CNM），以生成连接视觉编码器和语言解码器的“内部模式”。与视觉问答中广泛使用的神经模块网络不同，语言（即问题）是完全可观察的，用于字幕的CNM更具挑战性，因为语言正在生成，因此部分可观察。为此，我们为CNM培训做出了以下技术贡献：1）紧凑的模块设计-一个功能词，三个视觉内容词（如名词、形容词和动词）; 2）软模块融合和多步模块执行，在部分观察中增强视觉推理; 3）模块控制器忠实于词性搭配的语言损失（形容词在名词之前）。在具有挑战性的MS-COCO图像描述基准上进行的大量实验验证了我们的CNM图像标题的有效性。特别是，CNM在Karpathy split上实现了最先进的127.9 CIDEr-D，并在官方服务器上实现了单一模型126.0 c40。CNM对很少的训练样本也是鲁棒的，例如，通过对每个图像只训练一个句子，与强基线相比，CNM可以将性能损失减半。
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei Devices（华为终端）；University of Chinese Academy of Sciences（中国科学院大学）
Gaussian Smoothen Semantic Features (GSSF) -- Exploring the Linguistic Aspects of Visual Captioning in Indian Languages (Bengali) Using MSCOCO Framework
Computer & Information Science & Engineering Department, University of Florida（佛罗里达大学计算机与信息科学与工程系）
ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
University of Chinese Academy of Science（中国科学院大学）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Peng Cheng Laboratory（鹏城实验室）；University of California, Merced（加州大学默塞德分校）
Object Relational Graph with Teacher-Recommended Learning for Video Captioning
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；PeopleAI, Inc.（人民人工智能有限公司）；State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民网传播内容认知国家重点实验室）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
Surprisal reveals diversity gaps in image captioning and different scorers change the story
Centre for Linguistic Theory and Studies in Probability (CLASP), Department of Philosophy, Linguistics and Theory of Science (FLoV), University of Gothenburg（语言理论与概率研究中心（CLASP）、哲学、语言学与科学理论系（FLoV）、哥德堡大学）
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning
Hacettepe University（哈杰泰佩大学）；Aselsan Research（阿塞尔桑研究院）；Koç University（科克大学）；Amsterdam UMC, University of Amsterdam（阿姆斯特丹大学医学中心，阿姆斯特丹大学）；Amsterdam Public Health（阿姆斯特丹公共卫生研究院）
GL-RG: Global-Local Representation Granularity for Video Captioning
Fudan University（复旦大学）；Westlake University（西湖大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Florida（佛罗里达大学）；University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）；Purdue University（普渡大学）；Meta AI
Learning to Discretely Compose Reasoning Module Networks for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
为视频生成自然语言描述，即，视频描述本质上需要沿着生成过程的逐步推理。例如，要生成句子“a man is shooting a basketball”，我们需要先定位并描述主语“man”，然后推理出“man is shooting”，再描述射击的宾语“basketball”。然而，现有的视觉推理方法设计的视觉问答是不适合视频描述，因为它需要更复杂的视觉推理的视频在空间和时间上，和动态的模块组合沿生成过程。在本文中，我们提出了一种新的视觉推理方法的视频描述，命名为推理模块网络（RMN），配备现有的编码器-解码器框架与上述推理能力。具体来说，我们的RMN采用1）三个复杂的时空推理模块，和2）一个动态和离散的模块选择器训练的语言损失与Gumbel近似。MSVD和MSR-VTT数据集上的大量实验表明，所提出的RMN优于最先进的方法，同时提供了一个明确的和可解释的生成过程。我们的代码可在https://github.com/tgc1997/RMN上获得。
Visual-aware Attention Dual-stream Decoder for Video Captioning
Wuhan University of Technology（武汉理工大学）；ZhongQianLiYuan Engineering Consulting Co., Ltd（中前立源工程咨询有限公司）
视频描述是一项具有挑战性的任务，它需要捕捉不同的视觉部分并将其描述成句子，因为它需要视觉和语言的连贯性。当前视频描述方法中的注意力机制学习为每个帧分配权重，从而动态地促进解码器。为了生成语义连贯的句子，本文提出了一种新的视觉感知注意力（VA）模型，它将时间序列帧的动态变化与前一时刻的单词连接起来，作为注意力机制的输入来提取序列特征。流行的方法在训练期间广泛使用教师强迫（TF）学习，其中下一个标记是以先前的地面实况标记为条件而生成的。先前生成的标记中的语义信息丢失。因此，我们设计了一种自强制（SF）流，它将前一个标记的概率分布中的语义信息作为输入，以增强当前标记。双流解码器（DD）架构将TF和SF流统一起来，生成句子，以促进两个流的注释字幕。同时，双流解码器的使用，缓解了曝光偏差问题，通过在微软视频描述（MSVD）语料库和MSR-Video to Text（MSR-VTT）数据集上的实验研究，验证了本文提出的视觉感知注意力双流解码器（VADD）的有效性。
EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
University of Science and Technology of China（中国科学技术大学）；Southeast University（东南大学）；Alibaba Group（阿里巴巴集团）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Alibaba Cloud（阿里云）；The Chinese University of Hong Kong（香港中文大学）
