Approaches to Grounded Language Learning typically focus on a single task-based final performance measure that may not depend on desirable properties of the learned hidden representations, such as their ability to predict salient attributes or to generalise to unseen situations. To remedy this, we present GROLLA, an evaluation framework for Grounded Language Learning with Attributes with three sub-tasks: 1) Goal-oriented evaluation; 2) Object attribute prediction evaluation; and 3) Zero-shot evaluation. We also propose a new dataset CompGuessWhat?! as an instance of this framework for evaluating the quality of learned neural representations, in particular concerning attribute grounding. To this end, we extend the original GuessWhat?! dataset by including a semantic layer on top of the perceptual one. Specifically, we enrich the VisualGenome scene graphs associated with the GuessWhat?! images with abstract and situated attributes. By using diagnostic classifiers, we show that current models learn representations that are not expressive enough to encode object attributes (average F1 of 44.27). In addition, they do not learn strategies nor representations that are robust enough to perform well when novel scenes or objects are involved in gameplay (zero-shot best accuracy 50.06%).
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam（阿姆斯特丹大学）；Massachusetts Institute of Technology（麻省理工学院）；ICREA（加泰罗尼亚高等研究院）；Facebook Artificial Intelligence Research（脸书人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
Collecting Interactive Multi-modal Datasets for Grounded Language Understanding
Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；Meta Research（Meta研究院）；Moscow Institute of Physics Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute（人工智能研究院）
Imagining Grounded Conceptual Representations from Perceptual Information in Situated Guessing Games
Heriot-Watt University（赫瑞-瓦特大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）
在视觉猜谜游戏中，猜谜者必须通过向预言者提问来识别场景中的目标对象。对于玩家来说，一个有效的策略是学习物体的概念表征，这些概念表征既有区分力又有足够的表达力，可以提出问题并正确猜测。然而，如Suglia et al.（2020）所示，现有模型无法学习真正的多模态表示，而是在训练和推理时依赖于场景中对象的黄金类别标签。当推理时的类别与训练时的类别相匹配时，这提供了不自然的性能优势，并且它导致模型在涉及域外对象类别的更真实的“zero-shot”场景中失败。为了克服这个问题，我们引入了一个基于正则化自动编码器的新型“想象”模块，该模块在推理时学习上下文感知和类别感知的潜在嵌入，而不依赖于类别标签。我们的想象力模块在CompGuessWhat？！中的游戏准确率超过了最先进的竞争对手8.26%。zero-shot方案（Suglia等人，2020），在GuessWhat？！中，它将Oracle和Guesser的准确率提高了2.08%和12.86%。基准，当推理时没有可用的黄金类别时。想象模块还可以增强对对象属性和属性的推理。
The Text Aphasia Battery (TAB): A Clinically-Grounded Benchmark for Aphasia-Like Deficits in Language Models
Stanford University（斯坦福大学）；University of California, San Francisco（加州大学旧金山分校）；Temple University（特拉华大学）；San Diego State University（圣地亚哥州立大学）；University of California, San Diego（加州大学圣地亚哥分校）
SEAR: Spoofing Evidence-Grounded Audio Reasoning Benchmark for Audio Language Models
University of Surrey（萨里大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Guangxi University（广西大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）；University of Southampton（南安普顿大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Johns Hopkins University（约翰霍普金斯大学）
Expand BERT Representation with Visual Information via Grounded Language Learning with Multimodal Partial Alignment
Nanyang Technological University（南洋理工大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）；Ho Chi Minh City University of Technology (HCMUT), VNU-HCM（胡志明市理工大学（越南国立大学胡志明市分校））
A Citation-Grounded Benchmark for Trustworthy Earnings Call Transcript Analysis with Large Language Models
American Express（美国运通）；Singapore Decision Science Center of Excellence, American Express（美国运通新加坡决策科学卓越中心）；Global Decision Science, American Express（美国运通全球决策科学部）
Interactive Grounded Language Understanding in a Collaborative Environment: IGLU 2021
Microsoft Research（微软研究院）；University of Amsterdam（阿姆斯特丹大学）；Alexa AI（Alexa人工智能）；MIPT（莫斯科物理技术学院）；AIRI（人工智能研究院）；Facebook AI（脸书人工智能）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Kalashnikov Izhevsk State Technical University（卡拉什尼科夫伊热夫斯克国立技术大学）；Universiteit Leiden（莱顿大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
人类智能具有快速适应新任务和新环境的能力。从很小的时候开始，人类通过模仿他人的行为或遵循提供的自然语言指令来获得新技能并学习如何解决新任务。为了促进这一方向的研究，我们提出了\emph{IGLU: Interactive Grounded Language Understanding in a Collaborative Environment}。比赛的主要目标是探讨如何建立交互式代理，学习解决任务，同时提供接地自然语言指令在协作环境中的问题。了解挑战的复杂性，我们将其分解为子任务，使其对参与者可行。
ZR-2021VG: Zero-Resource Speech Challenge, Visually-Grounded Language Modelling track, 2021 edition
Tilburg University（蒂尔堡大学）；Laboratoire de Sciences Cognitives et Psycholinguistique, ENS（巴黎高等师范学院认知科学与心理语言学实验室）；Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
