This paper describes BUT-FIT's submission at SemEval-2020 Task 5: Modelling Causal Reasoning in Language: Detecting Counterfactuals. The challenge focused on detecting whether a given statement contains a counterfactual (Subtask 1) and extracting both antecedent and consequent parts of the counterfactual from the text (Subtask 2). We experimented with various state-of-the-art language representation models (LRMs). We found RoBERTa LRM to perform the best in both subtasks. We achieved the first place in both exact match and F1 for Subtask 2 and ranked second for Subtask 1.
TAPAS at SemEval-2021 Task 9: Reasoning over tables with intermediate pre-training
Google Research, Zürich（谷歌研究院（苏黎世））
我们介绍了TAPAS对使用表格进行声明验证和证据发现的共享任务的贡献（SemEval 2021任务9，Wang等人（2021））。SEM TAB FACT任务A是一个分类任务，识别一个陈述是否被给定表格的内容所包含，中性或反驳。我们采用Eisenschlos et al.（2020）的二元TAPAS模型来完成这项任务。我们学习了两个二元分类模型：第一个模型预测一个语句是中性的还是非中性的，第二个模型预测它是蕴含的还是反驳的。由于共享任务训练集只包含蕴涵或反驳的例子，我们生成人工中性的例子来训练第一个模型。两个模型都使用MASKLM目标、中间反事实和合成数据进行预训练（Eisenschlos等人，2020）和TABBACT（Chen等人，2020年），一个大表蕴涵数据集。我们发现，人工中性示例在训练第一个模型时有些有效，达到68.03的测试F1，而大多数基线为60.47。对于第二阶段，我们发现中间数据和TABBACT的预训练比MASKLM预训练改善了结果（68.03 vs 57.01）。
SemEval-2020 Task 4: Commonsense Validation and Explanation
Zhejiang University（浙江大学）；Sun Yat-Sen University（中山大学）；School of Engineering, Westlake University（西湖大学工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文介绍了我们的系统SemEval-2021的任务4：阅读理解的抽象意义（ReCAM）。我们参与了所有的子任务，主要目标是预测一个陈述中缺少的抽象词。我们微调了预先训练的掩蔽语言模型，即BERT和AL BERT，并将其作为我们在子任务1（ReCAM-不可感知性）和子任务2（ReCAM-非特异性）上提交的系统。对于子任务3（ReCAM-Intersection），我们提交了ALBERT模型，因为它给出了最好的结果。我们尝试了多种方法，发现基于Masked Language Modeling（MLM）的方法效果最好。
CUHK at SemEval-2020 Task 4: CommonSense Explanation, Reasoning and Prediction with Multi-task Learning
The Chinese University of Hong Kong（香港中文大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；South China Normal University（华南师范大学）
本文描述了我们的系统提交给SemEval 2020的任务4：常识验证和解释（ComVE），其中包括三个子任务。基于BERT架构的多任务环境，提出了一个有效的、可解释的“解释、推理和预测”（Explain，Reason and Predict，ERP）系统来解决与常识相关的三个子任务：（a）验证、（b）推理和（c）解释。受常识认知研究的启发，我们的系统首先生成句子的原因或理解，然后选择哪一个陈述是有意义的，这是通过多任务学习实现的。在后评估中，我们的系统在子任务A中达到了92.9%的准确率（排名11），在子任务B中达到了89.7%的准确率（排名9），在子任务C中达到了12.9的BLEU得分（排名8）。
BPGC at SemEval-2020 Task 11: Propaganda Detection in News Articles with Multi-Granularity Knowledge Sharing and Linguistic Features based Ensemble Learning
Counterfactual Samples Constructing and Training for Commonsense Statements Estimation
College of Informatics（信息学院）；Huazhong Agricultural University（华中农业大学）；UniSA STEM（南澳大学STEM学院）；University of South Australia（南澳大学）；University of Cambridge（剑桥大学）；Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系）；Key Laboratory of Smart Farming for Agricultural Animals（农业动物智慧养殖重点实验室）
