Explanation methods in Interpretable NLP often explain the model's decision by extracting evidence (rationale) from the input texts supporting the decision. Benchmark datasets for rationales have been released to evaluate how good the rationale is. The ground truth rationales in these datasets are often human annotations obtained via crowd-sourced websites. Valuable as these datasets are, the details on how those human annotations are obtained are often not clearly specified. We conduct comprehensive controlled experiments using crowd-sourced websites on two widely used datasets in Interpretable NLP to understand how those unsaid details can affect the annotation results. Specifically, we compare the annotation results obtained from recruiting workers satisfying different levels of qualification. We also provide high-quality workers with different instructions for completing the same underlying tasks. Our results reveal that the annotation quality is highly subject to the workers' qualification, and workers can be guided to provide certain annotations by the instructions. We further show that specific explanation methods perform better when evaluated using the ground truth rationales obtained by particular instructions. Based on these observations, we highlight the importance of providing complete details of the annotation process and call for careful interpretation of any experiment results obtained using those annotations.
Interpretable Textual Neuron Representations for NLP
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
输入优化方法，如Google Deep Dream，为计算机视觉DNN创建了可解释的神经元表示。我们提出并评估了将这项技术转移到NLP的方法。我们的研究结果表明，梯度上升与gumbel softmax层产生的n-gram表示，在目标神经元激活方面优于幼稚语料库搜索。这些表征突出了Imaginet架构的语言和视觉模型之间的语法意识差异。
Examining risks of racial biases in NLP tools for child protective services
Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research NYC（微软纽约研究院）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Washington（华盛顿大学）
Rissanen Data Analysis: Examining Dataset Characteristics via Description Length
New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
我们介绍了一种方法来确定是否某种能力有助于实现给定数据的准确模型。我们认为标签是由具有不同功能的子程序组成的程序从输入中生成的，并且我们认为子程序是有用的，当且仅当调用它的最小程序比不调用它的程序短。由于最小程序长度无法计算，因此我们转而估计标签的最小描述长度（MDL）作为代理，为我们提供了一种分析数据集特征的理论依据方法。我们将该方法称为MDL之父Rissanen Data Analysis（RDA），并展示了其在NLP中各种设置上的适用性，从评估在回答问题之前生成子问题的效用，到分析理由和解释的价值，再到调查不同词性的重要性，以及揭示数据集的性别偏见。
Inter-GPS: Interpretable Geometry Problem Solving with Formal Language and Symbolic Reasoning
Sun Yat-sen University（中山大学）；Beijing Institute of General Artificial Intelligence（北京通用人工智能研究院）；Peking University（北京大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
The Nature of NLP: Analyzing Contributions in NLP Papers
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science and Hessian Center for AI (hessian.AI) Technische Universität Darmstadt（德累斯顿技术大学计算机科学系及海瑟森人工智能中心）；IT:U Interdisciplinary Transformation University Austria（奥地利 interdisciplinary Transformation 大学）；IBM Research Europe - Ireland（IBM欧洲爱尔兰研究中心）；National Research Council Canada（加拿大国家研究委员会）
From Explainable to Interpretable Deep Learning for Natural Language Processing in Healthcare: How Far from Reality?
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Harvard Medical School（哈佛医学院）；Boston Children’s Hospital（波士顿儿童医院）；University of Southampton（南安普顿大学）；Athena Research Centre（雅典娜研究中心）
Social Good or Scientific Curiosity? Uncovering the Research Framing Behind NLP Artefacts
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；Cardiff University（卡迪夫大学）；Queen Mary University of London（伦敦女王学院）
Interpretable AI for Time-Series: Multi-Model Heatmap Fusion with Global Attention and NLP-Generated Explanations
Department of Electrical and Computer Engineering, Iowa State University, Ames, 50011 IA USA（电气与计算机工程系，爱荷华州立大学）；Department of Agricultural Biosystem Engineering, Iowa State University, Ames,IA 50011 USA（农业生物系统工程系，爱荷华州立大学）
HausaNLP: Current Status, Challenges and Future Directions for Hausa Natural Language Processing
Imperial College London（伦敦帝国理工学院）；Northeastern University（东北大学）；Data Science for Social Impact, University of Pretoria（比勒陀利亚大学数据科学为社会影响）；Kaduna State University（卡杜纳州大学）；HausaNLP；Bayero University, Kano（卡诺巴耶罗大学）；Universiti Teknologi PETRONAS（PETRONAS科技大学）；University of the Witwatersrand（沃斯堡大学）；Federal University of Lafia（拉法联邦大学）
A Review of Incorporating Psychological Theories in LLMs
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Department of Psychology, Barnard College（巴纳德学院心理学系）；The Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）
Missing Information, Unresponsive Authors, Experimental Flaws: The Impossibility of Assessing the Reproducibility of Previous Human Evaluations in NLP
ADAPT/DCU（ADAPT中心/都柏林城市大学）；University of Aberdeen（阿伯丁大学）；Bielefeld University（比勒费尔德大学）；Dataminr（Dataminr公司）；Edinburgh Napier University（爱丁堡龙比亚大学）；Georgia Tech（佐治亚理工学院）；Google Research（谷歌研究院）；Groningen University（格罗宁根大学）；Heriot-Watt University（赫瑞-瓦特大学）；Charles University Prague（布拉格查理大学）；Tohoku University（东北大学）；Peking University（北京大学）；Technological University Dublin（都柏林理工大学）；Tilburg University（蒂尔堡大学）；trivago（trivago公司）；University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Utrecht University（乌得勒支大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
Pragmatics in the Era of Large Language Models: A Survey on Datasets, Evaluation, Opportunities and Challenges
LMU Munich & Munich Center for Machine Learning（慕尼黑大学及慕尼黑机器学习中心）；University of Cologne（科隆大学）；University of Augsburg（奥格斯堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Columbia University（哥伦比亚大学）；University of Maryland, College Park（马里兰大学学院市分校）
