Vijay Arya, Rachel K. E. Bellamy, Pin-Yu Chen, Amit Dhurandhar, Michael Hind, Samuel C. Hoffman, Stephanie Houde, Q. Vera Liao, Ronny Luss, Aleksandra Mojsilovi… 展开作者
Vijay Arya, Rachel K. E. Bellamy, Pin-Yu Chen, Amit Dhurandhar, Michael Hind, Samuel C. Hoffman, Stephanie Houde, Q. Vera Liao, Ronny Luss, Aleksandra Mojsilovic, Sami Mourad, Pablo Pedemonte, Ramya Raghavendra, John Richards, Prasanna Sattigeri, Karthikeyan Shanmugam, Moninder Singh, Kush R. Varshney, Dennis Wei, Yunfeng Zhang
备注：
arXiv admin note: text overlap with arXiv:1909.03012
随着人工智能和机器学习算法在社会上越来越普遍，多个利益相关者都在呼吁这些算法提供解释。同时，这些利益相关者，无论是受影响的公民，政府监管机构，领域专家还是系统开发人员，都有不同的解释需求。为了满足这些需求，我们于2019年创建了AI Explainability 360（Arya等人，2020），这是一个开源软件工具包，包含十种不同且最先进的可解释性方法和两个评估指标。本文通过几个案例研究、统计数据和社区反馈来研究该工具包的影响。用户体验AI Explainability 360的不同方式导致了多种类型的影响和多个指标的改进，独立的LF AI & Data Foundation采用该工具包突出了这一点。文件还介绍了该工具包的灵活设计、使用实例以及向用户提供的重要教育材料和文件。
英文摘要：
As artificial intelligence and machine learning algorithms become increasingly prevalent in society, multiple stakeholders are calling for these algorithms to provide explanations. At the same time, these stakeholders, whether they be affected citizens, government regulators, domain experts, or system developers, have different explanation needs. To address these needs, in 2019, we created AI Explainability 360 (Arya et al. 2020), an open source software toolkit featuring ten diverse and state-of-the-art explainability methods and two evaluation metrics. This paper examines the impact of the toolkit with several case studies, statistics, and community feedback. The different ways in which users have experienced AI Explainability 360 have resulted in multiple types of impact and improvements in multiple metrics, highlighted by the adoption of the toolkit by the independent LF AI & Data Foundation. The paper also describes the flexible design of the toolkit, examples of its use, and the significant educational material and documentation available to its users.
A Completion-Aware Framework for Impactful Counterfactual Explainability in Graph Neural Networks
Institute of Computer Science, Foundation for Research and Technology - Hellas (FORTH)（计算机科学研究所，研究与技术基金会 - 希腊（FORTH））；Computer Science Department, University of Crete（克里特大学计算机科学系）
Explainability of Traditional and Deep Learning Models on Longitudinal Healthcare Records
Amazon ML Solutions Lab（亚马逊机器学习解决方案实验室）；Merck & Co., Inc.（默沙东公司）
深度学习的最新进展已经引起了对在纵向医疗保健记录上训练深度学习模型以预测一系列医疗事件的兴趣，其中模型展示出高预测性能。然而，预测性能是必要的，但还不够，需要模型的解释和推理来说服临床医生持续使用。对可解释性的严格评估往往是缺失的，因为模型（传统与深度）和各种可解释性方法之间的比较尚未得到充分研究。此外，根据临床医生的观点，评估可解释性所需的基本事实可能是高度主观的。我们的工作是第一个在纵向医疗保健数据的全局和个体预测水平上评估传统（XGBoost）和深度学习（LSTM with Attention）模型之间和内部的可解释性性能的工作之一。我们使用三种流行的方法比较了可解释性：1）SHapley加法解释（SHAP），2）分层相关传播（LRP）和3）注意力。这些实现被应用于合成生成的数据集与设计的地面实况和现实世界的医疗保险索赔数据集。我们发现，总体而言，与XGBoost相比，SHAP或LRP的LSTM在全局和局部水平上都提供了更好的可解释性，而点积注意力的LSTM未能产生合理的结果。随着医疗保健数据量的爆炸式增长和深度学习的进步，评估可解释性的需求将是在医疗保健环境中成功采用深度学习模型的关键。
The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Towards Explainable Federated Learning: Understanding the Impact of Differential Privacy
1 Institute of Exact；Natural Sciences, Federal University of Par\'a, Brazil；Resource Optimization in Networks -- PROTON Lab School of Electrical, Computer；Energy Engineering, Arizona State University, Tempe, AZ, USA；3 Faculty of Mathematics \& Science, Brock University, Canada
Algorithm-Agnostic Explainability for Unsupervised Clustering
The Tri-institutional Center for Translational Research in Neuroimaging and Data Science（三机构神经影像与数据科学转化研究中心）；Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
SMT-EX: An Explainable Surrogate Modeling Toolbox for Mixed-Variables Design Exploration
AwanTunai（阿旺图奈）；ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；Bandung Institute of Technology（万隆理工学院）；ISAE-SUPAERO（法国高等航空航天学院）；MINES ALBI（阿尔比矿业学院）；INSA（法国国立应用科学学院）；CNRS（法国国家科学研究中心）
Explainability for Large Language Models: A Survey
New Jersey Institute of Technology（新泽西理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Wake Forest University（维克森林大学）；University of Georgia（佐治亚大学）；Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Baidu Inc.（百度公司）；Rice University（莱斯大学）
Green LIME: Improving AI Explainability through Design of Experiments
Institute of Applied Statistics, Johannes Kepler University Linz（应用统计研究所，约翰尼斯·凯普勒大学林茨）；Faculty of Mathematics, Physics and Informatics, Comenius University Bratislava（数学、物理和信息学学院，科门尼乌斯大学布拉迪斯拉瓦）
Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma（俄克拉荷马大学强天气与高影响天气合作研究所）；University of Oklahoma（俄克拉荷马大学）；NOAA/OAR/National Severe Storms Laboratory（美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室）；Verisk Analytics Incorporated（Verisk分析公司）；NSF AI Institute for Research on Trustworthy AI in Weather, Climate, and Coastal Oceanography（美国国家科学基金会天气、气候与沿海海洋学可信人工智能研究人工智能研究所）
Explaining Machine Learning Models using Entropic Variable Projection
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Artificial and Natural Intelligence Toulouse Institute (3IA ANITI)（图卢兹人工智能与自然智能研究所（3IA ANITI））；Institut de recherche en informatique de Toulouse（图卢兹计算机科学研究所）
Explainable AI for Engineering Design: A Unified Approach of Systems Engineering and Component- Based Deep Learning Demonstrated by Energy- Efficient Building Design
Leibniz University Hannover（汉诺威莱布尼茨大学）；Technical University of Munich（慕尼黑工业大学）
Uppsala University（乌普萨拉大学）；INESC-ID（INESC-ID（葡萄牙系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Institute for Intelligent Systems and Robotics, CNRS UMR 7222（法国国家科学研究中心UMR 7222智能系统与机器人研究所）；Sorbonne Université（索邦大学）
