Machine learning methods have been remarkably successful in material science, providing novel scientific insights, guiding future laboratory experiments, and accelerating materials discovery. Despite the promising performance of these models, understanding the decisions they make is also essential to ensure the scientific value of their outcomes. However, there is a recent and ongoing debate about the diversity of explanations, which potentially leads to scientific inconsistency. This Perspective explores the sources and implications of these diverse explanations in ML applications for physical sciences. Through three case studies in materials science and molecular property prediction, we examine how different models, explanation methods, levels of feature attribution, and stakeholder needs can result in varying interpretations of ML outputs. Our analysis underscores the importance of considering multiple perspectives when interpreting ML models in scientific contexts and highlights the critical need for scientists to maintain control over the interpretation process, balancing data-driven insights with domain expertise to meet specific scientific needs. By fostering a comprehensive understanding of these inconsistencies, we aim to contribute to the responsible integration of eXplainable Artificial Intelligence (XAI) into physical sciences and improve the trustworthiness of ML applications in scientific discovery.
Model Science: getting serious about verification, explanation and control of AI systems
Centre for Credible AI, Warsaw University of Technology, University of Warsaw（可信AI研究中心，华沙技术大学，华沙大学）；Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute, Technical University of Berlin, Germany BIFOLD - Berlin Institute for the Foundations of Learning（人工智能系，弗劳恩霍夫 Heinrich Hertz 研究所，柏林技术大学，德国 BIFOLD - 柏林学习与数据基础研究所）
Which Explanation Should I Choose? A Function Approximation Perspective to Characterizing Post Hoc Explanations
Harvard University（哈佛大学）
事后可解释性领域的一个关键问题是方法之间缺乏共同的基本目标。例如，一些方法的动机是函数逼近，一些是博弈论概念，还有一些是获得清晰的可视化。这种目标的碎片化不仅导致对解释的概念理解不一致，而且还导致不知道何时使用哪种方法的实际挑战。在这项工作中，我们开始通过统一八种流行的事后解释方法（LIME，C-LIME，KernelSHAP，Occlusion，Vanilla Quantients，Quantients x Input，SmoothGrad和Integrated Quantients）来解决这些挑战。我们发现，这些方法都执行本地功能近似的黑盒模型，不同的只是在附近和损失函数用于执行近似。这种统一使我们能够（1）陈述解释方法的没有免费的午餐定理，证明没有任何方法可以在所有邻域中表现最佳，以及（2）提供基于对黑盒模型的忠诚度的方法选择的指导原则。我们使用各种真实世界的数据集，模型类和预测任务来实证验证这些理论结果。通过将不同的解释方法纳入一个共同的框架，这项工作（1）推进了对这些方法的概念理解，揭示了它们共享的局部函数逼近目标、属性和彼此之间的关系，（2）指导这些方法在实践中的使用，提供了一个原则性的方法来选择方法并为创建新方法铺平道路。
Explainable Artificial Intelligence (XAI) from a user perspective- A synthesis of prior literature and problematizing avenues for future research
LUT University（拉彭兰塔-拉赫蒂工业大学）；Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（挪威科技工业研究院数字研究所）
系统性文献综述（SLR）的最终检索查询于2022年7月15日进行。最初，我们从Scopus和Web of Science数据库中提取了1707篇期刊和会议文章。然后应用纳入和排除标准，选择58篇文章进行SLR。研究结果显示了塑造AI解释的四个维度，即格式（解释表示格式），完整性（解释应包含所有必要的信息，包括补充信息），准确性（关于解释准确性的信息）和货币（解释应包含最近的信息）。此外，随着解释的自动表示，用户可以在需要时请求附加信息。我们还发现了XAI效应的五个维度：信任、透明度、可理解性、可用性和公平性。此外，我们调查了当前的知识，从选定的文章问题化未来的研究议程，随着可能的研究路径的研究问题。因此，XAI及其对用户行为可能产生的影响的综合框架已经开发出来。
