FedMM-X: A Trustworthy and Interpretable Framework for Federated Multi-Modal Learning in Dynamic Environments
University of California, San Diego（加州大学圣地亚哥分校）
本文提出FedMM-X框架，通过结合联邦学习与可解释多模态推理，利用跨模态一致性检查、客户端级可解释性机制和动态信任校准，有效解决数据异构与模态不平衡问题，提升了去中心化动态环境下模型的准确率、可解释性与可信度。
2025-06-30 cs.AI cs.LG
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL（洛桑联邦理工学院）
针对事后解释器不一致的问题，本文提出转向可解释的神经网络架构，并给出五种需求与两种方案，主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Interpretable deep-learning models to help achieve the Sustainable Development Goals
KTH Royal Institute of Technology（瑞典皇家理工学院）；AI Sustainability Center（人工智能可持续发展中心）；Saxion University of Applied Sciences（萨克逊应用科学大学）
我们讨论了我们对可解释的人工智能（AI）模型的见解，以及它们在开发道德AI系统以及符合可持续发展目标（SDG）的数据驱动解决方案方面的重要性。我们强调了从深度学习方法中提取真正可解释的模型的潜力，例如通过归纳偏见获得的符号模型，以确保人工智能的可持续发展。
2021-08-24 cs.AI cs.LG
CONFIDERAI: a novel CONFormal Interpretable-by-Design score function for Explainable and Reliable Artificial Intelligence
Institute of Electronics, Information Engineering and Telecommunications - National Research Council of Italy (CNR-IEIIT)（电子信息与电信研究所 - 意大利国家科研理事会（CNR-IEIIT））；Politecnico di Torino - Department of Control and Computer Engineering (DAUIN)（托尼诺理工学院 - 控制与计算机工程系（DAUIN））；Rulex Innovation Labs（Rulex创新实验室）
本研究提出人工智能可信的第六大支柱共形性，定义CONFIDERAI评分函数结合共形预测与规则分类器，通过共形临界集优化规则，在多现实场景数据集上取得良好效果。
2024-06-05 cs.LG stat.ML
Interpretable and Calibrated Classification of Clinical Data Using Supervised Feature Binarization
Worcester Polytechnic Institute（伍斯特理工学院）；Centro de Vacunación e Investigación (CEVAXIN)（疫苗接种与研究中心（CEVAXIN））；Universidad Tecnológica de Panamá（巴拿马技术大学）；Massachusetts Institute of Technology（麻省理工学院）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学布罗德研究所）；McGill University（麦吉尔大学）；The Montreal Neurological Hospital-Institute（蒙特利尔神经学医院研究所）
研究针对医学数据分类中黑箱模型的问题，引入基于统计学的框架，用伯努利朴素贝叶斯模型并结合\(\chi^2\)引导的统计二值化方法，在多数据集上评估，性能与复杂模型相当，还提供可解释规则和校准风险估计。
2026-09-18 cs.LG
Energy-frugal and Interpretable AI Hardware Design using Learning Automata
Newcastle University（纽卡斯尔大学）；The University of Edinburgh（爱丁堡大学）；University of Agder（阿格德尔大学）；Valencia Polytechnic University（瓦伦西亚理工大学）
本文研究基于 Tsetlin machine 的节能且可解释的 AI 硬件设计，通过调整超参数平衡能效与学习效能，并利用 SystemC 模型和博弈论分析验证了其在硬件故障下的状态可达性与学习收敛性。
2023-05-19 cs.AI cs.LG
Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence
Tsinghua University（清华大学）；Suzhou Automotive Research Institute, Tsinghua University（清华大学苏州汽车研究院）
决策和控制是高级自动驾驶汽车的核心功能。当前的主流方法，如功能分解和端到端强化学习（RL），要么具有较高的时间复杂度，要么具有较差的可解释性和适应性。在本文中，我们提出了一个可解释的和计算效率高的框架，称为集成决策和控制（IDC）的自动驾驶汽车，它分解成静态路径规划和动态优化跟踪的分层结构的驾驶任务。首先，静态路径规划生成几个候选路径只考虑静态交通元素。然后，设计了动态最优跟踪算法，在考虑动态障碍物的情况下跟踪最优路径。为此，我们制定了一个约束最优控制问题（OCP）的每个候选路径，分别优化它们，并遵循一个最佳的跟踪性能。为了减轻繁重的在线计算，我们提出了一个基于基于模型的强化学习（RL）算法，可以作为一个近似的约束OCP求解器。具体地说，所有路径的OCP被认为是在一起，以构建一个完整的RL问题，然后解决离线的价值和策略网络的形式，分别为实时在线路径选择和跟踪。我们在模拟和现实世界中验证我们的框架。结果表明，与基线方法相比，IDC的在线计算效率提高了一个数量级，以及更好的驾驶性能，包括交通效率和安全性。此外，它产生了很大的解释性和适应性之间的不同的驾驶任务。在复杂交通条件下的实际道路试验中也证明了该方法的有效性。
2021-05-11 cs.LG cs.RO
Physically Interpretable AlphaEarth Foundation Model Embeddings Enable LLM-Based Land Surface Intelligence
Dartmouth College（达特茅斯学院）
基于AlphaEarth基础模型的可解释嵌入，通过检索增强生成实现地表智能，验证了卫星嵌入在环境决策中的有效性。
2026-02-10 cs.CL cs.LG
Discovering an interpretable mathematical expression for a full wind-turbine wake with artificial intelligence enhanced symbolic regression
School of Ocean and Civil Engineering, Shanghai Jiao Tong University（上海交通大学海洋与土木工程学院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）
本研究提出一种遗传符号回归算法，结合双高斯分布领域知识与分层方程结构，发现了全尾流区平均速度亏损的可解释数学表达式，该模型经实验与高保真数值模拟验证，具备高精度与稳健性。
2024-06-02 cs.LG cs.SC physics.flu-dyn
Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher（独立研究员）；University of Maryland（马里兰大学）
提出ICALens，基于独立成分分析（ICA）高效提取语言模型表示中可解释方向，无需训练稀疏自编码器，在SAEBench上表现竞争力。
2026-10-20 cs.AI cs.CL cs.LG
Interpretable Medical Imagery Diagnosis with Self-Attentive Transformers: A Review of Explainable AI for Health Care
University of Sydney（悉尼大学）
本综述聚焦可解释人工智能在医学影像诊断中的应用，总结视觉Transformer的最新进展及其解释方法，以提升医疗决策的透明度。
2023-09-01 cs.CV cs.LG
Granular-ball computing: an efficient, robust, and interpretable adaptive multi-granularity representation and computation method
Chongqing Key Laboratory of Computational Intelligence, Key Laboratory of Cyberspace Big Data Intelligent Security, Ministry of Education, and Key Laboratory of Big Data Intelligent Computing, Chongqing University of Posts and Telecommunications（重庆邮电大学计算智能重庆市重点实验室、网络空间大数据智能安全教育部重点实验室、大数据智能计算重点实验室）；College of Computer and Information Science, the National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学计算机与信息科学学院、重庆国家应用数学中心）
本文提出颗粒球计算框架，通过自适应多粒度表示提升AI效率与可解释性，涵盖监督学习、无监督学习及跨学科应用，识别开放挑战与未来方向。
2026-06-29 cs.AI cs.LG
Playstyle and Artificial Intelligence: An Initial Blueprint Through the Lens of Video Games
National Yang Ming Chiao Tung University（阳明交通大学）
本论文提出以游戏风格为视角，构建风格形成框架，定义度量指标，并探索通过强化学习与模仿学习生成风格化智能体，以补充理性决策范式，推动AGI发展。
2025-08-26 cs.AI cs.LG cs.MA
End-to-end Stroke imaging analysis, using reservoir computing-based effective connectivity, and interpretable Artificial intelligence
AGH University of Krakow（克拉科夫AGH科技大学）；Sano, center for computational medicine（Sano计算医学中心）
针对卒中脑网络影像分析需求，提出基于储备池计算有效连接构建有向图、结合图卷积分类与可解释AI的端到端流水线，在异质数据集上AUC达0.69，可解释卒中相关网络异常。
2024-07-17 cs.CV cs.LG
Vision Paper: Causal Inference for Interpretable and Robust Machine Learning in Mobility Analysis
ETH Zürich（苏黎世联邦理工学院）；Prescient Design, Genentech | Roche（罗氏旗下基因泰克Prescient Design）；Swiss Data Science Center（瑞士数据科学中心）
人工智能（AI）正在彻底改变我们生活的许多领域，引领技术进步的新时代。特别是，交通部门将受益于人工智能的进步，并推动智能交通系统的发展。构建智能交通系统需要人工智能和移动性分析的复杂组合。在过去的几年里，使用先进的深度神经网络的交通应用得到了快速发展。然而，这种深度神经网络很难解释并且缺乏鲁棒性，这减缓了这些人工智能算法在实践中的部署。为了提高它们的可用性，越来越多的研究工作致力于开发可解释和鲁棒的机器学习方法，其中因果推理方法最近获得了牵引力，因为它提供了可解释和可操作的信息。此外，这些方法中的大多数是针对图像或序列数据开发的，这些数据不满足移动性数据分析的特定要求。这篇愿景论文强调了基于深度学习的移动性分析中需要可解释性和鲁棒性的研究挑战，总结了使用因果推理提高机器学习方法的可解释性和鲁棒性的最新进展，并强调了开发面向移动性分析的因果启用机器学习模型的机会。这一研究方向将使人工智能在交通领域的应用更具可解释性和可靠性，从而为更安全、更高效、更可持续的未来交通系统做出贡献。
2022-10-18 cs.AI cs.LG
LymphoML: An interpretable artificial intelligence-based method identifies morphologic features that correlate with lymphoma subtype
Stanford University（斯坦福大学）；Stanford University School of Medicine（斯坦福大学医学院）；Harvard Medical School（哈佛医学院）；La Liga Nacional Contra el Cáncer de Guatemala (INCAN)（危地马拉国家抗癌联盟（INCAN））；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）
提出可解释机器学习方法LymphoML，通过处理H&E染色组织、分割细胞并训练梯度提升模型，在670例数据上优于黑盒深度学习，并首次证明结合6种免疫染色的模型准确率接近46种染色组合。
2023-11-20 cs.AI cs.CV cs.LG
An Interpretable Rule Creation Method for Black-Box Models based on Surrogate Trees -- SRules
Universidad Politécnica de Madrid（马德里理工大学）
本文提出SRules方法，通过递归创建代理决策树近似黑盒模型决策边界，平衡准确率、覆盖率和可解释性，生成可量化置信度与覆盖率的规则，优于现有技术并支持模型局部高可解释性。
2024-07-29 cs.LG
Model Interpretability through the Lens of Computational Complexity
Institute for Mathematical and Computational Engineering, PUC-Chile（智利天主教大学数学与计算工程学院）；Inria Lille（里尔信息与自动化研究所）；Universidad de Chile（智利大学）；Millennium Institute for Foundational Research on Data（数据基础研究千年研究所）
尽管有几种说法认为有些模型比其他模型更容易解释，例如，“线性模型比深度神经网络更可解释“--我们仍然缺乏一个原则性的可解释性概念来正式比较不同类别的模型。通过研究民间传说的可解释性是否与计算复杂性理论相关，我们向这样一个概念迈进了一步。我们专注于局部事后可解释性查询，直观地说，试图回答为什么个别输入以某种方式由给定的模型进行分类。简而言之，如果回答$\mathcal{C}_2$中模型的事后查询的计算复杂度高于$\mathcal{C}_1$中模型的计算复杂度，则我们说模型的一个类$\mathcal{C}_1$比另一个类$\mathcal{C}_2$更可解释。我们证明，这一概念提供了一个很好的理论对应目前的信念模型的可解释性，特别是，我们表明，在我们的定义和假设标准的复杂性理论假设（如P $\neq$ NP），线性和树为基础的模型是严格的解释比神经网络。然而，我们的复杂性分析并没有提供线性模型和基于树的模型之间的明确区别，因为我们根据所考虑的特定事后解释获得不同的结果。最后，通过应用基于参数化复杂性的更精细的复杂性分析，我们能够证明一个理论结果，表明浅层神经网络比深层网络更可解释。
2020-11-12 cs.AI cs.CC cs.LG
Towards Fully Interpretable Deep Neural Networks: Are We There Yet?
National University of Singapore（新加坡国立大学）
尽管性能卓越，但深度神经网络（DNN）的行为就像黑盒子一样，阻碍了用户对人工智能（AI）系统的信任。关于开放黑盒DNN的研究可以大致分为事后方法和内在可解释的DNN。虽然已经对事后解释方法进行了许多调查，但很少有人致力于内在可解释的DNN。本文综述了开发具有内在可解释性的DNN的现有方法，重点是卷积神经网络（CNN）。其目的是了解目前在完全可解释的DNN方面的进展，这些DNN可以满足不同的解释要求。最后，我们确定了目前工作中的差距，并提出了潜在的研究方向。
2021-06-24 cs.CV cs.LG
Explainable Artificial Intelligence for identifying profitability predictors in Financial Statements
University of Milano-Bicocca（米兰比可卡大学）
本文针对公司盈利趋势预测难题，利用AIDA数据库中的原始财务数据应用机器学习技术进行模型比较研究，并提出基于博弈论的可解释人工智能方法以识别关键特征，提升模型可解释性。
2025-01-29 cs.LG
Towards a Transparent and Interpretable AI Model for Medical Image Classifications
School of Artificial Intelligence, Guilin University of Electronic Technology（桂林电子科技大学人工智能学院）；The Laboratory for Imagery, Vision and Artificial Intelligence, Ecole de Technologie Superieure（图像、视觉与人工智能实验室，超技术学院）；College of Medicine, Taibah University（塔伊巴大学医学院）；Prince Mohammed Bin Abdulaziz Hospital, Ministry of National Guard Health Affairs（穆罕默德·本·阿卜杜勒阿齐兹医院，国家守卫健康事务部）
本文研究可解释人工智能（XAI）在医学图像分类中的应用，通过多种医学数据集模拟阐明模型内部机制，以提升AI决策透明度和临床实用性。
2025-09-20 cs.CV cs.LG
Accurate and Rapid Diagnosis of COVID-19 Pneumonia with Batch Effect Removal of Chest CT-Scans and Interpretable Artificial Intelligence
Sharif University of Technology（谢里夫理工大学）；Tehran University of Medical Sciences（德黑兰医科大学）；Iran University of Medical Sciences（伊朗医科大学）
COVID-19是一种传播率很高的病毒，需要快速识别感染患者以减少疾病的传播。目前的金标准测试，逆转录聚合酶链反应（RT-PCR），有很高的假阴性率。从CT扫描图像诊断作为一种更准确的替代方法，面临着将COVID-19与其他肺炎疾病区分开来的挑战。人工智能可以帮助放射科医生和医生加速诊断过程，提高诊断准确性，并测量疾病的严重程度。我们设计了一种新的可解释的深度神经网络，用于从轴向肺部CT扫描图像中区分健康人、COVID-19患者和其他肺炎疾病患者。我们的模型还检测感染区域并计算感染肺体积的百分比。我们首先对图像进行预处理以消除不同设备的批量效应，然后采用弱监督方法对模型进行训练，而不需要对感染部位进行任何标记。我们在来自6个不同医疗中心的3359个样本的大型数据集上训练和评估了该模型。该模型在区分健康人和疾病以及COVID-19与其他疾病方面的敏感性分别达到97.75%和98.15%，特异性分别达到87%和81.03%。它也表现出类似的性能，从6个不同的医疗中心，证明了其普遍性的1435样本。该模型在大型多样化数据集上的性能，其通用性和可解释性使其适合用作可靠的诊断系统。
2021-01-08 cs.CV cs.LG eess.IV
Interpretable ML for Imbalanced Data
National Research Council of Canada（加拿大国家研究委员会）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Naval Research Laboratory（美国海军研究实验室）
深度学习模型正越来越多地应用于医学、自动驾驶和智能分析等高风险领域的不平衡数据。不平衡的数据加剧了深度网络的黑盒子性质，因为类之间的关系可能是高度倾斜和不清楚的。这可能会降低模型用户的信任度，并阻碍不平衡学习算法开发人员的进展。现有的方法，调查不平衡的数据复杂性是面向二进制分类，浅学习模型和低维数据。此外，当前的可解释人工智能（XAI）技术主要集中于将不透明的深度学习模型转换为更简单的模型（例如，决策树）或将特定实例的预测映射到输入，而不是检查全局数据属性和复杂性。因此，需要一种为现代深度网络量身定制的框架，其包含大型、高维、多类数据集，并揭示通常在不平衡数据中发现的数据复杂性（例如，类重叠、子概念和异常值实例）。我们提出了一套技术，可用于深度学习模型用户识别，可视化和理解类原型，子概念和离群实例;并由不平衡的学习算法开发人员检测功能和类样本是模型性能的关键。我们的框架还确定了类决策边界，它可以携带高度歧视性的信息的边界上驻留的实例。与将模型决策映射到灰度像素位置的许多现有XAI技术不同，我们通过反向传播使用显着性来识别和聚合整个类中的图像色带。我们的框架在\url{https://github.com/dd1github/XAI_for_Imbalanced_Learning}上公开提供
2022-12-15 cs.LG
Evaluating explainable artificial intelligence methods for multi-label deep learning classification tasks in remote sensing
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）
虽然深度神经网络在一些遥感任务中具有最先进的技术水平，但其黑箱操作阻碍了对其决策的理解，隐藏了数据集和模型性能中的任何偏差和其他缺点。为此，我们已经在遥感多标签分类任务中应用了可解释的人工智能（XAI）方法，以产生人类可解释的解释并提高透明度。特别是，我们在基准BigEarthNet和SEN 12 MS数据集中使用和训练了具有最先进性能的深度学习模型。采用了十种XAI方法来理解和解释模型的预测，以及量化指标来评估和比较它们的性能。进行了许多实验来评估XAI方法在简单预测情况下，竞争多个标签以及错误分类情况下的整体性能。根据我们的研究结果，闭塞，梯度CAM和石灰是最可解释和可靠的XAI方法。然而，没有一个提供高分辨率输出，而除了Grad-CAM，Lime和Occlusion都是计算昂贵的。我们还强调了XAI性能的不同方面，并详细阐述了对黑盒决策的见解，以提高透明度，了解其行为并揭示数据集的特殊性。
2021-09-20 cs.CV cs.LG
Query Lens: Interpreting Sparse Key-Value Features with Indirect Effects
KAIST（韩国科学技术院）
提出Query Lens方法，通过考虑编码器侧键特征和解码器侧值特征以及下游模块的间接效应，实现对稀疏自编码器特征更全面、忠实的解释。
2026-05-30 cs.AI cs.LG
From superposition to sparse codes: interpretable representations in neural networks
Cold Spring Harbor Laboratory（冷泉港实验室）；Australian National University（澳大利亚国立大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
针对神经网络特征叠加表示问题，提出包含可辨识性理论、稀疏编码和定量可解释性指标的三步理论框架，以从神经激活中提取与人类概念对齐的可解释特征。
2025-03-03 cs.LG
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
如今，深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而，深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战，引发了道德和司法问题，导致缺乏信任。可解释人工智能（XAI）是人工智能（AI）的一个领域，它促进了一套工具，技术和算法，可以生成高质量的可解释，直观，人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外，本文还提供了开创性工作的数学总结。我们首先提出了一个分类法，并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类，这有助于构建可信、可解释和自我解释的深度学习模型。然后，我们描述了XAI研究中使用的主要原则，并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后，我们评估了八种XAI算法在图像数据上生成的解释图，讨论了这种方法的局限性，并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
Forma mentis networks predict creativity ratings of short texts via interpretable artificial intelligence in human and GPT-simulated raters
University of Trento（特伦托大学）
本研究利用 TFMN 特征、XGBoost 与 SHAP 比较人类和 GPT-3.5 对短故事的创造力评分，揭示二者依赖的特征模式差异及 GPT-3.5 对齐人类判断的局限。
2024-11-30 cs.AI cs.CL cs.LG
Local Interpretable Model Agnostic Shap Explanations for machine learning models
ABB Ability Innovation Center, Asea Brown Boveri Company（ABB集团ABB能力创新中心）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着基于人工智能（AI）的解决方案和分析计算引擎技术的进步，机器学习（ML）模型变得越来越复杂。这些模型中的大多数通常被用作黑箱，没有用户可解释性。如此复杂的机器学习模型使人们更难理解或信任他们的预测。有各种各样的框架使用可解释的AI（XAI）方法来证明ML模型的可解释性和可解释性，以使其预测更加可信。在这篇手稿中，我们提出了一种方法，我们定义为本地可解释模型不可知的形状解释（LIMASE）。所提出的ML解释技术使用LIME范式下的Shapley值来实现以下（a）通过使用局部忠实和可解释的决策树模型来解释任何模型的预测，其中树解释器用于计算Shapley值并给出视觉上可解释的解释。(b)通过绘制几个数据点的局部解释，提供视觉上可解释的全局解释。(c)演示子模块优化问题的解决方案。(d)还带来了对区域解释的洞察e）与使用内核解释器相比更快的计算。
2022-10-10 cs.AI cs.LG
Explainability Is in the Mind of the Beholder: Establishing the Foundations of Explainable Artificial Intelligence
University of Bristol（布里斯托大学）；RMIT University（皇家墨尔本理工大学）
可解释的人工智能和可解释的机器学习是越来越重要的研究领域。然而，基本概念仍然有些难以捉摸，缺乏普遍商定的定义。虽然最近来自社会科学的灵感使工作重新关注人类接受者的需求和期望，但该领域仍然缺乏具体的概念化。我们采取措施，通过审查人类可解释性的哲学和社会基础来应对这一挑战，然后我们将其转化为技术领域。特别是，我们仔细检查的概念，算法的黑盒子和频谱的解释过程和被解释者的背景知识确定的理解。这种方法使我们能够将可解释性定义为（逻辑）推理，适用于在背景知识下解释的透明见解（可能是黑盒，预测系统），并置于特定的上下文中-这是一个在选定的一组被解释者中产生理解的过程。然后，我们采用这种概念化，重新审视评估可解释性的策略，以及透明度和预测能力之间备受争议的权衡，包括其对事前和事后技术的影响，以及由可解释性建立的公平性和问责制。我们还讨论了机器学习工作流程中可能需要可解释性的组件，这些组件基于以人为中心的可解释性的一系列想法，特别关注被解释者，对比陈述和解释过程。我们的讨论调和和补充了当前的研究，以帮助更好地解决开放性问题-而不是试图解决任何个别问题-从而为可解释的人工智能和可解释的机器学习的基础讨论和未来进展奠定了坚实的基础。
2022-09-09 cs.AI cs.LG stat.ML
Fairness Assessment for Artificial Intelligence in Financial Industry
ATB Financial（ATB金融）
人工智能（AI）是金融业发展和变革的重要驱动力。然而，随着人工智能技术和应用的快速发展，无意的偏见，不充分的模型验证，不成熟的应急计划和其他被低估的威胁可能会使公司面临运营和声誉风险。在本文中，我们通过定量的视角关注公平性评估，这是人工智能治理的关键组成部分之一。统计方法进行审查不平衡的数据处理和偏见缓解。这些方法和公平性评价指标，然后应用到信用卡违约支付的例子。
2019-12-16 cs.LG stat.AP stat.ML
Causality-Aware Local Interpretable Model-Agnostic Explanations
University of Pisa（比萨大学）
本文针对XAI方法的特征独立性假设缺陷，提出一种整合因果知识的局部模型无关解释器扩展，通过在数据中编码显式因果关系，提升了黑盒模型解释的忠实度、一致性与可靠性。
2024-04-15 cs.AI cs.LG
Explainable Artificial Intelligence Architecture for Melanoma Diagnosis Using Indicator Localization and Self-Supervised Learning
University of Southern California（南加州大学）
黑色素瘤是一种流行的致命类型的癌症，如果在发展的早期阶段诊断出来，是可以治疗的。皮肤病变是诊断黑色素瘤的典型指标，但由于黑色素瘤早期癌性和良性病变的高度相似性，它们经常导致诊断延迟。深度学习（DL）可以用作以高准确度对皮肤病变图片进行分类的解决方案，但是深度学习的临床采用面临重大挑战。原因是深度学习模型的决策过程通常是不可解释的，这使得它们成为难以信任的黑箱。我们开发了一种用于黑色素瘤诊断的可解释的深度学习架构，该架构为其决策生成临床可解释的视觉解释。我们的实验表明，我们提出的架构匹配临床解释显着优于现有的架构。
2023-03-26 cs.CV cs.LG
A Vertical Federated Learning Method for Interpretable Scorecard and Its Application in Credit Scoring
Everbright Technology CO. LTD（光大科技有限公司）
随着大数据和人工智能在多个领域的成功应用，大数据驱动的模型在金融风险管理特别是信用评分和评级中的应用前景广阔。在数据隐私保护的前提下，针对传统的基于有界约束逻辑回归的记分卡，在垂直联邦学习框架下提出了一种基于投影梯度的方法，即FL-LRBC。后者使多个机构能够在一次培训中联合训练优化的记分卡模型。该方法避免了耗时的参数整定过程，从而形成了具有正系数的模型。此外，由于使用FL-LRBC的数据富集，AUC和Kolmogorov-Smirnov（KS）统计量方面的性能显着提高。目前，FL-LRBC已在中国某国有金融控股集团的信贷业务中得到应用。
2020-09-14 cs.LG stat.ML
Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems
Beijing Normal University（北京师范大学）；Duke Kunshan University（昆山杜克大学）；Harbin Institute of Technology at ShenZhen（哈尔滨工业大学（深圳））
本文将物理方程推广为神经偏微分方程（NPDE），通过有限差分法离散化生成深度神经网络基础架构及学习策略，为可解释神经网络和物理人工智能奠定理论基础。
2024-10-10 cs.AI cs.LG
Self-Supervised Interpretable End-to-End Learning via Latent Functional Modularity
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出功能模块化网络MoNet，通过潜在引导对比损失实现无需任务级监督的自监督端到端学习，并结合在线事后可解释性方法，在真实室内导航任务中显著超越基线模型，提升了机器人学习的感知与行为可解释性。
2024-06-05 cs.LG cs.RO
SERF: Interpretable Sleep Staging using Embeddings, Rules, and Features
Georgia Institute of Technology（佐治亚理工学院）
最近基于深度学习的临床决策支持系统的准确性是有希望的。然而，缺乏模型可解释性仍然是人工智能在医疗保健中广泛采用的障碍。以睡眠为例，我们提出了一种可推广的方法，将临床可解释性与黑盒深度学习的高准确性结合起来。临床医生根据多导睡眠图（PSG）确定的睡眠阶段仍然是评估睡眠质量的金标准。然而，由专家进行的PSG手动注释是昂贵的并且时间上令人望而却步。我们提出SERF，可解释的睡眠分期使用嵌入，规则和功能来读取PSG。SERF通过来自AASM睡眠和相关事件评分手册的有意义的特征提供分类睡眠阶段的解释。在SERF中，从卷积和递归神经网络的混合获得的嵌入被转置到可解释的特征空间。这些代表性的可解释的特征用于训练简单的模型，如用于分类的浅决策树。模型结果验证了两个公开的数据集。SERF超过了目前最先进的可解释睡眠分期的2%。使用梯度提升树作为分类器，SERF获得0.766 $κ$和0.870 AUC-ROC，在当前最先进的黑盒模型的2%以内。
2022-09-25 cs.AI cs.LG eess.SP
Deep Learning Through the Lens of Example Difficulty
Google Research（谷歌研究院）
现有的理解深度学习的工作通常采用将所有数据相关信息压缩为几个数字的方法。在这项工作中，我们采用了一种基于个别例子的作用的观点。我们引入了一个衡量对给定输入进行预测的计算难度的指标：（有效）预测深度。我们的广泛调查揭示了给定输入的预测深度与模型的不确定性，置信度，准确性和该数据点的学习速度之间令人惊讶而简单的关系。我们进一步将困难的例子分类为三个可解释的组，展示这些组在深度模型中如何以不同的方式处理，并展示这种理解如何使我们提高预测准确性。从我们的研究中获得的见解导致了文献中一些单独报告的现象的连贯性：早期层概括，而后期层记忆;早期层收敛速度更快，网络首先学习简单的数据和简单的函数。
2021-06-18 cs.LG stat.ML
The Standard Interpretable Model: Design interpretable machine learning methods from elementary symmetries
IBM Research (CH)（IBM研究院（瑞士））；University of Oxford (UK)（牛津大学（英国））；University of Cambridge (UK)（剑桥大学（英国））；KU Leuven (BE)（鲁汶大学（比利时））；Institute of Physics of the Czech Academy of Sciences (CZ)（捷克科学院物理研究所（捷克））
提出标准可解释模型（SIM），基于拉格朗日力学从前提演绎出可解释性对称性和约束，通过最小化拉格朗日函数得到最优可解释模型，解决现有方法局限性并指导新方法设计。
2026-11-09 cs.AI cs.LG cs.NE
Can machines think efficiently?
本文提出一种新的智能评估测试，通过引入能量消耗约束，强调高效性在智能评估中的重要性。
2026-09-02 cs.AI cs.CY cs.LG
Artificial intelligence inspired freeform optics design: a review
本文综述机器学习与深度学习在自由曲面光学设计中的应用，梳理其在初始设计、优化和性能预测中的作用、优势与挑战，并展望混合方法、可解释 AI 与智能制造方向。
2024-10-25 cs.LG physics.optics
Revealing Similar Semantics Inside CNNs: An Interpretable Concept-based Comparison of Feature Spaces
Continental AG（大陆集团）；Hochschule Anhalt（安哈尔特应用技术大学）
本文提出两种基于XAI技术的方法，通过比较CNN潜在空间中概念激活向量的激活，估计不同架构及层间的语义相似性，发现不同CNN会学习相似概念且出现在相似相对层深度，为语义模型可比性提供新途径。
2023-06-27 cs.AI cs.CV cs.LG
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Explainable Artificial Intelligence Techniques for Software Development Lifecycle: A Phase-specific Survey
Google（谷歌）
本文针对软件工程领域XAI研究阶段分布不均的问题，首次全面综述了多种XAI技术在软件开发生命周期全阶段的应用，以推动XAI落地与AI驱动软件开发发展。
2025-05-11 cs.AI cs.LG cs.SE
A Peek Into the Hidden Layers of a Convolutional Neural Network Through a Factorization Lens
University of California Riverside（加州大学河滨分校）
尽管深度神经网络在各种监督学习问题中越来越受欢迎并取得了成功，但它们非常难以解释和调试：给定并已经训练好的深度神经网络，以及一组测试输入，我们如何才能深入了解这些输入如何与神经网络的不同层交互？此外，我们是否可以根据不同输入下观察到的行为来表征给定的深度神经网络？在本文中，我们提出了一种新的基于因子分解的方法来理解不同的深度神经网络如何运行。在我们的初步结果中，我们发现了一些有趣的模式，这些模式将因子分解排名（通常用作无监督数据分析中的兴趣度量）与深度网络的训练效果联系起来。最后，我们提出的方法可以帮助提供关于如何高水平的视觉见解。网络输入的可解释模式在深层网络的隐藏层内表现。
2018-06-06 cs.CV cs.LG stat.ML
Data Science Principles for Interpretable and Explainable AI
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该综述梳理可解释人工智能领域的核心原则，明确相关术语，关联经典统计与设计原则，介绍基础可解释技术并给出评估标准，指出待解决挑战及数据科学的作用。
2024-08-17 cs.LG stat.ML
Explainable Artificial Intelligence in Retinal Imaging for the detection of Systemic Diseases
可解释的人工智能（AI）以可解释和半自动方法的形式对眼部病变进行分期分级，如糖尿病视网膜病变，高血压视网膜病变和主要系统性疾病背景下的其他视网膜病变。该实验研究旨在评估一个可解释的分级过程，而不直接使用深度卷积神经网络（CNN）。目前许多用于诊断视网膜疾病的基于CNN的深度神经网络可能具有可观的性能，但无法确定驱动其决策的基础。为了提高这些决策的透明度，我们提出了一种临床医生在环辅助智能工作流程，该工作流程对眼底图像进行视网膜血管评估，以获得可量化和描述性的参数。视网膜血管参数元数据用作超参数，用于更好地解释和解释决策。半自动方法旨在为医疗保健应用中的AI提供一种联邦方法，并从临床医生那里获得更多的输入和解释。基线过程涉及机器学习管道，通过图像处理技术进行视盘检测、血管分割和小动脉/小静脉识别。
2022-12-14 cs.CV cs.LG eess.IV
Interpretable Representations in Explainable AI: From Theory to Practice
University of Bristol（布里斯托尔大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了可解释表示的属性及其在表格、图像和文本数据中的应用，分析了其解释力与潜在操纵风险，并提出了设计可信可解释表示的具体建议。
2024-04-26 cs.AI cs.LG stat.ML
Explainable AI for Bioinformatics: Methods, Tools, and Applications
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；University of Cologne（科隆大学）；RWTH Aachen University（亚琛工业大学）；Elsevier（爱思唯尔）；ZBMED - Information Center for Life Sciences（ZBMED生命科学信息中心）
利用深度神经网络（DNN）和机器学习（ML）算法的人工智能（AI）系统被广泛用于解决生物信息学、生物医学信息学和精准医学中的重要问题。然而，复杂的DNN或ML模型通常被认为是不透明和黑箱的，这可能会使人们难以理解其决策背后的推理。这种缺乏透明度的情况对最终用户和决策者以及人工智能开发人员来说都是一个挑战。此外，在医疗保健等敏感领域，可解释性和问责制不仅是可取的，而且对可能对人类生活产生重大影响的人工智能系统也是法律要求的。公平性是另一个日益受到关注的问题，因为算法决策不应基于敏感属性对某些群体或个人表现出偏见或歧视。可解释人工智能（XAI）旨在克服黑箱模型的不透明性，并为AI系统如何做出决策提供透明度。可解释的ML模型可以解释它们如何进行预测以及影响其结果的因素。然而，大多数最先进的可解释ML方法都是领域不可知的，并且是从计算机视觉、自动推理或统计等领域发展而来的，这使得直接应用于生物信息学问题具有挑战性，而无需定制和特定领域的适应。在本文中，我们讨论了可解释性在生物信息学背景下的重要性，概述了模型特定和模型不可知的可解释ML方法和工具，并概述了它们潜在的警告和缺点。此外，我们还讨论了如何定制现有的可解释ML方法来解决生物信息学问题。尽管如此，我们展示了XAI方法如何通过生物成像，癌症基因组学和文本挖掘的案例研究来提高透明度。
2023-02-23 cs.AI cs.LG q-bio.QM
Women, artificial intelligence, and key positions in collaboration networks: Towards a more equal scientific ecosystem
Concordia University（康考迪亚大学）；National Research Council Canada（加拿大国家研究委员会）
几乎每个学科的科学合作主要是由共享知识，专业知识和汇集资源的需求驱动的。科学变得越来越复杂，这鼓励科学家更多地参与合作研究项目，以便更好地应对挑战。作为一个高度跨学科的领域，人工智能的科学景观迅速发展，需要研究人员具有特殊的配置文件，涵盖了各种技能和专业知识。理解科学合作的性别方面至关重要，特别是在人工智能等吸引大量投资的领域。本研究利用社会网络分析、自然语言处理和机器学习，以2000年至2019年期间的人工智能出版物为重点，从性别视角全面调查了几个驱动因素对获得科学合作网络关键职位的影响。研究发现，无论性别，科学业绩的数量和影响力方面起着至关重要的作用，在网络中拥有“社会研究者”。然而，女性和男性研究人员在获得“当地影响者”角色方面存在细微差异。
2022-05-19 cs.AI cs.LG cs.SI
What makes an Ensemble (Un) Interpretable?
The Hebrew University of Jerueslaem（耶路撒冷希伯来大学）；Cornell University（康奈尔大学）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
本文利用计算复杂性理论分析基模型数量、规模与类型对集成可解释性的影响，证明不同配置下的高效可解释或难解边界。
2025-06-09 cs.CC cs.LG cs.LO
World Models in Artificial Intelligence: Sensing, Learning, and Reasoning Like a Child
TECNALIA, Basque Research & Technology Alliance (BRTA)（泰克纳利亚，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Medical University Graz（格拉茨医科大学）；University of Natural Resources and Life Sciences Vienna（维也纳自然资源与生命科学大学）
针对现有世界模型缺乏儿童式结构化自适应表征的问题，提出受皮亚杰认知发展理论启发的框架，指出六大关键研究方向，推动AI从模式识别迈向真正的理解与推理。
2025-03-19 cs.AI cs.CV cs.ET
Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔兰大学）
本文通过系统文献综述，探讨预测性流程挖掘中机器学习模型的可解释性与可解释性，区分内在可解释模型与事后解释技术，并总结趋势、挑战与未来方向，以促进更可信的智能系统开发。
2023-12-29 cs.AI cs.LG stat.ML
Towards Interpretable Deep Generative Models via Causal Representation Learning
Department of Statistics, Rutgers University（统计学系，罗格斯大学）；Booth School of Business, University of Chicago（商学院，芝加哥大学）
本文提出通过因果表示学习实现可解释的深度生成模型，结合潜变量模型、因果图模型和非参数统计，旨在提升生成模型的可解释性和迁移能力。
2026-01-26 cs.AI cs.LG stat.ME
