The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
人工智能（AI）在改善人类健康和福祉方面具有巨大潜力，但在临床实践中的应用仍然有限。缺乏透明度被认为是实施的主要障碍之一，因为临床医生应该相信人工智能系统是可信的。可解释的人工智能有可能克服这个问题，并且可以成为迈向可信人工智能的一步。在本文中，我们回顾了最近的文献，为研究人员和从业者提供指导，为医疗保健领域设计可解释的AI系统，并有助于可解释的AI领域的形式化。我们认为，要求可解释性的原因决定了应该解释什么，因为这决定了可解释性属性（即可解释性和保真度）的相对重要性。在此基础上，我们提出了一个框架来指导可解释的人工智能方法（可解释的建模与事后解释;基于模型，基于属性或基于示例的解释;全局和局部解释）之间的选择。此外，我们发现，定量评价指标，这是重要的客观标准化评价，仍然缺乏一些属性（如清晰度）和类型的解释（例如，基于实例的方法）。我们的结论是，可解释的建模可以有助于可信的人工智能，但可解释性的好处仍然需要在实践中得到证明，并且可能需要采取补充措施来创建医疗保健中值得信赖的人工智能（例如报告数据质量，执行广泛的（外部）验证和监管）。
2021-01-05 cs.AI cs.LG stat.ML
It is not "accuracy vs. explainability" -- we need both for trustworthy AI systems
San Francisco State University（旧金山州立大学）
我们正在见证人工智能经济和社会的出现，人工智能技术正在越来越多地影响医疗保健，商业，交通和日常生活的许多方面。据报道，人工智能系统的准确性甚至超过了人类专家。然而，人工智能系统可能会产生错误，可能会表现出偏见，可能对数据中的噪音敏感，并且往往缺乏技术和司法透明度，导致信任度降低，并在采用过程中遇到挑战。这些最近的缺点和担忧已经在科学和一般媒体中记录在案，例如自动驾驶汽车的事故，医疗保健的偏见，有色人种的招聘和面部识别系统，后来发现由于错误的原因做出的看似正确的医疗决定等。某种形式的可解释性、人为控制和监督、消除偏见、司法透明度和安全。交付值得信赖的AI系统的挑战激发了对可解释AI系统（XAI）的深入研究。XAI的目标是提供人工智能系统如何做出决策的人类可理解的信息。在本文中，我们首先简要总结了当前XAI的工作，然后挑战了最近关于准确性与可解释性的争论，因为它们是相互排斥的，并且只关注深度学习。然后，我们提出了在高风险可信AI系统交付的整个生命周期中使用XAI的建议，例如开发，验证和认证，以及可信的生产和维护。
2022-12-23 cs.AI cs.CY cs.LG
A Multi-Layered Research Framework for Human-Centered AI: Defining the Path to Explainability and Trust
本文提出一个连接HCAI与XAI的三层框架，通过基础模型可解释性、以人为本的解释层和动态反馈循环，在多高风险领域提升AI决策透明度与信任。
2025-04-26 cs.AI cs.HC
GENEOnet: Statistical analysis supporting explainability and trustworthiness
University of Milan（米兰大学）；University of Pisa（比萨大学）；LIGHT S.c.a.r.l.；Dompé Farmaceuici S.p.A.（多姆佩制药股份公司）
本文通过参数敏感性、等变性比较及分子动力学扰动实验，统计验证计算生物化学网络 GENEOnet 的可解释性、可信性与鲁棒性。
2025-03-12 cs.AI cs.LG q-bio.BM
Context-dependent Explainability and Contestability for Trustworthy Medical Artificial Intelligence: Misclassification Identification of Morbidity Recognition Models in Preterm Infants
Trakya University（特拉基亚大学）
尽管人工智能的机器学习（ML）模型在医学上取得了很高的性能，但它们并不是没有错误的。让临床医生能够识别不正确的模型建议，对于建立对医疗AI的信任至关重要。可解释AI（XAI）旨在通过澄清AI推理来支持最终用户来解决这一需求。近年来，生物医学成像领域的一些研究取得了可喜的成果。然而，使用表格数据的模型的解决方案还不足以满足临床医生的要求。本文提出了一种方法来支持临床医生识别使用表格数据训练的ML模型的失败。我们的方法建立在三个主要支柱上：通过利用临床背景潜在空间分解特征集，评估全局解释的临床关联，以及基于潜在空间相似性（LSS）的局部解释。我们展示了我们的方法学上的ML为基础的识别早产儿感染引起的发病率。由于模型失败而导致的死亡、终身残疾和抗生素耐药性的风险是这一领域的一个开放性研究问题。我们实现了识别错误分类的情况下，两个模型与我们的方法。通过将本地解释置于情境中，我们的解决方案为临床医生提供了可操作的见解，以支持他们自主做出明智的最终决策。
2022-12-17 cs.AI cs.LG
Explainable AI is Responsible AI: How Explainability Creates Trustworthy and Socially Responsible Artificial Intelligence
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）
本文通过梳理负责任AI与可解释AI的最新文献，论证XAI不仅是提升透明度的工具，更是保障公平性、鲁棒性、隐私和安全等RAI各支柱的必要基础。
2023-12-04 cs.AI cs.CY cs.LG
Persistent and Conversational Multi-Method Explainability for Trustworthy Financial AI
University of Piraeus, Greece（希腊比雷埃克斯大学）；ExpertAI-Lux S.à r.l（ExpertAI-Lux公司）
本文提出一种用于金融情感分析的以人为中心的可解释AI架构，结合持久化存储、多方法解释三角验证和自动化评估，提升金融AI的可信度和可解释性。
2026-05-12 cs.AI
Explainability Pitfalls: Beyond Dark Patterns in Explainable AI
Georgia Institute of Technology（佐治亚理工学院）
为了使可解释人工智能（XAI）系统值得信赖，了解有害影响与产生精心设计的解释同样重要。在本文中，我们解决了一个重要的，但未明确的类型的负面影响XAI。我们引入了可解释性陷阱（EP），这是人工智能解释的意想不到的负面下游效应，即使没有意图操纵用户。EP与黑暗模式不同，但与之相关，黑暗模式是故意欺骗的做法。我们阐明了EP的概念，将其与暗模式区分开来，并强调了陷阱周围的不确定性所带来的挑战。我们使用一个案例研究来解释和操作这个概念，这个案例研究展示了尽管有最好的意图，但毫无疑问的负面影响，例如对数字解释的不必要的信任。我们提出了积极主动和预防性的战略，以解决EP在三个相互关联的层面：研究，设计和组织。
2021-09-26 cs.AI cs.HC
Towards Bridging the FL Performance-Explainability Trade-Off: A Trustworthy 6G RAN Slicing Use-Case
Iquadrat Informatica（伊夸德拉特信息公司）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；i2CAT Foundation（i2CAT基金会）；University of Patras（帕特雷大学）；ISI/ATHENA（雅典娜创新基金会信息研究所）
本文提出一种解释引导的in-hoc联邦学习方法，通过闭环交换特征归因与预测，平衡6G网络切片中AI性能与可解释性，并在非IID数据下验证其优于事后FL基线。
2024-09-19 cs.AI cs.NI
An Information-Theoretic Framework for Comparing Voice and Text Explainability
本文提出了一种信息论框架，用于比较语音和文本在AI系统可解释性中的效果，发现类比基于的交付在理解效率与信任校准之间取得最佳平衡。
2026-02-06 cs.AI cs.CL cs.CY
Explainable AI for clinical risk prediction: a survey of concepts, methods, and modalities
University of Oxford（牛津大学）
本文综述面向临床风险预测的可解释AI，梳理可解释性、公平性、偏见、信任与透明度等概念，讨论多模态模型的评估验证、外部验证、方法融合及开放复现实践。
2023-08-16 cs.AI cs.CY cs.LG
Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
最近的工作表明，可解释性和鲁棒性是值得信赖和可靠的文本分类的两个关键因素。然而，以前的工作通常解决两个方面之一：i）如何提取准确的合理解释，同时有利于预测; ii）如何使预测模型对不同类型的对抗攻击具有鲁棒性。直觉上，一个能产生有用解释的模型应该对对抗攻击更具鲁棒性，因为我们不能相信输出解释但在小扰动下改变其预测的模型。为此，我们提出了一个联合分类和合理性提取模型命名为AT-BMC。它包括两个关键机制：混合对抗训练（AT）旨在使用离散和嵌入空间中的各种扰动来提高模型的鲁棒性，边界匹配约束（BMC）有助于在边界信息的指导下更精确地定位合理性。在基准数据集上的性能表明，所提出的AT-BMC在分类和基本原理提取方面都大大优于基线。鲁棒性分析表明，AT-BMC有效降低了攻击成功率，最高可达69%。实证结果表明，稳健的模型和更好的解释之间存在联系。
2021-12-20 cs.AI cs.CL
Policy-Driven AI in Dataspaces: Taxonomy, Explainability, and Pathways for Compliant Innovation
Department of CST Tsinghua University Beijing, China（计算机科学与技术系 清华大学 北京中国）；Department of CSE Chandigarh University Mohali, India（计算机科学与工程系 印度昌迪加尔大学 摩哈利）
本文针对AI驱动数据空间的隐私、性能与合规挑战，综述相关隐私保护与政策感知AI技术，提出基于多维度的技术分类体系，指出研究空白并给出未来发展方向，为构建可信合规的数据空间AI系统奠定基础。
2025-07-30 cs.AI cs.CR
Position Paper: Integrating Explainability and Uncertainty Estimation in Medical AI
Lee Kong Chian School of Medicine, College of Computing；Data Science, Nanyang Technological University, Singapore
针对医疗AI中可解释性与不确定性估计脱节的问题，提出整合两者的可解释不确定性估计（XUE）方法，映射医疗与AI不确定性概念、明确实施挑战与技术方向，以增强医疗AI的信任度和可用性。
2025-09-14 cs.AI
The Response Shift Paradigm to Quantify Human Trust in AI Recommendations
Imperial College London（帝国理工学院）；MRC London Institute of Medical Sciences（英国医学研究理事会伦敦医学科学研究所）
可解释性、可解释性以及它们在多大程度上影响了人类对AI系统的信任，最终都是人类认知和机器学习的问题，但AI推荐的有效性和最终用户提供的信任通常不会得到定量评估。我们开发并验证了一个通用的人机交互范例，该范例量化了人工智能建议对人类决策的影响。在我们的范式中，我们向人类用户提出定量预测任务：要求他们给出第一反应，然后向他们提供人工智能的建议（和解释），然后要求人类用户提供更新的最终反应。最终和第一反应之间的差异构成了人类决策的转变或动摇，我们将其用作AI对人类的建议影响的指标，代表了他们对AI的信任。我们通过Amazon Mechanical Turk对数百名用户进行了评估，使用多分支实验，让用户面对好/差的AI系统，这些系统具有好的、差的或没有可解释性。我们的原理证明范式允许人们定量地比较快速增长的XAI/IAI方法对最终用户的影响，并开辟了（机器）学习信任的可能性。
2022-02-16 cs.AI cs.HC cs.LG
Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email；Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用，指出XAI领域挑战，提出借助RE实践缓解挑战的框架与研究方向，以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
Adaptive XAI in High Stakes Environments: Modeling Swift Trust with Multimodal Feedback in Human AI Teams
Deakin University（德金大学）；Monash University（莫纳什大学）
针对高风险场景下现有XAI方法依赖显式反馈、解释统一不适用的问题，提出利用生理行为信号的自适应XAI概念框架AXTF，通过多目标个性化信任模型动态调整解释，增强人-AI团队的快速信任。
2025-07-25 cs.AI cs.HC
Logic-Based Explainability: Past, Present & Future
ICREA（加泰罗尼亚研究与高级研究所）；University of Lleida（莱里达大学）
针对现有可解释人工智能（XAI）方法缺乏严谨性、难以支撑高风险领域可信AI构建的问题，本文对作为严谨替代方案的基于逻辑的XAI进行技术综述，梳理其发展脉络与研究方向，并指出非严谨XAI方法的常见误区。
2024-06-04 cs.AI
Self-Explainability in Self-Adaptive and Self-Organising Systems: Status and Research Directions
Kiel University（基尔大学）
本文通过系统文献综述，定义自解释性（SX）并建立分类法，提出自解释性层次框架，发现多数方法仍处于概念阶段，缺乏评估标准。
2026-06-08 cs.AI
From "Thinking" to "Justifying": Aligning High-Stakes Explainability with Professional Communication Standards
William & Mary（威廉玛丽学院）；Anytime AI
本文提出‘结果->证明’方法，通过结构化可解释性框架SEF提升系统输出的可验证性与可靠性，在三个领域四个任务中验证了该方法的有效性。
2026-01-12 cs.AI
Community-Led AI Integration for Wildfire Risk Assessment: A Participatory AI Literacy and Explainability Integration (PALEI) Framework in Los Angeles, CA
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；California State University, Los Angeles（加州州立大学洛杉矶分校）
本文提出一种社区主导的AI整合框架，通过PALEI方法提升野火风险评估的透明度和公众信任，展示本地化设计在增强用户参与和风险意识中的作用。
2026-04-20 cs.AI cs.CY
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
Department of Information Engineering, University of Pisa（比萨大学信息工程系）
本文综述联邦可解释人工智能（FedXAI）范式，介绍其分类法，回顾多种方法及评估实践，讨论不足，识别如非IID数据下可解释性等关键挑战，为设计可信、透明且隐私保护的联邦人工智能系统提供参考。
2026-07-16 cs.AI cs.LG
Expanding Explainability: Towards Social Transparency in AI systems
Georgia Institute of Technology（佐治亚理工学院）；IBM Research AI（IBM研究院人工智能部门）
随着人工智能驱动的系统越来越多地介导重要的决策，它们的可解释性对于最终用户采取明智和负责任的行动至关重要。人与人之间的互动是社会性的。人工智能系统通常是社会组织嵌入式的。然而，可解释人工智能（XAI）方法主要是以算法为中心的。我们通过引入和探索社会透明度（ST），向社会定位的XAI迈出了发展的一步，这是一种社会技术信息化的视角，将社会组织背景纳入解释人工智能介导的决策。为了从概念上探索ST，我们对29位人工智能用户和从业者进行了访谈，这些用户和从业者都是基于推测性设计场景。我们提出了ST的构成设计要素，并开发了一个概念框架，以解开ST在技术，决策和组织层面的影响和影响。该框架展示了ST如何潜在地校准对AI的信任，改善决策，促进组织集体行动，并培养整体可解释性。我们的工作通过扩展XAI的设计空间，为以人为本的XAI的话语做出了贡献。
2021-01-12 cs.AI cs.HC
AI Explainability for Power Electronics: From a Lipschitz Continuity Perspective
针对电力电子领域AI缺乏数学可解释性的问题，研究从Lipschitz连续性视角提出通用评估框架与学习率优化策略，经双有源桥变换器案例验证，为可信可解释AI在电力电子的应用奠定基础。
2025-01-17 cs.AI cs.SY eess.SY
Systematic Literature Review: Explainable AI Definitions and Challenges in Education
University of Technology Sydney（悉尼科技大学）；Islamic University of Madinah（麦地那伊斯兰大学）
本文采用PRISMA方法系统综述了教育领域可解释AI（XAI）的定义与挑战，发现15种定义和62项挑战并将其归纳为七类，指出XAI缺乏标准化定义导致概念混淆。
2025-04-03 cs.AI cs.CY
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
Lightweight Encryption and Anonymous Routing in NoC based SoCs
随着制造技术的进步，片上系统（SoC）设计人员能够在单个SoC上集成越来越多的内核。SoC复杂性的不断增加以及上市时间的紧迫，导致第三方供应商的知识产权（IP）内核的利用率不断提高。SoC供应链被广泛认为是安全漏洞的主要来源。潜在的恶意第三方IP与可信组件集成在同一片上网络（NoC）上，可能会导致安全和信任问题。虽然安全通信是计算机网络领域中研究得很好的问题，但是在资源受限的SoC上实现这些解决方案是不可行的。在本文中，我们提出了一个轻量级的加密和匿名路由协议的IP核之间的通信在片上系统芯片。我们的方法消除了与传统的加密和匿名路由协议使用一种新的秘密共享机制，同时确保所需的安全目标得到满足的主要开销。实验结果表明，现有的NoC安全解决方案可以引入显着（1.5倍）的性能下降，而我们的方法提供了相同的安全功能，轻微（4%）的性能影响。
2023-02-13 cs.AR cs.CR
ABE: A Unified Framework for Robust and Faithful Attribution-Based Explainability
University of Technology Sydney（技术大学悉尼大学）；Changshu Institute of Technology（常州理工学院）
针对现有归因解释框架耦合高、难扩展等问题，提出统一框架 ABE，形式化基础归因方法并集成先进算法，通过四个可定制模块支持鲁棒、忠实且可验证的模型解释。
2025-05-03 cs.AI cs.LG
Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy
Dept. of Informatics（信息学院）；King's College London（伦敦国王学院）
提出用谱熵量化可解释性技术引入的信号噪声，并在心电图心律失常分类中验证其有效性。
2026-06-25 cs.AI cs.LG
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题，提出可解释AI方法AudioGenX，通过事实与反事实目标优化解释器，在音频标记级提供忠实解释，增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
"Help Me Help the AI": Understanding How Explainability Can Support Human-AI Interaction
Princeton University（普林斯顿大学）；Intel Labs（英特尔实验室）
尽管可解释的AI（XAI）方法激增，但对最终用户的可解释性需求和围绕XAI解释的行为知之甚少。为了解决这一差距，并有助于理解可解释性如何支持人类与人工智能的交互，我们对现实世界人工智能应用程序Merlin鸟类识别应用程序的20名最终用户进行了混合方法研究，并询问了他们对XAI的需求，使用和感知。我们发现，参与者希望获得实际有用的信息，以改善他们与人工智能的协作，而不是技术系统的细节。相关地，参与者打算将XAI解释用于各种目的，而不仅仅是理解AI的输出：校准信任，提高他们的任务技能，改变他们的行为以向AI提供更好的输入，并向开发人员提供建设性的反馈。最后，在现有的XAI方法中，参与者更喜欢类似于人类推理和解释的基于部分的解释。我们讨论了我们的研究结果的影响，并为未来的XAI设计提供建议。
2023-02-16 cs.AI cs.CV cs.CY
A Scoresheet for Explainable AI
Victoria University of Wellington（惠灵顿维多利亚大学）；RMIT University（皇家墨尔本理工大学）
针对现有透明度标准过于高层、可解释性要求不明确的问题，本文提出一种兼顾多方利益相关者的可解释性评分表，可用于需求规范与应用评估，并通过多场景应用验证其通用性和实用性。
2025-02-14 cs.AI cs.MA cs.SE
TrustToken, a Trusted SoC solution for Non-Trusted Intellectual Property (IP)s
异构SoC中的安全和可信执行是现代计算系统中的主要优先事项。SoC的安全性主要解决两个广泛的信任问题：1。针对硬件安全威胁的保护（侧通道，IP隐私，克隆，故障注入和拒绝服务）;以及2.针对SoC处理器上运行的恶意软件攻击提供保护。为了防止恶意软件攻击者获取未经授权的访问和危及安全，我们提出了一个基于信任根的可信执行机制\textbf{\textit{(named as \textbf{TrustToken}) }}。TrustToken构建了一个安全块，以提供基于信任根的IP安全：安全密钥生成和真正的随机源。\textbf{TrustToken}通过提供基本的安全特征，即，安全、隔离的执行和可信的用户交互。所提出的设计通过将第三方IP接口互连到\textbf{TrustToken}控制器并在运行时检查IP授权（令牌）信号\texttt{`correctness'}来实现这一点。\textbf{TrustToken}架构在实现中示出了非常低的开销资源利用率LUT（618，1.16 \%）、FF（44，0.04 \%）和BUFG（2，6.25\%）。实验结果表明，TrustToken可以为非可信SoC IP提供安全、低成本、可信的解决方案。
2022-09-26 cs.CR eess.SP
Human-Centered Explainability in AI-Enhanced UI Security Interfaces: Designing Trustworthy Copilots for Cybersecurity Analysts
Palo Alto Networks（帕洛阿尔托网络公司）
本文提出了一种面向AI增强用户界面安全性的以人为本的可解释性方法，通过设计可信的copilot，提升网络安全分析师对AI输出的信任和决策准确性。
2026-01-30 cs.AI cs.CR cs.HC
The Forgotten Threat of Voltage Glitching: A Case Study on Nvidia Tegra X2 SoCs
电压故障注入（FI）是一种众所周知的攻击技术，可用于在处理器运行期间强制处理器出现故障行为。电源电压闪烁可能导致数据值损坏、跳过安全检查或启用受保护的代码路径。与此同时，现代片上系统（SoC）用于安全关键型应用，如自动驾驶汽车和自动机器。由于这些嵌入式设备通常可以被攻击者物理访问，因此供应商必须在其威胁模型中考虑设备篡改。然而，尽管自21世纪初以来就知道电压FI的威胁，但供应商似乎仍然忘记了整合对策。这项工作展示了如何使用电压FI来规避特斯拉自动驾驶仪和梅赛德斯-奔驰信息娱乐系统中使用的Nvidia SoC的整个启动安全性。我们发现了一个隐藏的引导加载程序，它只提供给制造商用于测试目的，并被装运产品中的保险丝禁用。我们演示了如何使用FI重新启用此引导加载程序，以获得最高权限的代码执行，使我们能够提取引导加载程序的固件和解密密钥，用于以后的引导阶段。使用硬件植入，即使在系统正常运行期间，攻击者也可能滥用隐藏的引导加载程序来绕过可信代码执行。
2021-08-16 cs.CR
Designing Secure Interconnects for Modern Microelectronics: From SoCs to Emerging Chiplet-Based Architectures
本研究针对 SoC 及基于 Chiplet 架构中 NoC 互连的安全风险，扩展了 ObNoCs 和 POTENT 两种方法，通过混淆、认证与加密机制保护片内与 Chiplet 间互连，实验证明其能以极低开销确保系统安全与可靠性。
2025-03-07 cs.AR cs.CR
SoK: Modeling Explainability in Security Analytics for Interpretability, Trustworthiness, and Usability
Rochester Institute of Technology（罗切斯特理工学院）；Toyota Motor North America（丰田汽车北美公司）；University of Florida（佛罗里达大学）
该研究针对安全领域深度学习黑箱模型的解释需求，分析现有可解释方法的缺陷，提出可信解释需满足的特性，为安全场景下的可解释AI研究提供基准参考。
2023-06-13 cs.CR cs.LG
Eclectic Rule Extraction for Explainability of Deep Neural Network based Intrusion Detection Systems
Mississippi State University（密西西比州立大学）；U.S Army Engineer Research and Development Center（美国陆军工程兵研究与发展中心）
本文提出一种混合X-IDS架构，利用折衷规则提取作为黑盒深度神经网络的白盒代理解释器，在UNSW-NB15和CIC-IDS-2017数据集上以99.9%准确率生成可解释且可信的规则集，平衡了可扩展性与可信度。
2024-01-18 cs.AI cs.CR cs.LG
Trustworthy AI LLM Scalability Risk Index (LSRI): A Cybersecurity Framework Assessing Agentic-AI Security & Software Model Supply Chain Safety Boosting AI-Generated Malware Defense & Explainability Mitigating Emerging Risks of Generative AI
Virelya Intelligence Research Labs（Virelya 智能研究实验室）；Google（谷歌）
本文研究了大语言模型在代理AI中的可扩展性风险及模型供应链安全问题，提出LSRI指数和模型供应链框架，以提升安全关键环境下的LLM部署安全性。
2026-07-21 cs.CR
On the Effect of Ruleset Tuning and Data Imbalance on Explainable Network Security Alert Classifications: a Case-Study on DeepCASE
Eindhoven University of Technology（埃因霍温理工大学）
本文以DeepCASE为例，研究标签不平衡对网络入侵告警分类性能及解释正确性的影响，发现调优SOC检测规则可显著减少不平衡，从而提升告警后处理方法的性能与可解释性。
2025-07-02 cs.CR cs.LG cs.NI
Explainable Artificial Intelligence for Smart City Application: A Secure and Trusted Platform
Islamic University (IU)（伊斯兰大学）；Queensland University of Technology (QUT)（昆士兰科技大学）；University of Information, Technology and Science (UITS)（信息科技大学）；University of the Sunshine Coast (USC)（阳光海岸大学）
人工智能（AI）是正在塑造未来的颠覆性技术之一。它在主要的智慧城市解决方案中的数据驱动决策应用越来越多，包括交通，教育，医疗保健，公共治理和电力系统。与此同时，它在保护关键网络基础设施免受网络威胁、攻击、损坏或未经授权的访问方面越来越受欢迎。然而，这些传统人工智能技术的一个重要问题（例如，深度学习）的另一个问题是，复杂性和复杂性的快速发展推动了无法解释的黑匣子。在许多情况下，理解控制和信任系统的意外或看似不可预测的输出的决策和偏差是非常具有挑战性的。人们认识到，对决策的可解释性失去控制成为许多数据驱动的自动化应用程序的关键问题。但它会如何影响系统的安全性和可信度呢？本章对机器学习在网络安全中的应用进行了全面的研究，以表明解决这个问题的可解释性的必要性。在这样做的同时，本章首先讨论了人工智能技术在基于智慧城市的解决方案中的网络安全应用的黑箱问题。随后，考虑到新的技术范式，可解释的人工智能（XAI），本章讨论了从黑盒到白盒的转变。本章还讨论了在智慧城市中应用不同自治系统时，基于人工智能的技术的可解释性，透明度，可理解性和可解释性的过渡要求。最后，它介绍了一些商业XAI平台，这些平台在提出未来的挑战和机遇之前，提供了对传统AI技术的解释。
2021-10-31 cs.CR cs.LG cs.NI
