深度学习时间序列分类模型中反事实可解释性的基准测试
Benchmarking Counterfactual Interpretability in Deep Learning Models for Time Series Classification
AI总结：
本研究针对时间序列领域反事实（CF）解释方法缺乏基准测试的问题，重新设计稀疏性与合理性等定量指标并引入一致性新指标，在20个单变量和10个多变量数据集上系统评估6种CF方法，揭示了性能差异并提供了实用指南。
摘要：
深度学习方法在时间序列领域的流行提升了人们对可解释性研究（包括反事实（CF）方法）的兴趣。CF方法通过识别实例中的最小改动来改变模型预测。尽管已有广泛研究，但目前尚无工作在时间序列领域对CF方法进行基准测试。此外，由于数据集数量有限且指标不足，文献中报告的结果尚无定论。在本研究中，我们重新设计了定量指标，以准确捕捉CF中的理想特性。我们专门重新设计了稀疏性和合理性指标，并引入了一致性新指标。结合有效性、生成时间和接近度，我们构建了一个综合指标集。我们在20个单变量数据集和10个多变量数据集上，使用3种不同的分类器，系统地对6种不同的CF方法进行了基准测试。结果表明，CF方法的性能在不同指标和不同模型间存在差异。最后，我们提供了案例研究和实用指南。
英文摘要：
The popularity of deep learning methods in the time series domain boosts interest in interpretability studies, including counterfactual (CF) methods. CF methods identify minimal changes in instances to alter the model predictions. Despite extensive research, no existing work benchmarks CF methods in the time series domain. Additionally, the results reported in the literature are inconclusive due to the limited number of datasets and inadequate metrics. In this work, we redesign quantitative metrics to accurately capture desirable characteristics in CFs. We specifically redesign the metrics for sparsity and plausibility and introduce a new metric for consistency. Combined with validity, generation time, and proximity, we form a comprehensive metric set. We systematically benchmark 6 different CF methods on 20 univariate datasets and 10 multivariate datasets with 3 different classifiers. Results indicate that the performance of CF methods varies across metrics and among different models. Finally, we provide case studies and a guideline for practical usage.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
