Transfer of Fully Convolutional Policy-Value Networks Between Games and Game Variants
Maastricht University(马斯特里赫特大学);Facebook AI Research(脸书人工智能研究院)
提出在类 AlphaZero 自博弈框架中利用 Ludii 表示的通道语义迁移全卷积策略-价值网络,并通过零样本与微调实验评估跨游戏及变体的迁移效果。
2021-02-24 cs.LG
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Harvard University(哈佛大学)
本文以封闭轮抽游戏“寿司去派对”为案例,提出第一性原理方法,通过决策规则拟合、跨牌组泛化基准及可计算记忆度量,系统研究DQN智能体的可解释性、泛化能力与记忆学习能力,并达到最先进性能。
2023-11-17 cs.AI cs.LG
A $k$-additive Choquet integral-based approach to approximate the SHAP values for local interpretability in machine learning
University of Campinas(坎皮纳斯大学);Université Paris I Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
除了准确性,最近对机器学习模型的研究一直在解决如何解释所获得的结果的问题。事实上,虽然复杂的机器学习模型即使在具有挑战性的应用中也能够在准确性方面提供非常好的结果,但很难解释它们。为了给这些模型提供一些可解释性,最著名的方法之一,称为SHAP,借用了博弈论中的Shapley值概念,以便局部解释感兴趣实例的预测结果。由于SHAP值计算需要对所有可能的属性联盟进行先前的计算,因此其计算成本可能非常高。因此,基于SHAP的方法称为内核SHAP采用了一种有效的策略,以更少的计算工作量近似这些值。在本文中,我们还解决了基于Shapley值的机器学习中的局部可解释性。首先,我们提供了一个简单的制定一个基于形状的方法,通过使用Choquet积分,从而导致Shapley值和Shapley相互作用指数的局部可解释性。此外,我们还采用了博弈论中的$k$ -加法博弈的概念,这有助于减少计算工作量时估计的SHAP值。所得到的结果证明,我们的建议需要较少的计算联盟的属性近似SHAP值。
2022-11-03 cs.LG
Logic-based AI for Interpretable Board Game Winner Prediction with Tsetlin Machine
University of Agder(阿格德大学);University of Amsterdam(阿姆斯特丹大学);PwC Switzerland(普华永道瑞士)
Hex是一个回合制的双人连接游戏,具有高分支因子,使游戏随着棋盘大小的增加而变得任意复杂。因此,玩Hex的顶级算法依赖于使用神经网络对棋盘位置的准确评估。然而,当用户想要理解所做预测背后的推理时,神经网络有限的可解释性是有问题的。在本文中,我们建议使用命题逻辑表达式来描述输赢棋盘游戏的立场,促进精确的视觉解释。我们采用Tsetlin机器(TM)从以前玩过的游戏中学习这些表达式,描述棋子必须位于或不位于棋盘位置才能强大。在$6\times6$板上进行的大量实验将我们基于TM的解决方案与流行的机器学习算法(如XGBoost、InterpretML、决策树和神经网络)进行了比较,考虑了$2$到$22$移动的各种板配置。平均而言,TM测试精度为$92.1\%$,优于所有其他评估算法。我们进一步展示了全球的逻辑表达式的解释,并将它们映射到特定的棋盘游戏配置,以调查当地的可解释性。我们相信,由此产生的可解释性为准确的辅助AI和人类-AI协作以及更复杂的预测任务奠定了基础。
2022-03-08 cs.AI cs.LG
Playing Go without Game Tree Search Using Convolutional Neural Networks
Stanford University(斯坦福大学)
围棋在东亚国家有着悠久的历史,但计算机围棋领域直到最近几年才赶上人类。虽然围棋的规则很简单,但游戏的策略和组合学非常复杂。即使在过去的几年里,依靠神经网络来评估董事会位置的新程序仍然比专业人士每秒能探索出多出许多数量级的董事会位置。我们试图通过创建一个卷积神经策略网络来模仿人类在游戏中的直觉,该网络在没有任何树搜索的情况下,应该以或高于大多数人类的水平玩游戏。我们介绍了三种结构和训练方法,旨在创建一个强大的围棋选手:非矩形卷积,这将更好地学习棋盘上的形状,监督学习,在53,000场专业比赛的数据集上进行训练,以及强化学习,在不同版本的网络之间进行比赛的训练。我们的网络已经超越了仅仅使用监督学习的中级业余爱好者的技能水平。非矩形卷积和强化学习的进一步训练和实现可能会进一步提高这种技能水平。
2019-07-02 cs.AI cs.LG
Bilinear Convolution Decomposition for Causal RL Interpretability
本文提出将 ConvNet 非线性替换为双线性层,并结合卷积权重的奇异值分解与概念探测因果验证方法,在 ProcGen 中实现可比性能和更精细的 RL 因果可解释性。
2024-12-01 cs.AI cs.LG
Using Graph Convolutional Networks and TD($λ$) to play the game of Risk
风险是6人游戏,具有显著的随机性和较大的游戏树复杂性,这对创建有效玩游戏的代理提出了挑战。以前的人工智能专注于创建高级手工功能,确定代理决策。在这个项目中,我创建了D.A.D,一个使用时间差强化学习的风险代理,训练一个深度神经网络,包括一个图卷积网络来评估球员的位置。这在博弈树中用于选择最佳移动。这允许将知识最小化地手工制作到AI中,确保输入特征尽可能低,以允许网络本身提取有用和复杂的特征,即使网络从随机初始化开始。我还通过引入一种新的解释搜索所需的攻击动作的方法来解决风险中的非确定性问题。结果是一个AI赢得了35%的时间,而Lux Delux中的5个最好的内置AI,一个风险变体。
2020-09-10 cs.AI cs.LG
Move Evaluation in Go Using Deep Convolutional Neural Networks
University of Toronto(多伦多大学);Google DeepMind(谷歌DeepMind);Google Brain(谷歌大脑)
围棋比其他棋类游戏更具挑战性,这是由于构造位置或移动评估函数的困难。在本文中,我们研究了深度卷积网络是否可以用于直接表示和学习这些知识。我们通过监督学习,从人类职业比赛数据库中训练一个大型12层卷积神经网络。该网络在55%的位置上正确预测了专家的移动,相当于6段人类玩家的准确性。当训练好的卷积网络直接用于围棋比赛时,没有任何搜索,它在97%的比赛中击败了传统的搜索程序GnuGo,并与最先进的蒙特卡罗树搜索的性能相匹配,该搜索模拟每次移动100万个位置。
2015-04-10 cs.LG cs.NE
Energy-based Potential Games for Joint Motion Forecasting and Control
TU Dortmund University(多特蒙德工业大学);ZF Friedrichshafen AG(采埃孚股份公司)
本文提出基于能量的势博弈框架,统一微分博弈、最优控制与能量模型,并通过端到端学习结合神经网络参数推断与可微博弈优化层,在仿真和真实驾驶数据上提升多智能体运动预测的可解释性与性能。
2023-12-04 cs.AI cs.GT cs.LG
Beyond Shapley Values: Cooperative Games for the Interpretation of Machine Learning Models
Département de Mathématiques, Université du Québec à Montréal(魁北克大学蒙特利尔分校数学系);Institut Intelligence et Données, Université Laval(拉瓦尔大学智能与数据研究所)
该研究针对Shapley值在机器学习特征归因中公理相关性存疑的问题,从可解释性视角拓展合作博弈论的应用,提出Weber集、Harsanyi集两类分配方案及三步特征归因构建蓝图,为XAI领域提供适配性更强的理论框架。
2025-06-16 cs.AI cs.LG stat.ML
DRExplainer: Quantifiable Interpretability in Drug Response Prediction with Directed Graph Convolutional Network
University of Science and Technology of China(中国科学技术大学);School of Information and Artificial Intelligence, Anhui Agricultural University(安徽农业大学信息与人工智能学院);Institutes of Physical Science and Information Technology, Anhui University(安徽大学物理科学与信息技术研究院)
针对药物反应预测中多源信息整合与定向预测的难题,提出基于有向图卷积网络的可解释模型DRExplainer,兼具更优预测性能与可量化可解释性,为个性化医疗提供支持。
2025-03-28 cs.AI cs.LG
Attentive Group Equivariant Convolutional Networks
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
虽然群卷积网络能够基于对称模式学习强大的表示,但它们缺乏明确的手段来学习它们之间有意义的关系(例如,相对位置和姿态)。在本文中,我们提出了关注组等变卷积,一个推广的组卷积,其中注意力是在卷积过程中,强调有意义的对称组合和抑制不合理的,误导性的。我们指出,之前关于视觉注意力的工作可以描述为我们提出的框架的特殊情况,并通过经验表明,我们的注意力组等变卷积网络在基准图像数据集上的表现始终优于传统组卷积网络。同时,我们通过等变注意力地图的可视化提供了对所学概念的可解释性。
2020-06-30 cs.CV cs.LG stat.ML
Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models
MIT(麻省理工学院);UMass, Amherst(马萨诸塞大学阿默斯特分校);University of Mannheim(曼海姆大学);Harvard University(哈佛大学);Northeastern University(东北大学)
针对语言模型可解释性研究中稀疏自编码器(SAE)缺乏可解释特征真值、难以评估质量的问题,该研究提出在国际象棋、奥赛罗棋语言模型场景下构建监督评估指标,并提出p-退火训练技术,同时提升了无监督与新监督指标的表现。
2024-10-30 cs.AI cs.CL cs.LG
Disentangling Polysemantic Channels in Convolutional Neural Networks
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对CNN中多义通道编码不同概念导致难以解释的问题,提出一种利用前层激活模式差异重构权重的算法,将多义通道分解为单概念通道,增强CNN可解释性并改进特征可视化等解释技术。
2025-04-17 cs.CV cs.LG
Financial Fraud Identification and Interpretability Study for Listed Companies Based on Convolutional Neural Network
本文提出基于CNN的上市公司财务欺诈检测框架,通过图像化特征工程提升预测准确性和可解释性,实验表明其在准确率和预警性能上优于传统方法。
2025-12-10 cs.AI cs.CV cs.LG
IA-GCN: Interpretable Attention based Graph Convolutional Network for Disease prediction
Technical University of Munich(慕尼黑工业大学);Sharif University of Technology(谢里夫理工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
图卷积网络(GCN)的可解释性在计算机视觉中得到了一定程度的研究,但在医学领域还需要进一步的研究。此外,大多数GCN的可解释性方法,特别是在医学领域,侧重于以事后的方式解释模型。在本文中,我们提出了一个可解释的基于图学习的模型,该模型1)解释输入特征对任务的临床相关性,2)使用解释来提高模型性能,3)学习可用于解释队列行为的群体水平潜图。在临床场景中,这样的模型可以帮助临床专家更好地做出诊断和治疗计划的决策。主要的新颖性在于可解释注意模块(IAM),它直接对多模态特征进行操作。我们的IAM基于独特的可解释性特定损失来学习每个特征的注意力。我们在两个公开的数据集Tadpole和UKBB上展示了该应用程序,用于疾病,年龄和性别预测的三项任务。我们提出的模型显示出优越的性能,相对于比较方法,蝌蚪的平均准确度增加了3.2%,UKBB性别增加了1.6%,UKBB年龄预测任务增加了2%。此外,我们展示了我们的结果的详尽验证和临床解释。
2021-03-29 cs.CV cs.LG
Interpretability in Convolutional Neural Networks for Building Damage Classification in Satellite Imagery
The Academy for Mathematics, Science, and Engineering(数学、科学与工程学院)
自然灾害经常破坏世界上的城市、山谷和海岸。部署精确和高效的计算机制来评估基础设施的损坏对于引导资源和最大限度地减少生命损失至关重要。使用包括标记的灾前和灾后卫星图像的数据集,我们采取基于机器学习的遥感方法,并训练多个卷积神经网络(CNN)来评估建筑物的损坏。我们提出了一种新的可解释的深度学习方法,旨在明确调查训练数据中最有用的信息模式,以创建准确的分类模型。我们还研究了哪些损失函数最优化这些模型。我们的研究结果包括,顺序交叉熵损失是优化使用的最佳标准,包括造成损害的灾害类型与灾前和灾后训练数据相结合,最准确地预测造成的损害程度。此外,我们取得了进展,在定性表示哪些部分的图像,该模型是用来预测损害程度,通过梯度加权类激活映射(梯度CAM)。我们的研究旨在通过计算来帮助应对这场持续不断且日益严重的人道主义危机,这场危机因人为气候变化而加剧。
2022-01-24 cs.AI cs.CV cs.LG
PICNN: A Pathway towards Interpretable Convolutional Neural Networks
Tongji University(同济大学)
针对CNN中滤波器与类别纠缠导致可解释性不足的问题,提出PICNN路径,通过伯努利采样和重参数化技巧实现深层卷积滤波器按类别聚类,在多架构多数据集上验证其兼具更强可解释性与相当或更优判别能力。
2023-12-19 cs.AI cs.CV cs.LG
Transition Matrix Representation of Trees with Transposed Convolutions
Seoul National University(首尔国立大学);Ajou University(亚洲大学)
如何在树模型中有效地找到最佳结构?在可解释性对于做出不可逆决策至关重要的领域中,树模型比复杂的黑盒模型更受青睐。然而,寻找一个树结构,使性能和可解释性之间的最佳平衡仍然是一个具有挑战性的任务。在本文中,我们提出了TART(转移矩阵表示与转置卷积),我们的新的广义树表示的最佳结构搜索。TART表示具有一系列转置卷积的树模型,这些转置卷积通过避免创建转换矩阵来提高推理速度。因此,TART允许一个搜索最好的树结构与一些设计参数,实现更高的分类精度比基线模型在基于特征的数据集。
2022-02-22 cs.LG
Using Logic Programming and Kernel-Grouping for Improving Interpretability of Convolutional Neural Networks
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出神经符号框架NeSyFOLD-G,通过核分组算法和RBML算法FOLD-SE-M将CNN最后一层转化为可解释的逻辑规则集,显著减小规则集规模并提升模型可解释性。
2023-10-19 cs.CV cs.LG
PCACE: A Statistical Approach to Ranking Neurons for CNN Interpretability
Harvard University(哈佛大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学)
在本文中,我们介绍了卷积神经网络(CNN)的可解释性越来越多的文献中的一个新问题。虽然以前的工作主要集中在如何直观地解释CNN的问题上,但我们要问的是我们想要解释的是什么,也就是说,哪些层和神经元值得我们关注?由于现代深度学习网络架构的庞大规模,需要自动化的定量方法来对神经元的相对重要性进行排名,以便为这个问题提供答案。我们提出了一种新的统计方法,用于对网络的任何卷积层中的隐藏神经元进行排名。我们将重要性定义为激活图和班级分数之间的最大相关性。我们提供了不同的方法,使这种方法可以用于MNIST和ImageNet的可视化目的,并展示了我们的方法在街道级图像的空气污染预测中的实际应用。
2021-12-31 cs.CV cs.CY cs.LG
Gradient Weighted Superpixels for Interpretability in CNNs
BAE Systems Applied Intelligence(BAE系统公司应用智能部门)
随着卷积神经网络融入我们的日常生活,对它们的可解释性的需求也在增加。然而,在计算效率高但产生难以解释的解释的方法与计算速度慢但提供更可解释的结果的方法之间通常存在权衡。这在需要大输入量的问题空间中特别具有挑战性,特别是结合了空间和时间维度的视频。在这项工作中,我们介绍了通过使用基于梯度的像素评分技术的超像素评分的想法。我们定性和定量地表明,这是能够近似石灰,在一小部分的时间。我们使用图像分类和动作识别网络对大规模数据集(分别为ImageNet和Kinetics-400)进行研究。
2019-08-16 cs.CV cs.LG stat.ML
Energy-Regularized Spatial Masking: A Novel Approach to Enhancing Robustness and Interpretability in Vision Models
DAVID Lab, UVSQ, Paris-Saclay University(DAVID实验室,UVSQ,巴黎-萨克雷大学);LIPN, UMR CNRS 7030, Sorbonne Paris Nord University(LIPN,UMR CNRS 7030,索邦巴黎北大学);LISN, Paris-Saclay University(LISN,巴黎-萨克雷大学)
本文提出能量正则化空间遮蔽框架,通过可微能量最小化问题重新定义特征选择,实现更鲁棒和可解释的视觉模型。
2026-06-09 cs.CV cs.LG
Context-Aware Interpretable Representations for Retrieval and Graph Convolutional Network Classification
State University of São Paulo (UNESP)(圣保罗州立大学(UNESP))
本文针对视觉表示的几何与可解释性鸿沟,提出融合流形学习与可解释图嵌入的无监督框架,所获上下文感知表示兼具可解释性、降维能力,且在图像检索与GCN半监督分类任务中表现优异。
2026-09-01 cs.CV cs.IR cs.LG
Addressing the interpretability problem for deep learning using many valued quantum logic
IBM Systems(IBM系统)
深度学习模型广泛用于各种工业和科学应用。尽管这些模型近年来取得了相当大的成功,但在机器学习社区中,对这些系统做出的决策背后的基本原理缺乏理解。这一可解释性问题因这类模型日益复杂而进一步恶化。本文利用机器学习,量子计算和量子场论的概念来演示多值量子逻辑系统如何自然地出现在一类特定的生成深度学习模型中,称为卷积深度信念网络。它为构建深度学习模型提供了一个强大的理论框架,该模型具有许多有值量子逻辑系统的可解释性,而不会影响其计算效率。
2020-07-02 cond-mat.dis-nn cs.LG stat.ML
A Universal Logic Operator for Interpretable Deep Convolution Networks
University of Malaya(马来亚大学);JD.COM American Technologies(京东美国科技公司)
用概率/模糊逻辑运算来解释神经网络计算由于其简单性和高可解释性而引起了人们的广泛关注。不同的逻辑运算符,如AND,OR和XOR的选择产生了另一个维度的网络优化,在本文中,我们研究了开放的问题,学习一个通用的逻辑运算符,而无需手动规定任何逻辑运算。沿着这个探索有见地的观察提供了一个新的逻辑解释深卷积网络。
2019-01-20 cs.LG stat.ML
It's Hard for Neural Networks To Learn the Game of Life
Swarthmore College(斯沃斯莫尔学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提高神经网络学习能力的努力主要集中在优化方法的作用上,而不是在权重初始化上。然而,最近的研究结果表明,神经网络依赖于被称为“彩票”的子网络的幸运随机初始权重,这些子网络快速收敛到一个解决方案。为了研究权重初始化如何影响性能,我们研究了经过训练的小型卷积网络,以预测二维元胞自动机Conway's Game of Life的n个步骤,其更新规则可以在2n+1层卷积网络中有效实现。我们发现,在这项任务上训练的这种架构的网络很少收敛。相反,网络需要更多的参数才能一致地收敛。此外,接近最小的架构对参数的微小变化很敏感:改变单个权重的符号可能导致网络无法学习。最后,我们观察到一个临界值d_0,使得用细胞以概率d_0存活的例子训练最小网络大大增加了收敛到解的机会。我们的结论是,训练卷积神经网络来学习由n步生命游戏表示的输入/输出函数,表现出彩票假设所预测的许多特征,即学习该函数所需的网络大小通常显著大于实现该函数所需的最小网络。
2020-09-03 cs.LG stat.ML
RotDCF: Decomposition of Convolutional Filters for Rotation-Equivariant Deep Networks
Duke University(杜克大学)
在深度特征中显式编码组动作使得卷积神经网络(CNN)能够处理图像的全局变形,这对于许多视觉任务的成功至关重要。本文提出了同时在空间和组几何结构上的联合可操纵基上分解卷积滤波器,即具有分解卷积滤波器的旋转等变CNN(RotDCF)。这种分解便于计算联合卷积,这被证明是必要的组等方差。它显着降低了模型的大小和计算复杂性,同时保持性能,和截断的基础扩展隐式正则化的过滤器。在涉及面内和面外对象旋转的数据集上,RotDCF深度特征比常规CNN表现出更强的鲁棒性和可解释性。的稳定性的等变表示输入变化的理论上也证明了一般假设下的过滤器的分解形式。RotDCF框架可以扩展到旋转以外的组,提供了一种通用的方法,可以在减小的模型大小下实现组等方差和表示稳定性。
2018-05-17 cs.CV cs.LG stat.ML
Breast Mass Classification from Mammograms using Deep Convolutional Neural Networks
Stanford University(斯坦福大学)
乳腺X线摄影是筛查乳腺癌最广泛使用的方法。由于其主要是手动性质,肿块外观的可变性和低信噪比,大量的乳腺肿块被漏诊或误诊。在这项工作中,我们介绍了如何使用卷积神经网络直接分类乳腺X线照片中的预分割乳腺肿块为良性或恶性,使用组合的迁移学习,仔细的预处理和数据增强,以克服有限的训练数据。我们在DDSM数据集上实现了最先进的结果,超越了人类的表现,并显示了我们模型的可解释性。
2016-12-02 cs.CV cs.LG
LAP: An Attention-Based Module for Concept Based Self-Interpretation and Knowledge Injection in Convolutional Neural Networks
Sharif University of Technology(谢里夫理工大学)
提出可插入已训练卷积神经网络的注意力池化模块LAP,通过弱监督方案学习决策区分特征,在不损失性能下实现基于概念的自解释和知识注入,提供比白盒方法更有效的解释。
2023-10-24 cs.CV cs.LG
Predicting Team Performance with Spatial Temporal Graph Convolutional Networks
University of Central Florida(中佛罗里达大学)
本文提出了一种新的方法来预测团队绩效的行为痕迹的一组代理。这个时空预测问题与体育分析挑战(如教练和对手建模)非常相关。我们证明,我们提出的模型,时空图卷积网络(ST-GCN),优于其他分类技术,在预测游戏分数从一小段球员的运动和游戏功能。我们提出的架构使用图卷积网络来捕获团队成员和门控递归单元之间的空间关系,以分析动态运动信息。一个烧蚀的评价进行了展示我们的架构的不同方面的贡献。
2022-06-21 cs.LG
Neural MMO v1.3: A Massively Multiagent Game Environment for Training and Evaluating Neural Networks
Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
多智能体智能研究的进展从根本上受到可供研究的环境的数量和质量的限制。近年来,模拟游戏已成为强化学习中的主要研究平台,部分原因是其可访问性和可解释性。之前的作品已经在街机,第一人称射击(FPS),实时战略(RTS)和大型在线战斗竞技场(MOBA)游戏上取得了成功。我们的工作考虑了大型多人在线角色扮演游戏(MMORPG或MMO),它捕捉了现实世界学习的几个复杂性,这些复杂性没有被任何其他游戏类型很好地建模。我们提出神经MMO,一个大规模的多智能体游戏环境的启发MMO和讨论我们的进展,在人工智能研究的多智能体系统工程的两个更一般的挑战:分布式基础设施和游戏IO。我们进一步证明,标准的策略梯度方法和简单的基线模型可以学习有趣的紧急探索和专业化的行为,在这种情况下。
2020-04-17 cs.AI cs.LG cs.MA
Interpretable Deep Convolutional Neural Networks via Meta-learning
Dalhousie University(达尔豪斯大学);Alibaba Group(阿里巴巴集团)
模型的可解释性是许多应用程序中的一个要求,在这些应用程序中,用户依赖于模型的输出做出关键决策。最近的“算法公平性“运动也规定了学习模型的可解释性和可解释性。然而,当代最成功的机器学习方法,即深度神经网络,产生的模型是高度不可解释的。我们试图通过提出一种称为CNN-INTE的技术来解决这一挑战,该技术通过元学习来解释深度卷积神经网络(CNN)。在这项工作中,我们解释了MNIST图像数据集上深度CNN模型的特定隐藏层。我们使用两层结构的聚类算法来寻找元级训练数据,并使用随机森林作为基本学习算法来生成元级测试数据。解释结果通过图表直观地显示出来,清楚地表明了特定测试实例是如何分类的。我们的方法实现了对所有测试实例的全局解释,而不会牺牲原始深度CNN模型所获得的准确性。这意味着我们的模型忠实于深度CNN模型,这导致了可靠的解释。
2018-08-19 cs.AI cs.LG stat.ML
Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters
Tsinghua University(清华大学);Tsinghua SIGS(清华大学深圳国际研究生院);Peng Cheng Lab(鹏城实验室);ByteDance AI Lab(字节跳动人工智能实验室);University of Southern California(南加州大学)
卷积神经网络(CNN)已成功地用于一系列任务。然而,CNN通常被视为“黑箱”,缺乏可解释性。一个主要原因是由于过滤器类纠缠-过滤器和类之间复杂的多对多对应关系。大多数现有的作品尝试在预先训练的模型上进行事后解释,而忽略了减少模型背后的纠缠。相比之下,我们专注于在训练过程中减轻过滤器类纠缠。受细胞分化的启发,我们提出了一种新的策略,通过鼓励类特定的过滤器来训练可解释的CNN,其中每个过滤器只响应一个(或几个)类。具体来说,我们设计了一个可学习的稀疏类特定门(CSG)结构,以灵活的方式为每个过滤器分配一个(或几个)类。该门只允许在输入样本来自特定类时通过过滤器的激活。大量的实验证明了我们的方法在生成稀疏和高度类相关的输入表示方面的出色性能,这导致了更强的可解释性。此外,与标准训练策略相比,我们的模型在对象定位和对抗性样本检测等应用中显示出优势。代码链接:https://github.com/hyliang96/CSGCNN.
2021-07-01 cs.CV cs.LG
Building a Computer Mahjong Player via Deep Convolutional Neural Networks
The University of Tokyo(东京大学)
不完全信息博弈的评价函数往往很难定义,但对博弈的可玩性有着重要的影响。深度学习近年来取得了巨大的成就,甚至在围棋比赛中已经超过了人类顶尖选手的水平。在本文中,我们引入了一种新的数据模型来表示游戏表上的可用不完美信息,并构造了一个设计良好的卷积神经网络用于游戏记录训练。我们选择瓦片丢弃的准确性,也被称为协议率作为本研究的基准。我们在测试数据上的准确率达到70.44%,而Mizukami和Tsuruoka(2015)报告的最新基线为62.1%,显著高于之前使用深度学习的试验,这表明我们的新模型具有很大的潜力。对于人工智能程序的构建,除了瓦片丢弃策略之外,我们还对其他动作(如偷窃(pon,chi和kan)和riichi)采用类似的预测策略。通过这几个预测网络的简单组合,在不了解游戏具体规则的情况下,在日本最大的麻将网站“Tenhou”上对结果程序进行了强度评估。该程序的评分约为1850分,明显高于人类玩家的平均评分和过去研究中的程序。
2019-06-07 cs.AI cs.LG
A Study on the Uncertainty of Convolutional Layers in Deep Neural Networks
Shenzhen University(深圳大学)
本文给出了一种存在于神经网络结构中卷积层连接权值中的Min-Max性质,即,LeNet。具体来说,Min-Max属性意味着,在LeNet的基于反向传播的训练期间,卷积层的权重将远离其间隔中心,即,减少到最小值或增加到最大值。从不确定性的角度来看,我们证明了Min-Max属性对应于通过卷积的简化公式来最小化模型参数的futility。实验证明,具有Min-Max性质的模型具有较强的对抗鲁棒性,因此可以将这一性质引入到损失函数的设计中。本文指出了LeNet结构卷积层中不确定性的变化趋势,并对卷积的可解释性给出了一些见解。
2020-11-27 cs.LG stat.ML
Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本文研究不同深度学习架构(如CNN和视觉Transformer)之间特征归因的泛化与协调,提出通过协调特征归因方法增强局部解释一致性,从而提升模型可解释性与可信度。
2023-07-25 cs.CV cs.LG
Improving Interpretability in Medical Imaging Diagnosis using Adversarial Training
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
我们研究了对抗训练对卷积神经网络(CNN)可解释性的影响,特别是应用于诊断皮肤癌。我们表明,基于梯度的显着性地图的adversarially训练的CNN显着更清晰,更视觉连贯性比那些标准训练的CNN。此外,我们发现,经过逆向训练的网络突出显示了病变内具有显著颜色变化的区域,这是黑色素瘤的一个共同特征。我们发现,用小的学习率微调一个鲁棒的网络可以进一步提高显着性图的清晰度。最后,我们提供了初步的工作表明,鲁棒的第一层提取强大的低级别功能,导致视觉上连贯的解释。
2020-12-02 cs.LG
Deep reinforcement learning for time series: playing idealized trading games
Georgia Institute of Technology(佐治亚理工学院)
深度Q学习是一种端到端的解决方案,用于估计对时间序列输入采取行动的最佳策略。实验是在两个理想化的交易游戏上进行的。1)单变量:唯一的输入是波浪状价格时间序列,以及2)双变量:输入包括随机逐步价格时间序列和噪声信号时间序列,噪声信号时间序列与未来价格变化正相关。单变量博弈测试智能体是否能够捕获潜在的动态,而双变量博弈测试智能体是否能够利用输入之间的隐藏关系。堆叠门控递归单元(GRU)、长短期记忆(LSTM)单元、卷积神经网络(CNN)和多层感知器(MLP)用于对Q值进行建模。对于这两个游戏,所有的代理人都成功地找到了一个有利可图的策略。基于GRU的代理在单变量博弈中表现出最好的整体性能,而基于MLP的代理在双变量博弈中表现出更好的整体性能。
2018-03-11 cs.LG stat.ML
Traffic Graph Convolutional Recurrent Neural Network: A Deep Learning Framework for Network-Scale Traffic Learning and Forecasting
University of Washington(华盛顿大学);INRIX, Inc.(因瑞克斯公司)
交通预测是时空预测中一个极具挑战性的应用,因为交通模式是时变的,而且对道路网络的空间依赖性非常复杂。为了应对这一挑战,我们将交通网络作为一个图来学习,并提出了一种新的深度学习框架,即交通图卷积长短期记忆神经网络(TGC-LSTM),以学习交通网络中道路之间的相互作用,并预测整个网络的交通状态。我们定义了基于物理网络拓扑的流量图卷积。本文还讨论了所提出的业务图卷积与频谱图卷积之间的关系。在模型的损失函数中加入了图卷积权值的L1范数和图卷积特征的L2范数,以增强模型的可解释性。实验结果表明,该模型优于基线方法在两个现实世界的交通状态数据集。图卷积权重的可视化表明,该框架可以识别出现实世界中的交通网络中最有影响力的路段。
2019-11-05 cs.LG stat.ML
Designing Graph Convolutional Neural Networks for Discrete Choice with Network Effects
School of Civil and Environmental Engineering, Cornell University(土木与环境工程学院,康奈尔大学)
我们提出一种图卷积神经网络架构,将网络效应纳入离散选择模型,在提升预测性能的同时保持可解释性,并在通勤和选举数据上验证了其有效性。
2025-03-12 cs.LG econ.EM stat.AP
LOA: Logical Optimal Actions for Text-based Interaction Games
IBM Research(IBM研究院)
我们提出了逻辑最优动作(LOA),一个行动决策架构的强化学习应用程序的神经符号框架,这是一个组合的神经网络和符号知识获取方法的自然语言互动游戏。LOA实验的演示包括一个基于Web的交互式平台,用于基于文本的游戏和可视化所获得的知识,以提高训练规则的可解释性。该演示还提供了与相同文本游戏上的其他神经符号方法以及非符号最先进代理模型的比较模块。我们的LOA还为强化学习环境提供了Python的开源实现,以促进研究神经符号代理的实验。代码:https://github.com/ibm/loa
2021-10-21 cs.AI cs.CL cs.LG
A Learning Paradigm for Interpretable Gradients
Centrale Marseille(马赛中央理工学院);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI))
本文通过引入正则化损失使标准反向传播的梯度逼近引导反向传播的梯度,提出一种新颖的训练方法,有效降低了梯度噪声并提升了卷积网络显著性图的可解释性。
2024-04-23 cs.CV cs.LG
An Interactive Interpretability System for Breast Cancer Screening with Deep Learning
Vanderbilt University(范德堡大学);Carnegie Mellon University(卡内基梅隆大学)
深度学习方法,特别是卷积神经网络,已经成为医学图像计算任务中的强大工具。虽然这些复杂的模型提供了出色的性能,但它们的黑盒性质可能会阻碍高风险决策的实际应用。在本文中,我们提出了一个互动系统,利用国家的最先进的可解释性技术,以协助放射科医生与乳腺癌筛查。我们的系统将深度学习模型集成到放射科医生的工作流程中,并提供新颖的交互,以促进对模型决策过程的理解。此外,我们证明了我们的系统可以利用用户交互逐步提供更细粒度的可解释性报告,标签开销很小。由于所采用的可解释性技术的通用性,我们的系统是领域不可知的,可用于许多不同的医学图像计算任务,为我们如何利用视觉分析来转换最初的静态可解释性技术以增强人类决策并促进医学AI的采用提供了一个新的视角。
2022-09-30 cs.AI cs.CV cs.HC
EEG-GMACN: Interpretable EEG Graph Mutual Attention Convolutional Network
Coventry University(考文垂大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所)
提出EEG-GMACN模型,通过引入逆图权重模块和互注意力机制提升EEG分析的可解释性与临床可信度,并采用可信度校准评估预测不确定性。
2024-12-15 cs.LG eess.SP
Customer Lifetime Value in Video Games Using Deep Learning and Parametric Models
UNED(西班牙国立远程教育大学);Yokozuna Data, a Keywords Studio(横纲数据(Keywords工作室旗下公司))
如今,视频游戏开发商记录了玩家的每一个虚拟动作。由于每个玩家都可以在游戏中停留数年,这就产生了一个非常丰富的数据集,可以用来理解和预测玩家的行为。特别是,这些信息可以用来识别最有价值的玩家,并预测他们在一生中将在应用内购买中花费的金额。这在免费游戏中至关重要,其中高达50%的收入来自大约2%的玩家,即所谓的鲸鱼。为了应对这一挑战,我们探讨了如何深度神经网络可以用来预测视频游戏中的客户终身价值,并将其性能与Pareto/NBD等参数模型进行比较。我们的研究结果表明,卷积神经网络结构是最有效的预测个别球员的经济价值。它们不仅在准确性方面表现更好,而且可以扩展到大数据并显着减少计算时间,因为它们可以直接使用原始序列数据,因此不需要任何特征工程过程。当数据集非常大时,这一点就变得很重要,视频游戏日志通常就是这种情况。此外,卷积神经网络特别适合识别潜在的鲸鱼。这种早期识别对于商业目的至关重要,因为它将允许开发人员实施旨在留住大消费者并最大化其寿命的游戏内行动,这最终将转化为增加的收入。
2018-11-28 cs.CY cs.LG stat.ML
DeepAffinity: Interpretable Deep Learning of Compound-Protein Affinity through Unified Recurrent and Convolutional Neural Networks
Texas A&M University(得克萨斯农工大学)
动机:药物发现需要快速定量化合物-蛋白质相互作用(CPI)。然而,目前还缺乏一种方法,可以预测化合物蛋白质的亲和力,从序列单独具有高的适用性,准确性和可解释性。结果:我们提出了一个无缝集成的领域知识和学习为基础的方法。在结构注释的蛋白质序列的新表示下,已经提出了一种统一递归和卷积神经网络的半监督深度学习模型,以利用未标记和标记的数据,用于联合编码分子表示和预测亲和力。我们的表示和模型在IC $_{50}$中的相对误差方面优于传统选项,对于测试用例,相对误差在5倍以内,对于不包括在训练中的蛋白质类,相对误差在20倍以内。具有少量标记数据的新蛋白质类的性能通过迁移学习进一步提高。此外,单独和联合注意力机制的开发和嵌入到我们的模型,以增加其可解释性,如预测和解释选择性药物靶点相互作用的案例研究所示。最后,还探索了使用蛋白质序列或复合图的替代表示以及使用图CNN(GCNN)的统一RNN/GCNN-CNN模型,以揭示未来的算法挑战。可用性:数据和源代码可访问https://github.com/Shen-Lab/DeepAffinity补充信息:补充数据可访问http://shen-lab.github.io/deep-affinity-bioinf18-supp-rev.pdf
2018-12-08 cs.LG q-bio.BM stat.ML
Improving Deep Learning Interpretability by Saliency Guided Training
University of Maryland(马里兰大学);Genentech, Inc.(基因泰克公司)
显著性方法已被广泛用于突出模型预测中的重要输入特征。大多数现有的方法使用修改的梯度函数上的反向传播来生成显着图。因此,噪声梯度可能导致不忠实的特征属性。在本文中,我们解决了这个问题,并介绍了一个{ \it显着性指导训练}程序的神经网络,以减少噪声梯度预测中使用的同时保留模型的预测性能。我们的显着性指导训练过程迭代地掩蔽具有小的和潜在的噪声梯度的特征,同时最大化掩蔽和未掩蔽输入的模型输出的相似性。我们将显着性引导的训练过程应用于计算机视觉,自然语言处理和不同神经架构的时间序列的各种合成和真实数据集,包括递归神经网络,卷积网络和Transformers。通过定性和定量评估,我们表明显着性指导的训练过程显着提高了模型在各个领域的可解释性,同时保持其预测性能。
2021-11-29 cs.AI cs.CV cs.LG
Real-time emotion recognition for gaming using deep convolutional network features
Université de Montréal(蒙特利尔大学)
本研究的目标是探索深度卷积网络特征在情感识别中的应用。结果表明,它们的表现与其他已发表的模型相似,最佳识别率为94.4%,并且使用单个静止图像而不是视频流。还描述了情感反馈游戏的实现,其中使用这些特征的分类器实时的【形】跟踪玩家的面部表情。
2014-08-16 cs.CV cs.LG cs.NE
Teaching Deep Convolutional Neural Networks to Play Go
University of Edinburgh(爱丁堡大学)
掌握围棋一直是人工智能领域的一个长期挑战。现代计算机围棋系统依赖于处理数百万个可能的未来位置来玩好,但直观地说,一种更强大、更“人性化”的游戏方式是依靠模式识别能力,而不是蛮力计算。根据这种感觉,我们训练深度卷积神经网络来预测专家围棋选手的棋步。为了解决这个问题,我们引入了一些新的技术,包括捆绑权重的方法在网络中的“硬编码”的对称性,预计存在于目标函数,并证明在消融研究中,他们大大提高了性能。我们最终的网络能够在两个不同的Go数据集上实现41.1%和44.4%的移动预测准确率,远远超过了这项任务的先前最先进水平。此外,虽然以前的移动预测程序没有产生强大的围棋程序,但我们表明,在这项工作中训练的网络获得了高水平的技能。我们的卷积神经网络可以始终如一地击败著名的Go程序GNU Go,这表明它是不使用蒙特卡罗树搜索的程序中的最先进的。它也能够赢得一些游戏对国家的最先进的围棋播放程序Fuego,而使用的一小部分播放时间。这种围棋的成功表明人们已经学会了围棋的高级规则。
2015-01-27 cs.AI cs.LG cs.NE
GCN-WP -- Semi-Supervised Graph Convolutional Networks for Win Prediction in Esports
USC Information Sciences Institute(南加州大学信息科学研究所);USC Annenberg School for Communication and Journalism(南加州大学安纳伯格传播与新闻学院)
针对电子竞技胜负预测问题,提出基于图卷积网络的半监督模型 GCN-WP,利用赛季联赛结构及30多项比赛与选手特征实现跨联赛预测,并在 LoL 上达到最先进准确率。
2022-07-26 cs.LG cs.SI
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化,模拟模型内部思维路径,从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Training dataset generation for bridge game registration
AGH University of Science and Technology(AGH科技大学)
本文提出了一种用于自动生成用于扑克牌检测的深度卷积神经网络的训练数据集的方法。该解决方案允许跳过手动图像收集和标记识别对象的耗时过程。在生成的数据集上训练的YOLOv4网络在卡片检测任务中实现了99.8%的效率。所提出的方法是一个项目的一部分,旨在自动化的过程中,使用视觉系统和神经网络的广播重复桥比赛。
2021-09-24 cs.CV cs.LG eess.IV
A Scalable, Interpretable, Verifiable & Differentiable Logic Gate Convolutional Neural Network Architecture From Truth Tables
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
我们提出了$\mathcal{T}$ Ruth $\mathcal{T}$ able net($\mathcal{TT}$ net),一种新的卷积神经网络(CNN)架构,通过设计,解决了可解释性,形式化验证和逻辑门转换的开放挑战。$\mathcal{TT}$网络是使用CNN的过滤器构建的,这些过滤器相当于易处理的真值表,我们称之为学习真值表(LTT)块。LTT块的对偶形式允许使用梯度下降轻松训练真值表,并使这些CNN易于解释、验证和推断。具体而言,$\mathcal{TT}$网是一种深度CNN模型,在训练后转换之后,可以自动表示为布尔决策树的总和,或表示为析取/合取范式(DNF/CNF)公式的总和,或表示为紧凑的布尔逻辑电路。我们证明了$\mathcal{TT}$网在多个数据集上的有效性和可扩展性,与最先进的方法相比,具有与决策树相当的可解释性,快速完整/健全的形式化验证和可扩展的逻辑门表示。我们相信这项工作代表了使CNN在现实世界的关键应用中更加透明和值得信赖的一步。
2023-02-02 cs.AI cs.FL cs.LG