arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2405.06409cs.LGcs.AI
收藏

可视化神经网络的想象

Visualizing Neural Network Imagination

Google(谷歌);University of Toronto(多伦多大学);Satalia(萨塔利亚公司);University of Oxford(牛津大学)

Nevan Wichers, Victor Tao, Riccardo Volpato, Fazl Barez

AI总结:

本文通过在RNN末端接入解码器来可视化隐藏激活所表示的环境状态,并提出定量可解释性指标,结合自编码器与对抗技术验证隐藏状态的高可解释性。

摘要:

在某些情况下,神经网络会在其隐藏激活中表示环境状态。我们的目标是可视化网络正在表示哪些环境状态。我们实验了一种循环神经网络(RNN)架构,并在末端加入一个解码器网络。训练完成后,我们将解码器应用于网络的中间表示,以可视化它们所表示的内容。我们定义了一个定量可解释性指标,并用它证明在简单任务上隐藏状态可以具有高度可解释性。我们还开发了自编码器和对抗技术,并表明它们有助于提升可解释性。

英文摘要:

In certain situations, neural networks will represent environment states in their hidden activations. Our goal is to visualize what environment states the networks are representing. We experiment with a recurrent neural network (RNN) architecture with a decoder network at the end. After training, we apply the decoder to the intermediate representations of the network to visualize what they represent. We define a quantitative interpretability metric and use it to demonstrate that hidden states can be highly interpretable on a simple task. We also develop autoencoder and adversarial techniques and show that benefit interpretability.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑