CoSy：评估神经元的文本解释
CoSy: Evaluating Textual Explanations of Neurons
AI总结：
针对缺乏统一定量方法评估神经元文本解释质量的问题，本文提出架构无关的CoSy框架，通过生成模型创建解释对应的数据点，比较神经元对生成数据与控制数据的响应评估质量，并在计算机视觉任务中验证了框架有效性。
摘要：
理解深度神经网络（DNNs）复杂本质的一个关键方面是解释其潜在表示中所学概念的能力。虽然存在将神经元与人类可理解的文本描述联系起来的方法，但由于缺乏统一的定量方法，评估这些解释的质量具有挑战性。我们引入CoSy（概念合成，Concept Synthesis），这是一个用于评估潜在神经元文本解释的新颖、与架构无关的框架。给定文本解释，我们提出的框架使用以文本输入为条件的生成模型来创建表示解释的数据点。通过比较神经元对这些生成数据点和控制数据点的响应，我们可以估计解释的质量。我们通过合理性检查验证了该框架，并在计算机视觉任务中对各种神经元描述方法进行了基准测试，揭示了质量上的显著差异。
英文摘要：
A crucial aspect of understanding the complex nature of Deep Neural Networks (DNNs) is the ability to explain learned concepts within their latent representations. While methods exist to connect neurons to human-understandable textual descriptions, evaluating the quality of these explanations is challenging due to the lack of a unified quantitative approach. We introduce CoSy (Concept Synthesis), a novel, architecture-agnostic framework for evaluating textual explanations of latent neurons. Given textual explanations, our proposed framework uses a generative model conditioned on textual input to create data points representing the explanations. By comparing the neuron's response to these generated data points and control data points, we can estimate the quality of the explanation. We validate our framework through sanity checks and benchmark various neuron description methods for Computer Vision tasks, revealing significant differences in quality.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
