学界 | 从可视化到新模型：纵览深度学习的视觉可解释性

本文将研究范围圈定到以下六个研究方向：

网络中间层的 CNN 特征可视化。这些方法主要是合成图像，使预训练的 CNN 中的给定神经元的得分最大化，或者用卷积层的 feature maps 反推出输入图。详细内容请看第二节。

CNN 表征的诊断。相关的研究涉及为不同的物体类别诊断 CNN 的特征空间，或揭露卷积层的潜在的表征缺陷。详细内容见第三节。

「模式混合」的分离式表征编码在 CNN 的每个滤波器中。这方面的研究主要用于解卷积层的复合表征以及网络表征可视化。详细内容见第四节。

构建可解释的模型。我们在第五节讨论了可解释的 CNN 模型 [Zhang et al., 2017c]，胶囊网络 capsule network）[Sabour et al., 2017]，可解释的 R-CNNs [Wu et al., 2017]，以及 InfoGAN [Chen et al., 2016]。

通过人机交互进行语义级的由中到尾的学习。CNN 表征的正确的语义解可以进一步实现弱监督下的神经网络的「由中到尾」学习。第七节介绍了一些通过人机交互来学习新模型的方法 [Zhang et al., 2017b] 以及通过有限的人机交互实现积极有效的问答游戏 [Zhang et al., 2017a]。

综上，CNN 表征可视化是探讨网络表征的最直接的方法。网络可视化还为许多诊断 CNN 表征的方法提供了技术基础。预训练的 CNN 的特征的分离式表征以及对可解释的网络表征的学习给最先进的算法带来了更大的挑战。

论文：Visual Interpretability for Deep Learning: a Survey

论文地址：https://arxiv.org/abs/1802.00614

摘要：本篇论文回顾了目前有关理解神经网络表征和用可解释/分离式中间层表征学习神经网络的新兴方向的研究。尽管深度神经网络在不同的任务中取得了不俗的表现，但是它的可解释性一直是深度神经网络的阿克琉斯之踵。当前，深度神经网络获得了很高的鉴别力，同时它也想黑匣子一样难以解释。我们相信良好的模型可解释性或许会帮助研究人员突破深度学习的瓶颈，例如，从很少的注释中学习，通过人机交互进行语义级别的学习，以及 debug 网络的语义表征。在本文中，我们重点关注卷积神经网络（CNN），并重新审视 CNN 表征的可视化，预训练 CNN 表征的诊断方法，预训练 CNN 表征的分离方法，CNN 的分离式表征学习，以及基于模型可解释性的从中到尾的学习。最后，我们将探讨可解释的人工智能的发展趋势。

2 CNN 表征的可视化

将 CNN 滤波器可视化是探索隐藏在神经元内的视觉模式的最直接方式。网络可视化已经有了各种各样的可视化方法。

首先，基于梯度的方法是网络可视化的主流方法 [Zeiler and Fergus, 2014; Mahendran and Vedaldi, 2015; Simonyan et al., 2013; Springenberg et al., 2015]。

其次，上卷积网络 [Dosovitskiy and Brox, 2016] 是另一种典型 CNN 表征可视化技术。

3 CNN 表征的诊断方法

一些方法超出了 CNN 的可视化和 CNN 表示诊断的范畴，以获得对 CNN 中编码的特征的启发式理解。我们将所有相关研究大致分为以下五个方面。

第一个研究方向是从全局角度分析 CNN 特征。

第二个研究方向是提取通过网络直接输出为标签/属性的图像区域，以解释标签/属性的 CNN 表征。

CNN 特征空间中易受影响点的估计也是网络表征诊断的热门方向。

第四个研究方向是基于网络特征空间的分析来细化网络表征。

图 1 ：CNN 中的偏置的表征 [Zhang et al., 2018b]

4 将 CNN 表征解构成说明图和决策树