程序员宝藏库：https://github.com/Jackpopc/CS-Books-Store

现如今，谈起人工智能，对于大多数人来说已经不再陌生。

而作为其中比较热门的计算机视觉，更是吸引了一大批从业者。

但是，其中绝大多部分都“不知所以然”。搭建起开发环境，照搬一段代码，就认为大功告成，但是，到底数据进入网络中发生了什么？特征是什么样的，很多人都回答不上来。

本文，就来教大家如何如何可视化CNN网络层的特征图。

教程

废话不多说，我们先来建立一个网络模型：

model = tf.keras.models.Sequential（[
    
    tf.keras.layers.Conv2D（8，（3,3），激活='relu'，input_shape =（150,150,3）），
    tf.keras.layers.MaxPooling2D（2,2），
    
    tf.keras.layers.Conv2D（16，（3,3），激活='relu'），
    tf.keras.layers.MaxPooling2D（2,2），
    
    tf.keras.layers.Conv2D（32，（3,3），激活='relu'），
    tf.keras.layers.MaxPooling2D（2,2），
    
    tf.keras.layers.Flatten（），
    
    tf.keras.layers.Dense（1024，activation ='relu'），
    tf.keras.layers.Dense（512，activation ='relu'），
    
    tf.keras.layers.Dense（3，activation ='softmax'）    
 ]）

该模型的概括如下：

model.summary()

如上所示，我们具有三个卷积层，其后是MaxPooling层，两个全连接层和一个最终输出全连接层。

我们需要训练和拟合模型。因此，首先运行模型，然后才能得到特征图。只不过，在这里不演示这部分过程。

要生成特征图，需要用到model.layersAPI，接下来了解如何访问CNN中间层。

获取CNN网络层的名称

layer_names = [layer.name for layer in model.layers]
layer_names

我们会得到如下结果：

['conv2d',
 'max_pooling2d',
 'conv2d_1',
 'max_pooling2d_1',
 'conv2d_2',
 'max_pooling2d_2',
 'flatten',
 'dense',
 'dense_1',
 'dense_2']

获取CNN网络层的输出

layer_outputs = [layer.output for layer in model.layers]

这将返回CNN网络层的输出对象，它们不是真正的输出，但是它们告诉我们将产生输出的函数。我们将结合这一层，输出到可视化模型中，构建可视化特征图。

[<tf.Tensor 'conv2d/Relu:0' shape=(None, 148, 148, 8) dtype=float32>,
 <tf.Tensor 'max_pooling2d/MaxPool:0' shape=(None, 74, 74, 8) dtype=float32>,
 <tf.Tensor 'conv2d_1/Relu:0' shape=(None, 72, 72, 16) dtype=float32>,
 <tf.Tensor 'max_pooling2d_1/MaxPool:0' shape=(None, 36, 36, 16) dtype=float32>,
 <tf.Tensor 'conv2d_2/Relu:0' shape=(None, 34, 34, 32) dtype=float32>,
 <tf.Tensor 'max_pooling2d_2/MaxPool:0' shape=(None, 17, 17, 32) dtype=float32>,
 <tf.Tensor 'flatten/Reshape:0' shape=(None, 9248) dtype=float32>,
 <tf.Tensor 'dense/Relu:0' shape=(None, 1024) dtype=float32>,
 <tf.Tensor 'dense_1/Relu:0' shape=(None, 512) dtype=float32>,
 <tf.Tensor 'dense_2/Softmax:0' shape=(None, 3) dtype=float32>]

为了生成特征图，我们必须构建一个可视化模型，该模型以图像为输入，并用上述layer_outputs作为输出函数。

这里要注意的重要一点是，我们总共有10个输出，9个中间输出和1个最终分类输出。因此，我们将有9个特征图。

CNN网络层特征图可视化

feature_map_model = tf.keras.models.Model(input=model.input, output=layer_outputs)

上面的代码汇总了我们在开始时创建的CNN模型的输入和输出函数。

layer_outputs中总共有10个输出函数。将该图像作为输入，然后使该图像以串行方式依次通过所有这10个输出函数。

最后一个输出函数是模型本身的输出。因此，总共有9个中间输出函数，因此有9个中间特征图。

这意味着我们提供给feature_map_model的任何输入，输出将以9个特征图的形式呈现。

现在，我们将准备一张图像，以将其作为上述feature_map_model的输入：

image_path= r"path of the image from desktop or internet."img = load_img(image_path, target_size=(150, 150))  input = img_to_array(img)                           
input = x.reshape((1,) + x.shape)                   
input /= 255.0

在上面的代码中，我们已将图像加载到变量“输入”中，将其转换为数组，扩展了图像的尺寸以匹配中间层的尺寸，最后，在将图像输入到层。

现在，让我们将其输入到创建的模型中：

feature_maps = feature_map_model.predict(input)

现在已经生成了特征图，让我们检查每个输出的特征图的形状。

for layer_name, feature_map in zip(layer_names, feature_maps):print(f"The shape of the {layer_name} is =======>> {feature_map.shape}")

这会输出中间网络层的名称以及特征层的形状：

生成特征图

我们需要生成卷积层的特征图，而不需要生成全连接层的特征图：

for layer_name, feature_map in zip(layer_names, feature_maps):  if len(feature_map.shape) == 4

每个特征图都有n个通道，并且在特征图形状的末尾给出该数字“ n”。这是特定图层中特征的数量。

例如。feature_map[0].shape=(1,148,148,8)。

这意味着这是一个具有8维的图像。因此，我们需要遍历此图像以分离其8张图像。

for layer_name, feature_map in zip(layer_names, feature_maps):   if len(feature_map.shape) == 4
   k = feature_map.shape[-1]  
    for i in range(k):
        feature_image = feature_map[0, :, :, i]

直接生成的特征图在视觉上非常暗淡，因此人眼无法正确看到。因此，我们需要对提取特征图像进行标准化。

feature_image-= feature_image.mean()
feature_image/= feature_image.std ()
feature_image*=  64
feature_image+= 128
feature_image= np.clip(x, 0, 255).astype('uint8')

接下来，生成特征图：

for layer_name, feature_map in zip(layer_names, feature_maps):  if len(feature_map.shape) == 4
      k = feature_map.shape[-1]  
      size=feature_map.shape[1]
      for i in range(k):
        feature_image = feature_map[0, :, :, i]
        feature_image-= feature_image.mean()
        feature_image/= feature_image.std ()
        feature_image*=  64
        feature_image+= 128
        feature_image= np.clip(x, 0, 255).astype('uint8')
        image_belt[:, i * size : (i + 1) * size] = feature_image

下一步，就是显示生成的特征图：

scale = 20. / k
plt.figure( figsize=(scale * k, scale) )
plt.title ( layer_name )
plt.grid  ( False )
plt.imshow( image_belt, aspect='auto')

原始图像：

到此为止，就把CNN网络特征层进行了可视化！