1. AlexNet

1.1 卷积层尺寸计算

全0填充时

TASK 5 AlexNet与VGG

对应tensorflow的 padding="SAME"
不填充时

TASK 5 AlexNet与VGG

image.png

对应Tensor的 padding="VALID"

1.2 LRN层

深度学习的局部响应归一化LRN(Local Response Normalization)理解
 【深度学习技术】LRN 局部响应归一化

1.2.1 LRN的灵感来源

在神经生物学有一个概念叫做侧抑制，指的是被激活的神经元抑制相邻的神经元。归一化(normalization)的目的是“抑制”，局部响应归一化就是借鉴侧抑制的思想来实现局部抑制，尤其当我们使用ReLU的时候，这种“侧抑制”很管用。

1.2.2 LRN的好处

增强泛化能力，做了平滑处理。
由于LRN的侧抑制机制，响应比较大的值会相对更大，提高了模型泛化能力。可以使识别率提高1%~2%。

1.2.3 LRN的争议

对于LRN是否有效，还存在着很多争议。其实现在更多人愿意选择batch normalization和DropOut的方式，LRN并不流行。
在2015年_Very Deep Convolutional Networks for Large-Scale Image Recognition_.提到LRN基本没什么用。

局部响应归一化原理是仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制）

1.2.4 公式

局部响应归一化原理是仿造生物学上活跃的神经元对相邻神经元的抑制现象（侧抑制），然后根据论文有公式如下

a_(x,y)表示某个点(a,b,c,d)
k,n/2,α,β都是自定义的参数
∑叠加的方向是沿着通道方向的
如果看不懂可以看下文的举例

1.2.5 实验举例

代码如下

import tensorflow as tf
import numpy as np
x = np.array([i for i in range(1,33)]).reshape([2,2,2,4])
y = tf.nn.lrn(input=x,depth_radius=2,bias=0,alpha=1,beta=1)

with tf.Session() as sess:
    print(x)
    print('#############')
    print(y.eval())

输出结果如下

结果解释：
这里要注意一下，如果把这个矩阵变成图片的格式是这样的

然后按照上面的叙述我们可以举个例子计算一下。
比如26对应的输出结果0.00923952计算如下
26/(0+1*(25^2 + 26^2 + 27^2 + 28^2 ))^1

17对应的输出结果0.017453计算如下
17/(0+1*(17^2 + 18^2 + 19^2 ))^1

20对应的输出结果0.018433计算如下
20/(0+1*(18^2 + 19^2 + 20^2 ))^1

1.2.6 总结

LRN是在AlexNet中首次提出，试图通过侧抑制的方法提高其泛化能力。但是否有效还存在较大争议，并不是流行的做法。不管是国内还是国外，网上对它的讨论也并不热烈，个人认为了解即可。

1.3 AlexNet的其它特点

1.3.1 Dropout层

训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

1.3.2 最大池化

在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

1.4 架构

代码参考AlexNet implementation + weights in TensorFlow
AlexNet各层的架构如下：

[227 * 227 * 3]输入层。图片边长为227，深度(channel)为3。
[57 * 57 * 96]卷积层1。 96个11 * 11 * 3卷积核，步长为4，全0填充。因此输出边长为ceiling(227 / 4) = 57。
[57 * 57 * 96]lrn层1。做“侧抑制”，_矩阵尺寸无变化_。
[28 * 28 * 96]maxpool1。池化尺寸为3 * 3，步长为2，不填充。因此输出的边长为ceiling((57 - 3 + 1) / 2) = 28，channel数不变。
[28 * 28 * 256]卷积层2。256个5 * 5 * 96卷积核，步长为1，全0填充。因此输出边长为ceiling(28 / 1) = 28。
[28 * 28 * 256]lrn层2。做“侧抑制”，_矩阵尺寸无变化_。
[13 * 13 * 256]maxpool2。池化尺寸为3 * 3，步长为2，不填充。因此输出的边长为ceiling((28 - 3 + 1) / 2) = 13
[13 * 13 * 384]卷积层3。384个3 * 3 * 256卷积核，步长为1，全0填充。因此输出边长为ceiling(13 / 1) = 13
[13 * 13 * 384]卷积层4。卷积核和步长同上，输出边长仍然为13.
[13 * 13 * 256]卷积层5。256个3 * 3 * 384卷积核，步长为1，全0填充。因此输出边长为ceiling(13 / 1) = 13。
[6 * 6 * 256]maxpool3。池化尺寸为3 * 3，步长为2，不填充。因此输出的边长为ceiling((13 - 3 + 1) / 2) = 6
[4096] 全连接层1。
[4096] 全连接层2
[1000] 全连接层3
softmax
AlexNet原理及Tensorflow实现

1.5 代码解析

1.5.1 tf.split, tf.concat

tf.split
tf.concat

tf.split(
    value,
    num_or_size_splits,
    axis=0,
    num=None,
    name='split'
)


tf.concat(
    values,
    axis,
    name='concat'
)

上面这两个函数的定义有利于下文代码的理解。

1.5.2 conv函数

def conv(input, kernel, biases, k_h, k_w, c_o, s_h, s_w,  padding="VALID", group=1):
    '''From https://github.com/ethereon/caffe-tensorflow
    '''
    print("input getshape", input.get_shape())
    c_i = input.get_shape()[-1]
    assert c_i%group==0
    assert c_o%group==0
    convolve = lambda i, k: tf.nn.conv2d(i, k, [1, s_h, s_w, 1], padding=padding)
    
    
    if group==1:
        conv = convolve(input, kernel)
    else:
        input_groups =  tf.split(input, group, 3)   #tf.split(3, group, input)
        kernel_groups = tf.split(kernel, group, 3)  #tf.split(3, group, kernel) 
        output_groups = [convolve(i, k) for i,k in zip(input_groups, kernel_groups)]
        conv = tf.concat(output_groups, 3)          #tf.concat(3, output_groups)
    return  tf.reshape(tf.nn.bias_add(conv, biases), [-1]+conv.get_shape().as_list()[1:])

convolve是lambda函数，接受两个参数并返回一个tf.nn.conv2d
这段代码的意义就是，按照第三维度(channel的维度)将输入切割为group份，分别计算输出，再按照第三维度合并。其意义在于分组计算，减少计算的负荷。

1.6 运行结果

各个层的维度

使用默认的图片。要预测的图片为鼹鼠和猎鹬犬，从预测结果上来看，这两个种类对应的概率都最大，所以预测正确

预测结果

再使用三张在网上搜索的图片，分别是"snail", "bee eater"和"golden retriever"。其中两个都错了。

2. VGG

2.1 架构

学长给的VGG案例为VGG16，使用了16层的VGG。
代码参考VGG in TensorFlow

各层的尺寸计算方法在上文1.4篇章(AlexNet架构)已经描述，此处不赘述。

2.2 运行结果

各个层的卷积核大小或维度

各个层的维度

下面是VGG各个层的参数维度情况
conv1_1_W的conv表示卷积层，1_1表示第一部分的第一块卷积层，1_2则表示第一部分的第二块卷积层，W表示矩阵的权重
(3, 3, 3, 64)的参数意义是(filter width, filter height, channel, filter number)

各层的参数

使用默认的图片。要预测的图片为某个鼹鼠，从预测结果来看，鼹鼠的可能性最大，所以 预测正确。

预测结果

再使用"snail", "bee eater"和"golden retriever"。全对，且与其它项的比较很明显。