深度可分离卷积

【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?_xf__mao的博客-CSDN博客_depthwise tensorflow](https://blog.csdn.net/mao_xiao_feng/article/details/78003476)

一些轻量级的网络，如moblienet中，会有深度可分离卷积depthwise separable convolution，由depthwise（DW）和pointwise（PW）两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。
tensorflow中的api为:

tf.nn.depthwise_conv2d(input,filter,strides,padding,rate=None,name=None,data_format=None)```

除去name参数用以指定该操作的name，data_format指定数据格式，与方法有关的一共五个参数：

input：
指需要做卷积的输入图像，要求是一个4维Tensor，具有[batch, height, width, in_channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]
filter：
相当于CNN中的卷积核，要求是一个4维Tensor，具有[filter_height, filter_width, in_channels, channel_multiplier]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，输入通道数，输出卷积乘子]，同理这里第三维in_channels，就是参数value的第四维
strides：
卷积的滑动步长。
padding：
string类型的量，只能是”SAME”,”VALID”其中之一，这个值决定了不同边缘填充方式。
rate：这个参数的详细解释见【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？

结果返回一个Tensor，shape为[batch, out_height, out_width, in_channels * channel_multiplier]，注意这里输出通道变成了in_channels * channel_multiplier

普通卷积：
out_img = tf.nn.conv2d(input=img, filter=filter, strides=[1,1,1,1], padding='VALID')

深度卷积：

out_img = tf.nn.depthwise_conv2d(input=img, filter=filter, strides=[1,1,1,1], rate=[1,1], padding='VALID')

现在我们可以形象的解释一下depthwise_conv2d卷积了。看普通的卷积，我们对卷积核每一个out_channel的两个通道分别和输入的两个通道做卷积相加，得到feature map的一个channel，而depthwise_conv2d卷积，我们对每一个对应的in_channel，分别卷积生成两个out_channel，所以获得的feature map的通道数量可以用in_channel* channel_multiplier来表达，这个channel_multiplier，就可以理解为卷积核的第四维。