Segmentation

[Kinpzz]

Deeplab 图像分割方法

参考博客：

• 图像分割方法deeplab以及Hole算法解析
• FCN:Fully Convolutional Networks for Semantic Segmentation

[Kinpzz]

FCN与CNN的区别

FCN的最后几层不是全连接层，而CNN是全连接层。这些全连接层都是一维的信息，丢失了二维的信息。
CNN是图像到结果的网络，从二维信息到一维信息，一般输出一个图片的结果。而FCN网络是从图像到图像的网络，从二维信息到二维信息，是一个像素级的网络，对应每个像素点的结果。

CNN的识别是图像级的识别，也就是从图像到结果，而FCN的识别是像素级的识别，对输入图像的每一个像素在输出上都有对应的判断标注，标明这个像素最可能是属于一个什么物体/类别。

上采样和下采用

CNN从高维度到低维度，卷积+池化的过程就是下采用。FCN从低维度到高维度，反卷积的过程就是上采样。

bilinear interpolation 双线性内插

感受野

这里就涉及到一个感受野（receptive field）的概念。较浅的卷积层（靠前的）的感受域比较小，学习感知细节部分的能力强，较深的隐藏层(靠后的)，感受域相对较大，适合学习较为整体的，相对更宏观一些的特征。
感受野被定义为特定 CNN 特征正在“看”（即受其影响）的输入空间中的区域。特征的感受野可以通过其中心位置及其大小进行充分描述。

所以在做反卷积的时候，会考虑浅层的卷积信息，辅助叠加得到更好的分割结果。

概念

• 条件随机场
• Dilated Convolutions

[Kinpzz]

FCN

Introduction

Title: Fully Convolutional Networks for Semantic Segmentation
Author: Jonathan Long, Evan Shelhamer, Trevor Darrell, UC Berkeley
arXiv: 1411.4038
2015 CVPR Best Paper Honorable Mention

#Keyword

• semantic segmentation（语义分割）
• end-to-end, pixels-to-pixels（端到端，像素级）
• fully convolutional networks

(1) 将最后几层全连接层改为卷积层，大小为原来1d全连接层进行resize（故称“全卷积网络”）
(2) 将入了转置卷积，并与浅层池化层输出结合，通过设置stride来放大

Main work

• make predition a every pixel

1. 全连接层解释为卷积层，fine-tune
2. upsampleing(eg. bilinear upsampling) (TODO)
   内插法，上采样（多的位置填0）

[Kinpzz]

Deeplab

[Kinpzz]

SegNet