用Python做深度学习（五）

对于神经网络，层的类型比较的多，合理的设计这些层的类型，对于任务准确度的提升都有很大的价值。

Vision layer, Common Layer:

    InnerProduct, Convolution, Pooling, DropOut

Activation/Neron Layer:

    ReLU, Sigmoid, TanH, AbsVal, Power, BNLL, Scale

Normalization Layer:

    LRN, BatchNorm

Utility Layer:

    Split, Concat, Slicing,Eltwise

Loss Layer:

    Softmax, SoftmaxWithLoss, EuclideanLoss, HingeLoss, SigmoidCrossEntropyLoss, Accuracy

对于卷积和池化操作所对引得图片的大小有一定的规律：

    conv_h_o = (h_i + 2*pad_h - kernel_h) / stride_h + 1

    pool_h_o = ceil((h_i + 2*pad_h - kernel_h) / stride_h) + 1

数据输入 ---  卷积 --  池化--- 输出