Improving the way neural networks learn

Cost function

quadratic cost function

如果使用 $$C=\frac{(y-a)^2}{2} \tag{1}$$ 其中$a=\sigma(z), z=wx+b$ 这样的cost function，根据链式法则，对weight和bias的导数为 $$\frac{\partial C}{\partial w} = (a - y)\sigma'(z)x \tag{2}$$ $$\frac{\partial C}{\partial b} = (a - y)\sigma'(z) \tag{3}$$ 从上面的公式可以看出，在做反向传播的时候，用来更新参数的梯度$\nabla w$，$\nabla b$和$\sigma'(z)$成线性关系。$\sigma'(z)$越小，那么更新参数的幅度就会很小，那么可能就出出现loss下降的慢，收敛速度慢的情况。$\sigma(z)$就是sigmoid函数，如下图所示：

从图中可以看出，当sigmoid函数的输入大于3, 那么输出接近为1，此时的导数很小（输入很小时，输出接近为0,导数一样很小），而实际训练过程中，出现输入远大于3的可能性也很大，那么这时候导数很小，根据上面所述，梯度与sigmoid的导数成线性关系，就会导致收敛速度慢的情况。该网址有动图展示。

cross-entropy cost function

如果使用 $$C=-\frac{1}{n}\sum_{x} [y ln a + (1-y) ln(1 - a)] \tag{4}$$ 我们对weight和bias求导，可得 $$\frac{\partial C}{\partial w_j} = -\frac{1}{n} \sum_x \left( \frac{y }{\sigma(z)} -\frac{(1-y)}{1-\sigma(z)} \right) \frac{\partial \sigma}{\partial w_j} \\ = -\frac{1}{n} \sum_x \left( \frac{y}{\sigma(z)} -\frac{(1-y)}{1-\sigma(z)} \right)\sigma'(z) x_j \\ = \frac{1}{n} \sum_x \frac{\sigma'(z) x_j}{\sigma(z) (1-\sigma(z))} (\sigma(z)-y) \\ = \frac{1}{n} \sum_x x_j(\sigma(z)-y) \tag{5}$$ 其中$\sigma'(z)=\sigma(z) (1-\sigma(z))$ $$\frac{\partial C}{\partial b} = \frac{1}{n} \sum_x (\sigma(z)-y) \tag{6}$$ 此时可以看出使用cross-entropy cost function 的好处是，在求导的时候，与$\sigma'(z)$无关了，当你的输出$\sigma(z)$与我们的真实label $y$相差的越远，梯度越大，这正是我们所期望的，从而达到快速收敛的效果。该网址有动图展示。

思考：是不是因为sigmoid函数在输出接近为1的时候，导数小，影响收敛速度，所以后面人们设计出新的激活函数ReLU呢？毕竟ReLu在$x>0$时，是一条直线。

The quantity$−[ylny+(1−y)ln(1−y)]−[yln⁡y+(1−y)ln⁡(1−y)]$ is sometimes known as the binary entropy.

注意：以上讨论quadratic cost function收敛慢，是在输出层加了sigmoid的情况下，如果输出层不加sigmoid，即$a^L_j = z^L_j$,此时残差就会变为$\delta^L = a^L-y$.此时再看weight和bias的偏导： $$\frac{\partial C}{\partial w^L_{jk}} = \frac{1}{n} \sum_x a^{L-1}_k (a^L_j-y_j) \tag{7}$$ $$\frac{\partial C}{\partial b^L_{j}} = \frac{1}{n} \sum_x (a^L_j-y_j) \tag{8}$$

我们会发现，之前导致收敛速度慢的$\sigma'(z)$项已经消失，所以如果输出层不加sigmoid，使用quadratic cost没有问题。

注意：神经元输出接近为1,我们成为神经元饱和(neurons saturate)现象.

softmax loss

这里输出层应用softmax function， 即输出层第j个神经元的输出为 $$a^L_j = \frac{e^{z^L_j}}{\sum_k e^{z^L_k}} \tag{9}$$ 其中$z^L_j = \sum_{k} w^L_{jk} a^{L-1}_k + b^L_j为神经元输入$。 这么做的有点是，确保输出层所有输出之和为1,那么我们就可以解释为每个输出代表的是概率。 以MNIST为例，输出层有10个神经元，每个神经元代表的是每种结果的可能性，做预测的时候，自然选择概率最大的那个神经元作为预测结果。

实际在算loss的时候，会对softmax 函数取对数，即$C \equiv -\ln a^L_y$. 这么做的好处？以MNIST数据举例来说，假设输入为7,我们网络输出$a^L_7$接近为1时，此时对应的loss就很小，相反，如果此时$a^L_7$接近为很小，那么此时的loss就会很大。这正是我们所期望的。

softmax loss如何解决学习慢的问题？softmax loss会不会有和quadratic cost一样的问题呢？答案是不会有，他对weight和bias的偏导如下： $$\frac{\partial C}{\partial b^L_j} = a^L_j-y_j \tag{10}$$ $$\frac{\partial C}{\partial w^L_{jk}} = a^{L-1}_k (a^L_j-y_j) \tag{11}$$ 与$\sigma'(z)$无关，和cross-entropy的偏导很相似，即使神经元饱和，也能快速收敛（这句话我不知道说的对不对，但是仅从目前已知条件来看，是没错的，以后等待考量） 注意: 在输出层应用sigmoid的cross-entropy loss和 在输出层应用sofxmax function的softmax loss，在更新参数的偏导公式是一样的。

Regularization methods

Weight initialization