深度学习优化

这里重点介绍神经网络训练中的优化技术，一般地数值优化可以再数学基础-优化降梯章节查看。

这里主要关注这一类特定的优化问题：寻找神经网络上一组参数 $\theta$ ，它能显著地降低代价函数 $J(\theta)$ ，该代价函数通常包括整个训练集上的性能评估和额外的正则化项。