拥抱悲观主义：
1.能够表示所有的权重如何生成神经网络输出的数学表达式过于复杂，难以求解。
2.太多的权重组合，难以逐个测试，以找到一种最好的组合。
3.训练数据可能不足，不能正确地教会网络。
4.训练数据可能有错误，因此即使假设完全正确，神经网络可以学到东西，但却有缺陷。
5.神经网络本身可能没有足够多的层或节点，不能正确地对问题的解进行建模。
这意味着，必须承认这些限制，采取实际的做法。如果我们从实际出发可以找到一种办法，虽然这种方法从数学角度而言不完美。
想象一下，一个非常复杂、有波峰波谷的地形以及连绵的群山峻岭。在黑暗中，伸手不见五指。你正处在山坡上，并且你的目标是走到坡底。对于整个地形，你没有精确的地图，只有一把手电筒。你能做什么呢？你可能会使用手电筒，做近距离的观察。你不能使用手电筒看得更远，无论如何，你肯定看不到整个地形。你可以看到某一块土地看起来是下坡，于是你就小步地往这个方向走。通过这种方式，你不需要完整的地图，也不需要事先制定路线，你一步一个脚印，缓慢地前进，慢慢地下山。
在数学上，这种方法称为梯度下降。
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png