深度学习能用来做什么,什么是深度学习( 九 )

3，深度，由于深，造成反向传播的梯度往往越来越弱，而造成梯度消失问题。各类深度学习的领先算法往往是围绕解决梯度消失问题。图：臭名昭著的局部极小值问题。我们用一些非常简单的实例说一下深度学习的几个主要应用方向与数学的结合：阶段1：多层神经网络（DNN）的前传与回传（BP）算法。理解DNN的前向传递过程，这个过程里包含了线性代数的空间变换思想和简单的高数。
这算是第一难度梯级，你需要掌握的是BP算法，这里含有多元微积分一个最基本的法则：链式求导和jacobian矩阵。在此处你会对维度产生全新的认识。阶段2：深度学习的中流砥柱CNN卷积运算：这里应用的数学是卷积本身，你要通过高数掌握卷积的本质，体会它与相关性，傅立叶变换等运算之间的联系。
这部分也属于高数内容，而卷积运算本身也需要强大的线性代数基础。阶段3：　RNN网络与微分方程。RNN似乎包含比别家算法多很多的数学知识，因为RNN的运算和调参你需要理解一些非线性动力系统的基础知识。如定点，边缘稳定性和混沌。非线性动力学是物理的内容，但是大部分讲的是数学，这点物理系的学的会很有优势。
阶段４：深度强化学习。这时候你的数学工具要包含bellaman 方程，控制论的一些基础知识，更多关于马尔可夫过程和时间序列的知识。简单的控制论你看看会很好的助力你对整个机器学习用于机器人控制的理解，而马尔科夫决策树的基础知识学了你会觉得什么阿尔法狗阿尔法元都挺简单的。阶段5：　生成式模型与GAN对抗网络。
这部分的数学难度应该与深度强化学习在同一难度上。需要对概率论有比较深的理解。最基础的生成模型你要理解玻尔兹曼机这个与统计物理渊源很深的模型，需要较深的概率统计知识。GAN生成对抗模型的目标函数含有了大名鼎鼎的博弈论思想。纳什均衡都进来了啊，虽然这时候的优化理论已经飞一样的难，你还是会有一种融汇贯通的感觉。
阶段6：信息瓶颈理论？计算神经科学前沿？铁哥恭喜你此处要告别尘缘了。深度学习的尽头必然要与我们对认知和信息本质的基础认识相连。此处针对希望做深度学习研究的人员。基础教材推荐：陈希孺院士的《概率论与数理统计》，这是一本数理统计的入门级教材。最好的统计中文教材。参考评论 https://d.cosx.org/d/14990-14990龚升的《简明微积分》。