大数据培训深度学习算法的几个难点

1、局部最优问题。

深度学习算法的目标函数，几乎全都是非凸的。而目前寻找最优解的方法，都是基于梯度下降的。稍微有点背景知识的人都知道，梯度下降方法是解决不了非凸问题的。因此，如果找到最优解，将是深度学习领域，非常值得研究的课题。

2、内存消耗巨大，计算复杂。

内存消耗巨大和计算复杂体现在两个方面。（1）训练过程。（2）检测过程。

这两个过程的计算复杂，根本原因都是庞大的参数规模造成的。

3、人脑机理还有很多没用上。

深度学习模拟的是人脑的其中一个很小的方面，就是：深度结构，以及稀疏性。

但事实上，人脑是相当复杂滴。关于视觉注意机制、多分辨率特性、联想、心理暗示等功能，目前根本就没有太多的模拟。所以神经解剖学对于人工智能的影响应该是蛮大的。将来要想掀起机器智能的另一个研究高潮，估计还得继续借鉴神经解剖学。

4、人为设计模版的可行性。

一直在想，为什么第一层用于检测角点和边缘这种简单特征的模版，一定需要通过无监督训练得到，如果人为实现模拟的话，能否也得到较为理想的结果呢？

5、代价函数的设计方法。

代价函数的设计，在初学者看来，是很奇怪的。代价函数的设计，直接影响到最终的模版训练结果，可以说是深度学习中最核心的模块。

6、整个神经网络系统的设计。

神经网络的设计方法，包含了研究人员对人脑的理解方式。CNN、RBM，以及andrew项目组设计的变态网络，都各有各的特色。要把整个网络框架设计好，还是比较需要经验的，也是相当费脑力的。当然，这是整个领域最有研究价值的模块。