社区编辑申请
注册/登录
理解深度学习
人工智能 深度学习
深度学习现在非常热,各种会议都要和这个沾点边。百度大脑,谷歌大脑计划搞的都是这个。在一些领域取得了非常不错的效果,如图片识别,语音识别,在安全领域甚至还有识别加密的协议等。如图片,语音领域实验室准确率都超过了90%。

1、现状:

深度学习现在非常热,各种会议都要和这个沾点边。百度大脑,谷歌大脑计划搞的都是这个。在一些领域取得了非常不错的效果,如图片识别,语音识别,在安全领域甚至还有识别加密的协议等。如图片,语音领域实验室准确率都超过了90%。

2、深度学习的本质

一个典型的机器学习样例如上,从开始的通过传感器(例如CMOS)来获得数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。***一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很多的paper和研究。

而中间的三部分,概括起来就是特征表达。良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部分。但,这块实际中一般都是人工完成的。靠人工提取特征。

然而,手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?答案是能!Deep Learning就是用来干这个事情的,看它的一个别名UnsupervisedFeature Learning,就可以顾名思义了,Unsupervised的意思就是不要人参与特征的选取过程。

深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,“深度模型”是手段,“特征学习”是目的。区别于传统的浅层学习,深度学习的不同在于:1)强调了模型结构的深度,通常有5层、6层,甚至10多层的隐层节点;2)明确突出了特征学习的重要性,也就是说,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。

3、深度学习和传统神经网络的关系

Deep learning本身算是machine learning的一个分支,简单可以理解为neural network的发展。大约二三十年前,neural network曾经是ML领域特别火热的一个方向,但是后来确慢慢淡出了,原因包括以下几个方面:

1)比较容易过拟合,参数比较难tune,而且需要不少trick;

2)训练速度比较慢,在层次比较少(小于等于3)的情况下效果并不比其它方法更优;

所以中间有大约20多年的时间,神经网络被关注很少,这段时间基本上是SVM和boosting算法的天下。但是,一个痴心的老先生Hinton,他坚持了下来,并最终(和其它人一起Bengio、Yann.lecun等)提成了一个实际可行的deep learning框架。

4、Deep learning与传统的神经网络之间有相同的地方也有很多不同。

二者的相同在于deep learning采用了神经网络相似的分层结构,系统由包括输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个logistic regression模型;这种分层结构,是比较接近人类大脑的结构的。

而为了克服神经网络训练中的问题,DL采用了与神经网络很不同的训练机制。传统神经网络中,采用的是back propagation的方式进行,简单来讲就是采用迭代的算法来训练整个网络,随机设定初值,计算当前网络的输出,然后根据当前输出和label之间的差去改变前面各层的参数,直到收敛(整体是一个梯度下降法)。而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为,如果采用back propagation的机制,对于一个deep network(7层以上),残差传播到最前面的层已经变得太小,出现所谓的gradient diffusion(梯度扩散)。

5、总结

深度学习是关于自动学习要建模的数据的潜在(隐含)分布的多层(复杂)表达的算法。换句话来说,深度学习算法自动的提取分类需要的低层次或者高层次特征。高层次特征,一是指该特征可以分级(层次)地依赖其他特征,例如:对于机器视觉,深度学习算法从原始图像去学习得到它的一个低层次表达,例如边缘检测器,小波滤波器等,然后在这些低层次表达的基础上再建立表达,例如这些低层次表达的线性或者非线性组合,然后重复这个过程,***得到一个高层次的表达。

Deep learning能够得到更好地表示数据的feature,同时由于模型的层次、参数很多,capacity足够,因此,模型有能力表示大规模数据,所以对于图像、语音这种特征不明显(需要手工设计且很多没有直观物理含义)的问题,能够在大规模训练数据上取得更好的效果。此外,从模式识别特征和分类器的角度,deep learning框架将feature和分类器结合到一个框架中,用数据去学习feature,在使用中减少了手工设计feature的巨大工作量(这是目前工业界工程师付出努力最多的方面),因此,不仅仅效果可以更好,而且,使用起来也有很多方便之处,因此,是十分值得关注的一套框架,每个做ML的人都应该关注了解一下。

当然,deep learning本身也不是***的,也不是解决世间任何ML问题的利器,不应该被放大到一个无所不能的程度。

【本文为51CTO专栏作者“大数据和云计算”的原创稿件,转载请通过微信公众号获取联系和授权】

戳这里,看该作者更多好文

责任编辑:武晓燕 来源: 51CTO专栏
相关推荐

2022-04-17 23:09:07

深度学习人工智能芯片

2019-02-13 18:40:22

2018-11-20 15:23:30

深度学习梯度神经网络

2019-02-13 19:00:01

深度学习机器学习人工神经

2019-09-17 16:56:39

2021-03-22 10:57:02

人工智能深度学习深度学习模型

2017-10-25 16:30:47

2021-03-19 15:23:38

深度学习编程人工智能

2021-03-30 11:29:02

2021-03-24 14:32:44

人工智能深度学习

2016-12-20 10:55:52

2017-06-02 23:00:00

2022-04-29 10:53:37

计算实践方案

2022-08-03 13:41:50

神经网络深度学习

2022-07-08 10:59:32

深度学习计算

2020-09-27 10:37:51

谷歌Transformer机器学习

2019-05-05 09:46:01

Python代码神经网络

2022-05-24 15:09:13

机器人深度学习人工智能

2022-02-21 00:05:25

深度学习可视化工具

2022-04-14 18:03:16

深度学习AI谷歌

编辑推荐

为什么大家都不戳破深度学习的本质?!一文搞懂RNN(循环神经网络)基础篇神经网络训练中,傻傻分不清Epoch、Batch Size和迭代CVPR 2017论文解读:特征金字塔网络FPN超实用的图像超分辨率重建技术原理与应用
我收藏的内容
点赞
收藏

AISummit人工智能大会