当前位置:首页> AI教程> 卷积神经网络:深度学习中的重要技术

卷积神经网络:深度学习中的重要技术

释放双眼,带上耳机,听听看~!
本文介绍了卷积神经网络(CNN)在深度学习中的重要作用,包括小区域、相同的图案和二次抽样等方面的优势。讨论了为什么使用CNN以及它在影像处理中的应用。

李宏毅《深度学习》卷积神经网络CNN:李宏毅机器学习(2016)_哔哩哔哩_bilibili卷积神经网络:深度学习中的重要技术https://www.bilibili.com/video/av9770190/?p=10

blog.csdn.net/wuzhenzi519…卷积神经网络:深度学习中的重要技术https://blog.csdn.net/wuzhenzi5193/article/details/80468650

一、为什么要使用卷积神经网络(CNN)

卷积神经网络:深度学习中的重要技术
CNN常常被用在影像处理上,比如说你想要做影像的分类,就是training一个neural network,input一张图片,然后把这张图片表示成里面的像素(pixel),也就是很长很长的矢量(vector)。output就是(假如你有1000个类别,output就是1000个dimension)dimension。
通常会遇到一些问题:

  • 1.在training neural network时,我们希望在network的structure里面,每一个neural就是代表了一个最基本的classifier,事实是在文件上根据训练的结果,你有可能会得到很多这样的结论。
  • 2.直接用fully connect feedforward network来做影像处理的时候,需要太多参数。

CNN能简化neural network的架构,处理影像时,某些weight用不上,我们一开始就把它滤掉。不是用fully connect feedforward network,而是用比较少的参数来做影像处理这件事。现在从下面3个方面进行阐述。

1.1 小区域(Small region )

卷积神经网络:深度学习中的重要技术
处理影像时,对于第一层的 hidden layer,neural的作用是侦测某一种pattern,看它是否出现?大部分的pattern其实比整张的image还要小,对一个neural来说,假设它要知道一个image里面有没有出现某一个pattern,它不需要看整张image,只要看image的一小部分。

举例:假设我们现在有一张图片,第一个hidden layer的某一种neural的工作就是要侦测有没有鸟嘴的存在(有一些neural侦测有没有爪子的存在,有一些neural侦测有没有翅膀的存在,有没有尾巴的存在,合起来就可以侦测图片中某一只鸟)。其实它并不需要看整张图,只需要给neural看一小红色方框的区域(鸟嘴),它就可以知道它是不是一个鸟嘴。对人来说也是一样,看这一小块区域这是鸟嘴,不需要去看整张图才知道这件事情。所以,每一个neural连接到每一个小块的区域就好了,不需要连接到整张完整的图。

1.2 相同的图案(Same Patterns)

卷积神经网络:深度学习中的重要技术
观察上图,同样的pattern在image里面,可能会出现在image不同的部分,但是代表的是同样的含义,它们有同样的形状,可以用同样的neural,同样的参数就可以把patter侦测出来。
在这张图里面,有一张在左上角的鸟嘴,有一个在中央的鸟嘴,但是你并不需要说:我们不需要去训练两个不同的探测器(detector),一个专门去侦测左上角的鸟嘴,一个去侦测中央有没有鸟嘴。如果这样做的话,这样就太冗了。我们不需要太多的冗源,这个nerual侦测左上角的鸟嘴跟侦测中央有没有鸟嘴做的事情是一样的。我们并不需要两个neural去做两组参数,我们就要求这两个neural用同一组参数,就样就可以减少需要参数的量。

1.3 二次抽样(Subsampling)

卷积神经网络:深度学习中的重要技术
一个image,你可以做subsampling,把一个image的奇数行,偶数列的pixel拿掉,变成原来十分之一的大小,它其实不会影响人对这张image的理解。我们会觉得这两张image看起来可能没有太大的差别。所以我们就可以用这样的概念把image变小,这样就可以减少需要的参数。

二、CNN架构

卷积神经网络:深度学习中的重要技术
CNN的架构如下:

  • 1.输入一张图片后通过卷积层(convolution layer);
  • 2.然后做max pooling;
  • 3.再做卷积(convolution);
  • 4.2-3步重复多次;(反复多少次是事先决定的,即network的架构)
  • 5.压平(flatten);
  • 6.最后把flatten的output丢到一般全连接前馈网络(fully connected feedforward network),就可以得到影像辨识的结果。

卷积神经网络:深度学习中的重要技术
基于前面三个影像处理的观察,得出:

  • 第一,要生成一个pattern,不要看整张的image,只需要看image的一小部分。
  • 第二,通用的pattern会出现在一张图片的不同的区域。
  • 第三,可以subsampling。

前面的两个property可以用convolution来处理掉,最后的property可以用Max Pooling这件事来处理。

三、卷积(Convolution)

3.1 属性1(Property1)

卷积神经网络:深度学习中的重要技术
假设现在network的输入是一张6*6的Image,如果是黑白的,一个pixel就只需要用一个value去描述它,1就代表有涂墨水,0就代表没有涂到墨水。那在convolution layer里面,它由一组过滤(filter),(其中每一个filter其实就等同于是fully connect layer里面的一个neuron),每一个filter其实就是一个矩阵——matrix(3 *3),这每个filter里面的参数(matrix里面每一个element值)就是network的参数(parameter,这些parameter是要学习出来,不需要人去设计)

每个filter如果是3* 3的检测(detects)意味着它就是再侦测一个3 *3的pattern(看3 *3的一个范围)。在侦测pattern的时候不看整张image,只看一个3 *3的范围内就可以决定有没有某一个pattern的出现。这个就是我们考虑的第一个属性(Property)。

3.2 属性2(Propetry2)

卷积神经网络:深度学习中的重要技术
filter跟image怎么运作?
首先第一个filter是一个3* 3的matrix,把这个filter放在image的左上角,把filter的9个值和image的9个值做内积,两边都是1,1,1(斜对角),内积的结果就得到3。(移动多少是事先决定的),移动的距离叫做步长(stride——stride等于多少,自己设计)。

四、卷积和全连接之间的关系

卷积神经网络:深度学习中的重要技术
convolution就是fully connected layer把一些weight拿掉了。经过convolution的output其实就是一个hidden layer的neural的output。如果把这两个link在一起的话,convolution就是fully connected拿掉一些weight的结果。

五、Max pooling

卷积神经网络:深度学习中的重要技术
如上图,根据filter 1得到4*4的maxtrix,根据filter2得到另一个4 *4的matrix,输出,4个一组。每一组里面可以选择它们的平均或者选最大的,把四个value合成一个value,让image缩小。
卷积神经网络:深度学习中的重要技术
如果选择四个里面的max vlaue都保留下来,这样可能会有个问题,把这个放到neuron里面,这样就不能够微分了,但是可以用微分的办法来处理。
卷积神经网络:深度学习中的重要技术
做完一个convolution和一次max pooling,就将原来6 * 6的image变成了一个2 *2的image。这个2 *2的pixel的深度depend你有几个filter,得到的结果就是一个new image but smaller,一个filter就代表了一个channel。
卷积神经网络:深度学习中的重要技术
这件事可以重复多次,通过一个convolution + max pooling就得到新的 image。它是一个比较小的image,可以把这个小的image,做同样的事情,再次通过convolution + max pooling,将得到一个更小的image。

这边有一个问题:第一次有25个filter,得到25个feature map,第二个也是由25个filter,那将其做完是不是要得到2 5 2 25^2252的feature map。其实不是这样的!

假设第一层filter有2个,第二层的filter在考虑这个imput时是会考虑深度的,并不是每个channel分开考虑,而是一次考虑所有的channel。所以convolution有多少个filter,output就有多少个filter(convolution有25个filter,output就有25个filter。只不过,这25个filter都是一个立方体)

六、压平(Flatten)

卷积神经网络:深度学习中的重要技术
flatten就是特征图(feature map)拉直,拉直之后就可以丢到fully connected feedforward netwwork,然后就结束了。

本文参考:【DataWhale-李宏毅深度学习】

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

变分推断及其应用:人工智能领域的理论基础

2023-12-8 23:01:14

AI教程

RT-DETR 模型量化压缩及部署实战

2023-12-9 0:21:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索