神经网络是一个并行的分布式处理结构,由处理单元及其链接的无向通道组成。

人工神经元

人工神经元接受一个输入,经过激活函数,得到一个输出。

image-20200217190314746

激活函数

image-20200217195205430

image-20200217195431829

单层感知器

image-20200217200553358

image-20200217200623566

image-20200217210505691

image-20200217214410100

多层感知器

image-20200217224218769

误差反向传播算法BP

利用输出后的误差来估计输出层的前一层的误差,再用这个误差去估计更前一层的误差,从而获得各层的误差估计。

image-20200217225713435

image-20200217231110300

反向传播如下:

image-20200217231224975

image-20200217233040444

image-20200217233643956

image-20200217233705608

image-20200217234019319

人工神经网络到深度网络的演化

image-20200218121400892

网络发展的趋势是参数越来越多,网络越来越深。

image-20200218122631866

卷积神经网络

image-20200218123425909

image-20200218123610159

image-20200218123655620

image-20200218123747946

对于自然图像而言,我们希望从图像底层开始进行学习,而非利用人为设计的特征,如果直接将图像作为输入,采用全连接的方式,将造成巨大的计算量,因此我们提出卷积神经网络:

  • 局部连接:每次计算仅考虑卷积核大小的区域
    • 对图像而言,局部领域内的像素联系比较紧密,距离较远的像素相关性则比较弱
    • 卷积核对局部信息进行感知,在高层则将局部信息综合起来得到全局信息
  • 权值共享:克服参数过多问题
    • 利用一个参数待学习的卷积核(3x3),对图像进行卷积过滤,每个卷积核可视为学习一种参数

image-20200218125212298

采用卷积得到的结果得到的仍然是一个较高维度的结果,在如此高维的特征下设计分类器容易产生过拟合,并且计算量较大。

因此一个方法就是对不同位置上的特征进行聚合:

image-20200218125659834

image-20200218133024988

自编码器(autoencoder)

image-20200218133233532

image-20200218134846541

image-20200218135048551

RNN网络

image-20200218140718801

image-20200218140918045

image-20200218141105912