BERT 的网络架构使用的是“Attention is all you need”中提出的多层 Transformer 结构，其最大的特点是抛弃了传统的 RNN 和 CNN，通过 Attention 机制将任意位置的两个单词的距离转换成 1，有效的解决了 NLP 中棘手的长期依赖问题。 Transformer 的网络架构如下图所示， Transformer 是一个 encoder-decoder 的结构，由若干个编码器和解码器堆叠形成。 下图的左侧部分为编码器，由 Multi-Head Attention 和一个全连接组成，用于将输入语料转化成特征向量。右侧部分是解码器，其输入为编码器的输出以及已经预测的结果，由 Masked Multi-Head Attention, Multi-Head Attention 以及一个全连接组成，用于输出最后结果的条件概率。

▲Transformer 的网络架构

6、卷积与图卷积

两个函数的卷积，本质上就是先将一个函数翻转，然后进行滑动叠加。在连续情况下，叠加指的是对两个函数的乘积求积分，在离散情况下就是加权求和，为简单起见就统一称为叠加。 教科书上一般定义函数 f, g 的卷积 f * g(n)如下：

连续形式：

离散形式：

从计算的方式上对公式进行的解释为： 先对 g 函数进行翻转，相当于在数轴上把 g函数从右边褶到左边去，也就是卷积的“卷”的由来。然后再把 g 函数平移到 n，在这个位置对两个函数的对应点相乘，然后相加，这个过程是卷积的“积”的过程。 整体看来是这么个过程：

翻转→滑动→叠加→滑动→叠加→滑动→叠加

多次滑动得到的一系列叠加值，构成了卷积函数。卷积的“卷”，指的的函数的翻转，从 g(t)变成 g(-t)的这个过程；同时，“卷”还有滑动的意味在里面。如果把卷积翻译为“褶积”，那么这个“褶”字就只有翻转的含义了。卷积的“积”，指的是积分/加权求和。对卷积的意义的理解如下：

1） 从“积”的过程可以看到，我们得到的叠加值，是个全局的概念。以信号分析为例，卷积的结果是不仅跟当前时刻输入信号的响应值有关，也跟过去所有时刻输入信号的响应都有关系，考虑了对过去的所有输入的效果的累积。在图像处理的中，卷积处理的结果，其实就是把每个像素周边的，甚至是整个图像的像素都考虑进来，对当前像素进行某种加权处理。所以说，“积”是全局概念，或者说是一种“混合”，把两个函数在时间或者空间上进行混合。

2） 进行“卷”（翻转）的目的其实是施加一种约束，它指定了在“积”的时候以什么为参照。在信号分析的场景，它指定了在哪个特定时间点的前后进行“积”，在空间分析的场景，它指定了在哪个位置的周边进行累积处理。

要理解图卷积网络的核心操作图卷积，可以类比卷积在 CNN 的地位。如下图所示，数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。

▲图卷积示意图

现实中更多重要的数据集都是用图的形式存储的，例如社交网络信息、 知识图谱、 蛋白质网络、 万维网等等。这些图网络的形式并不像图像，是排列整齐的矩阵形式，而是非结构化的信息，那有没有类似图像领域的卷积一样，有一个通用的范式来进行图特征的抽取呢？这就是图卷积在图卷积网络中的意义。对于大多数图模型，有一种类似通式的存在，这些模型统称图卷积网络。因此可以说，图卷积是处理非结构化数据的大利器，随着这方面研究的逐步深入，人类对知识领域的处理必将不再局限于结构化数据，会有更多的目光转向这一存在范围更加广泛，涵盖意义更为丰富的知识领域。

二、 深度学习

深度学习是近 10 年机器学习领域发展最快的一个分支， 由于其重要性，三位教授（Geoffrey Hinton、 Yann Lecun、 Yoshua Bengio）因此同获图灵奖。深度学习模型的发展可以追溯到 1958 年的感知机（ Perceptron）。 1943 年神经网络就已经出现雏形（源自NeuroScience）， 1958 年研究认知的心理学家 Frank 发明了感知机，当时掀起一股热潮。后来 Marvin Minsky（人工智能大师）和 Seymour Papert 发现感知机的缺陷：不能处理异或回路等非线性问题，以及当时存在计算能力不足以处理大型神经网络的问题。于是整个神经网络的研究进入停滞期。

最近 30 年来取得快速发展。总体来说，主要有 4 条发展脉络：

▲深度学习模型最近若干年的重要进展

1、 深度学习近期重要进展

在过去几年中，深度学习改变了整个人工智能的发展。深度学习技术已经开始在医疗保健，金融，人力资源，零售，地震检测和自动驾驶汽车等领域的应用程序中出现。至于现有的成果表现也一直在稳步提高。本小节将介绍深度学习近期的一些重要进展。

2018年三大进展：

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!