BERT 模型。 BERT 的全称是 Bidirectional Encoder Representation from Transformers，是基于深度双向Transformer 的预训练模型，能用所有层的上下文语境训练深度双向表征。自 Google 在 2018年公布 BERT 在 11 项 nlp 任务中的卓越表现后， BERT 就成为 NLP 领域大火的模型。

视频到视频合成（Video-to-Video Synthesis）。 我们通常习惯由图形引擎创建的模拟器和视频游戏进行环境交互。虽然令人印象深刻，但经典方法的成本很高，因为必须精心指定场景几何、材料、照明和其他参数。一个很好的问题是：是否可以使用例如深度学习技术自动构建这些环境。 NVIDIA 的研究人员解决了这个问题。他们的目标是在源视频和输出视频之间提供映射功能，精确描绘输入内容。作者将其建模为分布匹配问题，其目标是使自动创建视频的条件分布尽可能接近实际视频的条件分布。为实现这一目标，他们建立了一个基于生成对抗网络（GAN）的模型。在 GAN 框架内的关键思想是，生成器试图产生真实的合成数据，使得鉴别器无法区分真实数据和合成数据。他们定义了一个时空学习目标，旨在实现暂时连贯的视频。

图网络（Graph Network）。 DeepMind 联合谷歌大脑、MIT 等机构 27 位作者发表重磅论文“Relational inductive biases, deep learning, and graph networks”，提出“图网络”（Graph network），将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。 作者认为组合泛化是人工智能实现与人类相似能力的首要任务，而结构化表示和计算是实现这一目标的关键，实现这个目标的关键是结构化的表示数据和计算。该论文讨论了图网络如何支持关系推理和组合泛化，为更复杂的、可解释的和灵活的推理模式奠定基础。

2019年三大进展：

XLNet 模型。 XLNet 是 CMU 与谷歌大脑提出的全新 NLP 模型，在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果，包括机器问答、自然语言推断、情感分析和文档排序。

MoCo。何恺明在其工作“Momentum Contrast for Unsupervised Visual Representation Learning”中提出了动量对比度（MoCo）用于无监督的视觉表示学习。 从作为字典查找的对比学习的角度来看，作者构建了一个带有队列和移动平均编码器的动态字典。这样就可以实时构建大型且一致的词典，从而促进对比性的无监督学习。 MoCo 在 ImageNet 分类的通用线性协议下提供了竞争性的结果。更重要的是， MoCo 学习到的表示将转移到下游任务。 MoCo 可以胜过在 PASCAL VOC， COCO 和其他数据集上进行监督的预训练对等任务中的检测/细分任务，有时会大大超过它。这表明在许多视觉任务中，无监督和有监督的表征学习之间的鸿沟已被大大消除。

DL System 2。 Yoshua Bengio在NeuIPS 2019上的报告“FROM SYSTEM 1 DEEP LEARNING TO SYSTEM2 DEEP LEARNING”讨论了深度学习发展的方向，引起了广泛关注， 清华大学的唐杰教授对其进行了深度解读。

三、人才

1、 学者情况概览

学者地图用于描述特定领域学者的分布情况，对于进行学者调查、分析各地区竞争力现况尤为重要，下图为机器学习领域全球学者分布情况：

▲机器学习领域全球学者分布

地图根据学者当前就职机构地理位置进行绘制，其中颜色越深表示学者越集中。 从该地图可以看出，美国的人才数量遥遥领先且主要分布在其东西海岸；欧洲中西部也有较多的人才分布；亚洲的人才主要分布于我国东部及日韩地区；其他诸如非洲、南美洲等地区的学者非常稀少；机器学习领域的人才分布与各地区的科技、经济实力情况大体一致。此外，在性别比例方面，机器学习领域中男性学者占比 89.8%，女性学者占比 10.2%，男性学者占比远高于女性学者。

h-index 分布。 机器学习学者的 h-index 分布如下图所示，大部分学者的 h-index 都在 30 以上，其中 hindex 小于 30 的人数最多，有 591 人， 占比 29.1%。

▲机器学习领域学者 h-index 分布

▲机器学习领域中国学者分布

我国专家学者在机器学习领域的分布如上图所示。通过上图我们可以发现，京津地区在本领域的人才数量最多，其次是长三角和珠三角地区，相比之下，内陆地区的人才较为匮乏，这种分布与区位因素和经济水平情况不无关系。同时，通过观察中国周边国家的学者数量情况，特别是与日韩、东南亚等亚洲国家相比，中国在机器学习领域学者数量较多。

中国与其他国家在机器学习的合作情况可以根据 AMiner 数据平台分析得到，通过统计论文中作者的单位信息，将作者映射到各个国家中，进而统计中国与各国之间合作论文的数量，并按照合作论文发表数量从高到低进行了排序，如下表所示。

▲机器学习领域中国与各国合作论文情况

从上表数据可以看出，中美合作的论文数、引用数、平均引用数、学者数遥遥领先，表明中美间在机器学习领域合作之密切；从地域角度看，中国与欧洲的合作非常广泛，前 10名合作关系里中欧合作共占 4 席；中国与印度合作的论文数虽然不是最多，但是平均引用数依然位列第二，说明在合作质量上中印合作也达到了较高的水平。

四、 行业应用

1、 金融行业应用

欺诈检测。 使用机器学习进行欺诈检测时，先收集历史数据并将数据分割成三个不同的部分，然后用训练集对机器学习模型进行训练，以预测欺诈概率。最后建立模型，预测数据集中的欺诈或异常情况。与传统检测相比，这种欺诈检测方法所用的时间更少。由于目前机器学习的应用量还很小，仍然处于成长期，所以它会在几年内进一步发展，从而检测出复杂的欺诈行为。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!