清华2020人工智能报告第一期！五大维度揭秘机器学习技术【附下载】| 智东西内参

▲AutoML 基本过程

近日，在 ACM CHI 计算系统中人的因素会议上，麻省理工学院，香港科技大学和浙江大学的研究人员共同研发出一种工具，将 AutoML 方法的分析和控制权给到用户手中。该工具名为 ATMSeer，它将 AutoML 系统、数据集和有关用户任务的一些信息作为输入，然后在用户友好型的界面内实现可视化搜索过程，界面中还能提供更多关于模型性能的信息。

▲ATMSeer 自动机器学习定制化工具的用户友好型交互界面

上图是 ATMSeer 生成的一个用户友好界面，显示有关所选模型性能的深入信息，以及可调整的算法和参数的选项。 对没有 AutoML 经验的机器学习专家的案例研究表明，让用户掌握控制权确实有助于提高 AutoML 应用的性能和效率。对生物学、金融等不同科学领域的 13 位研究生的研究也表明，确定用户对 AutoML 的搜索的自定义关键有三点：搜索的算法数量、系统运行时间以及查找表现最好的模型。研究人员表示，这些信息可用来为用户量身定制系统。

3、可解释性机器学习

可解释性是指人类能够理解决策原因的程度。机器学习模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。模型可解释性指对模型内部机制的理解以及对模型结果的理解。其重要性体现在：建模阶段，辅助开发人员理解模型，进行模型的对比选择，必要时优化调整模型；在投入运行阶段，向业务方解释模型的内部机制，对模型结果进行解释。比如基金推荐模型，需要解释：为何为这个用户推荐某支基金。

机器学习流程步骤：收集数据、清洗数据、训练模型、基于验证或测试错误或其他评价指标选择最好的模型。第一步，选择比较小的错误率和比较高的准确率的高精度的模型。第二步，面临准确率和模型复杂度之间的权衡，但一个模型越复杂就越难以解释。一个简单的线性回归非常好解释，因为它只考虑了自变量与因变量之间的线性相关关系，但是也正因为如此，它无法处理更复杂的关系，模型在测试集上的预测精度也更有可能比较低。而深度神经网络处于另一个极端，因为它们能够在多个层次进行抽象推断，所以他们可以处理因变量与自变量之间非常复杂的关系，并且达到非常高的精度。但是这种复杂性也使模型成为黑箱，我们无法获知所有产生模型预测结果的这些特征之间的关系，所以我们只能用准确率、错误率这样的评价标准来代替，来评估模型的可信性。事实上，每个分类问题的机器学习流程中都应该包括模型理解和模型解释。

4、 在线学习

传统的机器学习算法是批量模式的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。与批量学习不同，在线学习假设训练数据持续到来，通常利用一个训练样本更新当前的模型，大大降低了学习算法的空间复杂度和时间复杂度，实时性强。在大数据时代，大数据高速增长的特点为机器学习带来了严峻的挑战，在线学习可以有效地解决该问题，引起了学术界和工业界的广泛关注。早期在线学习应用于线性分类器产生了著名的感知器算法，当数据线性可分时，感知器算法收敛并能够找到最优的分类面。经过几十年的发展，在线学习已经形成了一套完备的理论，既可以学习线性函数，也可以学习非线性函数，既能够用于数据可分的情况，也能够处理数据不可分的情况。下面我们给出一个在线学习形式化的定义及其学习目标。

根据学习器在学习过程中观测信息的不同，在线学习还可以再进一步分为： 完全信息下的在线学习和赌博机在线学习。前者假设学习器可以观测到完整的损失函数，而后者假设学习器只能观测到损失函数在当前决策上的数值，即， 以在线分类为例，如果学习器可以观测到训练样本，该问题就属于完全信息下的在线学习，因为基于训练样本就可以定义完整的分类误差函数；如果学习器只能观测到分类误差而看不到训练样本，该问题就属于赌博机在线学习。由于观测信息的不同，针对这两种设定的学习算法也存在较大差异，其应用场景也不同。

5、 BERT

BERT 的全称是 Bidirectional Encoder Representation from Transformers，即双向 Transformer 的 Encoder。 可以说是近年来自残差网络最优突破性的一项技术了。 BERT 主要特点以下几点：

1） 使用了 Transformer 作为算法的主要框架， Trabsformer 能更彻底的捕捉语句中的双向关系；

2） 使用了 Mask Language Model（MLM） [14]和 Next Sentence Prediction（NSP） 的多任务训练目标；

3） 使用更强大的机器训练更大规模的数据，使 BERT 的结果达到了全新的高度，并且Google 开源了 BERT 模型，用户可以直接使用 BERT 作为 Word2Vec 的转换矩阵并高效的将其应用到自己的任务中。

BERT 的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。在以后特定的NLP 任务中，我们可以直接使用 BERT 的特征表示作为该任务的词嵌入特征。所以 BERT提供的是一个供其它任务迁移学习的模型，该模型可以根据任务微调或者固定之后作为特征提取器。BERT 的源码和模型已经在 Github 上开源，简体中文和多语言模型也已开源。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!