NLP两强争霸： OpenAI与GPT-2 的“倔强”进击

2019年4月，Buzzfeed 数据科学家 Max Woolf使用Python封装了具有1.17亿超参数的“较小”版本的 OpenAI GPT-2文本生成模型进行微调和生成脚本，开源了一个“GPT-2精简版”，从而更好地帮助人们生成一段文本，里面可以给出很多出人意料的内容。

在OpenAI逐步开源的过程里，来自布朗大学的两位研究生就率先自己动手复制出一个15亿参数量的 GPT-2，并将其命名为 OpenGPT-2。过程中，他们使用自己的代码从零开始训练 GPT-2模型大约只花费了5万美元。所用的数据集也尽可能参照OpenAI论文里公开的方法。有很多热心网友的测试后表示，OpenGPT-2的输出文本效果优于 OpenAI 的 GPT-2 7.74亿参数版本。当然，也有人认为，并没有比GPT-2模型生成的文本效果更好。

同时在国内，一个位于南京名叫“Zeyao Du”的开发者，在GitHub上开源了的GPT-2 Chinese，可以用来写诗、新闻、小说和剧本，或是训练通用语言模型。这一能够实现逆天效果GPT-2模型，用到了15亿个参数。目前他开源了预训练结果与 Colab Demo 演示，只需要单击三次，人们就可以生成定制的中文故事。

GPT-2模型还有更多尝试。一个新加坡高中生Rishabh Anand开源了一个轻量级GPT-2“客户端”——gpt2-client，它是一个GPT-2原始仓库的包装器，只需5行代码就可以实现文本生成。

来自中国的几个研究者正在用GPT模型生成高质量的中国古典诗歌。比如论文里提到的一首《七律·一路平安》：“一声天际雁横秋，忽梦青城旧友游。路入青林无去马，手携黄牒有归舟。平生志业商山老，何日公卿汉署留。安得相从话畴昔，一樽同醉万山头”。一场平平淡淡的送别，写得就饱含沧桑、充满离愁。不难让人怀疑：这个语言模型是否真的有了感情？

GPT-2模型还可以用在音乐创作上。OpenAI推出一种用于生成音乐作品的深层神经网络——MuseNet，正是GPT-2语言模型Sparse Transformer相同的通用无监督技术，允许MuseNet根据给定的音符组预测下一个音符。该模型能够用10种不同的乐器制作4分钟的音乐作品，并且能够从巴赫，莫扎特，披头士乐队等作曲家那里了解不同的音乐风格。它还可以令人信服地融合不同的音乐风格，以创造一个全新的音乐作品。

最让笔者感兴趣的是一位开发者通过GPT-2做出的一款AI文字冒险游戏——“AI地牢”。通过多轮文本对话， AI就可以帮你展开一段意想不到的“骑士屠龙”征途或者“都市侦探”之旅。在未来的游戏产业中，AI创造的故事脚本，也许可能更具想象力？

GPT-2发布的一年里，以上开源带来的应用足以称之为眼花缭乱。喧闹与繁荣背后，除了在在开源风险上的小心谨慎，OpenAI还面临着哪些难题？

NLP的土豪赛：OpenAI联姻微软后的 GPT-2商业化

其实，我们从BERT和GPT-2的演进趋势，可以看出人类利用更大容量的模型、无监督的无限训练，可以去创造更多更好的合乎人类语言知识的内容。但这也同样意味着要依靠超级昂贵的GPU计算时间、超大规模GPU机器学习集群、超长的模型训练过程。这意味着这种“烧钱”模式，使得NLP的玩家最终会更加向头部公司聚集，成为少数土豪玩家的赛场。

可以预见，如果今年OpenAI再推出GPT-3.0，大概率还是会选择单向语言模型，但会采取更大规模的训练数据和扩充模型，来与BERT硬刚。NLP应用领域的成绩也会再次刷新。

但从另一个侧面看到，如此“烧钱”的语言训练模型的研发，尚无清晰的商业化应用前景。OpenAI也不得不面临着“遵循技术情怀的初衷”还是“为五斗米折腰”的商业化的艰难选择。

答案应该已然明了。就在2019年7月，OpenAI接受了微软的10亿美元投资。根据官方说法，OpenAI将与微软合作，共同为微软Azure云平台开发新的人工智能技术，并将与微软达成一项排他性协议，进一步扩展大规模人工智能能力，“兑现通用人工智能(AGI)的承诺”。

其实质正是OpenAI在人工智能研究上的“烧钱”与其商业化的尴尬，使得它更需要这样一笔来自微软的“赞助”。就以拥有15亿参数的GPT-2模型为例，它使用256块TPU v3训练，每小时都要花费2048美元。可以预见，如果我们还想期待GPT-3.0的发布，其费用将主要就花在云端的计算资源上面。

微软将成为OpenAI独家云计算供应商。OpenAI的人工智能技术也要通过Azure云输出。未来，OpenAI将把部分技术授权给微软，然后由微软把这些技术商业化，并将其出售给合作伙伴。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!