Uber AI简单方法实现大规模语言模型的精细控制

人类有能力在一段话中覆盖多种主题，PPLM 也可以。Uber AI 的研究人员们尝试了把多个词袋模型和一个分类模型一起使用，可以让一段话同时符合「冬天、政治、厨房」的主题，而且有正面情绪。图中第二段同时符合「计算机、幻想、钓鱼链接」主题。

多个属性模型联合，多主题文本生成避免语言模型生成有害文本

在前面的叙述和例子中我们都看到了，PPLM 架构可以使用任意可微的属性模型引导语言模型生成各种不同属性或者主题的文本。但在应用中我们还会遇到一种问题，由于大规模语言模型都是在海量的互联网文本上训练的，这些文本经常含有偏见或者使用不友善的（骂人）的词汇。论文 arxiv.org/abs/1908.07125 就展示了，如果用对抗性攻击的思路设计文本开头，可以让 GPT-2 续写出带有种族主义的段落。这种状况会限制语言模型的安全应用场景。

由于 PPLM 使用梯度来更新语言表征，解决这种问题就要简单得多，只需要训练一个恶意文本分类器，把它作为属性模型，然后使用负梯度更新语言表征，也就是减小生成文本符合属性的概率即可。研究人员们选用了能够让原本的 GPT-2 模型输出恶意文本的对抗性文本开头，在应用 PPLM 后，继续输出对抗性文本的概率从原来的 63.6% 降低到了 4.6%。不过，不仅确保模型的输出完全符合设计者的意图还需要更多后续研究，我们也需要用更多方法避免恶意的使用者反倒利用 PPLM 的特点专门生成恶意文本。

总结

在这项研究中，Uber AI 的研究人员们提出了可以在使用过程中引导大规模预训练语言模型输出不同主题、不同风格文本的 PPLM，而且可以灵活地搭配一个到多个词袋模型、小型判别式模型等等作为属性模型，在细粒度地控制生成文本内容和风格的同时，即保持了文本的合理和流畅，也避免了重新训练或者精细调节语言模型。PPLM 中的预训练语言模型可以使用各种自回归语言模型，属性模型也可以使用各种可微模型，这都意味着 PPLM 还有很大的使用空间。

阅读论文：Plug and Play Language Models: a Simple Approach to Controlled Text Generation，https://arxiv.org/abs/1912.02164

代码开源：

https://github.com/uber-research/PPLM （单独 PPLM）

https://github.com/huggingface/transformers/tree/master/examples/pplm （集成 Transformer）

Demo：https://transformer.huggingface.co/model/pplm

via https://eng.uber.com/pplm/，雷锋网 AI 科技评论编译

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!