Language Models are Unsupervised Multitask Learners

[ysasano]

一言でいうと

(WikipediaとBooksCorpusしか使っていない)BERTとは異なり、Common Crawlの多様で大規模な学習データで言語モデルを学習することで、多くのタスクで"Zero-shot"で SOTAのスコアを達成した手法。「特に凝ったことをしなくても言語モデル自体が本質的にマルチタスク学習器である」ことを主張している。

論文リンク

https://blog.openai.com/better-language-models/

著者/所属機関

Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever

• OpenAI

投稿日付(yyyy/MM/dd)

2019/2/14

概要

新規性・差分

手法

結果

コメント

ソースコード
https://github.com/openai/gpt-2