【論文メモ】Dynamic Evaluation for Neural Sequence Models

[1709.07432] Dynamic Evaluation of Neural Sequence Models

文体などは一文の中で一定であり、文の前半でも学習させることで文後半での精度が上昇するというアイデア。 n単語（論文中のmodelではn=5）ごとにパラメータの更新を行うdynamic evaluation (⇔ static evaluation)を行った。

Penn TreebankやWikitext-2でのperplexityにおいてmixture of softmaxが出るまでのstate-of-the-art。 github.com