[1709.07432] Dynamic Evaluation of Neural Sequence Models 文体などは一文の中で一定であり、文の前半でも学習させることで文後半での精度が上昇するというアイデア。 n単語（論文中のmodelではn=5）ごとにパラメータの更新を行うdynamic evaluation (⇔ s…

マルチラベル分類（多ラベル分類）についてメモ。 BERTでNTCIR-18 MedWebを解かせてみた。各データに対して8個のラベルの正負が割り当てられており、それらを予測するタスク。最終的なembeddingから8出力の全結合層→sigmoid functionで8つのラベルを得てcros…

BERTが世間を賑わせていますが、そもそもself-attentionって何してるんだか良くわからないんだよね…。 ということで、EMNLP2018からself-attentionについての論文です。 概要 self-attentionを使ったmodelを - Topic classification - Sentiment analysis に…