勉強の記録

機械学習、情報処理について勉強した事柄など

2018-12-22から1日間の記事一覧

【論文メモ】Linguistically-Informed Self-Attention for Semantic Role Labeling

qiita.com EMNLP2018のベストペーパー4本のうちの1本です。 上記の日本語解説が詳しいのですが、マルチタスクなのと自然言語処理系の一見よく似たタスクがいろいろ出てくるので自分を含む自然言語処理初心者には全体像が掴みづらい(掴みづらかった)のです…

不均衡データを扱うサンプリング以外の方法

不均衡データの扱いは要注意で、盲目的にbinary cross entropy lossなどを採用すると全部正と予測する役に立たないモデルができあがりがちというのは有名な話。 これはlossが全データの和・平均・期待値をとっていることを忘れてしまって、本来最適化したいm…

attentionは何を見ているのか?

今週のWeekly machine learningで素晴らしい記事が紹介されていた。 https://www.getrevue.co/profile/icoxfog417/issues/weekly-machine-learning-103-150407?utm_campaign=Issue&utm_content=view_in_browser&utm_medium=email&utm_source=piqcy Deconstru…