Nature関連誌今週のハイライトに載っていて目に止まったので読んだ。 が、なんとなくタイトルは誇大表現な気がする。F1スコアで0.9とか数字上は良い数字が並んでいる。 Evaluation and accurate diagnoses of pediatric diseases using artificial intellige…
美しい強調フィルタリングからFactorization Machineの流れ 強調フィルタリングやFactorization Machineは、今やレコメンドエンジンを作る上で欠かせない技術です。 Factorization Machineはニューラルネット拡張やら行列の高速計算など発展著しく、Deep、Em…
SHAP関連のarticleとしては2本 上が2017年でKernelSHAP, DeepSHAPなどについて． 下が2018年でTree ensembleモデルについてのもの．今回のメモは下のTree SHAPについての論文． A Unified Approach to Interpreting Model Predictions https://arxiv.org/abs…
qiita.com EMNLP2018のベストペーパー4本のうちの1本です。 上記の日本語解説が詳しいのですが、マルチタスクなのと自然言語処理系の一見よく似たタスクがいろいろ出てくるので自分を含む自然言語処理初心者には全体像が掴みづらい（掴みづらかった）のです…
不均衡データの扱いは要注意で、盲目的にbinary cross entropy lossなどを採用すると全部正と予測する役に立たないモデルができあがりがちというのは有名な話。 これはlossが全データの和・平均・期待値をとっていることを忘れてしまって、本来最適化したいm…
今週のWeekly machine learningで素晴らしい記事が紹介されていた。 https://www.getrevue.co/profile/icoxfog417/issues/weekly-machine-learning-103-150407?utm_campaign=Issue&utm_content=view_in_browser&utm_medium=email&utm_source=piqcy Deconstru…
Train / Dev / Test sets - Practical aspects of Deep Learning | Coursera Stack Overflowの海を彷徨っていて、Andrew先生の動画に辿り着いた。やっぱりこのCourseraのコース１回しっかりやるべきか。 訓練用セットと検証用セット、テストセットをどう分割…
はじめに 論文ではなく、以下の記事から。 towardsdatascience.com splitting a time series without causing data leakage using nested cross-validation to obtain an unbiased estimate of error on an independent test set cross-validation with data…
slackで流れてきたQiitaのアドベントカレンダーに参加してみました。12/1が欠番なのでトップバッターに。 qiita.com Adaptive Input Representations for Neural Language Modeling | OpenReview [1809.10853] Adaptive Input Representations for Neural La…
[1709.07432] Dynamic Evaluation of Neural Sequence Models 文体などは一文の中で一定であり、文の前半でも学習させることで文後半での精度が上昇するというアイデア。 n単語（論文中のmodelではn=5）ごとにパラメータの更新を行うdynamic evaluation (⇔ s…
マルチラベル分類（多ラベル分類）についてメモ。 BERTでNTCIR-18 MedWebを解かせてみた。各データに対して8個のラベルの正負が割り当てられており、それらを予測するタスク。最終的なembeddingから8出力の全結合層→sigmoid functionで8つのラベルを得てcros…
BERTが世間を賑わせていますが、そもそもself-attentionって何してるんだか良くわからないんだよね…。 ということで、EMNLP2018からself-attentionについての論文です。 概要 self-attentionを使ったmodelを - Topic classification - Sentiment analysis に…
p値＝0.05だからといって、その（差があるという）仮説が95%の確率で正しいとは言えない、とよく言われる。 帰無仮説が正しいとすれば同じくらい偏った結果は5%以下の確率で得られる、という回りくどい難解な定義になっていて、これは大雑把な言い方をすると…
「次元」がいろんな意味で使われることがある、という話。 まずはR^pのpに相当する、行列の列数、行数に対応した「次元」で、データの要素数のことを指す。一般的な「多変量解析」はこれ。 物理的な「3次元空間」というときの「次元」もこちらであって、1階…
