勉強の記録

機械学習、情報処理について勉強した事柄など

論文メモ

NAACL 2019の医療関連論文を概観する.

North American Chapter of ACL (2019) - ACL Anthology medic*, health, diseaseで検索.WS論文はおもしろそうなものだけ. Biomedical Event Extraction based on Knowledge-driven Tree-LSTM - ACL Anthology 医学生物学分野におけるevent extractionにお…

個人因果効果をどうやって推論するか①

①と銘打っているが、続くかどうか。ほかに causal forest microsoft/ALICE あたりも見ていきたいところ。 Estimating individual treatment effect: generalization bounds and algorithms ICML 2017から。ICMLには毎年causalityのセクションがあり、機械学…

Microsoft/InterpretMLの中身

一言でいうと ある一つの特徴量のみのdecision treeを作って残差を予測というのをcyclicに加えていくモデル 知ったきっかけ Microsoftが、解釈性が高くかつ精度も高いBoostingのモデル(Explainable Boosting Machine=EBM)をOSSで公開。LIMEやSHAPといった解…

モデルの不確実性:Analyzing the Role of Model Uncertainty for Electronic Health Records

arxiv.org 医療などの最終判断が極めて大きな意味を持つタスクにおいては最終的なモデルの出力だけではなく、それがどの程度確信を持った出力なのかが重要。そこにはdata uncertaintyと、model uncertaintyがある。 同グループから既報のMIMIC-IIIというICU…

Multi-Task Label Embedding for Text Classification

これはEMLP2018から。 Multi-task learningを利用してLabelにembeddingを行うことで文書分類の精度が向上した、という話。 ここで言うmulti-taskは、複数のclassification task、という意味。 関連研究 本文中に挙げられていたembedding label in NLPの先行…

Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop

Few-Shot Text Classification with Pre-Trained Word Embeddings and a Human in the Loop https://katbailey.github.io/talks/Few-shot%20text%20classification.pdf https://arxiv.org/pdf/1804.02063.pdf Few shot text classificationについて知りたい…

Uplift modeling for clinical trial data

http://people.cs.pitt.edu/~milos/icml_clinicaldata_2012/Papers/Oral_Jaroszewitz_ICML_Clinical_2012.pdf Uplift modeling for clinical trial data [ICML2012] 先日の「仕事のための機械学習」を読んでからUplift modelingを調べている. web界隈で有名…

【論文メモ】Linguistically-Informed Self-Attention for Semantic Role Labeling

qiita.com EMNLP2018のベストペーパー4本のうちの1本です。 上記の日本語解説が詳しいのですが、マルチタスクなのと自然言語処理系の一見よく似たタスクがいろいろ出てくるので自分を含む自然言語処理初心者には全体像が掴みづらい(掴みづらかった)のです…

【論文メモ】Adaptive Input Representations for Neural Language Modeling

slackで流れてきたQiitaのアドベントカレンダーに参加してみました。12/1が欠番なのでトップバッターに。 qiita.com Adaptive Input Representations for Neural Language Modeling | OpenReview [1809.10853] Adaptive Input Representations for Neural La…

【論文メモ】Dynamic Evaluation for Neural Sequence Models

[1709.07432] Dynamic Evaluation of Neural Sequence Models 文体などは一文の中で一定であり、文の前半でも学習させることで文後半での精度が上昇するというアイデア。 n単語(論文中のmodelではn=5)ごとにパラメータの更新を行うdynamic evaluation (⇔ s…

【論文メモ】 Importance of Self-Attention for Sentiment Analysis

BERTが世間を賑わせていますが、そもそもself-attentionって何してるんだか良くわからないんだよね…。 ということで、EMNLP2018からself-attentionについての論文です。 概要 self-attentionを使ったmodelを - Topic classification - Sentiment analysis に…