勉強会メモ 「AIトレンド・トップカンファレンス報告会：世界最先端のAI研究開発動向が1日でわかる！」

https://www.ai-gakkai.or.jp/no76_jsai_seminar/

人工知能学会主催。学生や若手研究者を数名派遣し、その報告会。 モデルの妥当性、頑健性をいかに担保するかが大きな話題。 モデルの説明可能性についての研究も多かったとのこと。

・adversarial learning. データに対して少量の変更で出力を変更してしまうような敵対的データを生成して、それにたいする頑健性を確保する。

・un-biased model. 例えば男女差、人種差を差別しないモデルが望ましいが、それをどう実現するか。

Controllable Invariance through Adversarial Feature Learning (NIPS2017) 単純に該当するカラムを取り除けばよいという話ではない（例えば部活や趣味などから性別を推定できることも）。 潜在空間から取り除きたい情報（性別、人種）を当てるdiscriminatorを学習させ、これを潜在空間にreverse gradientをかけることで、 取り除きたい情報を除いた潜在空間を得て、ここから目的のタスクを識別するpredictorを学習させる。

・モデル逆推定 公開されたモデルから、そこからデータセットを推定する、という攻撃。 これ医療関連の機械学習モデルでされるとかなりきびしくて、自然言語処理のモデルで行われると致命的なプライバシー侵害が起きそう。