原因と結果とドメイン適応 | Research Blog

原因と結果とドメイン適応 | Research Blog

ADEconチームの安井です。 最近ドメイン適応(DA:Domain Adaptation)に興味があるので、素人なりにDAの説明を行い因果推論との関連について簡単に解説したいと思います。 機械学習、主に画像関係のタスクにおいては、モデルの学習に利用できるデータと実際に予測を行いたいデータの傾向が違うという場合が存在します。 例えば、画像の中の文字を認識するといったタスクにおいては、クラウドソーシングなどで集めたデータを学習することになりますが、実際に分類を行いたいデータは世の中にいる大量のユーザーとなります。 この様な場合、データの作成に協力してくれた人のクセだけでなく、実際に利用されるケースとは異なるデータの収集方法などが理由になり、訓練データと予測データの傾向が違うという状態が発生してしまいます。 この時訓練データと予測データはドメインが異なるといった認識となり、ドメイン間でshiftが存在するといった表現がされます。 多くの場合、モデルの入力となる特徴量の分布が異なるcovariate-shiftが問題となります。そして、この様な環境下でrobustな予測モデルを学習する試みの事をドメイン適応(DA)と呼びます。多くの場合、訓練データでは特徴量(x)と正解ラベル(y)が観測され、評価および予測データでは特徴量のみが観測されるといった状態でこの問題に対応する事になります。 Importance Sampling Approach この様な状況での学習は2000年くらいから考慮されており、Importance Samplingなどを用いる方法が提案されていますShimodaira(2000)。Importance Samplingを用いる方法は大まかには以下の様なアイデアを元にしています。 学習データの特徴量の分布が評価データと異なる ある特徴量の値を得る確率が学習時と評価時で違う: 学習データのlabel(y)の条件付き確率は同じ ある特徴量を与えられた時にあるyの値を得る確率は同じ: この様な状況で、学習データのロスは評価データのロスとは一致しない。 Lはロス関数(例えば二条誤差)を示し、hは何かしらのモデルを示し、θはモデルのパラメーターを示しています。 学習データでのロスが下がっていても評価でのロスが下がる保障がない。

3 mentions: @mkato_csecon@ca_adtechstudio@asas_mimi
Date: 2019/05/14 05:56

Referring Tweets

@mkato_csecon 経済学とドメイン適応を結びつけるなら、傾向スコアよりもモデル特定と内生性の話を使う方がより経済の関心に即していると自分は考えている。 原因と結果とドメイン適応 | CyberAgent https://t.co/VG6shPpIAX
@ca_adtechstudio /  Research Blog更新! 「原因と結果とドメイン適応」 \ ドメイン適応(DA:Domain Adaptation)の説明と 因果推論との関連について、 AILab研究員 ADEconチームの安井 @housecat442 が 解説しております📝 ぜひご覧ください! #因果推論 #経済学 #統計 #機械学習 https://t.co/ug5BPFsATk
@asas_mimi とっても面白い! サイバーエージェント、しっかり経済学採用してるのね。羨ましい! 原因と結果とドメイン適応 | CyberAgent https://t.co/28odTbCnmh

Related Entries

Read more 今日から始める機械学習〜はてなの事例〜
1 users, 0 mentions 2018/12/02 15:46
Read more 科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
0 users, 0 mentions 2018/04/22 03:40
Read more ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
0 users, 30 mentions 2019/07/29 02:09
Read more 日本初の競技機械学習大会 Cpaw AI Competition の運営 / About Cpaw AI Competition in Kaggle Meetup Tokyo - Speaker De...
20 users, 8 mentions 2018/12/01 05:46
Read more 機械学習モデルのハイパパラメータ最適化
0 users, 0 mentions 2018/08/22 06:23