WT5?! Text-to-TextモデルでNLPタスクの予測理由を説明する手法! | AI-SCHOLAR.TECH

WT5?! Text-to-TextモデルでNLPタスクの予測理由を説明する手法! | AI-SCHOLAR.TECH

3つの要点✔️ NLPタスクにおいて、予測結果の説明を生成するtext-to-textフレームワークを提案している。✔️ 提案手法であるWT5-11Bは、多くのデータセットで分類精度では既存の手法を上回るSoTAを実現し、予測の説明においても人間と同レベルだった。✔️ 提案手法が、限られたデータセットで学習しても、タスクやデータのドメインにかかわらず予測の説明ができることも示している。WT5?! Training Text-to-Text Models to Explain their Predictionswritten by Sharan Narang, Colin Raffel, Katherine Lee, Adam Roberts, Noah Fiedel, Karishma Malkan(Submitted on 30 Apr 2020)Comments: Published by arXivSubjects: Computation and Language (cs.CL); Machine Learning (cs.LG)Twitter: @sharan0909, @craffel, @katherine1ee, @ada_rob, @KarishmaMalkan はじめにNLP(自然言語処理)では最近、様々なタスクをtext-to-text問題(テキストを入力してテキストを出力する問題)として考えることができることが示されました。例えば、感情分析タスクであれば、0(ネガティブ)または1(ポジティブ)というラベルを返すのではなく、直接negativeというテキストを出力します。このシンプルかつ普遍的な手法は、様々なNLPタスクでSoTAを実現しましたところで、いくつかのタスクで人間を凌ぐ性能をはっきするようになったニューラルネットワークですが、その判断の解釈が難しい(ブラックボックスである)という問題があります。これに対し、予測が入力のどの部分によるものなのかを特定したり、モデルの構造を分析しやすいように変換する手法などが提案されてきましたが、いずれも実用的ではありませんでした。

Keywords: nlp
Date: 2020/05/22 11:55

Related Entries

Read more DeNAのデータ分析基盤 あらゆるサービスのログを蓄積・分析するインフラの仕組み - ログミーTech
3 users, 0 mentions 2019/01/26 13:12
Read more Universal language models: research frontier and application to real services - Speaker Deck
1 users, 3 mentions 2019/08/27 12:48
Read more ワイ「なに!?型のズレを吸収できるやと!?」 - Qiita
2 users, 0 mentions 2020/04/06 23:21
Read more 言語処理100本ノック 2020 - NLP100 2020
504 users, 0 mentions 2020/04/06 22:22
Read more TensorFlow
467 users, 8 mentions 2020/05/18 08:21