tensorflow2でhuggigfaceのtransformersを使ってBERTを文書分類モデルに転移学習する - メモ帳

tensorflow2でhuggigfaceのtransformersを使ってBERTを文書分類モデルに転移学習する - メモ帳

現在、NLPの分野でも転移学習やfine-tuningで高い精度がでる時代になっています。 おそらく最も名高いであろうBERTをはじめとして、競ってモデルが開発されています。 BERTは公式のtensorflow実装は公開されてありますが、画像分野の転移学習モデルに比べると不便さが際立ちます。 BERTに限らず、公式のtensorflow実装は難解で、tf.kerasの学習済みモデルに関してもほとんど画像のモデルしかないです。 ただし、pytorch用のライブラリにpytorch-transformersという有用なものがありました。 BERT, GPT-2, RoBERTa, DistilB…

1 mentions: @tksmml
Keywords: 転移学習
Date: 2019/10/22 12:50

Referring Tweets

@tksmml BERTの転移学習をhuggingfaceのtransformers + tensorflow2でやる方法を調べました。colabでも見られるのでよければ! #はてなブログ tensorflow2でhuggigfaceのtran… t.co/VuRFamqcU5

Related Entries

Read more KelpNetで転移学習 - じんべえざめのノート
0 users, 0 mentions 2018/09/21 12:24
Read more はじめての自然言語処理 BERT を用いた自然言語処理における転移学習 | オブジェクトの広場
12 users, 3 mentions 2019/07/28 08:17
Read more 【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging - Speaker ...
2 users, 2 mentions 2019/10/06 12:49
Read more SONY Neural Network Console で転移学習をやってみる | cedro-blog
0 users, 0 mentions 2018/08/07 12:24