tensorflow2でhuggigfaceのtransformersを使ってBERTを文書分類モデルに転移学習する - メモ帳

tensorflow2でhuggigfaceのtransformersを使ってBERTを文書分類モデルに転移学習する - メモ帳

現在、NLPの分野でも転移学習やfine-tuningで高い精度がでる時代になっています。 おそらく最も名高いであろうBERTをはじめとして、競ってモデルが開発されています。 BERTは公式のtensorflow実装は公開されてありますが、画像分野の転移学習モデルに比べると不便さが際立ちます。 BERTに限らず、公式のtensorflow実装は難解で、tf.kerasの学習済みモデルに関してもほとんど画像のモデルしかないです。 ただし、pytorch用のライブラリにpytorch-transformersという有用なものがありました。 BERT, GPT-2, RoBERTa, DistilB…

1 mentions: @tksmml
Keywords: 転移学習
Date: 2019/10/22 12:50

Referring Tweets

@tksmml BERTの転移学習をhuggingfaceのtransformers + tensorflow2でやる方法を調べました。colabでも見られるのでよければ! #はてなブログ tensorflow2でhuggigfaceのtran… t.co/VuRFamqcU5

Related Entries

Read more GitHub - takuhirok/rGAN: rGAN: Label-Noise Robust Generative Adversarial Networks
0 users, 1 mentions 2019/05/06 15:47
Read more [1811.12104] Towards Human-Friendly Referring Expression Generation
0 users, 1 mentions 2019/07/23 05:17
Read more PythonからJulialangの関数を使える、Python + Julia + TensorFlow + Jupyter 環境をDockerのマルチステージビルドで構築する - メモ帳
0 users, 1 mentions 2019/10/21 15:15
Read more ReformerをTrax (tensor2tensorの後継)で使ってみた - メモ帳
0 users, 1 mentions 2020/01/26 09:15
Read more IPSJ-ONE 2018「視覚と言葉をつなげる技術」 - YouTube
0 users, 1 mentions 2020/02/15 15:50