日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog

日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog

TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging …

10 mentions: @iBotamon@Yozp_coin@TechRunJa@norikoni@tateten
Date: 2020/01/17 16:30

Referring Tweets

@iBotamon 去年から書きかけで放置していたものを今更載せました。 ①BERTのTensorFlow→PyTorch版への変換,②Torchtext,③PyTorch-Lightningを覚えましたという内容。 t.co/fkxTJo2Qg2

Related Entries

Read more 機械学習タスクを始める前に - Speaker Deck
69 users, 23 mentions 2019/04/20 12:48
Read more ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
47 users, 11 mentions 2020/02/08 18:46
Read more 「ELECTRA」新たな自然言語処理モデルが示したMLMの問題点とは!? | AI-SCHOLAR
19 users, 13 mentions 2020/03/12 18:55
Read more 「企業分析における自然言語処理を学ぼう」にオンライン参加した #carenlp - u++の備忘録
15 users, 8 mentions 2020/03/23 11:20
Read more Python: 時系列データの交差検証と TimeSeriesSplit の改良について - CUBE SUGAR CONTAINER
46 users, 10 mentions 2020/03/27 09:57