Taking Notes on the Fly Helps Language Pre-Training | OpenReview

Taking Notes on the Fly Helps Language Pre-Training | OpenReview

How to make unsupervised language pre-training more efficient and less resource-intensive is an important research direction in NLP. In this paper, we focus on improving the efficiency of language...

1 mentions: @ELYZA_inc
Date: 2021/02/19 11:21

Referring Tweets

@ELYZA_inc 【言語モデルにメモを】 出現回数が少ない単語でも効率よく学習するため, 事前学習中に出現した希少な単語をメモするTaking Notes on the Fly(TNF)を提案。TNFを用いた場合は元の事前学習モデルと比較し, 同じ性能に到達するまでの時間が60%短縮されることを示した。 t.co/4u90x56dGP t.co/DaeBApJv66

Related Entries

Read more ディープラーニングによるファッションアイテム検出と検索 - ZOZO Technologies TECH BLOG
0 users, 0 mentions 2018/04/22 03:40
Read more 「自然言語処理論」の講義ノートPDF。形態素解析や文脈自由文法,知能機械による言語処理の扱い - 主に言語とシステム開発に関して
0 users, 0 mentions 2018/04/22 03:40
Read more The Batch: Algorithm Designs Living Machines, AI Interviews Job Applicants, Recommender Spreads Misi...
0 users, 1 mentions 2020/01/23 00:51
Read more GitHub - StatMixedML/CatBoostLSS: An extension of CatBoost to probabilistic forecasting.
0 users, 0 mentions 2020/02/28 12:54
Read more GitHub - fastai/fastbook: Draft of the fastai book
0 users, 0 mentions 2020/06/23 18:52