[DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for L…
2018/11/29 Deep Learning JP: http://deeplearning.jp/hacks/
5 mentions:
![@DL_Hacks]( "@DL_Hacks")
![@kuro0531]( "@kuro0531")
![@usagisan2020]( "@usagisan2020")
Keywords:
BERT
Transformer
Date:
Referring Tweets
@DL_Hacks 汎用言語モデルBERTの内部動作観察結果の報告. 単語系列に対するAttention状況の可視化と, 潜在意味空間の可視化を行い, BERTの高性能たる所以の考察を行った. 多義語の解釈能力など興味深い結果が出ている.t.co/lskWSsjhFw
@kuro0531 BERT：t.co/VGnI2OCdT3
やっぱ多義語かぁ・・・Target語彙と周辺語彙により、表層ではなく概念的に同一・違う判断が入ったうえで、Attentionが強くなるほどって、TFIDFとかBM25とかの形になるんかな？しらんけど
@usagisan2020 [DL Hacks]BERT: Pre-training of Deep Bidirectional Transformers for Language ... #deeplearning t.co/d9JHIcb7x7 @SlideShareさんから
Bookmark Comments
id:Nyoho
再現実験はしにくいけどこういう風にやれば手探り感でなぜこれでいくかを探れるわけか。
2018/12/07 12:13
Related Entries
Read more
hagino3000's blog: IBIS2018に参加してきました
5 users,
0 mentions 2018/11/28 23:01
Read more
【主成分分析（PCA）まとめ】分散最大化・確率的主成分分析・ベイズ主成分分析（MAP推定）まで - HELLO CYBERNETICS
11 users,
3 mentions 2018/12/02 14:46
Read more
自然言語処理の研究に悩む その２ - Reproc.pnz
51 users,
2 mentions 2018/12/02 14:46
Read more
機械学習モデルの判断根拠の説明
15 users,
5 mentions 2019/01/08 12:45
Read more
SageMakerでTensorflowのオートエンコーダをトレーニングする - ぐるなびをちょっと良くするエンジニアブログ
7 users,
6 mentions 2019/01/17 00:00
ML-Newsについて
機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文、ブログ、ライブラリ、コンペティション、発表資料、勉強会などの最新の情報を効率的に収集できます。
機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsor
を募集しています。