捨ててしまうのはもったいない!BERTの出力を組み合わせて文ベクトルを作るSBERT-WK | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

捨ててしまうのはもったいない!BERTの出力を組み合わせて文ベクトルを作るSBERT-WK | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

3つの要点✔️ BERT の埋め込み表現が各層で異なる情報を捉えていることを実証✔️ 各層の情報を統合して文ベクトルを構成する手法を提案✔️ 提案手法で主要なタスクでの精度向上を達成SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Modelswritten by Bin Wang, C.-C. Jay Kuo(Submitted on 16 Feb 2020 (v1), last revised 1 Jun 2020 (this version, v2))Comments: Accepted at arXivSubjects: Computation and Language (cs.CL); Machine Learning (cs.LG); Multimedia (cs.MM)  Official   Comm  はじめに近年の自然言語処理では、巨大なコーパスで事前学習を行ったモデルが大きな成功を収めています。その代表格とも言えるのが、2018年に Google が公開した論文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding にて提案された BERT (Bidirectional Encoder Representations from Transformers) です。BERT は Transformer を複数層重ねたモデルで、大量の教師なしテキストを用いた事前学習タスクを解くことで、下流タスクに有用な表現を獲得します。原著論文で提案されている事前訓練タスクは以下の二つです。テキスト内の単語のうち15%を選択し、それらを正解として単語予測を行う (MLM: Masked LM)。選択された各トークンは以下のように処理される。

7 mentions: @ai_scholar@misshiki_bkmk
Date: 2020/11/20 12:00

Referring Tweets

@ai_scholar 自然言語処理においてBERTは素晴らしい性能を発揮してきましたが、文はどう埋め込むのが正解なのでしょうか。今回ご紹介するSBERT-WKはBERTの性質を生かしてよりよい文ベクトルを作ろうとする試みです。是非ご覧ください! t.co/AWQuDF9ucO

Bookmark Comments

Related Entries

Read more AAAI 2019 Highlights: Dialogue, reproducibility, and more
11 users, 6 mentions 2019/02/07 17:00
Read more THETAプラグインでTensorFlow Liteのセグメンテーションをかける - Qiita
15 users, 4 mentions 2020/05/29 03:51
Read more データの不確実性に備える|分布外データの検知性能を改善する「尤度比」とは? | AI-SCHOLAR.TECH
2 users, 0 mentions 2020/05/30 00:00
Read more 自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 · DeNA Engineers' Blog
46 users, 34 mentions 2020/10/29 05:21
Read more 人間超え自然言語処理モデル - 2019cnps 認知神経心理学研究@東京女子大学
9 users, 2 mentions 2020/10/29 09:51