DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION | OpenReview

DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION | OpenReview

Recent progress in pre-trained neural language models has significantly improved the performance of many natural language processing (NLP) tasks. In this paper we propose a new model architecture...

1 mentions: @hpp_ricecake
Keywords: attention
Date: 2021/02/22 17:22

Referring Tweets

@hpp_ricecake t.co/sVvIVmZsQ5 OpenReviewもサラッと読んだけど、disentangleという名付けに対するツッコミが多い 俺もどちらかと言えばdisentangleというよりseperateとかそういうニュアンスだと思う(くっついていたものをほぐす、よりも、元から分けるという手法だと思うので)

Related Entries

Read more [Algolia Blog翻訳] Algoliaによるスマートな検索の実現のためのAI活用法 | shinodogg.com
1 users, 3 mentions 2020/06/15 12:25
Read more クラスメソッド、データ統合基盤サービスの Google BigQuery™、Snowflake対応を開始|プレスリリース|クラスメソッド
0 users, 5 mentions 2020/09/03 05:25
Read more 分散システムのリテラシー / Distributed Systems Literacy - Speaker Deck
1 users, 2 mentions 2020/10/16 12:53
Read more LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発 新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に | ニュース | LINE株式会社
445 users, 116 mentions 2020/11/25 06:53
Read more LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発 新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に | ニュース | LINE株式会社
0 users, 100 mentions 2020/11/29 08:21