AttentionがないのにTransformerは活躍するのか?! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

AttentionがないのにTransformerは活躍するのか?! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

3つの要点✔️ Transformerのアーキテクチャを変更してMLPのみを使用✔️ Attentionがさほど重要な要素ではないことが判明✔️ 現在のtransformerよりも優れた性能、または同等の性能を発揮Pay Attention to MLPswritten by Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le(Submitted on 17 May 2021 (v1), last revised 1 Jun 2021 (this version, v2))Comments: Accepted by arxiv.Subjects: Machine Learning (cs.LG); Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV)code: はじめにTransformerは、NLPやコンピュータビジョンの分野で広く受け入れられています。TransformerはRNNの代替として成功しており、近い将来CNNの代替となる可能性も示唆されていました。Transformerの核となるのはself-attentionです。Transformer(attention)は入力表現に基づいて動的にパラメータ化することができるため、帰納的なバイアスがかかります。帰納的バイアスとは、学習データには出てこないデータを予測するために必要な制約になります。それにもかかわらず、MLPは普遍的な近似器であることが知られており、理論的には、その静的なパラメータの決定により、どんな関数でも表現できるはずです。本論文では、「gMLP」と呼ばれる、multiplicative gatingを備えたMLPを利用する、attention-free transformerの新種を紹介します。視覚やNLPの主要なタスクでテストしたところ、これらのtransformerは、最先端のtransformerに匹敵する性能を達成することができました。

6 mentions: @ai_scholar@misshiki_bkmk
Keywords: attention
Date: 2021/06/07 12:03

Referring Tweets

@ai_scholar 本論文では、attention-free transformerを紹介する。これらのモデルは、視覚とNLPのタスクで同等に動作し、その性能は現在のtransformerモデルよりも優れているか、同等である。 t.co/gitJvGfkzb
@misshiki_bkmk “「gMLP」と呼ばれる、multiplicative gatingを備えたMLPを利用する、attention-free transformerの新種を紹介” / “AttentionがないのにTransformerは活躍するのか?! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア” t.co/vtbDVYuC7m

Bookmark Comments

Related Entries

Read more 双方向畳み込みプーリング「LiftPool」登場! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
1 users, 7 mentions 2021/03/15 12:12
Read more 2つのTransformerが協力して1つの強いGANを作ることが可能! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
8 users, 5 mentions 2021/03/14 18:00
Read more OpenAIが120億個のパラメータを持つテキスト-画像生成装置をどのようにして学習させたのか:DALL-E (ダリー) | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
1 users, 4 mentions 2021/03/30 18:00
Read more 従来比20倍!?顔認識向け超大規模な公開データセット「Webface260M」 | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
2 users, 7 mentions 2021/04/09 12:02
Read more 【MLP-Mixer】MLPがCNN,Transformerを超える日 | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
2 users, 5 mentions 2021/06/10 12:07

ML-Newsについて

ML-Newsは機械学習に関するニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報にアクセスできます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ