An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale - Speaker Deck

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale - Speaker Deck

第六回 全日本コンピュータビジョン勉強会 Transformer論文読み会 にて、 "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" [Dosovitskiy et al, ICLR 2021] のご紹介をさせていただきました。 ◆イベント詳細 URL: https://kantocv.connpass.com/event/205271/ ◆発表日: 2021/04/18 ◆紹介論文の Open Review の URL: https://openreview.net/forum?id=YicbFdNTTy

2 mentions: @shade_tree2112@sam_murayama
Keywords: Transformer
Date:

Referring Tweets

@shade_tree2112
@shade_tree2112 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale t.co/kxyHyhM3vh 本日の発表資料を公開しました。ご清聴いただいた皆様、誠にありがとうございました。ご都合が合わなかった方も、ご興味を持っていただけましたら、ご笑覧いただけますと幸いです。 #japancv
@sam_murayama
@sam_murayama An Image is Worth 16x16 Words(Vision Transformer for image recognition : ViT)(ICLR2021) 1)Patchを1次元配列に変換して、linear layerを通す。 2)特殊なembeddingを付与。 3)Position embeddingsを加算。 訓練データセットが大きくないと性能を発揮しない。 t.co/IRtJXINkjq

Bookmark Comments

id:fsfsfsdf

Related Entries

確率的推論と行動選択
Read more 確率的推論と行動選択
0 users, 2 mentions 2020/11/11 11:21
20210711 deepI2P
Read more 20210711 deepI2P
1 users, 3 mentions 2021/07/11 04:40
From Points to Multi-Object 3D Reconstruction
Read more From Points to Multi-Object 3D Reconstruction
0 users, 2 mentions 2021/07/12 04:40
Transitional Adaptation of Pretrained Models for Visual Storytelling - Speaker Deck
Read more Transitional Adaptation of Pretrained Models for Visual Storytelling - Speaker Deck
0 users, 2 mentions 2021/07/31 15:09
論文紹介 / Panoptic Narrative Grounding - Speaker Deck
Read more 論文紹介 / Panoptic Narrative Grounding - Speaker Deck
0 users, 2 mentions 2021/12/12 13:37

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました