Transformer メタサーベイ

Transformer メタサーベイ

cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/c…

13 mentions: @ImAI_Eruel@CVpaperChalleng@CVpaperChalleng@allowfirm@sam_murayama@ex_extra
Date: 2021/04/30 07:48

Referring Tweets

@sam_murayama 4) Vision & Language 検出された物体とトークンとして利用(132ページ) a) 1-stream型:1つのネットワーク b) 2-stream型:別のネットワークで処理し、2つのモダリティ間で対応を取る 5) Attentionの可視化(180ページ) t.co/rpcAjA6mNZ
@ImAI_Eruel 最近のTransformer研究について,非常によくまとまっており,Transformerゆるふわ勢(私のこと)でも一気に周辺知識を付けられる良資料でした Transformerとその派生系などのNLPの本流はもちろん, 最近のViT等のCV応用も広く解説しており,どんな人でも得るものが多い資料です t.co/WBzmTjhqpZ
@CVpaperChalleng 2021年 メタサーベイ(論文はもちろん,その背景にある知識も含めピックアップ)まとめ -- Transformer(NLP&CV分野):t.co/nSHsZnsVUA Efficient Training/効率的学習:t.co/E2wtIhH9kD High-impact Papers(トレンドを創る論文とは?):t.co/NqDNMZuihC
@allowfirm 自然言語処理から、画像処理にもアテンションの概念が持ち込まれて、その次は「Attention is all you need」のTransformerアーキテクチャそのものが。「Transformer メタサーベイ」( t.co/Uo0wuAAaFc )では、ちょっと気になっているpositional encodingに関しても詳細な解説と考察が。
@ex_extra これ読んでなんとなく理解できたような気分になった。Transformer メタサーベイ by @HirokatuKataoka #computervision #deeplearning t.co/EcHzMaXCRq @SlideShareより
@CVpaperChalleng 「Transformer メタサーベイ」を公開しました!2021年最もホットなトピックのひとつであるTransformerを調査しました。基礎から応用、Vision Transformerについてもカバーしています。 t.co/nSHsZnsVUA

Related Entries

Read more PFNが提供する教育コンテンツについて | Preferred Research
0 users, 6 mentions 2019/10/07 15:48
Read more GANの概要とDCGANのアーキテクチャ/アルゴリズム
16 users, 5 mentions 2019/10/30 09:50
Read more AIマップ – 人工知能学会 (The Japanese Society for Artificial Intelligence)
31 users, 5 mentions 2020/05/18 12:58
Read more ExcaliburによるPDFテーブルデータ抽出を動かしてみる - OPTiM TECH BLOG
16 users, 4 mentions 2020/12/07 01:00