【Lambda Networks】Attentionは要らない！？ これが新世代のラムダネットワークだ！ | AI-SCHOLAR | AI：(人工知...

3つの要点✔️ Attentionを代替するLambdaNetworksが提案され、ICLR2021に採択✔️ Attentionを用いずに、広い範囲の相互作用を考慮✔️ 計算効率と精度の両面でAtt...

1 users, 5 mentions 2021/07/29 18:11

GitHub - somepago/saint: The official PyTorch implementation of recent pape...

The official PyTorch implementation of recent paper - SAINT: Improved Neural Networks for Tabular Da...

1 users, 10 mentions 2021/06/13 03:19

[MIRU2018] Global Average Poolingの特性を用いたAttention Branch Network

MIRU2018のロングオーラルで発表した内容です．Attention Branch Networkという，Attention mapによるCNNの注視領域の可視化と物体認識の高精度化を行うネットワー...

2 users, 0 mentions 2018/08/10 09:23

最近の深層学習におけるAttention機構 - 名古屋CVPRML勉強会 ver. - - Speaker Deck

名古屋CVPRML勉強会の資料です．関東CV勉強会のAttention機構の話に，最近の研究事例とAttention Branch Networkの関連研究を加えました． そして，CVPR投稿の苦労話...

0 users, 1 mentions 2020/07/11 03:51

Recommendation System Series Part 2: The 10 Categories of Deep Recommendati...

In this post and those to follow, I will be walking through the creation and training of recommendat...

0 users, 12 mentions 2019/12/29 03:51

AttentionがないのにTransformerは活躍するのか？！ | AI-SCHOLAR | AI：(人工知能)論文・技術情報メディア

3つの要点✔️ Transformerのアーキテクチャを変更してMLPのみを使用✔️ Attentionがさほど重要な要素ではないことが判明✔️ 現在のtransformerよりも優れた性能、または同...

3 users, 6 mentions 2021/06/07 12:03

Human Attention Maps for Text Classification: Do Humans and Neural Networks...

人手によってアノテーションしたattention mapを元に、深層学習モデルのattention mapと比較分析を行った。 ■ イベント 
：ACL 2020 オンラインLT会 https:/...

3 users, 2 mentions 2020/08/16 11:21

Seq2seq and Attention

Sequence to sequence models (training and inference), the concept of attention and the Transformer m...

0 users, 0 mentions 2021/04/29 12:20

【DL輪読会】Towards Transparent and Explainable Attention Models (ACL2020)

2021/02/12 Deep Learning JP: http://deeplearning.jp/seminar-2/

0 users, 1 mentions 2021/03/05 11:22

[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-I…

2020/02/21 Deep Learning JP: http://deeplearning.jp/seminar-2/

0 users, 3 mentions 2020/02/25 12:51