Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers | OpenReview

Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers | OpenReview

Training very deep neural networks is still an extremely challenging task. The common solution to this is to add shortcut connections and normalization layers, which are both crucial ingredients in...

1 mentions: @_arohan_
Keywords: shap
Date: 2021/10/16 03:09

Referring Tweets

@_arohan_ Follow up work that addresses generalization! t.co/sf6LvmbG7j t.co/oygdMZ34Ev

Related Entries

Read more Anti-Distillation: Improving Reproducibility of Deep Networks | OpenReview
0 users, 1 mentions 2020/10/04 03:52
Read more google-research/shampoo.py at master · google-research/google-research · GitHub
0 users, 1 mentions 2021/09/10 18:09
Read more ASPLOS'20 - Session 13B - Optimus Prime: Accelerating Data Transformation in Servers - YouTube
0 users, 1 mentions 2021/10/24 04:37
Read more [1606.07792] Wide & Deep Learning for Recommender Systems
10 users, 1 mentions 2021/12/08 01:26
Read more [1804.09849] The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation
0 users, 1 mentions 2021/12/08 01:26

ML-Newsについて

ML-Newsは機械学習に関するニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報にアクセスできます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ