Training Compact Transformers from Scratch in 30 Minutes with PyTorch | by Steven Walton | PyTorch | Jun, 2021 | Medium

Training Compact Transformers from Scratch in 30 Minutes with PyTorch | by Steven Walton | PyTorch | Jun, 2021 | Medium

Authors: Steven Walton, Ali Hassani, Abulikemu Abuduweili, and Humphrey Shi. SHI Lab @ University of Oregon and Picsart AI Research (PAIR)

5 mentions: @nadaloglou@misshiki_bkmk@DeepInsiderJP
Date:
Training Compact Transformers from Scratch in 30 Minutes with PyTorch | by Steven Walton | PyTorch | Jun, 2021 | Medium medium.com

Referring Tweets

@nadaloglou
@nadaloglou Training Compact Transformers from Scratch in 30 Minutes with PyTorch t.co/IWM3uGca6m #MachineLearning #Deeplearning #vit t.co/oMihqlYu3S
3 RT, 3 Fav 2021/06/29 07:54
@misshiki_bkmk
@misshiki_bkmk コンパクトトランスフォーマー（計算およびデータ効率の高いトランスフォーマー）のチュートリアル。“自宅コンピュータでトレーニングし、コンピュータービジョンとNLPの両方で分類するための最先端の結果を取得” / “Training Compact Transformers from Scratch in 30 Min…” t.co/nH1Hk2J03o
1 RT, 2 Fav 2021/06/29 05:44
@DeepInsiderJP
@DeepInsiderJP Compact な（計算＆データ効率が高い）Vision Transformerのチュートリアル記事。英語ですが、Transformerに興味がある人は試してみてはいかがでしょうか。 PyTorchを使用してCompact Transformersを最初から30分でトレーニングする t.co/ZcHpIZMng0
0 RT, 2 Fav 2021/06/29 05:55

Bookmark Comments

id:misshiki
id:misshiki コンパクトトランスフォーマー（計算およびデータ効率の高いトランスフォーマー）のチュートリアル。“自宅コンピュータでトレーニングし、コンピュータービジョンとNLPの両方で分類するための最先端の結果を取得” 2021/06/29 14:43

Related Entries

2021 Request for Proposals: Faculty awards to support machine learning courses, diversity, and inclu...
Read more 2021 Request for Proposals: Faculty awards to support machine learning courses, diversity, and inclu...
1 users, 4 mentions 2021/06/28 18:17
TensorFlow Model Optimization Toolkit — Collaborative Optimization API — The TensorFlow Blog
Read more TensorFlow Model Optimization Toolkit — Collaborative Optimization API — The TensorFlow Blog
1 users, 1 mentions 2021/10/11 06:09
Release PyTorch 1.10 Release, including CUDA Graphs APIs, Frontend and compiler improvements · pytor...
Read more Release PyTorch 1.10 Release, including CUDA Graphs APIs, Frontend and compiler improvements · pytor...
1 users, 10 mentions 2021/10/22 06:08
PyTorch 1.11, TorchData, and functorch are now available | PyTorch
Read more PyTorch 1.11, TorchData, and functorch are now available | PyTorch
1 users, 5 mentions 2022/03/10 21:09
How to migrate from BoostedTrees Estimators to TensorFlow Decision Forests — The TensorFlow Blog
Read more How to migrate from BoostedTrees Estimators to TensorFlow Decision Forests — The TensorFlow Blog
1 users, 1 mentions 2022/04/04 18:09

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文、ブログ、ライブラリ、コンペティション、発表資料、勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語とKaggleのカテゴリを新設しました
ML-News関連リンク: 開発者Twitter, Github
ML-Newsはユーザビリティの改善や分析のためGoogle Analyticsを使用しています