Training Compact Transformers from Scratch in 30 Minutes with PyTorch | by Steven Walton | PyTorch | Jun, 2021 | Medium

Training Compact Transformers from Scratch in 30 Minutes with PyTorch | by Steven Walton | PyTorch | Jun, 2021 | Medium

Authors: Steven Walton, Ali Hassani, Abulikemu Abuduweili, and Humphrey Shi. SHI Lab @ University of Oregon and Picsart AI Research (PAIR)

5 mentions: @nadaloglou@misshiki_bkmk@DeepInsiderJP
Date:

Referring Tweets

@nadaloglou
@nadaloglou Training Compact Transformers from Scratch in 30 Minutes with PyTorch t.co/IWM3uGca6m #MachineLearning #Deeplearning #vit t.co/oMihqlYu3S
@misshiki_bkmk
@misshiki_bkmk コンパクトトランスフォーマー(計算およびデータ効率の高いトランスフォーマー)のチュートリアル。“自宅コンピュータでトレーニングし、コンピュータービジョンとNLPの両方で分類するための最先端の結果を取得” / “Training Compact Transformers from Scratch in 30 Min…” t.co/nH1Hk2J03o
@DeepInsiderJP
@DeepInsiderJP Compact な(計算&データ効率が高い)Vision Transformerのチュートリアル記事。英語ですが、Transformerに興味がある人は試してみてはいかがでしょうか。 PyTorchを使用してCompact Transformersを最初から30分でトレーニングする t.co/ZcHpIZMng0

Bookmark Comments

id:misshiki

Related Entries

2021 Request for Proposals: Faculty awards to support machine learning courses, diversity, and inclu...
Read more 2021 Request for Proposals: Faculty awards to support machine learning courses, diversity, and inclu...
1 users, 4 mentions 2021/06/28 18:17
TensorFlow Model Optimization Toolkit — Collaborative Optimization API — The TensorFlow Blog
Read more TensorFlow Model Optimization Toolkit — Collaborative Optimization API — The TensorFlow Blog
1 users, 1 mentions 2021/10/11 06:09
Release PyTorch 1.10 Release, including CUDA Graphs APIs, Frontend and compiler improvements · pytor...
Read more Release PyTorch 1.10 Release, including CUDA Graphs APIs, Frontend and compiler improvements · pytor...
1 users, 10 mentions 2021/10/22 06:08
PyTorch 1.11, TorchData, and functorch are now available | PyTorch
Read more PyTorch 1.11, TorchData, and functorch are now available | PyTorch
1 users, 5 mentions 2022/03/10 21:09
How to migrate from BoostedTrees Estimators to TensorFlow Decision Forests — The TensorFlow Blog
Read more How to migrate from BoostedTrees Estimators to TensorFlow Decision Forests — The TensorFlow Blog
1 users, 1 mentions 2022/04/04 18:09

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました