Training a 1 Trillion Parameter Model With PyTorch Fully Sharded Data Parallel on AWS | by PyTorch | Mar, 2022 | Medium

Training a 1 Trillion Parameter Model With PyTorch Fully Sharded Data Parallel on AWS | by PyTorch | Mar, 2022 | Medium

Authors: Pavel Belevich (Meta AI), Yanli Zhao (Meta AI), Shen Li (Meta AI), Jessica Choi (Meta AI), Rohan Varma (Meta AI), Pritam Damania…

4 mentions: @PyTorch@_willfalcon@boofla
Keywords: PyTorch
Date:

Referring Tweets

@PyTorch
@PyTorch PyTorch 1.11’s FSDP API lets you train very large scale (1 trillion-plus factor) models by sharding the model across multiple processors. Here, we demonstrate how to do just that using AWS’s SRD protocol. t.co/uEgo5b6eyC
@_willfalcon
@_willfalcon Trillion parameter model 🤯 🤯 ? FSDP in @PyTorch makes this now possible (kudos to the team at @MetaAI). Best part? it’s already in @PyTorchLightnin import pytorch_lightning as pl trainer = pl.Trainer(strategy='fsdp') t.co/9017E63T1p
@boofla
@boofla Very cool stuff. t.co/3eahzy2JSb t.co/XG33QP7BQ4

Bookmark Comments

id:misshiki

Related Entries

PyTorch Summer Hackathon 2020: Welcome to the Global PyTorch Summer Hackathon! #PyTorchSummerHack - ...
Read more PyTorch Summer Hackathon 2020: Welcome to the Global PyTorch Summer Hackathon! #PyTorchSummerHack - ...
1 users, 3 mentions 2020/08/12 00:52
New Library Releases in PyTorch 1.10, including TorchX, TorchAudio, TorchVision | PyTorch
Read more New Library Releases in PyTorch 1.10, including TorchX, TorchAudio, TorchVision | PyTorch
1 users, 4 mentions 2021/10/22 06:08
Real Time Inference on Raspberry Pi 4 (30 fps!) — PyTorch Tutorials 1.11.0+cu102 documentation
Read more Real Time Inference on Raspberry Pi 4 (30 fps!) — PyTorch Tutorials 1.11.0+cu102 documentation
1 users, 2 mentions 2022/03/17 06:09
TorchMetrics v0.8 — Paper, Faster collection, and more metrics! | by Skaftenicki | Apr, 2022 | PyTor...
Read more TorchMetrics v0.8 — Paper, Faster collection, and more metrics! | by Skaftenicki | Apr, 2022 | PyTor...
1 users, 1 mentions 2022/04/15 01:09
Accelerating PyTorch with Intel® Extension for PyTorch* | by Fan Zhao | PyTorch | May, 2022 | Medium
Read more Accelerating PyTorch with Intel® Extension for PyTorch* | by Fan Zhao | PyTorch | May, 2022 | Medium
2 users, 5 mentions 2022/05/16 13:42

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました