GPU1枚、1日未満で学習!超高速学習GAN、「Lightweight GAN」 | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

GPU1枚、1日未満で学習!超高速学習GAN、「Lightweight GAN」 | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

3つの要点✔️ Skip-Layer Excitationとself-supervised Discriminatorを提案し、パラメータの大幅削減に成功✔️ 少量データでも学習可能✔️ 1024×1024の画像もGPU1枚、数時間で学習可能Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesiswritten by Anonymous(Submitted on 29 Sep 2020)Comments: Accepted at ICLR2021Subjects: Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV)   Comm 概要これまでのGAN、特にStyleGANのようなものは学習にかなりの時間を要していました。今回紹介する「Lightweight GAN」はSkip-Layer Excitationとself-supervised Discriminatorという2つのモジュールの導入により、パラメータの大幅削減を実現しています。結果として、高画質画像・少量データ・GPU1枚・数時間という驚異的な低コストで学習ができるようになっています!以下が冒頭で示されている結果画像です。どちらもサイズは1024×1024で、GPU1枚、1000枚の画像で学習させています。学習時間は風景画像の方は20時間、顔画像の方は10時間です。提案手法GeneratorまずはGeneratorです。Generatorは以下のような構造になっています。まず、青線でUpsample+Convを行っていきます。Batch Normalizationを挟み、活性化関数にはGLUを使っています。GLUはあまり見かけない関数ですが、特徴マップをチャンネル方向に2分割し、片方だけsigmoidに通してからその積を取るという処理を行います。大事なのは赤線のSkip-layer excitationです。

6 mentions: @ai_scholar
Date:

Referring Tweets

@ai_scholar
@ai_scholar GPU1枚で1024×1024を少量データ、数時間で学習できる「Lightweight GAN」の紹介です!パラメータ数と計算量を抑えるために2つのモジュールを提案!結果として高速な学習が可能になっています。ダントツの学習速度から注目を集めているモデルですので、ぜひご覧ください! t.co/fWXaB80ZZi

Bookmark Comments

id:knok

Related Entries

Few-shot vid2vidで顔イラストをアニメ風に動かしてみた - Qiita
Read more Few-shot vid2vidで顔イラストをアニメ風に動かしてみた - Qiita
2 users, 0 mentions 2020/06/29 03:51
Getting Started with Distributed Data Parallel — PyTorch Tutorials 1.6.0 documentation
Read more Getting Started with Distributed Data Parallel — PyTorch Tutorials 1.6.0 documentation
1 users, 1 mentions 2020/08/25 20:21
Pytorchなら同じGPUで2倍早い学習ができるっていったんだよ! - Qiita
Read more Pytorchなら同じGPUで2倍早い学習ができるっていったんだよ! - Qiita
2 users, 0 mentions 2020/12/27 12:52
Speech to Text with Wav2Vec 2.0 - KDnuggets
Read more Speech to Text with Wav2Vec 2.0 - KDnuggets
1 users, 0 mentions 2021/03/02 23:22
[1909.06247] End-to-End Neural Speaker Diarization with Self-attention
Read more [1909.06247] End-to-End Neural Speaker Diarization with Self-attention
1 users, 1 mentions 2021/06/07 16:46

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました