ChainerのVariableを使って自動微分を簡単実装 | 自調自考の旅

はてなブックマーク Twitter 概要 最適化計算を実施するときには往々にして勾配が必要になりますが、微分の解析解が求められない場合、 数値微分をすると計算が遅い 自動微分を自分で実装するのは大変 という問題があり、数値微分で妥協するか、よほど問題が大きい時には頑張って自動微分を実装するしかありませんでした。一方で、昨今用いられているディープラーニングで用いられている誤差逆伝播法というのは、実は自動微分(より正しくは、自動微分手法の中のリバースモード蓄積と呼ばれる手法)のことであり、つまりディープラーニングのライブラリを使えば簡単に自動微分が実装できるのでは?と考えました。Chainerはチュートリアルのページで微分計算が簡単にできることをPRしており、これを使って自動微分をしてみたよ、というのが今回の記事です。 Docs » Guides » Variables and Derivatives 題材はあまりいいのが思いつかなかったのですが、前から興味があった、逆行列を最適化計算で求める、というものにしてみました。 勾配取得までの手順 逆行列の計算ですので、環境・

Date:

Related Entries

GitHub - Idein/py-videocore6: Python library for GPGPU programming on Raspberry Pi 4
Read more GitHub - Idein/py-videocore6: Python library for GPGPU programming on Raspberry Pi 4
1 users, 0 mentions 2020/02/15 02:20
動画の動きを静止画像に転写!静止画を思いのまま動かすMonkey-Netとは | AI-SCHOLAR.TECH
Read more 動画の動きを静止画像に転写!静止画を思いのまま動かすMonkey-Netとは | AI-SCHOLAR.TECH
0 users, 0 mentions 2020/04/14 22:40
MacBookPro + eGPU + PyTorchでディープラーニングしてみる - Qiita
Read more MacBookPro + eGPU + PyTorchでディープラーニングしてみる - Qiita
0 users, 0 mentions 2020/05/20 20:21
PyTorchでの学習・推論を高速化するコツ集 - Qiita
Read more PyTorchでの学習・推論を高速化するコツ集 - Qiita
48 users, 30 mentions 2020/09/08 23:21
HuBMAP: Hacking the Kidney | Kaggle
Read more HuBMAP: Hacking the Kidney | Kaggle
0 users, 0 mentions 2020/12/04 12:59

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました