FORCE法によるRecurrent Spiking Neural Networksの教師あり学習 - 知識のサラダボウル

(著)山拓 論文は Nicola, W. & Clopath, C. Supervised learning in spiking neural networks with FORCE training. Nat. Commun. (2017). (Nat. Commun., arXiv) FORCE(First-Order Reduced and Controlled Error)法は(Sussillo & Abbott, 2009)で提案された学習法で、元々は発火率ベースのRNNに対するオンラインの学習法です。ただし、用いるモデルは一般のRNNとは異なるものです。ユニット間の結合重みはランダムに初期化して固定し、出力の結合重みだけを学習するというタイプのRNNを用います(こういうタイプのNNをReservoir computingと呼びます)。もちろん一般のRNNを学習させるならBack-prop法を用いるのが主流ですが、学習するパラメータが少ないという利点はあります。次に(DePasquale, Churchl & Abbott, 2016)で提案された学習法は、発火率モデルで学習させた後、その活動をSpiking modelに転写するというものです。 今回紹介する論文(Nicola & Clopath, 2017)では直接的にFORCE法がSpiking neural networks(SNN)の学習に使用できる、ということです。下図はFORCE法で訓練したSNNの活動の例です。左が学習前、右が学習後です。ここではネットワークからのデコード結果が正弦波となるようにしています(詳細は後述)。

1 mentions: @tak_yamm
Date: 2019/07/05 14:37

Referring Tweets

@tak_yamm 宣言通り書きました。「FORCE法によるRecurrent Spiking Neural Networksの教師あり学習」についての論文の解説です。SNNの入門という意味合いも持たせたかったのでSNNの実装方法も解説しました https://t.co/Xv6T4DDLf5