最適化アルゴリズムを俯瞰し、傾向を掴もう! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

最適化アルゴリズムを俯瞰し、傾向を掴もう! | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア

 3つの要点✔️ 大規模な最適化アルゴリズムのベンチマークの1つを提案✔️ 最適化アルゴリズムは問題に依存✔️ デフォルト使用が有用な可能性Descending through a Crowded Valley -- Benchmarking Deep Learning Optimizerswritten by Robin M. Schmidt, Frank Schneider, Philipp Hennig(Submitted on 9 Mar 2020)Comments: Accepted at arXivSubjects: Machine Learning (cs.LG); Machine Learning (stat.ML)Paper Official Code COMM Codeはじめに学習モデルの学習時間や精度に最適化アルゴリズムは重要な役割を果たしていることは誰もがわかっています。多くの方が最適化アルゴリズムを選択し、そのハイパーパラメータをチューニングすることで学習モデルの精度を少しでも高くしようと頑張っている現状があります。しかし、最適化アルゴリズムの選択やハイパーパラメータのチューニングなど明確な解析結果はなく、感覚や実践経験によって行われることがほとんどです。また精度に対して、影響が大きいため、年々最適化アルゴリズムに関する研究は増え続けています。図1は最適化アルゴリズムに対する論文と年次推移になります。2019年から2020年で減っているように見えるのは単純に収集期間がまだ2020は残っているためなので基本的には増えていると考えて大丈夫です。図1. 最適化アルゴリズムに対する論文と年次推移また最適化アルゴリズムの提案研究のほとんどが、研究者自身の最適化アルゴリズムが優位であることを示すことが一般的です。現在最適化アルゴリズムがどれくらいあるか知っていますか?著者による最適化アルゴリズムのサーベイ表1を示します。これでも全てを網羅しているわけではありません。また、表2に最適化アルゴリズムのパラメータスケジュールを俯瞰できる表2もまとめられています。

4 mentions: @ai_scholar@bokudentw
Keywords: 論文
Date: 2020/10/16 13:00

Referring Tweets

@ai_scholar 膨大に提案されている最適化アルゴリズム、結局何を使えばいいの?というか、どんな傾向があるのかすらよくわかっていない。 今回はそんな最適化アルゴリズムのベースを作るための第一歩になるかもしれません。 t.co/rh4B3igmOG
@bokudentw 最適化アルゴリズムを俯瞰し、傾向を掴もう! t.co/ndLNP9Nk8t 深層学習の最適化アルゴリズムのベンチマーク 最適化アルゴリズムは問題に依存 デフォルト使用が有用 →深層学習では最適化アルゴリズムが多数提案されている。ある意味混乱しているな

Related Entries

Read more [2006.01342] A GAN-Based Image Transformation Scheme for Privacy-Preserving Deep Neural Networksopen...
0 users, 1 mentions 2020/06/03 09:51
Read more 日本ディープラーニング協会主催 CVPR 2020 技術報告会 | AI-SCHOLAR.TECH
0 users, 5 mentions 2020/06/25 12:01
Read more AI・データサイエンティスト相談会 - YouTube
0 users, 2 mentions 2020/07/27 20:21
Read more 高速道路の新MDP!拡張可能な状態定義(後半) | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
0 users, 1 mentions 2020/09/30 12:18
Read more シミュレーション x 強化学習!シミュレーションから現実の自動運転システムへ(後半) | AI-SCHOLAR | AI:(人工知能)論文・技術情報メディア
0 users, 1 mentions 2020/10/07 12:13