[1409.5185] Deeply-Supervised Nets

Our proposed deeply-supervised nets (DSN) method simultaneously minimizes classification error while making the learning process of hidden layers direct and transparent. We make an attempt to boost the classification performance by studying a new formulation in deep networks. Three aspects in convolutional neural networks (CNN) style architectures are being looked at: (1) transparency of the intermediate layers to the overall classification; (2) discriminativeness and robustness of learned features, especially in the early layers; (3) effectiveness in training due to the presence of the exploding and vanishing gradients. We introduce "companion objective" to the individual hidden layers, in addition to the overall objective at the output layer (a different strategy to layer-wise pre-training). We extend techniques from stochastic gradient methods to analyze our algorithm. The advantage of our method is evident and our experimental result on benchmark datasets shows significant performa

1 mentions: @Maxwell_110
Date:

Referring Tweets

@Maxwell_110
@Maxwell_110 少し古めだけど,Kaggle ではしばしば見かける技術 ⬇ Deep Supervision (Deeply-Supervised Nets) t.co/6rn5iUSBI5 中間層に出力を設け loss を計算し,最終層の出力の loss に正則化項として統合 これにより,中間層の表現が改善し,収束速度・精度が向上するとしている

Related Entries

Bottleneck Transformers for Visual Recognition | Papers With Code
Read more Bottleneck Transformers for Visual Recognition | Papers With Code
0 users, 1 mentions 2021/02/11 11:21
TF/JAX Tutorials - Part1 | Kaggle
Read more TF/JAX Tutorials - Part1 | Kaggle
0 users, 1 mentions 2021/08/23 22:37
Interpretable Machine Learning for Diversified Portfolio Construction | The Journal of Financial Dat...
Read more Interpretable Machine Learning for Diversified Portfolio Construction | The Journal of Financial Dat...
0 users, 1 mentions 2021/10/14 22:37
[1702.06355] Object Detection in Videos with Tubelet Proposal Networks
Read more [1702.06355] Object Detection in Videos with Tubelet Proposal Networks
0 users, 1 mentions 2021/12/16 22:40
[2104.13369] Explaining in Style: Training a GAN to explain a classifier in StyleSpace
Read more [2104.13369] Explaining in Style: Training a GAN to explain a classifier in StyleSpace
0 users, 1 mentions 2022/01/25 22:37
Contributors to albumentations-team/albumentations · GitHub
Read more Contributors to albumentations-team/albumentations · GitHub
0 users, 1 mentions 2022/03/07 06:08

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました