Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad

Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad

発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読し…

26 mentions: @hokuto_sd@K_Ryuichirou@nino_pira@BrainPad_PR@tetsuroito@dakuton@sam_murayama@n_koppe
Date:
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad blog.brainpad.co.jp

Referring Tweets

@hokuto_sd
@hokuto_sd …と思ってたらブレインパッド様めちゃくちゃタイムリーな記事ありがとうございます。ありがてえ… t.co/6CloLYlpnq
0 RT, 5 Fav 2021/02/17 15:18
@K_Ryuichirou
@K_Ryuichirou ああああこれ検証したいんだよなあ t.co/bydrrBiXui
3 RT, 5 Fav 2021/02/17 13:23
@nino_pira
@nino_pira Decorder outoputがseqな点とDecorder inputに直近数時点分の特徴量を入れるの ちょっと特殊っすね t.co/qEgU9lp8Am t.co/zbvq7sVALk
0 RT, 2 Fav 2021/02/17 12:29
@BrainPad_PR
@BrainPad_PR 【「Transformer」を時系列データへ適用する方法を紹介！】 自然言語処理分野で幅広く使用される深層学習モデルTransformerを、製品購入量に関する時系列データへ適用し、モデルを実装してみました！ t.co/J9fUIaZOsO #自然言語処理 #NLP #AI #時系列
0 RT, 1 Fav 2021/02/17 06:38
@tetsuroito
@tetsuroito ほほう t.co/4EhIzsYZu6
0 RT, 1 Fav 2021/02/17 22:31
@dakuton
@dakuton 時系列だとbidirectionalが得意とするケース(インフルエンザのように直近に強く依存)の代替手段という理解。コンペ成績などをみても計算コストに対しアウトパフォームするとは限らないし / Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad - t.co/SX8No6jaVM
0 RT, 0 Fav 2021/02/18 03:05
@sam_murayama
@sam_murayama １）Decoder outputの時間T5, T6における目的変数を予測するために、Encoder inputではT1~4、Decoder inputではT4~T5のおける特徴量を入力していく。 ２）データは、時間Tごとの特徴量をベクトル化するためにTime Delay Embeddingが用いられている。 t.co/uVZzvgXn26
0 RT, 0 Fav 2021/02/19 12:16
@n_koppe
@n_koppe 時系列データでやりたいことあるし試してみるか…t.co/6TtIvb4lcc
0 RT, 0 Fav 2021/02/17 22:51

Bookmark Comments

id:misshiki
id:misshiki “ Transformerを時系列データに適用する方法をご紹介” 2021/02/18 15:17
id:knok
id:knok 別にMLMみたいなことはしないのか 2021/02/18 12:23
id:Overlap
id:Overlap “Transformerによる時系列データ予測のご紹介” 2021/02/18 11:26

Related Entries

ChainerでLSTM言語モデルとミニバッチ学習の実装 – ご注文は機械学習ですか？
Read more ChainerでLSTM言語モデルとミニバッチ学習の実装 – ご注文は機械学習ですか？
0 users, 0 mentions 2018/04/22 03:40
BlackboxNLP 2020: Analyzing and interpreting neural networks for NLP – An EMNLP 2020 Workshop | Anal...
Read more BlackboxNLP 2020: Analyzing and interpreting neural networks for NLP – An EMNLP 2020 Workshop | Anal...
0 users, 0 mentions 2020/02/24 15:50
Deep Learning基礎講座 2021 | Deep Learning JP
Read more Deep Learning基礎講座 2021 | Deep Learning JP
0 users, 1 mentions 2021/03/23 16:43
How to select and use tools?: Active Perception of Target Objects Using Multimodal Deep Learning - Y...
Read more How to select and use tools?: Active Perception of Target Objects Using Multimodal Deep Learning - Y...
0 users, 0 mentions 2021/05/06 13:49
GitHub - magenta/mt3: MT3: Multi-Task Multitrack Music Transcription
Read more GitHub - magenta/mt3: MT3: Multi-Task Multitrack Music Transcription
1 users, 0 mentions 2021/12/31 00:09

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文、ブログ、ライブラリ、コンペティション、発表資料、勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語とKaggleのカテゴリを新設しました
ML-News関連リンク: 開発者Twitter, Github
ML-Newsはユーザビリティの改善や分析のためGoogle Analyticsを使用しています