非定常な多腕バンディット問題において効率的に変化を察知する方式の検討 · THINKING MEGANE

非定常な多腕バンディット問題において効率的に変化を察知する方式の検討 · THINKING MEGANE

このエントリは、第8回 Web System Architecture 研究会 (WSA研)の予稿です。 非定常な多腕バンディット問題において効率的に変化を察知する方式の検討 はじめに 適応的なシステムの実現には、利用者と情報システムが互いの状態をよく理解するためのコミュニケーションと、それに応じた振る舞いの変更が必要となる。 一方で、そのコミュニケーションから得られる情報や利益の価値を考慮しなければならない環境では、確実な情報に基づく振る舞いを選択しつつ、まだ得られていない情報を引き出すために、価値の低いコミュニケーションを敢行しなければならない。 これは、多腕バンディット問題として定式化できる。 多腕バンディット問題では、振る舞いの選択肢のことを腕と呼び、ある時点までの情報をもとに有効な腕を選択することを「活用」、腕の可能性を探るために有効ではない腕を選択することを「探索」と呼ぶ。 それぞれの腕はある確率分布に従い報酬を生成する。 中でも、選択肢の相対的な有効性が時間経過とともに変化する問題設定は非定常な多腕バンディット問題と呼ばれ、いくつかの解法が提案されている。 非定常な多腕バンディット問題に対する解法には、腕の有効性の変化に応じた評価の更新が重要とされてきた。 しかしながら、選択による機会損失の低減を目的とした多腕バンディット問題の設定では、ある時点で有効性の低い選択肢が利用される機会は少なく、腕の有効性の変化を察知する、それ自体がまず難しい。 本研究では、このような非定常な多腕バンディット問題における変化を素早く察知するにあたり、探索による機会損失を抑制した、効率的な方式を検討する。 なお、多腕バンディット問題の設定は、同時に文脈付きの問題設定に拡張することができるが、課題の本質は同じであること、方式検討の容易性から、本方向では文脈の考慮は行わない。 非定常な多腕バンディット問題の解法における、変化察知の課題 非定常な多腕バンディット問題への解法では、腕の報酬分布が変化した際に、過去に観測した報酬に捉われずに腕の評価を迅速に更新しなくてはならない。 この問題の解法には大きく4つのアプローチがある。 一つ目は、腕の報酬分布が変化することを前提にして、観測時点からの経過に応じて腕の評価に重み付けをするアプローチである(減衰型)。 二つ目も、同様の前提において

1 mentions: @monochromegane
Date:

Referring Tweets

@monochromegane
@monochromegane ブログ更新。#WSA研 の議論を踏まえて発展させてドーンと投稿していくぞ / t.co/4rrZaVGs0p

Related Entries

Papers with Code Newsletter #9 | Papers With Code
Read more Papers with Code Newsletter #9 | Papers With Code
0 users, 1 mentions 2021/05/18 15:19
25 papers have been accepted at ICML 2021  | Center for Advanced Intelligence Project
Read more 25 papers have been accepted at ICML 2021 | Center for Advanced Intelligence Project
0 users, 1 mentions 2021/05/21 09:18
Unsupervised Speech Recognition
Read more Unsupervised Speech Recognition
0 users, 6 mentions 2021/05/21 18:18
【コード・データ付き】画像用Transformerを利用して衛星画像の分類機械学習モデルを作成する | 宙畑
Read more 【コード・データ付き】画像用Transformerを利用して衛星画像の分類機械学習モデルを作成する | 宙畑
0 users, 1 mentions 2021/06/01 12:16
「Connected Papers」で文献調査を楽しく効率的に
Read more 「Connected Papers」で文献調査を楽しく効率的に
0 users, 1 mentions 2021/06/04 15:17

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました