全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG

全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG

こんにちは、データ基盤の開発、運用をしていた谷口です。最近は配信基盤の開発と運用をしています。 ZOZOではオンプレやクラウドにあるデータをBigQueryへ連携し、分析やシステムで活用しています。BigQueryに連携されたテーブルは共通データ基盤として全社的に利用されています。 共通データ基盤は随分前に作られたこともあり、様々な負債を抱えていました。負債を解消しようにも利用者が約300人以上おり、影響範囲が大きく改善したくても改善できずにいました。 本記事では旧データ基盤の課題や新データ基盤の紹介に加え、どのようにリプレイスを進めたかご紹介します。同じような課題を抱えている方や新しくデータ…

29 mentions: @K_Ryuichirou@zozotech@hokuto_sd@ryokubosan@suwa_sh@kazunori_279@jjjjj_kn@tsg1202
Date:

Referring Tweets

@K_Ryuichirou
@K_Ryuichirou また大変なお仕事を完了されたようでなにより 全社共通データ基盤を廃止して新しいデータ基盤に引越した話 t.co/DcFt1HSGIV
@zozotech
@zozotech 【ZOZO TECH BLOG】最新号 全社共通データ基盤を廃止して、新しいデータ基盤に引っ越した事例をご紹介します。#zozo_engineer 「全社共通データ基盤を廃止して新しいデータ基盤に引越した話」 t.co/aAUKu8g33n
@hokuto_sd
@hokuto_sd クエリ書き換えやマート移行、過去データや管理者不明のマートをどうするかなど、BigQuery利用者としても結構大変な作業だったが改めてこの記事で「なるほどここが改善されたのか」と理解が深まった / 全社共通データ基盤を廃止して新しいデータ基盤に引越した話 t.co/CbZiKvTqu8
@ryokubosan
@ryokubosan 良記事ー t.co/g7oUrpdIaS
@suwa_sh
@suwa_sh 差分連携の物理削除はどこでも通る道ですね😅 #データ分析基盤 t.co/DF0q5okrRy
@kazunori_279
@kazunori_279 ZOZOさん、オンプレや他社クラウドに散在してたDWHやETLをGoogle CloudとBigQueryに全部寄せ。 #gcpja 全社共通データ基盤を廃止して新しいデータ基盤に引越した話 t.co/0fCc9Ar92g
@jjjjj_kn
@jjjjj_kn 移行前後でレコードに差分ある常態で利用者にクエリ書き換えてもらうのは、ものすごい胆力問われそう。これやり遂げたのはすごい…見習おう。t.co/5WtfQVAi1d
@tsg1202
@tsg1202 社内で新基盤の構築pjtに携わってるのと、将来的には移行pjtも発生するので興味深かった 秘密情報の分類マスタの件であったり、基幹DB側と連携してマスタ情報を整理するといったデータガバナンス・マネジメントまで含まれていて本当にすごいなと思う t.co/8qq4ydzcMZ
@shojiueda
@shojiueda 社内でもデータ連係基盤をリニューアルしていたので、じっくりと読んだ → 全社共通データ基盤を廃止して新しいデータ基盤に引越した話 - ZOZO TECH BLOG t.co/nxK54QBbDO

Bookmark Comments

id:sh19910711

Related Entries

AIシステムが成熟する今「MLOps」が必要とされる理由とは? MLOpsを推進するために大切なこと:CodeZine(コードジン)
Read more AIシステムが成熟する今「MLOps」が必要とされる理由とは? MLOpsを推進するために大切なこと:CodeZine(コードジン)
31 users, 22 mentions 2022/06/16 04:37
プロダクトへの貢献を目指す、Chatworkの次世代データ分析基盤 - Chatwork Creator's Note
Read more プロダクトへの貢献を目指す、Chatworkの次世代データ分析基盤 - Chatwork Creator's Note
25 users, 5 mentions 2022/09/15 00:05
機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜|masa_kazama|note
Read more 機械学習プロジェクトの開発について(MLOps) 〜推薦システムを題材に〜|masa_kazama|note
35 users, 10 mentions 2022/09/16 00:09
ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 - はてなニュース
Read more ビジネスとエンジニアリングをつなぐ「アナリティクスエンジニア」とは。リクルートが“価値あるデータ整備”のための新たな職種に着目した理由 - はてなニュース
141 users, 16 mentions 2022/09/29 01:30
サーバーレスは操作的意味論の夢を見るか? #AWSDevDay / AWS Dev Day 2022 Japan - Speaker Deck
Read more サーバーレスは操作的意味論の夢を見るか? #AWSDevDay / AWS Dev Day 2022 Japan - Speaker Deck
2 users, 2 mentions 2022/11/10 09:09

ML-Newsについて

機械学習の技術に関する情報は流速も早いし、分野も多様でキャッチアップが大変です。Twitterで機械学習用のリストを作っても、普段は機械学習以外の話題が多く流れており、効率的に情報収集するのは困難です。

ML-NewsはSNSを情報源とした機械学習に特化したニュースサイトです。機械学習に関する論文ブログライブラリコンペティション発表資料勉強会などの最新の情報を効率的に収集できます。

機械学習を応用した自然言語処理、画像認識、情報検索などの分野の情報や機械学習で必要になるデータ基盤やMLOpsの話題もカバーしています。
安定したサイト運営のためにGitHub sponsorを募集しています。

お知らせ

  • 2021/12/31: デザインを刷新しました
  • 2021/04/08: 日本語Kaggleのカテゴリを新設しました