DWHの案件一覧

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

某出版社にてデータアナリスト業務を依頼させていただきます。

【業務スコープ】
・データマートの構築
・BIツールを用いた可視化
・アドホックな分析
・レポーティング

テナントマネジメントや施設オペレーションにかかわるファシリテーションマネジメントシステムの開発及び運用管理

クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。

技術要素
GoogleCloud
Cloud Composer2（及びAirflow2）
Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
Kinesis firehose
SQS / SNS
ECS
Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

デジタルマーケティングツールやデータ分析ツールへのデータ投入のための ETL 準備、実装を行います。

作業内容：
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

• データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
• 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

• Infeed領域の広告運用のためのプロダクトを開発するグループ
• インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
• インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
• 機械学習を用いたプロダクトを開発するグループ
• 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

• ApacheSpark
• AWS Glue
• Snowflake
• データレイク/データウェアハウス/データマート

データパイプラインの構築エンジニア
主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
　・DevOpsの流れで、先ずは基本機能の実装を目指しております。
　・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
　　要求事項とAWS仕様調査、実現性確認を行っております。
　・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
　　に入って参ります。

【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守

• 関係者からのヒアリング・データ調査
• メンテナンス性・汎用性を意識したテーブルの設計
• SQLおよびPySparkを用いた実装
  ・DWH層テーブルについての問い合わせ対応・不具合調査
  ・DWH層開発環境の設計・開発・保守・運用
  【開発工程】
  基本設計|詳細設計|実装・構築・単体試験|運用・保守

【環境】
言語：SQL,Python
ＦW：Apache Spark
環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール：Docker,Terraform,JIRA,Github