分析基盤エンジニアの案件一覧

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築

【概要】
・現行情報分析基盤の刷新プロジェクトにて、AWS/Snowflake/Tableauで環境構築中です。
AWSとSnowflakeの担当者は決定し、残りのTableau担当者を募集しています。

・上流工程/Tableauの機能要件整理や基本設計、開発工程では開発手順の理解

▼受領データの変換処理の開発
顧客企業から受領したデータをSaaSのデータ仕様に合わせるため、データ連携基盤ではデータの変換を行っています。
顧客企業によってデータ形式が異なるため、データ変換処理は個別に実装し対応しています。
そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。
設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。
実装は、作成した設計書を元に変換処理の実装を行います。

▼集計データを顧客システムに繋ぐ開発
集計したデータをお客様に活用していただくため、顧客システムにデータを送信する開発を行っています。
顧客システムで取り込むためにデータ形式を変換して送信しています。設計、実装、テスト、リリースまでを担当頂きます。

【使用技術】
・開発言語： Python、SQL
・インフラ： Amazon Web Services
・AWS製品： EC2、ECS、StepFunctions、S3、RDS、Redshift、Lambda、Athena、Cloud Watch
・ツール： GitHub、Jira、Slack

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

車両データから危険運転を検知し、運転者の情報と合わせて、軽度認知症の検知を行う。
危険運転検知と、認知症検知のアルゴリズムは既に作成されているこのアルゴリズムをAWSで動かすシステムを構築する。
S3などからインプットデータを取り、推論処理して、S3などに書き出す。
利用者へのユーザインタフェースは、現段階では対応外。
非機能要件も、現段階では対応外。
推論部分にはSageMakerを想定
とりあえず、動かせるものを構築する(スケジュール優先で)

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。

■内容
・Synapse Analytics詳細設計フェーズまたはデータ設計業務
・データパイプライン作成/変更手順/データフロー定義/パイプラインの実行(Synapse　Pipelineなど)
・上流設計

■スケジュール
初期構築作業：11月～
データ統合作業：2025年以降あり
※2025年以降も予定あり

・DevOpsの仕組み構築
・Snowflakeのアプリ開発
・データカタログシステムの開発・保守
・データマートの開発・保守
・上記に伴う関係者とのコミュニケーション、要件定義、設計業務、ドキュメンテーション

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase