分析基盤エンジニアの案件一覧

どのように活用すべきか具体的な構想が決まって無い中で、クライアントの要望をヒアリングしながらデータモデルの設計をし、azure(IaaS)に構築までしていただく。

・ETLツール選定、プラットフォーム選定
・現行データモデルを読み解いて、DWH側データモデルを作成（非正規化、フラット化）
・ETL設定、動作確認

車両データから危険運転を検知し、運転者の情報と合わせて、軽度認知症の検知を行う。
危険運転検知と、認知症検知のアルゴリズムは既に作成されているこのアルゴリズムをAWSで動かすシステムを構築する。
S3などからインプットデータを取り、推論処理して、S3などに書き出す。
利用者へのユーザインタフェースは、現段階では対応外。
非機能要件も、現段階では対応外。
推論部分にはSageMakerを想定
とりあえず、動かせるものを構築する(スケジュール優先で)

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。

■内容
・Synapse Analytics詳細設計フェーズまたはデータ設計業務
・データパイプライン作成/変更手順/データフロー定義/パイプラインの実行(Synapse　Pipelineなど)
・上流設計

■スケジュール
初期構築作業：11月～
データ統合作業：2025年以降あり
※2025年以降も予定あり

・DevOpsの仕組み構築
・Snowflakeのアプリ開発
・データカタログシステムの開発・保守
・データマートの開発・保守
・上記に伴う関係者とのコミュニケーション、要件定義、設計業務、ドキュメンテーション

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

取引先データを管理するシステムのマスタデータの管理でInformaticaを採用。
IDM、MDMのサービス展開を実施中。
承認ワークフローはAgileWorks、データ連携する際にInformaticaと絡ませる。
今回はInformatica内のマスタ管理機能の開発がメイン
スケジュールは今月まで要件定義、8月から基本設計。
要件定義は4名体制、設計開発で5名体制で開始し、段階的に人を増やしていく。

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

作業内容：（上から優先度が高い順）
1．詳細設計、実装
データロード処理の追加、改修
（Pythonの追加実装・修正、Cloud Functionsのデプロイを含む）
マート作成処理の追加/改修（SQLの追加実装/修正）
2．単体・結合テスト項目作成とテスト実施
単体テスト、結合テスト、システムテスト
3．運用保守
バッチ処理失敗時の原因調査、影響範囲調査、リカバリ
4．バッチ処理仕様調整
既存処理リファクタリング、追加実装の技術検証、要件確認等

【案件概要】
　・顧客データ分析基盤 スクラム開発メンバー
【作業内容】
　・顧客PO、弊社SMのもとでスクラム開発
　・データエンジニア、DevOpsエンジニアの役割を担う
　・データサイエンティストチームが分析業務を行うためのデータ分析環境、機械学習環境をAWS環境上に実装

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。