データエンジニアの案件一覧

大手損保会社のAI-HUB（データ活用促進をミッションとするCoE組織）におけるPDFデータ構造化支援。事業部ニーズに応じた要件整理から分析・対応までを実施。CoEの一員として事業部メンバーと調整し、PJを主体的に推進。

テレビ・デジタル広告の配信実績データや成果レポートをオンライン上で統合・可視化する統合マーケティングダッシュボードの機能追加をお任せいたします。

下記サービスを用いて構築予定です。
Google Cloud（BigQuery/Cloud Composer）、Tableau Server

・現行データおよび加工仕様の理解
・ダッシュボード要件からのマートおよび加工処理の設計
・Cloud Composerでのデータパイプラインの設計
・ダッシュボード設計担当への伝達/レビュー

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、
分析結果からの将来予測などをお願いします。

【開発環境】
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

・クライアントがチームで支援中。
・3月末で要員が交代のため、急遽募集

・各種データ（DB／Access／Excel）の集計・リスト作成、分析
・Office（Access／Excel）系ツールの保守・開発
・Tableauのダッシュボードの保守・開発
・各種ユーザー対応（問い合わせ対応、障害対応等）

【作業工程】
要件確認、設計、製造・テスト、UAT、納品

【現状】
クライアントプロパー2名参画中

・AWS Glue、Tableauの要件定義の残部分～パイプライン設計、外部設計まで（構築はお客様の基盤チームで対応するため、PJは外部設計までは範囲）
・外部設計は設計のエクセルシートをヒアリングして埋めていくイメージ
・15ファイルぐらいのテーブルを想定しているため、パイプラインも15本ぐらい作業想定

エンドクライアント内にある散らかったデータ(BtoB向けの受発注や契約関係のデータ等)を連携しsnowflakeに蓄積してデータ利活用を推進していきたいと考えております。

業務スコープは以下を想定
・Snowflakeを利用したデータ蓄積+活用。
・連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
・蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術や環境】
AWS(Lambda等)
Snowflake
Python
SQL
GitやGithub
CI/CD

Javascript
GCP
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

PJTの進め方
毎朝大手Slerの開発チームとクライアントの開発メンバーを交えた朝礼を行なっております。
必要に応じてエンド企業との打ち合わせが日中発生する想定です。

■プロジェクト概要：
テレビ・デジタル広告の配信実績データや成果レポートをオンライン上で統合・可視化する統合マーケティングダッシュボードの機能追加。

下記サービスを用いて構築予定。
Google Cloud（BigQuery/Cloud Composer）、Tableau Server
■役割：PL/SE
■作業内容：
・現行データおよび加工仕様の理解
・ダッシュボード要件からのマートおよび加工処理の設計
・Cloud Composerでのデータパイプラインの設計
・ダッシュボード設計担当への伝達/レビュー