AWS Glueの案件一覧

顧客の提供する各プロダクトからのデータ収集、加工・集計・可視化、
分析結果からの将来予測などをお願いします。

【開発環境】
・インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
・データベース：RDS（Aurora MySQL）
・ETL：AWS Glue
・BIツール：QuickSight
・言語：Python
・コミュニケーション：Slack、Zoom、Backlog、DocBase

・AWS Glue、Tableauの要件定義の残部分～パイプライン設計、外部設計まで（構築はお客様の基盤チームで対応するため、PJは外部設計までは範囲）
・外部設計は設計のエクセルシートをヒアリングして埋めていくイメージ
・15ファイルぐらいのテーブルを想定しているため、パイプラインも15本ぐらい作業想定

AWSのマネージドサービスを利用して運営しているシステム基盤に新たな新規システムを構築、また既存案件のエンハンスをご担当いただきます。

担当範囲、役割分担としては、SIerとともに要件定義を実施し基本設計まで執筆を対応、その後の開発工程はオフショアに連携しオフショア開発側が開発タスクを担当します。
オフショア成果物の受け入れ・検証も担当範囲に含まれます。

・顧客との要件整理、調整が可能なコミュニケーション能力
・自走力、主体性を持って対応できる方
・要件定義工程からの上流設計経験

クラウドサービスを活用したデータ分析基盤構築をお任せいたします。

【作業内容・工程・環境】
データ利活用基盤に新規データマートの構築開発案件
既存の2種のデータマートを統合し、新規のデータマートを構築する。
要件資料と現行設計を元に、データ抽出の設計作業（200項目×11システム）
※最適化のため、一部の項目では現行仕様と新規要件を元に調整・検討を行う場合あり。
設計書を元にSQL製造、及び検証作業（単体～総合試験）

SQL: 一般的なSQL言語で1kstep以上のコーディング経験
SQL設計および製造が単独で可能
業務要件に基づいたデータ抽出設計（SEレベル）
データ抽出設計に基づいたSQLコーディング
PLまたはチームリーダー経験
(小規模チームのスケジュール管理・タスク管理)
テレワークでのコミュニケーション（チャットツール、音声会議）
お客様に対して提案ベースでの課題調整能力

【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01-　現行調査など
2024/02-　要件定義工程

希望のスキルセット
　-データ分析基盤の全体的なアーキテクチャ検討
　-Snowflakeの設計・実装
　-Snowflake構築に関連するパブリッククラウド(AWS等)のご経験)
英語は優先度下がったので、英語できなくても可

【必　須】以下いずれかのスキル要件に2～3つ程度該当する
1)AWS（ETLとしてGlueを使用）
… 上流(アーキ検討)から対応可能な方。2に付随したAWS環境の構築。
2)Snowflake
… 上流(アーキ検討)から対応可能な方。Snowflakeは新規に構築。
3)Talend
… 設計・構築から対応可能な方。顧客内に既存のTalend環境あり、そこに追加していく
4)JP1/AJS
… 設計・構築から対応可能な方。ジョブ連携
5)英語コミュニケーション
… 親会社が海外でありコミュニケーション発生する
6)顧客調整、プロジェクトリード

・大手文具メーカーにおけるデータ分析基盤構築案件
・要件定義から設計、開発、リリースまでを担当
・AWSとSnowflakeを用いたデータ分析システム（ETL、DWH、BIなど）の開発を行うチームに参画予定

【環境】
・AWSサービス：S3、Glue、StepFunctions、CloudWatch、QuickSight、DataZone
・DWH：Snowflake
・開発ツール：dbt

話題沸騰中のスニーカーフリマアプリのデータ分析基盤の開発を行っていただきます。
具体的には、データアナリストチームで以下の業務を想定しています。
・データパイプライン(Data Ware House/Data Mart)の構築/運用
・データの品質管理
・コスト監視体制構築