分析基盤エンジニアの案件一覧

データ分析基盤の構築・運用をおまかせします
・各種システムからのBigQueryへのデータパイプラインの構築・運用

・BigQuery上のデータウェアハウス・データマートの加工処理の構築・運用

開発環境言語 : Python,

データベース : BigQuqery, Aurora MySQL 2.0, Aurora PostgreSQL

インフラ : AWS (EC2, S3, Lambda etc.) , GCP

バージョン管理 : git/Github

CI : CircleCI, Jenkins

コミュニケーション : Slack, JIRA, ClickUP, Notion

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

　・会計ソフトメーカーにて情報を一元管理・可視化する

　　データ分析基盤の構築を計画しております。

　　業務内容として、AWS環境上にて各システムから

　　データを収集/加工するための調査・設計・実装や

　　BIツールと連携してデータを可視化する機能の設計・

　　実装まで広範に渡り対応して頂きます。

【案件概要】

データ基盤内のコンテンツチーム(お客様のコンテンツ指標を整備、可視化、分析を行い、事業判断やコンテンツ判断にデータ活用を推進する)での稼働を想定。
業務としては、FPA(番組コンテンツごとの収支)システムの改修・運用・保守。
FPA システムは Djangoによる WebApp、Tableau Prep、Tableau(ダッシュボード)で構成される。

【担当業務】

DB設計からSQL実装、Workflowsの実装を行う。
・障害時対応（障害の原因究明）

・SQL実装

・テスト設計

・SQLによるアドホックの調査

・セキュリティ対応

【環境】

Jira, Confluence,BitBucket, Slack

・AWS（Lambda、Glue、Step Functions）を用いた

既存資源の改修、本番環境リリース

障害・仕様変更等発生時の既存資源の修正、リリース

・管理業務、業務改善

ユーザー、DB、ドキュメントのデータ分析基盤内の管理業務

・運用監視

データ分析基盤内エラー監視方針の検討及びエラー時の運用対応

・会計ソフトメーカーにて情報を一元管理・可視化するデータ分析基盤の構築を計画しております。

業務内容として、AWS環境上にて各システムからデータを収集/加工するための調査・設計・実装やBIツールと連携してデータを可視化する機能の設計・実装まで広範に渡り対応して頂きます。

レガシーなシステムから収集したデータを、イタリアで構築されたDWHへ適切な形で整理しながら格納していくことが求められています。
英会話のスキルにより、担当いただく業務内容と稼働率が変動します。
■英会話レベル：

ビジネス外国人技術者と英語でディスカッションしながら、DWHの設計や勘定科目の変換ロジックを構築する。

稼働率の範囲は40～100％
■英会話レベル：

日常会話PowerBIツールやExcel、Accessを用いてデータ間の相関関係を検証したり、データの格納を行う。

稼働率の範囲は40％前後

・本年9月末まで予定・現場では英語が飛び交いますので、英語に抵抗がない方がフィットするかと思います

【業種】

・大手学習塾企業
【概要】

・AWS DMSの構築、マネジメントと保守運用。

・Tableauでのアウトプット

・DMSと社内環境との接合、運用
【開発環境】

・AWS Glue

・AWS Lambda

・AWS Redshift
【募集要員構成】

・データベースエンジニア
【対応内容】

・AWS DMSの構築、マネジメントと保守運用。

・Tableauでのアウトプット

・DMSと社内環境との接合、運用

・複数テーブル結合におけるデータベース及びView設計

・クエリの設計と作成

・クエリの動作確認におけるテストの実施

・AWSのデータ取り込みの管理、運用

・デイリーバッチの理解と管理
【時期】

・即日（長期継続前提の案件となります）
【募集人員】

・1名

【背景】

アクセス解析データ/DBデータ/APIデータ等合計600TBのデータ基盤を管理データ基盤を管理・改善する人員が不足しており今回の募集にいたりました。
【お願いしたい業務】

* 運用改善

* データ基盤関連ツールの導入(ELTツール - dataform, データガバナンス - dataplex/DataCatalogなど)

* CDPの構築(店舗向け、ラベル推定/スコア推定など, SFAツールへの連携)
【できればお願いしたい業務】

* 新規データ連携対応(DB - embulk, API - Cloud Run/Pythonによる実装)

* データマート整備(Composerなど)
DWHはbigqueryBIはtableauはtreasuredataにアクセスし可視化しています

パターン①

・基盤構築リード

・環境要件定義推進

・DWH・ETL（Synapse）要件定義推進

・DWH・ETL（Synapse）開発
パターン②

・ETL連携方式調査

・Azureパラメータシート作成

・Azure環境構築

・DWH・ETL（Synapse）設計開発テスト

・DWH・ETL（Synapse）開発関連ドキュメント作成（設計書、テスト報告書）

何らかのETL開発経験