ETLの案件一覧

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。

・データ基盤の現行調査（バッチ数やテーブル数、データサイズなど＋現行の課題把握）
・アーキテクチャ選定（SybaseIQ、Treasure Dataから分析に最適なDB選定および検証）

業務効率化・販路拡大を目指すクライアントへ対し、データマネジメントシステム基盤の構築を進めています。
フェーズ毎に増減しますが、チームは総員30名規模を見込んでおり、その方の対応可能領域、
得意領域に応じて業務分担を行う予定ですが、要件定義から支援いただける方を募集しています。

＜想定される業務内容＞
・業務要件のヒアリング、収集対象となるデータの洗い出し
・ETLジョブ（databricks）の設計～リリース／保守
・BIの設計～リリース／保守
　※状況に応じ、上記業務以外が発生します。

＜環境＞
クラウド間連携/ETL機能：databricks
BIツール：SAS、databricks、Looker（複数ツール併用)

・大手エンターテインメント企業において、親会社が運営するゲームタイトルのデータを、
データレイクに格納するデータパイプライン構築の業務がメインとなります。

内容や案件はゲームタイトルのスケジュール等に依存するため、
ゲームタイトル以外のデータパイプライン構築や、社内システムの構築をお願いする可能性もございます。
（Webサイト等その他サービス）

※お願いする可能性のある業務スコープ例

・データ分析基盤の開発・運用
データを収集するETL/ELTパイプラインの開発
運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

GCPを採用しており、GCP系リソースを中心に活用します。（BigQueryなど）
インフラ管理：terraform
パイプライン構築：Airflow(Cloud Composer)、Argo workflow、SaaSであるtrocco等

【背景】
データ活用がマーケティング用途だけでなく業務用途で使うことが多くなってきたため、開発人材が不足している。

【業務内容】
・オンライン処理、パッチ処理
・ベンダーコントロール
・ステークホルダー調整

・ETLジョブなどの処理方式や単純なパッチ処理だけでなく、DWHなどの実案件としても支援ができる方
・AWSの使用経験(データクレンジングなどで使用）
・能動的に動ける人
・SnowFlakeの知見
・大枠を決められたうえで、どうやっていくかは自分で考えられる人。

某大手通信系企業システム開発プロジェクトにおいて詳細設計～テストをご担当いただきます

案件概要：大手SIer向けにTableauダッシュボードを保守運用する。

・データ基盤(databricks)上で、事業部のデータサイエンティスト向けに
　データマートの構築作業を行っていただきます。
・SaaSツールを組み合わせて、databricks上にデータ基盤構築をしていただきます。
・エンドユーザと直接やり取りができる環境での案件です。

■必須要件：
・データ基盤構築・分析基盤構築経験がある方
・コミュニケーションを円滑に行える方
　(待ちの姿勢でなく、積極的にコミュニケーションを取れる方)

■工程：要件定義～

■案件概要：
・オンプレのOracle ExadataからSnowflakeへDWHを移行
・DWH移行に伴いETL（Datastage）ジョブ他を改修（一部は新規開発、廃止も含む）
・DWH移行に伴い関連システムとのとのインターフェース連携方式変更、その他データフロー変更
・データソース一元化のため、連携ファイル格納先としてS3を新規導入
■規模感
・移行対象テーブル数：約1500本
・移行ETLジョブ数：約1000本
・インターフェース数：約1000本

グローバルブランドとして国内外に展開している某小売企業においてデータエンジニア業務（データ基盤構築、ETL設計・開発）をご担当いただきます。

DWH：Snowflake
ETLツール：dbt