Redshiftの案件一覧

作業内容：某大手小売業向けETL基盤構築

┗新規ジョブ、既存ジョブの作成

┗設計～開発

・顧客データを分析、機械学習し、保険商品ごとに顧客へのおすすめ度を計算するためのバッチ処理を開発及び保守。

・機械学習済みモデルとSQLを分析専門の別チームから受け取り、本番化のためにバッチ処理に組み込み問題がないか試験を行う。

飲食系クライアント向けのBI（Tableau）構築案件です。

　下記の2フェーズで進めており、1月から開始するフェーズのメンバーを募集しております。

　・フェーズ１（年末まで）：データレイク、RedshiftでのDWH

　・フェーズ２（1月以降）：データマート作成、BI（Tableau）設計

　PJはアジャイルで進めるため、ドキュメンテーションの比率は低いです。

　Redshiftから抽出したデータ（数百GB）を2～3GBほどに圧縮しサーバーにパブリッシュします。

　※フェーズ1でクレンジングできていないデータをExcel VBAでデータマートに変換するタスクが発生する可能性があります。

【案件概要 】弊社クライアント（HR系）のデータマネジメント部署にてデータマートの開発およびディレクション業務を担当いただきます。

データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義やプロジェクトの進行管理などディレクション業務も一部ご担当いただきます。
【業務内容】

・データ分析/活用プロジェクトの推進

・データマート開発における要件定義、プロジェクトの進行管理

・分析用データマートの開発

　└データマート（テーブル）設計、SQL実装、バッチ（digdag）実装・データマートの保守運用

◆概要

　持ち帰り案件のインフラメンバーとして参画いただきます。

　基本的には、チームとして複数の案件をご対応頂くことになる想定です。
◆初めに参画する可能性が高い案件

　ウェブマーケティング事業を行っている企業様向けの、ビッグデータ分析基盤の運用、保守開発案件。

　AWS上に構築しており、各種AWSリソースの構築や、データパイプライン（データ取り込み、データ加工等）のジョブの実装などを行っています。
◆開発ツール

　・Bitbucket　・Confluence　・WorkSpaces
◆確度が高くなるAWS経験

　・ECS　・Glue　・Athena　・LakeFormation　・CloudFormation　・SecretManager　・Amazon MWAA

　・クロスアカウントでのデータ受け渡し

AWSで開発・運用されているサービスのデータ基盤エンジニアとして開発・運用・保守を担当いただきます。
具体的にはデジタルサービスを開発・運用するための社内プラットフォーム内の基盤群の開発・運用・運用改善を担当。

■CDP/BIアーキテクト

企業のデータ資産価値の向上のため、戦略立案・組織設計、先端技術導入シナリオ策定の課題に対して、コンサルタント(アーキテクチャ設計)として戦略基盤支援。・Tableauの要件定義～詳細設計、構築、レポーティング（メイン業務）・データの細部が見れデータマートをパフォ考慮して設計・マイグレーション支援・同時に、CDP/MAの構築要件定義が走っており、マーケティング統合基盤の全体PRJの一貫です。
具体例：

-DWH環境： salesforce CDP, teradata, Athena のデータブレンドが必要-CDP, S3, Athena, Tableau onlineのデータソース/データマート/ダッシュボードの設計・開発※CDPを中心とした顧客360PRJは、本案件以外で今後も増加予定※国内でも初のソリューションスタック※適材適所でポジションを用意(エンドクライアントは小売業が多い)
【依頼元会社】

デジタルトランスフォーメーションを実現するために必要な、コンサルティングからマーケティングまで、ワンストップで提供している会社の業務です。エンドクライアント別で新規顧客の獲得や見込み顧客の育成なども含めたマーケティング施策をサポートしています。(MA)

※カウンターパートがEC/マーケティング/新規事業の部門と、比較的若い層が多いです。
【クライアントPJT例】

●公共交通機関でのPoC：地方都市における観光促進として、現地での行動、店舗/交通情報などロケーションマーケティングデータの可視化/分析環境構築●国内大手スポーツ小売り量販店における広告最適化：Google関連APIと顧客スコアリングモデルを活用した自動化による広告出稿最適化、ダイナミックプライシングのアルゴリズムの施策企画と実施評価
【クライアンント環境】 ★

◆技術・ソリューション例（本案件以外も含む）・Google Marketing Platform（GA360）、Google Cloud Platform、AWS、Arm Treasure Data・Salesforce Marketing Cloud（MAツール）・Tableau、R、XGBoost、etc
弊社契約実績：弊社から10名以上参画しているクライアント。-稼動のご調整も利き、安定した稼働となっております。-依頼部署は50名以上で構成されており、フリーランス・副業の方は60%程占めております。

【案件概要】弊社クライアント（HR系）のデータサイエンス部署にてデータマート開発実務を担当いただきます。データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
【具体的な業務内容】・分析用データマート開発　┗ 要件定義、データマート（テーブル）設計、SQL実装、テスト・バッチ基盤（digdag）の実装、運用保守・データエンジニアリング業務　┗ データの収集、加工、集計・データマートの保守運用・TableauのViz作成

・データ連携案件管理：データ供給元からデータ利用者のために日程調整や管理業務・基盤構築：事業要請に応じたデータレイク,データウェハウス,マートの実装,テスト・基盤移行

■営業担当からのコメント■Pythonでゴリゴリコードを書くというよりも、基盤移行やマート管理等、管理系の業務が主となります。

Google Analitycsからの情報に基づいて顧客の購買行動を促す業務およびマーケティング分析・Pythonスクリプトでデータの投入・AWS環境での開発・ビッグデータの分析(4千万件数PV)・ビジネス英語でアメリカの技術者と打合せ
■環境：・Windows・Google Cloud Platform(GCP)・mPartical(CDP)■言語：・Python・Google Apps Script(GAS)・Shell