DWHの案件一覧

・内部開発の詳細設計～テストフェーズのリーダー支援
・詳細設計
　-SEからのインプットを基に詳細設計
　-ワークフローシナリオ実装
　-UT観点項目作成
　-UTスクリプト作成
・QA
　-試験管理(試験進捗管理/スケジュール策定/対向システム調整)
　-試験項目作成
　-試験自動化
　-品質管理

GCP上に構築したデータ分析環境の機能改善と運用を担当するメンバを募集しております。
既存ML基盤の Kubernetes 化や CI/CD Pipeline の整備等、基盤のモダナイズを推進しており、設計・構築・運用の面でチームの一員としてご活躍いただける方を募集しております

作業概要：
・クラウド環境におけるビッグデータ処理基盤の改善及び運用
・具体的にはGCP BigQuery を中心とした分析基盤に関して、以下のような運用業務を対応いただきます
・Terraformで組織内の権限付与業務、インスタンスの作成
・Ansdibleでサーバーの設定
・GCPのプロダクトやOS、様々なEOSL対応
・業務時間内(10:00-19:00)の障害検知・障害対応、など
・慣れてくれば初めて使用するミドルウェアやツールの検証・導入計画・設計・装着などもご担当いただくこともあります。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

データユーザーの要求から的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を担当いただきます。

技術要素(★が特に重要)

• ETL/ELTツール
• Embulk★
• digdag
• BIツール
• Redashなど
• GoogleCloud
• Cloud Storage★
• BigQuery★
• Cloud Monitoring / Cloud Logging
• その他
• Git

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。

データ基盤要件定義
データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ
ル etc…)
データソースのインターフェイス特定 (REST API, FTP etc…)
データ加⼯(ETL)要件ヒアリング
データレイク設計 (Hadoop File System)
DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…)
データフロー設計 (Apache NiFi)
バッチアプリケーション作成 (Java, Shellスクリプト)
インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…)

環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り

3年以上のバックエンドまたはインフラ開発経験

■CDP/BIアーキテクト
企業のデータ資産価値の向上のため、戦略立案・組織設計、先端技術導入シナリオ策定の課題に対して、コンサルタント(アーキテクチャ設計)として戦略基盤支援。
・Tableauの要件定義～詳細設計、構築、レポーティング（メイン業務）
・Tableau + GCPのBIリプレース案件
・データの細部が見れデータマートをパフォ考慮して設計
・マイグレーション支援
・同時に、CDP/MAの構築要件定義が走っており、マーケティング統合基盤の全体PRJの一貫です。

具体例：
-DWH環境： salesforce CDP, teradata, Athena のデータブレンドが必要
-CDP, S3, Athena, Tableau onlineのデータソース/データマート/ダッシュボードの設計・開発
※CDPを中心とした顧客360PRJは、本案件以外で今後も増加予定
※国内でも初のソリューションスタック
※適材適所でポジションを用意(エンドクライアントは小売業が多い)

【依頼元会社】
デジタルトランスフォーメーションを実現するために必要な、
コンサルティングからマーケティングまで、ワンストップで提供している会社の業務です。
エンドクライアント別で新規顧客の獲得や見込み顧客の育成なども含めたマーケティング施策をサポートしています。(MA)

クライアント企業全社のDX推進プロジェクト内データ分析基盤の開発チームで構築したTableauサーバにて、エンドユーザの利用開始に備えて開発資源の管理ルールやユーザへの利用ガイダンスの整備など、ツール特性を理解したうえで運用設計を実施。

・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

主な使用ツール、サービス：
・Snowflake, BigQuery などの DWH
・Embulk などの ETL ツール
・Hightouch などの Reverse ETL ツール
・AWS, GCP の各種サービス（S3, EC2, Step Functions, …）
・さまざまなBIツール

自社のマーケティング施策に課題感をお持ちのクライアントに対し、
データを起点としたマーケティングの実行の為のデータ基盤構築支援を募集致します。

マーケティングリサーチ領域における支援を主に提供している弊社グループ会社で、
近年データマーケティング事業としてクライアント保有データを用いた分析やBIツールを
中心としたデータ活用環境の構築など支援の幅を広げてきました。事業が好調に発展する中で、
よりクライアント環境に入りこんだ支援を実現すべく、DWH～ETL領域において
ITアーキテクトやPMとして活躍した経験を有する人材を探しております。

多様な業界・業種のクライアントに対面しながら、データドリブンマーケティングの実現に向けた
基盤構築をご自身の発想でリードしていく経験を積むことができるポジションです。
希望に応じて、自社サービスのさらなる拡販に向けた企画立案や関連社内プロジェクトの推進にも積極的にチャレンジいただけます。

＜主な業務＞　重要度順です。①のみ対応可能な方でもOKです。

①データ活用環境の構築支援
　・AWSやGCPを活用したDWH環境構築支援

②①の環境構築する為の要件に応じたチームコントロール
・社内メンバー＋外部ベンダーで構成されるチームのコントロール

・AI活用プラットフォームを中心に様々なプロダクトを展開されているクライアントの案件
・様々な業界/業種様からデータ活用のニーズが発生しており、基盤構築から可視化、活用まで担当いただくポジション
・某メガベンチャー出身のエンジニア組織への参画になるため、ご自身のスキルアップにお役立ていただけます。