ETLの案件一覧

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

グループに属する事業会社のデータを集約し、ビジネス活用を推進していきます。
目的達成のために柔軟に設計でき、自由度高く開発することができます。
グループ全体のDXプロジェクトの一部であり、ビジネスインパクトが大きく、長期的に続く案件へアサインいただきます。

【業務スコープ】
■データの品質管理
・データレイクに格納されたデータの異常値調査
・テーブル定義書の作成

■データマート開発
・データマート要件定義・設計・開発

GCP上に構築したデータ分析環境の機能改善と運用を担当するメンバを募集しております。
既存ML基盤の Kubernetes 化や CI/CD Pipeline の整備等、基盤のモダナイズを推進しており、設計・構築・運用の面でチームの一員としてご活躍いただける方を募集しております

作業概要：
・クラウド環境におけるビッグデータ処理基盤の改善及び運用
・具体的にはGCP BigQuery を中心とした分析基盤に関して、以下のような運用業務を対応いただきます
・Terraformで組織内の権限付与業務、インスタンスの作成
・Ansdibleでサーバーの設定
・GCPのプロダクトやOS、様々なEOSL対応
・業務時間内(10:00-19:00)の障害検知・障害対応、など
・慣れてくれば初めて使用するミドルウェアやツールの検証・導入計画・設計・装着などもご担当いただくこともあります。

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。データの分析基盤をGCPにて構築する案件です。BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境　：Python（PySpark, pandas）AWS（RDS、Athena、Lambda、Glue、QuickSight）など

自社のマーケティング施策に課題感をお持ちのクライアントに対し、
データを起点としたマーケティングの実行の為のデータ基盤構築支援を募集致します。

マーケティングリサーチ領域における支援を主に提供している弊社グループ会社で、
近年データマーケティング事業としてクライアント保有データを用いた分析やBIツールを
中心としたデータ活用環境の構築など支援の幅を広げてきました。事業が好調に発展する中で、
よりクライアント環境に入りこんだ支援を実現すべく、DWH～ETL領域において
ITアーキテクトやPMとして活躍した経験を有する人材を探しております。

多様な業界・業種のクライアントに対面しながら、データドリブンマーケティングの実現に向けた
基盤構築をご自身の発想でリードしていく経験を積むことができるポジションです。
希望に応じて、自社サービスのさらなる拡販に向けた企画立案や関連社内プロジェクトの推進にも積極的にチャレンジいただけます。

＜主な業務＞　重要度順です。①のみ対応可能な方でもOKです。

①データ活用環境の構築支援
　・AWSやGCPを活用したDWH環境構築支援

②①の環境構築する為の要件に応じたチームコントロール
・社内メンバー＋外部ベンダーで構成されるチームのコントロール

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝