分析基盤エンジニアの案件一覧

グローバルでエンタメビジネスを展開するクライアントのシステム刷新プロジェクトとなります。
プロジェクト自体はECサイトやチケット販売、来訪者向けサービス、モバイルアプリなど幅広いシステムが対象となっております。
今回募集するポジションはMicrosoft Azure Blob Storageやその他データエンジニアリングツールを用いたデータ基盤構築やデータ移行に関するポジションとなります。
対象となる領域は、Webチケットストアとチケット発券に関するシステムとなります。

主な業務内容
・データ基盤構築やデータ移行方針の検討
・スクリプトやETLツールを活用したデータ変換や自動化
・SQLとAPIを使用したデータインジェクション対応

大手製薬業における、MRの業務改善をSnowflakeの新しいプレビュー段階の機能を用いてどう行っていけるのかを評価検証していくイメージ。
PoCをクイックに回す必要があるため、WBSに則って実直に進めるタイプというよりは、プロパの担当者の方ともコミュニケーションをこまめに取りつつ実現性を上手く探りつつ進められるような方を求めております。

・Snowflakeの構築経験

・データ利活用のトライアル実装
・既存のシステムデータや、業務で利用されているExcelデータをLakeに取り込み、ETLを実装してDWH、DMを構築する。
・分析要件に基づきBIツール上にダッシュボードを実装する。
・データの授受に際し、システム間連携機能を実装

主に医療、製薬系のサービスを複数展開されているメガベンチャー企業にて、電子カルテのデータプラットフォームを現在開発しております。
データ量は数億レコード(要領だと数百GB～TB)あり、そのデータの集計、加工、分析などデータ利活用や、データパイプラインの構築をご担当いただきます。

データプラットフォームの活用事例としては、コロナ治療薬の使用率などを患者数と照らし合わせながらの集計などがあります。

受入体制や成長環境がかなり整っておりますので、医療の知識や使用技術の知見がなくても問題ございません。

【開発環境】
・DB：BigQuery
・言語：JavaScript
・SQLパイプラインツール：dataform
・BIツール：Looker

・エンドユーザシステム部門の一員として、CRM分析基盤
　システムの追加開発案件の設計～リリースを実施して頂きます
・メインはバッチ開発でIFの追加/変更およびマート作成です。
・改修頻度は少ないですがWEB機能の開発もあります。
【担当業務】
・PMの配下でバッチシステムの追加開発の要件定義～
　リリースの実行。
・設計/製造/テストレビュー、外部結合テスト以降の
　テスト計画策定、リリース計画の策定等の推進。
・外部結合テスト以降の工程に関しては、関連システム
　との調整を主導して実施。
・開発の進捗管理、課題管理の実施。

ビックデータ基盤構築・運用案件になります。
現在、オンプレにて社内システムのログをElasticsearch/Hadoopに集約し、
各組織にレポート等の可視化機能を提供している基盤を運用しております。
今回追加データの可視化の要件がありますので、
データパイプライン構築と可視化に伴う設計・構築を中心にご支援いただける人を探しています。

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。
【環境】
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

クライアントゲーム事業で蓄積されたビッグデータを用いたデータ分析環境の基盤構築および開発、管理を行っていただきます。
環境構築にとどまらず、社内共通の内製BIツールで利用するためのデータ集計や、各タイトルのデータ分析者とのやりとりを通じてゲーム品質やサービス改善に繋がるための業務を担当していただきます。

・ログ、DBデータのETL/ELT処理のためのシステム開発/運用
・大規模データベースの構築/運用/管理
・社内BIツール向けデータ集計バッチ開発/運用
・データ分析者への技術的サポート

データマート業務支援にて以下の業務をご担当いただきます。

・顧客調整
・調査、解析
・開発、テスト
・リリース対応