データエンジニアの案件一覧

・分析用データベースシステム障害対応（速度改善等）
・分析用データベースの整備（クレンジング・名寄せ）
・ドキュメント管理
。分析用データベース基盤の要望対応
・追加インプットデータを格納
・追加マートを作成
・AWSのサービスを用いた簡易的なシステムの改修

・クラウド（AWS）を用いたデータベースの運用業務経験
・システム開発の上流～下流までの経験（3000ステップ程度の小さいシステムでも可）
・以下の様な資料作成経験
要件定義：要件定義書
基本設計：データ定義書、E-R図、機能一覧
詳細設計：機能設計書
・AWSサービスに関する知見や利用経験
lambda/EC2
Athena/Redsiftなどのデータベースサービス
S3
・コーディング経験
・SQL（Prestoなら尚よし）
・Python3
・上記言語の速度改善に関する知見（2分探索、データベースのインデックス）

【案件概要】データ連携基盤の構築
【作業内容】会計系データを取り込み⇒他データとマージ⇒レポート系のシステム(DWH/BIなど)へ連携
【工程/スケジュール】
2024/01-　現行調査など
2024/02-　要件定義工程

希望のスキルセット
　-データ分析基盤の全体的なアーキテクチャ検討
　-Snowflakeの設計・実装
　-Snowflake構築に関連するパブリッククラウド(AWS等)のご経験)
英語は優先度下がったので、英語できなくても可

【必　須】以下いずれかのスキル要件に2～3つ程度該当する
1)AWS（ETLとしてGlueを使用）
… 上流(アーキ検討)から対応可能な方。2に付随したAWS環境の構築。
2)Snowflake
… 上流(アーキ検討)から対応可能な方。Snowflakeは新規に構築。
3)Talend
… 設計・構築から対応可能な方。顧客内に既存のTalend環境あり、そこに追加していく
4)JP1/AJS
… 設計・構築から対応可能な方。ジョブ連携
5)英語コミュニケーション
… 親会社が海外でありコミュニケーション発生する
6)顧客調整、プロジェクトリード

■案件説明
BIツール(Power BI)の改善・検証を行うプロジェクトが開始する見込みである。
背景として、クライアントの中で、消費者データをBIツールで分析できるレポートを対外的に販売しているが、データ量の増大によりパフォーマンスが悪化し、ユーザビリティ確保の観点からも対策が必要な状況である。
現在はPower BIにデータを取りこみ、その中で処理を行っているが、テーブルの見直しやDAX関数等の見直しでは、改善が限定的であるため、以下を実施することによる改善検証を行う予定である。
①Power BIをそのまま活用するが、DWHをクラウド環境に構築することで改善が図れないか
②Power BI以外のツールを活用し(tableau等)、DWHをデータをクラウド環境に構築することで改善が図れないか

■業務内容・期待役割
想定しているタスクは以下となります。
・顧客のPower BIの現状確認
・改善検証設計
・環境構築
　改善検証①：Power BIをそのまま活用＋DWHをクラウドに構築
- 帳票作成・データ接続
- 測定改善(改善は重要課題に対して工数の範囲内で実施)
・改善検証②：その他B Iツール＋DWHをクラウドに構築
- 帳票作成・データ接続
- 測定改善(改善は重要課題に対して工数の範囲内で実施)
・今後の改善プラン作成

・Power BIの理解と実導入・運用・活用経験 　※左記には帳票作成経験含む
・パブリッククラウドの経験
– Microsoft Azure、AWS、GCPなどのクラウドサービスでの構築経験(今回はAWSの方向で検討中)
・DWHに関する知識
・データモデリングとデータベース設計
– Relationalデータベース(RDBMS）の知識
・プログラミングとスクリプト作成
– Power BIのDAX関数・クエリ最適化、SQLなどのBIツールのデータ処理・改善検証に必要なスキル
・コミュニケーションスキル
– 社外のクライアントへの説明スキル
– 社内のプロジェクトメンバーへの説明スキル

同社は日本最大級の化粧品クチコミサイトを運営しており、Webの行動ログデータや顧客データなど、さまざまな
データを保有しております。
今回は大手化粧品会社の多岐にわたる各部門のデータ分析・モニタリング環境の整備など、メインに担当しているデータ戦略推進室にて業務していただき、データエンジニアとして必要なデータの抽出などお任せいたします。
下記アサイン想定の作業内容となります！

・BigQueryから施策モニタリング用のデータパイプライン作成
・tableauを用いたダッシュボード作成

【具体的には…】
・ビジネスモニタリング/データ分析業務
・200行前後のSQLを記述
・データ要件、分析要件の定義
・ダッシュボード作成など

・2年以上データエンジニアとしてのキャリアをお持ちの方
・SQLの記述経験（200行前後の記述も可能な方）
・BIツールでダッシュボードを作成した経験のある方

主に医療、製薬系のサービスを複数展開されているメガベンチャー企業にて、電子カルテのデータプラットフォームを現在開発しております。
そのプラットフォームを開発するにあたり、データの品質を考慮しながら、
DWH、データ基盤の設計構築、dataformでのデータパイプライン構築やバッチへの反映を主にご担当いただきます。

【開発環境】
・DB：BigQuery
・言語：JavaScript
・SQLパイプラインツール：dataform
・BIツール：Looker

製薬企業向けビッグデータソリューションの開発
1.製薬企業向けプラットフォーム開発
　└製薬企業が活用するプラットフォーム（Google Cloud Lookerで構築）の開発
　└要件調整、実装（自動単体テスト含む）、コードレビュー、
　（テストは別担当者）、リリースを実施
　└案件毎にPdM、QAと少人数チームを構成し協調して業務を行います
　└エンジニアも企画や仕様策定に積極的に関わることが期待されます
　└慣れるまで手厚くサポートします
2.社内向けプラットフォーム開発
　└社内活動（提案支援、フィジビリ調査）を支援するプラットフォーム（DataStudioで構築）の開発
　└チーム体制、期待事項などは1と同様

主な開発環境：
・Tableau Desktop／Tableau Online
・Google BigQuery／SQL

具体的な業務：
・ダッシュボード開発要望のヒアリングと詳細要件定義、画面設計
・Tableauダッシュボード実装
・ダッシュボード実装に必要なデータマート整備（DB整備自体はエンジニアが担当するためエンジニアに対する要件提示）
※時期による波は一定ありますが、目安として、新規ダッシュボード開発（既存ダッシュボードの
流用含む）は2件~3件/月、既存ダッシュボードの改修・メンテナンス 4件~5件/月程度です

1.Webアプリ開発等でJavaやphpなどでのオブジェクト指向の開発経験がある方
2.パフォーマンスに配慮したSQLを書くための基礎知識
　　└要件定義～設計～開発～テストまでのご経験
3.Looker（LookML開発）、DataStudioなどのスキル
　　└Looker、DataStudioのご経験
4.ビジネスサイド、PdM、QAとのコミュニケーションが苦ではない方

Snowflakeを利用したデータ蓄積+活用。
連携されたファイルなどのデータをSnowflakeにてデータを蓄積。
蓄積後ユーザに使いやすいように加工し活用してもらうよう設計・開発を行う。

【主なスキル技術セット】
Snowflake
Python
Javascript
AWS
Informatica Intelligent Cloud Services（IICS）

その他(ツール作成等)
Powershell
bash
Excelマクロ

・ユーザビリティを意識した設計を行った経験
・積極的にコミュニケーションが取れる
・何かしらのデータベースを用いた開発経験　(※.Oracle,Redshift等)

【案件概要】Snowflakeデータ基盤設計構築

【作業内容】Snowflakeの設計・実装

【環境】AWS Lambda、Amazon Redshift、Amazon Linux

Snowflakeの設計経験

【案件概要】コンテナを使った基盤設計、構築
【作業内容】
AWSでアーキテクチャの検討・設計
その検討したアーキや構成のプロトタイプを構築する

※アーキ検討は別のチーム

【担当工程】基本設計、詳細設計、構築、単体テストまで

【環境】
EKS
Gitlab
AWS CodePipeline/CodeBuild/CodeArtifact
AWS ECR
AWS Inspector
ubuntu

EKS（Amazon Elastic Kubernetes Service）設計構築経験
またはKubernetes（K8s）設計構築経験

プラットフォーム：AWS、一部BigQuery
構築済み環境の再構築を見据えた環境調査からスタート。
イメージは、12月に環境調査を行い改善点を提案、1‐6月の作業範囲を確定させて、1月から要件定義、3‐6月設計～リリースというスケジュール想定。
12月のタスクはAWSとBigQueryの環境調査、調査結果ドキュメント作成、改善点の整理をお願いするを想定しております。
稼働率については12月は中旬スタートのため50%想定、1月以降は100%想定です。

・GCP、AWSどちらのプラットフォームでもデータ基盤構築を経験したことがある
・アーキテクト周りの環境改善経験