DB/基盤系の案件一覧

【概要】
電気小売事業者のDX推進室で、分析基盤に収集、蓄積されたデータの利活用、分析支援を実施

【業務内容】
他部署/グループとコミュニケーションをとりつつ、業務課題のヒアリング、改善案・分析案の提示、効果測定、運用サポート
・BIツール(Looker)を利用したダッシュボード構築、SQL/LookMLによる操作

データユーザーの要求から的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を担当いただきます。

技術要素(★が特に重要)

• ETL/ELTツール
• Embulk★
• digdag
• BIツール
• Redashなど
• GoogleCloud
• Cloud Storage★
• BigQuery★
• Cloud Monitoring / Cloud Logging
• その他
• Git

・お客さんのニーズから要件をリードして、お客さまとデータエンジニアリング、アナリティクスの議論をしながら、ビジネス設計をする。

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。

データ基盤要件定義
データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ
ル etc…)
データソースのインターフェイス特定 (REST API, FTP etc…)
データ加⼯(ETL)要件ヒアリング
データレイク設計 (Hadoop File System)
DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…)
データフロー設計 (Apache NiFi)
バッチアプリケーション作成 (Java, Shellスクリプト)
インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…)

環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り

3年以上のバックエンドまたはインフラ開発経験

25年10月リリースを目指し、現在設計中（2023年8月時点）
大規模・大手の求人サイトのリニューアル開発となります。
設計・開発を行っていく予定です。
状況に応じては、また希望があれば、リーダーとしてお願いすることもあります。
開発は詳細設計後に開発を行っていくウォーターフォールとなります。
共通機能や共通基盤となる箇所はアーキチームが存在し、連携することが可能です。

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。データの分析基盤をGCPにて構築する案件です。BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます

【作業内容】
[リーダー/メンバー共通]
・ベンダーからの質問回答
・ベンダーが作成した成果物のレビュー
・ドキュメント作成
・課題推進/管理
・進捗管理
・要件定義及び要件整理

[リーダーのみ]
・チーム運営/管理

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

ポータルサイトを管理するシステムの開発を要件定義から設計・コーディング・保守運用まで一貫して行います。