データエンジニアの案件一覧

・病院で使用している備品などの発注量や使用量の可視化・分析をtableauを使って行っている。(tableauサーバーに溜まったデータをtableau Readerを使用して可視化)

データパイプラインのチューニングと
可視化する内容の改修がメインスコープ。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

製造業で新規工場立ち上げに伴い、
国内の既存工場で構築したデータ分析基盤を移行をご担当頂きます。

※具体的な作業は以下になります。
・分析基盤環境で使用しているDB（Vertica）へのファイル取込バッチ及びファイル出力バッチの移行
・バッチからSQLを呼び出す方式となっている、Verticaは既存工場では未使用のため、チューニング作業
・新規工場では追加IFもあるため、バッチの追加作成対応
・バッチ（ShellまたはWindowsバッチ）の開発

　・データ分析サービスで稼働中のBI(Tableau)ダッシュボードのパフォーマンスチューニング
　・上記に伴うDB(Vertica)のチューニング設計支援

概要:
お客様データを保有・分析する基盤システム(MLOps)を構築する。
役割:
アジャイル形式で進行するプロジェクトに参画いただき、MLOps基盤の詳細設計と構築を実施していただく。
期間:
2023/09/01～2023/10/31(フェーズ1)
※フェーズ1が問題なく完了すればフェーズ2が11月より開始予定
報酬:
PMクラス1名PLクラス1名

データユーザーの要求から的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を担当いただきます。

技術要素(★が特に重要)

• ETL/ELTツール
• Embulk★
• digdag
• BIツール
• Redashなど
• GoogleCloud
• Cloud Storage★
• BigQuery★
• Cloud Monitoring / Cloud Logging
• その他
• Git

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。

データ基盤要件定義
データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ
ル etc…)
データソースのインターフェイス特定 (REST API, FTP etc…)
データ加⼯(ETL)要件ヒアリング
データレイク設計 (Hadoop File System)
DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…)
データフロー設計 (Apache NiFi)
バッチアプリケーション作成 (Java, Shellスクリプト)
インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…)

環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り

3年以上のバックエンドまたはインフラ開発経験

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。データの分析基盤をGCPにて構築する案件です。BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

クライアントにてTableauの運用を進めておりサポート出来る方を募集いたします。