データエンジニアの案件一覧

【概要】
・BI高度化に向けサポートポジション
・BIツールを使用して顧客管理/売上管理データ等を含むレポートティング/ダッシュボード作成
・複数のマスターデータから必要なデータを抽出/加工も業務スコープ

【業務内容】
・BIレポート/ダッシュボード作成
・部門間コーディネート、ユーザコミュニケーション

某大手事業会社の経営企画部にて、Power BI(BIツール)を使用して、
組織のさまざまなデータを容易にアクセス、分析、視覚化を行っております。
顧客からの要望に合わせて運用改善を行っていくなどの開発支援がメインの
業務となります。
Power BIを実際に動かしてPowerqueryを組んでいきデータの取り込み、
クリーニング、変換、結合を行っていきます。

データ分析基盤の開発・構築を行なっていただきます。

データパイプラインの構築エンジニア
主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

旧環境システムにおけるETL処理の作成、バッチ、ストアド対応
●工程：改修～テスト

●案件：管理システム追加開発
●内容：
・管理システムのクラウド化に伴いオンプレ環境からクラウド環境にシフトします。
管理パッケージはOracle EMP Cloudです。
●工程：基本設計～総合テスト
●場所：フルリモート ※打合せで目黒駅にご出社頂く場合がございます。

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジションです。

データ基盤の開発・改修・保守運用
・データ基盤の物理・論理データモデル設計・開発・保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計・開発・保守運用

[開発環境]
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
その他：GitHub / Slack / Notion

[チーム体制（業務委託の方含む）]
・統括ディレクター: 1名
・データエンジニア: 1名
・機械学習エンジニア: 1名 (兼務)
・データサイエンティスト: 3名
・技術顧問: 1名

　大手土木建築会社様内でMicrosoftソリューションによるデータ基盤構築、BI活用推進PJを計画しております。
　自社内の財務、人事、情報資産データを集約するデータ基盤(データレイクなど)を新規構築し、BIをはじめとして、よりデータ活用を機動的に行いたいと考えております。
　主な作業内容は、お客様の要件に従ってPower BIの既存ダッシュボードの改修、新規ダッシュボードの実装(要件定義、設計、開発、テスト)を中心に対応していただきます。

【業務】
・プラント工事の進捗分析、工事予算分析など各種分析のためのBIツール開発
・分析対象となるデータベース設計も概ねできている前提
・一部、データベース設計作業は必要であるが、基本はPowerBIでの開発が中心作業となる
・リーダーの管理の下、作業実施して頂きます。
・手を動かす人材のイメージです