データエンジニアの案件一覧

BI/DWH構築の結合テスト以降のフェーズ対応
新規画面の開発の可能性あり

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用
データ分析システム・サービスの監視設計・運用
日々の運用業務から発生する課題の解決・改善

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

Tableauでのデータ可視化業務となります。
具体的に、エンドユーザーに要件ヒアリングし、仕様確定後、ダッシュボードを作成となります。
※Tableau Server／Desktop／Prepの操作を伴う予定

上記業務に加え、現チーム体制における技術的な指導も一部行って頂きます。
※実務的な操作の最適化等が該当となり、講師などでは御座いません。

Tableau Server／Desktop／Prepの実務経験

弊社クライアント（HR系）のデータマネジメント部署にてデータマートの開発業務を担当いただきます。
データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義や必要に応じて各種調査も一部ご担当いただきます。
【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計、SQL実装、バッチ（Digdag）実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用
【開発環境】
・データベース：Redshift、BigQuery
・プログラミング：Python
・インフラ：AWS、GCP
・コミュニケーション：Outlook・Teams・Slack・Backlog

弊社クライアント（HR系）のデータマネジメント部署にて、BIエンジニアとしてTableauレポートの開発をご担当いただきます。
また事業企画やデータマート開発チームとの折衝、主にはデータ要件の整理、設計などレポートで表現するにあたっての要件定義もご担当いただきます。
【対応工程】
・Tableau レポートの開発・保守運用
・Tableau レポート用のデータマートの設計
　└テーブル設計、SQLデータ抽出、リレーション構築、バッチ実装
・レポート開発にあたっての要件定義
　└実現方法検討、連携項目整理、データ要件の整理
【開発環境】
・データベース：Redshift、BigQuery
・プログラミング：Python
・インフラ：AWS、GCP
・コミュニケーション：Outlook・Teams・Slack・Backlog

RAGシステムの設計、開発、および精度向上への取り組み
社内データソースと基幹システムのデータ統合
データ整形/変換/最適化方法の検討及び開発

ChatGPTを安全かつ効率的に利用するための基幹システム開発に注力しています。
このプロジェクトでは、社内の生成AI利活用の基盤システム開発と、RAG（Retrieval-Augmented Generation）の精度向上に重点を置いており、
これらの領域において深い知識と技術力を持つデータエンジニアを募集します。
このポジションでは、AIモデルの性能向上のためのデータ整形方法の策定や、RAGシステムの開発と最適化に携わります。

製造業企業において、システムの基盤構築、出力帳票、見える化（Web環境構築）まで、ご担当頂き、人事評価システムの構築支援を実施頂きます。

①ただ与えられたタスクを実装するだけではなく、自走し提案も込みで実施頂ける方が評価高いです。リーダー枠での募集となります。
②スケジュールは以下のとおりです。
　3月～　：　要件定義、設計
　5月～　：　製造（5月以降、4人程度のメンバーを募集予定）
　11月　　：　CO

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

（具体的な職務）
・収集対象：ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

（具体的な職務）
■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data ： Salesforce 他
・Out Data ： Tableau 他