分析基盤エンジニアの案件一覧

■案件内容：
【システム概要】
AWS環境に、データ分析用API構築。
AWS(EC2,ECS,ECR,CloudFormation,Lambda等) の構成。

【開発方式】
ウォーターフォールモデル or アジャイル

■案件内容：
【システム概要】
新規でのデータ分析基盤の構築業務

【担当領域】
スキル見合いで体制と相談しますが、上流から下流まで幅広く対応いただけます。

【システム構成】
以下の技術要素で構成されます。
インフラ：Azure
DWH：Databricks
BI：PowerBI

【開発方式】
ウォーターフォールモデル

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と日々の運用業務から発生する課題の解決・改善

主要技術：BigQuery/Cloud Composer(Airflow)/Python/（一部Spark）

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

主業務：定義された設計書の意図を理解し、設計書に沿ってデータを加工するパイプラインバッチの開発を行う。

主要な使用技術：BigQuery/dbt/Prefect/great_expectations（一部Airbyteの可能性）
期間：短期間（2024/1〜3月の３ヶ月間）想定
その他希望：週５日フルタイム（フレックス制）、フルリモートOK

設計、構築、テスト、システム移行（基本設計から一人称）
データ移行（Oracle→PostgreSQL）
バックアップ、OS/ミドルパッチ適用準備（ローリングアップデート）などの
基盤周りの対応

既存システムで溜まったビックデータを活用して新規事業開発を行なっており、データの分析や開発基盤の構築など上流から携わります。その後の開発までを見据えた技術選定などもお力添えいただければと考えておりますのでフルスタックのエンジニアを募集しております。

・パラメータデータベース構築要件定義／設計
・お客様要求を基にデータベース要件をまとめる
・要件からデータベース設計を実施し設計書を作成
・詳細化した内容を基にしてArasツールを使用したデータベース構築を実施
・ノーコードによるAras管理者機能使い込みと、ローコードによるプログラミングの実施
・不具合時の関係者との調整とデバッグ作業

■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■概要
＜1月～3月にて、データ基盤構築（Power BIとTableau込み）の上流工程（基本設計）を予定＞
本プロジェクトは、現行のAWS（プロトタイプ環境）からAzureへの移行および拡張となります。
・Azure Synapse Analyticsへ外部データやユーザーが保有するデータを投入し、Power BIとTableauで分析。
TableauはTableau ServerからTableau Cloudへの移行を伴い、外部データの取り込みには、Synapse Analytics のパイプラインや、Azure FunctionsやAzure Logic Appsを利用。
■想定業務
※TableauとPower BIを中心としたDWH技術者
・ドキュメント作成(基本設計書/移行計画書)
・Tableau ServerからTableau Cloudへの移行設計
・DWH（SynapseやSnowflakeやRedshiftなど）のデータアーキ

▼関連ソリューション
・Azure Synapse Analytics
・Azure Functions
・Azure Logic Apps
・Tableau Cloud（またはTableau Server）
・Power BI Service
■体制
体制：
AIチームは全部で15名程度
6名~7名→AIエンジニア　　6~7名→BI・データ基盤
1クライアントに対して4~5名で体制を組んでいる
■環境
クライアント内ではデータ基盤設計~BI・内製化/運用支援まで行っている
データ基盤：Azure
(クライアント内で基盤設計・構築)
BI：PowerBI
(クライアント内でレポート作成・運用)

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。