分析基盤エンジニアの案件一覧

・DWHの構築
・ETL設計・構築
・pythonを使ったデータ抽出

GCP上に構築したデータ分析環境の機能改善と運用を担当するメンバを募集しております。
既存ML基盤の Kubernetes 化や CI/CD Pipeline の整備等、基盤のモダナイズを推進しており、設計・構築・運用の面でチームの一員としてご活躍いただける方を募集しております

作業概要：
・クラウド環境におけるビッグデータ処理基盤の改善及び運用
・具体的にはGCP BigQuery を中心とした分析基盤に関して、以下のような運用業務を対応いただきます
・Terraformで組織内の権限付与業務、インスタンスの作成
・Ansdibleでサーバーの設定
・GCPのプロダクトやOS、様々なEOSL対応
・業務時間内(10:00-19:00)の障害検知・障害対応、など
・慣れてくれば初めて使用するミドルウェアやツールの検証・導入計画・設計・装着などもご担当いただくこともあります。

・デジタルマーケティングを用いて、キャンペーン、集客を行っていくPJ
・電力会社の自社媒体におけるデジタルマーケティング施策の入稿実務及び、データ抽出・処理・設計

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

製造業で新規工場立ち上げに伴い、
国内の既存工場で構築したデータ分析基盤を移行をご担当頂きます。

※具体的な作業は以下になります。
・分析基盤環境で使用しているDB（Vertica）へのファイル取込バッチ及びファイル出力バッチの移行
・バッチからSQLを呼び出す方式となっている、Verticaは既存工場では未使用のため、チューニング作業
・新規工場では追加IFもあるため、バッチの追加作成対応
・バッチ（ShellまたはWindowsバッチ）の開発

　・データ分析サービスで稼働中のBI(Tableau)ダッシュボードのパフォーマンスチューニング
　・上記に伴うDB(Vertica)のチューニング設計支援

概要:
お客様データを保有・分析する基盤システム(MLOps)を構築する。
役割:
アジャイル形式で進行するプロジェクトに参画いただき、MLOps基盤の詳細設計と構築を実施していただく。
期間:
2023/09/01～2023/10/31(フェーズ1)
※フェーズ1が問題なく完了すればフェーズ2が11月より開始予定
報酬:
PMクラス1名PLクラス1名

データユーザーの要求から的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を担当いただきます。

技術要素(★が特に重要)

• ETL/ELTツール
• Embulk★
• digdag
• BIツール
• Redashなど
• GoogleCloud
• Cloud Storage★
• BigQuery★
• Cloud Monitoring / Cloud Logging
• その他
• Git

ヘルスケア業界のクリニック連携システムのデータ分析基盤構築をご担当いただきます。データの分析基盤をGCPにて構築する案件です。BigQuery内でデータレイク、データウェアハウス、データマートの構築や各種DBからのデータパイプライン構築に携わっていただきます

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)