データエンジニアの案件一覧

【概要】
・SNS等の投稿データやアカウントデータを分析して市場調査・分析
(中期でLLMモデルが必要と想定している）
・機械学習等のモデル：AI等を通して、他のアンケートと出ている情報を比較して、データの正確性の評価

【ポジション】
・データサイエンティスト
・データエンジニア

【データサイエンティスト】
・データ分析の実務経験がある (2年以上)
・主にPythonを用いたデータ分析
・Scikit-learn, NumPy,
Pandasなどのライブラリを用いたデータ分析、統計、機械学習モデリングの経験
・Tableauを用いて分析結果などのレポーティングなどを行った経験

【データエンジニア】
・データ分析基盤あるいはサーバーサイドの開発実務経験がある (3年以上)
・主にPython, Java, Scalaなどの言語での開発経験がある
・AWS/GCPを使ったシステム開発を行った経験がある
・Airflow, Athena, Redshift, ECS/ECR,
snowflakeなどを利用したシステム開発を行った業務経験がある

BIツール（tableau）を使用し、経営指標の可視化を行います

・BIツールを用いたダッシュボード構築経験があること

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

作業内容：（上から優先度が高い順）
1．詳細設計、実装
データロード処理の追加、改修
（Pythonの追加実装・修正、Cloud Functionsのデプロイを含む）
マート作成処理の追加/改修（SQLの追加実装/修正）
2．単体・結合テスト項目作成とテスト実施
単体テスト、結合テスト、システムテスト
3．運用保守
バッチ処理失敗時の原因調査、影響範囲調査、リカバリ
4．バッチ処理仕様調整
既存処理リファクタリング、追加実装の技術検証、要件確認等

【案件概要】
　・顧客データ分析基盤 スクラム開発メンバー
【作業内容】
　・顧客PO、弊社SMのもとでスクラム開発
　・データエンジニア、DevOpsエンジニアの役割を担う
　・データサイエンティストチームが分析業務を行うためのデータ分析環境、機械学習環境をAWS環境上に実装

自動車企業向けにSnowflakeにてログデータ可視化のデータ基盤を構築する。

採算分析の高度化を目的とするTableauダッシュボードの構築を実施頂きます。

・Tableauのダッシュボード構築経験

■概要
公共向け案件。
Azure Synapse Analyticsを中心としたデータ基盤の構築案件。
本フェーズは詳細設計以降だが、一部の基本設計は見直しの予定。
■内容
Synapse Analytics詳細設計フェーズまたはデータ設計業務
■スケジュール
初期構築作業：7月～11月末
データ統合作業：12月～3月末
※2025年以降も予定あり

【作業内容・工程・環境】
ECサイト等で使われる元請け企業がエンド様向けに構築した分析システム／プログラムの保守と、ECサイト等のサービスに蓄積されたデータ分析業務の支援。
〈使用している技術〉
分析システムのプログラム言語はNumPyを含むPython。
データは、おおよそGCPのBigQueryに蓄積されている。
〈作業概要〉
・当該システムのロジックの調査
・上記の調査結果に基づく当該システムドキュメントの更新／整備
・ 当該システムに対する軽微な修正（改修に関する設計、テスト設計、テスト含む）
・上記作業に対する工数見積もり
・分析対象データの集計／加工

■実際に担当する職務内容：
　・銀行内システムの取り扱い
　　- MCIF/Tableau/AWS/SAS/Vantageなど
　　（現環境で勉強しながらでもOK）
　・データ前処理・加工処理・集計
　　以下についてSQLをはじめとしたプログラムを作成・実行
　　- データクレンジングと前処理
　　- データの統合と変換
　　- 弊社作成の仕様にしたがった集計
　・保守業務
　　- 作成済Tableauダッシュボードメンテナンス
　・補助的業務
　　- 仕様書・資料の編集補助
　　- 顧客との打合せへの出席
　　（処理詳細について質問への回答）
　　（コミュニケーション全般は弊社社員が行う）