分析基盤エンジニアの案件一覧

以下現在進んでいるプロジェクトにおいてクライアントのリーダーと共に参画していただき環境の構築をお願いできればと思います。

【プロジェクト進捗】
・現在客先でもっているDBを収集、可視化、分析したい依頼を受けておりプラットフォームはすでにできている
状態
・DBは試行錯誤したなかでCassandraでのPOCをはじめており機械の製造に当たるデータが時系列で出てくる

・いままではファイルだったがリソースがいっぱいで動かなくなってきたのでスペックアップして仮想環境を作りアプリの分散化を図っている

※すべてを満たさなくても提案可能です。
・Linuxでの環境構築
・NoSQL　Cassandraまたは、DYNAMOの環境構築経験（複数ノードでの構築）
・CQL（Cassandra Query Language）の利用経験
・Bigdataに関する知見

AWS Lambda(Python)でPostgreSQLのテーブルをSELECTする処理60本の量産・単体テスト
サンプルコードあり。抽出条件も更新日付のみのため比較的イージー。（★4月直近でやっていただきたい作業）
ETL処理の開発、単体テスト
結合テスト、システムテスト、運用テストの実施要員

・SQL開発経験
・Pythonの経験

大規模言語モデル（LLM）を利用したセキュアなシステムの開発、社内データとの統合を含む。
LLMの開発における深い技術知識の活用、社内データソースとの接続を可能にするためのインフラ構築。
技術戦略および戦術の策定と実施、データの利活用を最大化するためのアプローチの開発。
開発に必要なリソースの設計と管理、データアクセスと分析のためのシステムの構築。

主な担当業務：現状分析、データ活用の施策決め、データの可視化、データオペレーション

業務例①：XplentyやSnowflake、Amazon Redsift、Amazon QuickSight等のツールを用いて、お客様のデータを可視化し、経営判断等に使用可能な有用なデータをマイニングできるようにする。

業務例②：生成AI用のデータの準備やデータフローの設計・実装を行う。

技術戦略の立案と実行経験、データ利活用に関する知識。

・分析基盤環境で使用しているDB：Verticaへのファイル取込バッチおよびファイル出力バッチの移行
・バッチからSQLを呼び出す方式となっている、Verticaは既存工場では未使用のため、チューニング作業などが必要
・新規工場では追加IFもあるため、バッチ（ShellまたはWindowsバッチ＋SQL）の追加作成対応

・DB開発経験
・バッチ開発経験

■背景
・クライアント内の提案活動に於いてDWH案件が増えており、リソースが必要となった
■クライアント支援範囲
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■エンドクライアント
・建築・製造・医療など
■想定業務
※クライアントの案件状況やスキルによってポジション・案件は検討
・データ基盤を構築するプロジェクト。蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務
要求開発フェーズからご参画いただくことを想定。
・顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）
・要件定義 /基本設計/詳細設計
・ETLジョブ開発
・DWH構築
・ドキュメンテーション(設計書・仕様書)

・DWHサービス知見
・基本設計～製造・テスト経験
・データフロー/マート設計
・ドキュメンテーション力

※全て満たしていない場合でも相談可
※DWHサービス活用は必須

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験

BigQueryデータのデータ分析基盤構築の検討・実装・試験・リリースまでを担当いただく予定です。

またデータ分析基盤構築チームの打合せに参加頂きます。（週4～5回）

（その他：既存モニタリングツールのメンテナンス対応など）

・データ分析PJで検討からリリースまでの実務経験3年程度
・上流工程経験者
・Gitコマンドを使ったモジュール管理経験：1年
・SQLを用いた業務経験：1年

主に Python を用いたデータ基盤や ETL の構築・運用
・同じく Python（FastAPI）を用いて Web サービス向けサーバサイド API の実装・運用
・ クラウドインフラ（GCP）のアーキテクチャ上での機能追加・改善
・多数のデータサービス施策のモニタリングとインシデント発生時のオペレーション
・エンジニアリングチーム内の技術コミュニケーション（レビューや技術調査）
BI開発（未経験可)

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

製造業企業において、システムの基盤構築、出力帳票、見える化（Web環境構築）まで、ご担当頂き、人事評価システムの構築支援を実施頂きます。

①ただ与えられたタスクを実装するだけではなく、自走し提案も込みで実施頂ける方が評価高いです。リーダー枠での募集となります。
②スケジュールは以下のとおりです。
　3月～　：　要件定義、設計
　5月～　：　製造（5月以降、4人程度のメンバーを募集予定）
　11月　　：　CO