Redshiftの案件一覧

【概要】
・ビルの空調等を管理していくためのIoTプロダクトの設計開発プロジェクト
・スタートアップ企業様社内での自社案件
・国内におけるエネルギー活用を見直せるシステム
・大手企業様への導入も進みハードウェア＆ソフトウェアの機能改善も日夜進んでいる

【業務内容】
・設置場所の最適な自動制御の設定を決定するためのアルゴリズムを取る
・省エネについての専門家の方と一緒に考えてサービスに反映
・効果測定＆レポートの抽出

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験

【概要】
・SNS等の投稿データやアカウントデータを分析して市場調査・分析
(中期でLLMモデルが必要と想定している）
・機械学習等のモデル：AI等を通して、他のアンケートと出ている情報を比較して、データの正確性の評価

【ポジション】
・データサイエンティスト
・データエンジニア

【データサイエンティスト】
・データ分析の実務経験がある (2年以上)
・主にPythonを用いたデータ分析
・Scikit-learn, NumPy,
Pandasなどのライブラリを用いたデータ分析、統計、機械学習モデリングの経験
・Tableauを用いて分析結果などのレポーティングなどを行った経験

【データエンジニア】
・データ分析基盤あるいはサーバーサイドの開発実務経験がある (3年以上)
・主にPython, Java, Scalaなどの言語での開発経験がある
・AWS/GCPを使ったシステム開発を行った経験がある
・Airflow, Athena, Redshift, ECS/ECR,
snowflakeなどを利用したシステム開発を行った業務経験がある

某大手通信系企業システム開発プロジェクトにおいて詳細設計～テストをご担当いただきます

美容系総合ポータルサイトを展開しているクライアントにてBIエンジニアとして以下業務をご担当いただきます。

・tableauでのダッシュボード作成
・BigQueryから施策モニタリング用のデータパイプライン作成
・ビジネスモニタリング/データ分析業務

DWH：BigQuery
ETL:Trocco
BI：Tableau

日本最大級の化粧品クチコミサイト運営企業にてデータ分析・モニタリング環境の整備など、メインに担当しているデータ戦略推進室にて業務していただき、データエンジニアとして必要なデータの抽出などお任せいたします。
下記アサイン想定の作業内容となります！

・BigQueryから施策モニタリング用のデータパイプライン作成
・tableauを用いたダッシュボード作成

【具体的には…】
・ビジネスモニタリング/データ分析業務
・200行前後のSQLを記述
・データ要件、分析要件の定義
・ダッシュボード作成など

・お客様からの問い合わせに対する調査
発生した障害や不具合の調査、修正対応
・システム負荷軽減やコスト削減などの調査、修正対応
・使用しているミドルウェア/ライブラリ群のアップデート対応

pandas ライブラリを利用した ETL 処理
をしていただきます。

担当フェイズ
設計～開発～テスト

大規模言語モデル（LLM）を利用したセキュアなシステムの開発、社内データとの統合を含む。
LLMの開発における深い技術知識の活用、社内データソースとの接続を可能にするためのインフラ構築。
技術戦略および戦術の策定と実施、データの利活用を最大化するためのアプローチの開発。
開発に必要なリソースの設計と管理、データアクセスと分析のためのシステムの構築。

主な担当業務：現状分析、データ活用の施策決め、データの可視化、データオペレーション

業務例①：XplentyやSnowflake、Amazon Redsift、Amazon QuickSight等のツールを用いて、お客様のデータを可視化し、経営判断等に使用可能な有用なデータをマイニングできるようにする。

業務例②：生成AI用のデータの準備やデータフローの設計・実装を行う。

技術戦略の立案と実行経験、データ利活用に関する知識。

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験