Apache Airflowの案件一覧

上位クライアント（HR系）のデータマネジメント部署にてデータマート開発、基盤開発チーム（約10名）のリーダーポジションを担当いただきます。

データ分析/活用プロジェクトへ参画いただき、シニアデータエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、技術リーダーとしてチームメンバーのサポート及び、データ要件の定義や調査、他部署との連携含めた顧客折衝をご担当いただきます。

【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計
　└SQL実装
　└バッチ処理実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用

【開発環境】
・データベース：Databricks、Redshift
・ワークフローエンジン：Airflow、Digdag
・プログラミング：Python
・インフラ：Azure、AWS
・コミュニケーション： Outlook・Teams・Slack・Backlog

・5名以上のチームリーダー経験 1年以上
・SQLを用いた分析用データマートの設計・開発・運用経験 3年以上
・Pythonを用いたデータハンドリングの経験 3年以上
・Webシステムに関する基本的な理解と業務開発経験

AWS上に構築され、運用されている需要予測システムをGCP上へ移行
すると共にシステムの統廃合を行う。

概要：
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。

依頼内容：

1. 実験環境の整備:既存の実験環境のSageMaker上への移行。
2. Training/Inferenceパイプラインコードの作成
3. CI/CD環境の構築
4. その他追加作業

環境：
SageMaker, Snowflake, Snowpark, Streamlit

・DWH層テーブルの設計
・DWH層テーブルのSQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用

基幹システムからGCPへの取り込み処理およびGCP内でのデータマートの開発運用保守を実施

【募集背景】
社内のデータパイプラインの設計・開発や運用フローの構築などに関連する業務を行うData Engineeringチームにおいて
主にデータのクレンジング業務を行っていただきます。
チームの所属に関わらず、データのライフサイクル全体に関わることができます。

【業務内容】
・データの戦略、活用方法、データによる競争優位性の設計
・Dataflow, GCS, BigQuery等を利用した、データパイプラインの設計・開発と運用フローの構築
・アプリやIoTからのログ収集やその設計
・BIツールやデータ出力機能などの開発・運用
・データガバナンスのポリシー設計、実装

【業務内容】
EdTech企業にてデータアナリスト(データサイエンティスト)として、データによる
新しい価値創造をゴールとするデータ分析やモデル開発を担っていただきます。

以下、チームで取り組んでいる分析テーマの具体例です。
▼受講者の学習意欲の活性化・学習効果の向上
学習行動ログ及びアンケート調査を用いた活性要因分析
統計的因果推論による施策効果検証
定型レポートのワークフロー開発/ダッシュボード構築
▼受講者集客
非会員向けサイトの会員登録フローのファネル分析
▼法人顧客リピート契約促進
管理画面操作ログや受講者学習行動ログを用いたリピート契約要因分析
定型レポートのワークフロー開発/ダッシュボード構築
▼法人顧客集客
法人顧客向けセミナーの統計的因果推論による効果検証
▼マーケティングリサーチ
ビジネスパーソンや育成人事が感じるビジネススキル/デジタルスキルの課題に関する調査/分析
▼送客
他の(同クライアント)学習サービスへの利用促進を目的とした、志望動機の自由記述データの自然言語処理

【開発環境】
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
監視：Cloud Logging / Stackdriver Logging
その他：Git / GitHub / Slack / Notion

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

・クライアントグループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
★データ分析基盤にデータを収集するETL/ELTパイプラインの開発・管理
・データ分析基盤でデータを集計するワークフローの開発
・技術調査

【概要】
・広告配信における傾向の分析及び、異常の検知
・WEB広告の種別、サイト内での掲載位置、閲覧ユーザーの情報から成果の確認
・ユーザの行動分析を行い、最も効果が高くなる広告を推測する
・Treasure Data等を経由して連携されるユーザーデータの管理
・データパイプラインの保守運用

【開発環境】
Python、PyTorch、Hive、PySpark、PostgreSQL、Apache Airflow
Google Cloud Dataproc、BigQuery、Cloud Composer
GitHub、Slack