プラットフォームを構成するビッグデータ基盤における視聴データの収集、データレイクからデータウェアハウス / データマートまでのワークフローの開発・運用をお任せします。
ご自身のアイディア・工夫をカジュアルに提案しプロダクトに反映していただける環境であり、単純に作るのではなく価値を提供することを重視していますので、裁量を持って様々な工程のご経験を積んでいただけます。 具体的には、参画後、
・ビッグデータを処理するワークフロー
・ELTの実装
・急激なスパイクにも耐えうるインフラの運用・保守及び改善
・システム自動化の推進やパフォーマンス改善
・基盤としての運用改善(構成管理/CI/CDなど)
までお任せします。 またチームとしては失敗を恐れずに新しい手法・技術を積極的に取り入れてアイデアを実現しグロースさせるスタンスですので、様々なご経験を積んでいただける環境となっております。 ・主要開発技術:Googleクラウド環境でのワークフロー開発
・開発言語:Python, JavaScript, SQL
・ローカル環境 : Macbook Pro(13inc, Corei7, 16GB), Docker, docker-compose
・クラウドプラットフォーム : Googleクラウド(BigQuery, Dataform, Workflows, CloufdFunctions, CloudRun)
・データウェアハウス : BigQuery
・コミュニケーションツール:Slack
・エンジニアの人数:12名程度(業務委託含む)
・開発手法:アジャイル(一部ウォーターフォール)
・開発支援ツール・環境:GitHub, GitHub Actions(CI/CD)
・構成管理 : Terraform
・エディタ/IDE:VSCode Vim
※お好みのエディタを使用していただいてOKです。
|