BigQueryの案件一覧

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用
データ分析システム・サービスの監視設計・運用
日々の運用業務から発生する課題の解決・改善

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

弊社クライアント（HR系）のデータマネジメント部署にてデータマートの開発業務を担当いただきます。
データ分析/活用プロジェクトへ参画いただき、データエンジニアとしてデータマート開発実装をメインにご担当いただきつつ、データ要件の定義や必要に応じて各種調査も一部ご担当いただきます。
【対応工程】
・分析用データマートの開発
　└データマート（テーブル）設計、SQL実装、バッチ（Digdag）実装
・社内メールシステムの保守運用
　└Python、SQL実装
・データマートの保守運用
【開発環境】
・データベース：Redshift、BigQuery
・プログラミング：Python
・インフラ：AWS、GCP
・コミュニケーション：Outlook・Teams・Slack・Backlog

広告効果のモデル構築
GA4を利用した分析支援
※上記経験がなくても、全般的な分析手法経験、PL経験、要件定義経験等があれば
※手は動かせる方を求められている。

Python, Ｒ, BigQuery,(GA4)

AWS上に構築され、運用されている需要予測システムをGCP上へ移行
すると共にシステムの統廃合を行う。

■背景
・募集部署はデータ基盤&AI・BI&運用を一気通貫で担っており、
　現在プリセールス中である。(DWH)
・ただ受注となった場合、プロパーを含めてリソース不足が目下課題となっている。
■クライアント支援範囲(該当部署)
・データ基盤構築、機械学習システム構築/精度向上、時系列データ予測/異常検知、自然言語(テキスト)解析、画像認識
■エンドクライアント
・建築・製造・医療など様々
■想定業務
・データ基盤を構築するプロジェクトを想定。
　蓄積したデータをBIやAIで活用するためのプラットフォームの設計・構築が主業務となる。
　要求開発フェーズからご参画いただくことを想定。
※下記スキルによって相談
・顧客案件におけるデータ基盤構築支援（要件定義・設計・構築・テスト・マニュアル作成など）
・要件定義 /基本設計/詳細設計
・ETLジョブ開発
・DWH構築
・ドキュメント作成

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

＜業務詳細＞
・分析基盤整備
　└ダッシュボードの作成（KPIツリー、目的別ボード）
　└ユーザー行動の可視化（推移、利用特性）
　└分析基盤整備の推進（データ取得の推進、課題点洗い出し）
・分析
　└データを用いた仮説検証（機能、UI改善、施策）
　└ユーザー行動（数値化、可視化、セグメント分類）
　└効果検証（広告、キャンペーン、メールマガジン等）
　└得られたデータを元にしたインサイトの提供

＜使用ツール＞
・開発言語：Go
・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理：GitHub
・CI/CD：CircleCI, Cloud Build
・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring
・インシデント管理：PagerDuty
・コミュニケーション：Slack, Google Meet
・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase

・大手メディアPFにおける横断的なテーブル設計とデータマートの構築を実施
・戦略レイヤーへの示唆や提供価値を示すための前処理が主な担当

【環境・ツール】
・GCP
・BigQuery
・Locker
・Colab(python/R)
・Github
・R studio

・生成AIをつかった技術調査含むモデル開発兼レポーティングポジションでのPoc遂行
・課題設定に応じたアーキテクチャの検討を行い、必要に応じて論文レベルでの調査も行う
・プロンプトエンジニアリングや実験管理などMLから外れる領域に関しても深い知見を業務に落とし込む
・（オフライン推論またはオンライン推論を提供するMLOps構築のために）Pocコードからプロダクションコードへの書き換え・実装を行う
◆補足
自社にてECサイト・口コミサイトを開発運営している大手企業での案件になります。
リモートワーク、フレックス制など個人で裁量をもって業務を行うことが出来る案件となっております。
また、現場には業務委託の技術者が多く在籍しておりますので、
意見、提案なども言いやすい環境です。

■概要
某有名WEBサービス事業にてBIエンジニアを募集します。
先ずは分析テーマ一つをお任せします。
他事業部と連携を取りながら自走いただきます。

■業務スコープ
・ダッシュボード開発要望のヒアリングと詳細要件定義、画面設計
・Tableauダッシュボード実装
・ダッシュボード実装に必要なデータマート作成

■分析テーマ例
・ユーザーのアクセス分析
・プロダクト周り分析
・記事に対するアクセス年代別の集計等

■取扱いデータ例
・テラバイトクラスのデータ量
・ユーザの口コミデータ
・予約データ
・アクセスログ

■環境
BigQuery,Tableau,SQL

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。