DWHの案件一覧

データパイプラインの構築エンジニア
主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。

技術要素(★が特に重要)
GoogleCloud
★Cloud Composer2（及びAirflow2）
★Cloud Dataproc（Apache Spark(scala)）
Cloud Build
Cloud Storage
BigQuery
Cloud Monitoring / Cloud Logging
AWS
★Kinesis firehose
★SQS / SNS
★ECS
★Lambda
ECR
S3
Cloud Watch
その他
GithubActions
Terraform

・お客様にて展開予定のSaaS開発での基盤構築に携わって頂きます。
　・DevOpsの流れで、先ずは基本機能の実装を目指しております。
　・現在は、主にインフラ面で弊社にて先行してPoCを通じシステム
　　要求事項とAWS仕様調査、実現性確認を行っております。
　・今後は、上記フェーズを踏まえて本番に向けた設計、実装フェーズ
　　に入って参ります。

【仕事内容】
・DWH層テーブルの要件定義・設計・開発・保守

• 関係者からのヒアリング・データ調査
• メンテナンス性・汎用性を意識したテーブルの設計
• SQLおよびPySparkを用いた実装
  ・DWH層テーブルについての問い合わせ対応・不具合調査
  ・DWH層開発環境の設計・開発・保守・運用
  【開発工程】
  基本設計|詳細設計|実装・構築・単体試験|運用・保守

【環境】
言語：SQL,Python
ＦW：Apache Spark
環境・ＯＳ：GCP (Google Cloud Platform),AWS (Amazon Web Services)
ツール：Docker,Terraform,JIRA,Github

大手専門商社のDX管掌部署にて実施中の「データ利活用」をエンドユーザー伴走で推進いただきたい。
≪ポジション≫
①②でそれぞれ1名ずつ
①：各事業部の業務/状況のヒアリング～BIツール（Tableau導入済）活用や見える化の検討～定着化 の支援
②：①と連携し、DWH（Aurora/Redshift導入済）箇所の対応整理・定義・構築

製薬企業がマーケティングやMEDICAL AFFAIRS活動のために使うことができる
医療ビッグデータの機能開発・運用保守をご担当いただきます。
主な業務内容
・新規機能開発
・運用保守開発
・問い合わせ対応、データ抽出業務
・その他PDCA実施

技術スタック：
・LOOKER
・TABLEAU
・BIGQUERY
・DATAFORM
・AWS(ROUTE53, ALB, S3, CLOUDFRONT, ECS ETC)

自社にてECサイト・口コミサイトを開発運営している大手企業でGoogle Cloudを利用したデータパイプラインの開発・運用を行っていただきます。

・DWH層テーブルの要件定義・設計・開発・保守
　 - 関係者からのヒアリング・データ調査
　 - メンテナンス性・汎用性を意識したテーブルの設計
　 - SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
　言語＿＿＿＿：SQL,Python,ShellScript
　ＦW＿＿＿＿：Apache Spark
　環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services)
　ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github

・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装
・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施
・BIツールを用いたデータ可視化
・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援

【ツール】
AWS(Redshift, QuickSightなど), trocco
■開発環境
　言語＿＿＿＿：SQL
　環境・ＯＳ＿：AWS (Amazon Web Services)
　ツール＿＿＿：AWS Redshift (Amazon Redshift)
■開発工程＿＿：基本設計|詳細設計|実装・構築・単体試験

・デジタルマーケティングツールやデータ分析ツールへのデータ投入のためのETL 準備、実装を行います。
・某社向けデータ分析のためのデータ処理基盤の開発・保守・運用・機能追加

主な使用ツール、サービス：

・Snowflake, BigQuery などの DWH

・Embulk などの ETL ツール

・Hightouch などの Reverse ETL ツール

・AWS, GCP の各種サービス（S3, EC2, Step Functions, ...）

・さまざまなBIツール

DWHへのデータ連携を含んだ、データ基盤で動作するETL処理の開発、データパイプラインの仕組みづくりやデータのセキュリティ対応、運用業務の自動化、ドキュメント整備をご担当いただきます。