DB/基盤系の案件一覧

【システム概要】
複数のビジネスチーム向けに必要なデータセットの要件を整理し、
Databricks上で分析用データセットを効率的に作成するETL、
ワークフローを開発します。

【業務内容】
各チームから挙げられる要件の整理や、ベストプラクティスを調査し、
購買情報、各種施策、会員情報やアクセスログなどを元に、効率的な
データセットを作成するためのETL、パイプラインの作成を行います。
データ分析基盤チームに参画しており、必要に応じてノウハウなどを
共有しながら作業を進めて頂きます。

【担当領域】
要件定義～実装

【開発方式】
お客様と都度調整しながら進めるアジャイル開発となります。

【システム構成】
サービス：AWS、Databricks、Redshift
利用ツール：Slack、Backlog、Git (GitHub)

データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築やパイプラインを動かすデータ分析基盤の運用保守を行う。

・新機能の設計・開発・保守。
・既存機能の保守・改修。
・ユーザーや社内の声を反映したプログラム改善。
・プログラム起因による障害発生時のトラブルシューティング。
・データベース周りの業務
・API設計の経験

コンサルタント会社が進めている大手化粧品会社のDXプロジェクトにご参画いただきます。
こちらのチームでは、20名近いメンバーが各ポジションで動いており、
データ活用・分析、Salesforce Marketing Cloudを活用したメールマーケティング等を支援しています。

【詳細】
・SQLを使用し、BigQuery環境のデータを抽出、加工する業務
・Salesforce Marketing Cloudとの連携、セグメンテーションなど
※顧客マスタ、行動履歴、購買履歴といったデータを使用いたします。

※貸与PCでの業務をお願いします。

・サービスデータのTableauを用いたビジュアライズ
・上記データの分析（営業や企画から依頼が来ます）
・上記データのデータ抽出
・Tableau Serverの管理（ブラウザを用いたUI上の管理です）
・GA、BigQueryを用いたweb分析
・上記データのビジュアライズ
・データマート作成
・データクレンジング

概要：
需要予測モデルをEC2上の分析環境で動かしているJupyterコードでの運用になっており、様々な問題が生じている。
SageMakerの実装を進めていただきます。

依頼内容：

1. 実験環境の整備:既存の実験環境のSageMaker上への移行。
2. Training/Inferenceパイプラインコードの作成
3. CI/CD環境の構築
4. その他追加作業

環境：
SageMaker, Snowflake, Snowpark, Streamlit

バックエンドの開発に携わるGo言語エンジニアを募集します。
WEB、モバイル複数のクライアントを提供しており、それら全てのクライアントを支えるバックエンド(API)を開発していただきます。
規模がそれほど大きくない会社のサービス開発なので、開発メンバーが仕様決定に大きく関われる機会がたくさんあります。
メインでお任せするのはGo言語によるAPI実装ですが、前工程のシステム設計、サービス仕様検討に関わっていただき、アイデアをサービスに反映していただくことも大歓迎です。
Go言語を習得しており学ぶ意思があり、コミュニケーション力をお持ちの方を求めています。
バックエンドではAWSを利用しマイクロサービスアーキテクチャを採用しています。
そのためAWSなどの経験があるのが理想ですが、Go言語を熟知しており、好奇心があり学ぶ意思があれば問題ありません。
開発ＰＪはWEBチーム（5人）とモバイルチーム（3人）という小規模体制で、1人1人が複数の役割を持ち密に連携しながらスクラム開発でプロダクトを作り上げます。
今回メインでお任せするのはGo言語によるAPI実装ですが、このようなチームの中で素早く成果を発揮していただくためのコミュニケーション力が必用です。
■利用技術など
バックエンド：
　Golang(gin, grpc-go, sqlx, testify, zerolog)
　gRPC, Protocol Buffers
フロントエンド：
　React, React Router, React Query（TanStack Query）, Material-UI
　TypeScript
　REST, Axios, Open API
　Adobe XD
クラウド・インフラ：
　AWS(EKS, EC2, RDS(Aurora MySQL), ALB, DynamoDB, S3, CloudFront, ACM, SQS, SES, ECR, Route53)
　Terraform
クラウド・インフラ-運用監視：
　AWS(CloudWatch, SNS, Connect)
　DataDog
その他：
　GitLab(構成管理)
　Visual Studio Code(IDE)
　Confluence(ドキュメント管理)
　Jira(タスク管理)
　Zoom(リモートワーク)

内容：
物流マッチングプラットフォームを展開する企業にて、データエンジニアとしてご参画頂きます。
主に各事業のデータ分析基盤（DWHとデータパープライン）の設計・構築・運⽤を⾏っていただきます。
＜具体的な業務内容＞
既存のDWH（BigQuery）とデータパイプラインの拡充

• 利用可能なデータの拡充
• データのリアルタイム性の向上
  将来のデータ基盤戦略の策定とその推進
• 新たなDWHとデータパイプライン（ELT）の設計・構築・運用
  データ分析によるビジネス課題の発見の推進
• データによる課題の可視化
• BIなどを通したモニタリング環境の構築
  技術環境：
  ・言語：Ruby、Python
  ・バージョン管理：Git/GitHub
  ・データ基盤：BigQuery、AWS RDS
  ・BI： Redash、Google Spread Sheet、Google Data Studio
  ・コミュニケーション：Slack、Notion

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

【概要】
・ユーザー行動分析(主にGA)、ユーザー分析、商品分析などの分析業務
・GA、BigQuery、GTMを使った計測設定や集計テーブルの作成
・提示された分析したいテーマに対してSQLを利用してのデータ抽出
☆課題感：ユーザーのF2転換を含めたサービス利用継続を高める

【環境】
・DB：各種
・ツール： GA4 360、GTM、BigQuery、LookerStudio　等

・分析業務経験
・GA4の知識
・SQL、BigQueryの知識
・ECの経験