分析基盤エンジニアの案件一覧

【詳細】

顧客企業から受領したデータを、SaaSのデータ仕様に合わせるため、データ連携基盤では、データの変換を行っています。

顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。

そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。

設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。

実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】

・開発言語： Python、SQL

・インフラ： Amazon Web Services

・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch

・ツール： GitHub、Jira、Slack

お客様向けシステムを扱う部門にてアプリやサイトなど顧客接点POSデータから施策案の策定や効果分析を実施する役割を担っていただきたいです。

各システムで分断されている顧客の行動データ統合なども本件のスコープ業務となっております。
使用技術・要求スキル各システムはBQにエクスポートをしています。

一部のデータはまだ集められておらずパイプラインの作成が必要な部分もあります。

集めたデータについても定義や継続的な利用方法、KPIなどが固まっている部分と今後固めていく必要がある部分があります。

　　　
データソース

・Google Analytics

・DWHへ統合　※CDP、CRM等部門ごとのデータを統合

・外部Web API

データ統合先

・BigQuery

マーケティングレイヤー

・toC向けのデータ活用

ガバナンス

データ分析基盤の設計～構築をお願いします。

顧客環境によりますが、ノーコード、ローコードツールでの分析基盤構築がメインとなります。

業務：

・データパイプライン検討、設計

・分析基盤構築

・顧客折衝（可能であれば）

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

ビックデータを独自のAI分析で情報を加工し、提供している会社にて、顧客が使用している機械学習モデルを組込み、日次で計数計算を実行し結果を配信するサービス基盤の開発になります。

ビッグデータ分析担当者が開発や検討を効率的に行えるようなライブラリ（API群）の設計・実装も行っていただきます。

主にビッグデータ定量評価、特徴量への加工・変換、計算、レポーティング機能などを開発いたします。

・既存DB（MS SQL Server2008）からデータ抽出、加工を行うデータ移行プログラムのパフォーマンス向上提案。

・Python, SQL, shell script

・クラウドエンジニアと協力してネットワーク経由のaws RDS for SQL Serverとレプリケーションを構築

・クラウドエンジニアと協力してデータパイプラインの設計
【環　境】

・チケット管理ツール：backlog

・チャット： Slack

・グループウェア： Google workspace

・メガバンクによる多頻度小口決済システムの構築要件

・金融機関、資金移動業者および個人間送金の取引などを連携するシステム構築

・巨大なシステム構築に対し、各チームがアジャイル・スクラムで開発中

・渋谷の拠点で100名程が従事

作業内容：某大手小売業向けETL基盤構築

┗新規ジョブ、既存ジョブの作成

┗設計～開発

データプラットフォーム基盤の構築

・データモデル設計

・アーキテクチャ設計

・技術調査

・ETL / ELT処理の実装

※ システムとしてのユースケースを整理しながら進行しているため、要求定義、要件定義の視点で物事を考える必要があるケースが多い
【開発環境】

-技術要素-

・BigQuery

・MySQL

・Cloud SQL

・Go言語

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。チームメンバーと共に試行錯誤しながら業務を進めていただきます。

下記業務をご担当いただく予定です。

・データソースの収集

・S3への蓄積

・AWS Glueを使用したデータ加工

・外部ツールからのデータ収集／外部ツールへの加工データ連携

・QuickSightを使用したデータ集計

・データ加工の自動化（Lambda、StepFunctionを想定）

・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3、Quicksight）