分析基盤エンジニアの案件一覧

レガシーなシステムから収集したデータを、イタリアで構築されたDWHへ適切な形で整理しながら格納していくことが求められています。
英会話のスキルにより、担当いただく業務内容と稼働率が変動します。
■英会話レベル：

ビジネス外国人技術者と英語でディスカッションしながら、DWHの設計や勘定科目の変換ロジックを構築する。

稼働率の範囲は40～100％
■英会話レベル：

日常会話PowerBIツールやExcel、Accessを用いてデータ間の相関関係を検証したり、データの格納を行う。

稼働率の範囲は40％前後

・本年9月末まで予定・現場では英語が飛び交いますので、英語に抵抗がない方がフィットするかと思います

【業種】

・大手学習塾企業
【概要】

・AWS DMSの構築、マネジメントと保守運用。

・Tableauでのアウトプット

・DMSと社内環境との接合、運用
【開発環境】

・AWS Glue

・AWS Lambda

・AWS Redshift
【募集要員構成】

・データベースエンジニア
【対応内容】

・AWS DMSの構築、マネジメントと保守運用。

・Tableauでのアウトプット

・DMSと社内環境との接合、運用

・複数テーブル結合におけるデータベース及びView設計

・クエリの設計と作成

・クエリの動作確認におけるテストの実施

・AWSのデータ取り込みの管理、運用

・デイリーバッチの理解と管理
【時期】

・即日（長期継続前提の案件となります）
【募集人員】

・1名

【背景】

アクセス解析データ/DBデータ/APIデータ等合計600TBのデータ基盤を管理データ基盤を管理・改善する人員が不足しており今回の募集にいたりました。
【お願いしたい業務】

* 運用改善

* データ基盤関連ツールの導入(ELTツール - dataform, データガバナンス - dataplex/DataCatalogなど)

* CDPの構築(店舗向け、ラベル推定/スコア推定など, SFAツールへの連携)
【できればお願いしたい業務】

* 新規データ連携対応(DB - embulk, API - Cloud Run/Pythonによる実装)

* データマート整備(Composerなど)
DWHはbigqueryBIはtableauはtreasuredataにアクセスし可視化しています

パターン①

・基盤構築リード

・環境要件定義推進

・DWH・ETL（Synapse）要件定義推進

・DWH・ETL（Synapse）開発
パターン②

・ETL連携方式調査

・Azureパラメータシート作成

・Azure環境構築

・DWH・ETL（Synapse）設計開発テスト

・DWH・ETL（Synapse）開発関連ドキュメント作成（設計書、テスト報告書）

何らかのETL開発経験

【詳細】

顧客企業から受領したデータを、SaaSのデータ仕様に合わせるため、データ連携基盤では、データの変換を行っています。

顧客企業によって、データ形式が異なるため、データ変換処理は、個別に実装し、対応しています。

そのデータ変換処理について、設計、実装、テスト、リリースまでを担当頂きます。

設計は、顧客企業から受領したデータをどのように変換するか検討し、設計書に記載していきます。

実装は、作成した設計書を元に、変換処理の実装を行います。
【使用技術】

・開発言語： Python、SQL

・インフラ： Amazon Web Services

・AWS製品： EC2、ECS、StepFunctions、S3、Redshift、Lambda、Cloud Watch

・ツール： GitHub、Jira、Slack

お客様向けシステムを扱う部門にてアプリやサイトなど顧客接点POSデータから施策案の策定や効果分析を実施する役割を担っていただきたいです。

各システムで分断されている顧客の行動データ統合なども本件のスコープ業務となっております。
使用技術・要求スキル各システムはBQにエクスポートをしています。

一部のデータはまだ集められておらずパイプラインの作成が必要な部分もあります。

集めたデータについても定義や継続的な利用方法、KPIなどが固まっている部分と今後固めていく必要がある部分があります。

　　　
データソース

・Google Analytics

・DWHへ統合　※CDP、CRM等部門ごとのデータを統合

・外部Web API

データ統合先

・BigQuery

マーケティングレイヤー

・toC向けのデータ活用

ガバナンス

データ分析基盤の設計～構築をお願いします。

顧客環境によりますが、ノーコード、ローコードツールでの分析基盤構築がメインとなります。

業務：

・データパイプライン検討、設計

・分析基盤構築

・顧客折衝（可能であれば）

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

ビックデータを独自のAI分析で情報を加工し、提供している会社にて、顧客が使用している機械学習モデルを組込み、日次で計数計算を実行し結果を配信するサービス基盤の開発になります。

ビッグデータ分析担当者が開発や検討を効率的に行えるようなライブラリ（API群）の設計・実装も行っていただきます。

主にビッグデータ定量評価、特徴量への加工・変換、計算、レポーティング機能などを開発いたします。

・既存DB（MS SQL Server2008）からデータ抽出、加工を行うデータ移行プログラムのパフォーマンス向上提案。

・Python, SQL, shell script

・クラウドエンジニアと協力してネットワーク経由のaws RDS for SQL Serverとレプリケーションを構築

・クラウドエンジニアと協力してデータパイプラインの設計
【環　境】

・チケット管理ツール：backlog

・チャット： Slack

・グループウェア： Google workspace