データエンジニアの案件一覧

DX推進を行っている部署の中で、既存で散らばっている社内のデータを集約する作業を行なっております。

既存のデータはAzureの中に入れており、そこのデータパイプラインの保守作業を行いつつ、新規パイプラインの設計・構築を行っていただきます。(Sparkを想定しております。)

また、集約したデータをBIツールを活用し、データ可視化も行っています。
（既存ダッシュボードの保守、新規ダッシュボード構築など）

・DB構築経験
・データの移行経験(データパイプラインの構築経験)
・SQLを用いたデータ集計の経験
・クラウドもしくは仮想環境での経験

AWSを用いて実現する蓄積基盤の設計、構築（特にRedshift、Glueまわり）
勘定系システムなどからデータを受け取るAWSのデータレイク基盤（蓄積基盤）の設計、構築

AWSのデータ分析基盤関連のサービスの設計、構築スキル（特にRedshift、Glue）

Tableauの社内相談窓口として、問い合わせ対応や、

必要に応じての研修などを実施いただける方を募集しております。

募集背景としては、Excelで管理してるデータを

Tableauにて可視化する業務を部署単位で実施しておりますが、スキルレベルが均一化されていないため、問合せ内容もバラバラであるなど、定着化していない状態です。

データに関する説明やダッシュボード構築経験等があるような、幅広くご対応いただける方が理想的です。

・Tableau(ビジュアライゼーション)のご経験
・明るいコミュニケーションが可能な方

【概要】
データエンジニアとしてDMP及びCDP導入案件や顧客の分析要件に基づいたデータ抽出環境整備における構築業務を担っていただきます。
多数のプロジェクトがあり、適性なものにジョインを想定しております。

【環境】
SQL,Python,Git

【業務】
・CDP及びDMPの設計/構築/運用
・各種DB、分析ツールを連携させたデータ管理、分析環境の構築
・データマートの設計/構築/運用
・クライアントとの細部仕様調整

・SQL
・TreasureData/GCP/AWS等のクラウドDWHの構築経験

大手石油販売会社のDX推進チームにて、Tableau教育ができる方を募集しております！
大手石油会社では昨今のデジタルマーケティング領域の推進に伴い、
チームも大きく拡大させながら、自社のデジタル変革を急ピッチで進めております。
もともとはベテランクラスのデータサイエンティストがメインで活躍しておりましたが、
若手メンバーもどんどん採用し、チーム拡大をしております。
ただし、その若手メンバーも、まだまだ発展段階ということもあり、大手石油販売会社が使用している
BIツール：Tableauを急ぎ浸透させたく、その教育ができる方を探しています。
方法は、大手石油会社の担当者と相談しながら詳細を決めていきますが、
想定としては、定期的にセミナーを開催し、Tableauの基礎から自社での使い方など、
企画から携わっていただきながら業務を行っていただきます。

具体的には…
・Tableauの機能や何ができるかの講習の開催
・社内でTableauを使用する業務で不明点などが若手チームで発生した際のサポート
・（余力があれば）若手メンバーへのBIツールの講習

企画から行っていただきますが、週3や空いている時間での対応など、
稼動工数の調整は柔軟に対応させていただきます！

※週3日程度の稼動相談可能

・言語：SQLを用いた分析経験
・Tableauを使用して、ダッシュボードの開発の経験がある方
・人を育てることに興味がある方
・Tableauのナレッジ共有をしたことのある方

・グループ全社のデータパイプライン設計・実装及び実装委託
　(APIやパブリックデータの取得/整備)
・DWH管理業務 (欠損,Issue,申請等の対応)
・技術調査

【業務スコープ】
・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用
・データ分析基盤と各事業部が有するデータを活用するための開発・運用
・データ分析基盤にデータを収集するETL/ELTパイプラインの開発
・データ分析基盤でデータを集計するワークフローの開発
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

1. 複雑なSQLを用いたデータ抽出経験
2. Go、Java、Pythonなどを利用した開発経験
3. ETL/ELTのデータパイプライン設計/構築
4. ワークフローの構築経験（Digdag / Airflow etc.）
5. 監視ツールの導入・運用経験
6. Infrastructure as CodeおよびCI/CDの経験
7. コンテナ技術（Docker/Kubernetes）を用いた開発経験
8. GCPでの開発経験
9. データマネジメント（DMBOK）に関する理解や実践経験

【PJ概要】
国立法人向け AI解析基盤構築
【スケジュール】
要件定義支援：~4月、開発：5月～
【業務内容】
・要件定義
・アーキテクト設計
・リーダー業務※ポジションにより

・アプリ開発
・要件定義の経験
・データマネジメントもしくはAI関連技術の知見

データを用いた意思決定や課題解決に活用するため、各事業・プロダクト・サービスの全てのデータを一元的に収集・保存・管理するデータ基盤の構築を担うポジションです。

データ基盤の開発・改修・保守運用
・データ基盤の物理・論理データモデル設計・開発・保守運用
・データ基盤のシステムアーキテクチャの設計
・データパイプライン (ETL) の設計・開発・保守運用

[開発環境]
インフラ：GCP (データ基盤) / AWS (関連システム)
データパイプライン (ETL)：CloudComposer (Airflow)
DWH：BigQuery
その他インフラ管理：Docker、GKE / GAE / CloudRun
可視化ツール：Google Data Portal / Tableau
分析環境：Jupyter Notebook / Google Colab / Google Cloud ML
その他：GitHub / Slack / Notion

[チーム体制（業務委託の方含む）]
・統括ディレクター: 1名
・データエンジニア: 1名
・機械学習エンジニア: 1名 (兼務)
・データサイエンティスト: 3名
・技術顧問: 1名

エンジニアリング
・GCP や AWS などの主なクラウドサービスにおける開発経験。
・DWH や業務系などのデータベースの設計・開発・運用経験。
・データパイプライン (ETL) の設計・開発・運用経験。
・基本技術情報試験レベルのコンピューターサイエンスの知識。
データ専門性
・SQLを記述する事が出来る。 (数十行位)　
・基礎集計を通じてデータの全体像や質を確認することができる。
ビジネス
・事業会社における情報システム企画の経験 (どんなシステムがどんな処理をどんな順番で実施するかの要件定義レベル)
・論理的思考力。 (定量思考力、要約力、仮説構築能力など)　
・ドキュメント作成能力。 (見栄えではなく、構成の組み立て方やわかりやすさが担保出来るか)
・プロジェクトマネジメント能力 。 (完了定義。スコープ策定。制約を考慮した優先度決定。タスク洗い出し)

【業務スコープ】
■Opsの作業
・バッジ処理
・バッジの運用、改善
・マスターデータをSHに確認
毎月2週間続く、タイムスケジュール管理。
・アラートを上げる。
・エラーが起きたときにトラブルシューティングを行えるかどうか。
■MLopsの改善提案

・MLのご経験
・サーバーサイドエンジニアのご経験
・クラウドサービスのご経験
・データのエンジニアリング経験
（ワークフローツール)
・ETL,パイプライン構築
・Python/SQL

大手製造メーカー様案件で、データ解析・データ解析のプログラミング
　～DBアクセスプログラミングを担当していただきます。
　※参画いただいた後は、相談の上プロジェクトの中でその他の役割も
　　担って頂く可能性もございます。

・プログラミング経験（２年以上）
・Python でのDBアクセスプログラミング経験（１年以上）
・AWS/GCP等のクラウド環境での開発経験（１年以上）