データエンジニアの案件一覧

携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。
・AWS：Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP：BigQuery, GCS, CloudFunction, CloudComposer,・DB：Redshift,PostgreSQL,Oracle,MySQL・リポジトリ：Github Enterprise,CodeCommit・コラボレーションツール：JIRA, Confluence, Backlog・コミュニケーションツール：Slack,Google Workspaces

BIツール(Yellowfin)を用いたダッシュボード作成をお願いいたします。※Yellowfinの経験はなくても良いです。（Tableau等を触っていれば問題なし）

航空会社向けBIシステム データ抽出

■概要
クレジットサービスを運営している会社です。
機械学習モデルを効率よく安全に回せる環境の構築をお願いします。

■業務
・要求課題整理、アーキテクチャ検討
・ワークフローの設計～運用
・CI/CDパイプラインの構築
・モデル設計～構築

■環境
GCP(Dataflow,teraform)
現モデルはVertexAI

・MLOpsのアーキテクチャ検討～構築経験
・GCP及び、AWSの経験
・Iac及び、CI/CDの経験
・表形式データのモデル開発の経験
・英語（少なくともビジネスレベル）

大手メーカーのデータエンジニアとして、データ資産活用およびデータ民主化を見据えながら、事業課題を特定しデータ分析案件を推進いただきます。データ分析に必要な処理の自動化および効率化を実現するための大規模なデータ分析基盤の構築/運用を自らドライブする経験を得ることができます。

データ活用最大化のための分析基盤の構築/運用
データ民主化を実現するための仕掛けづくりと啓蒙/教育
ID-POSやパネルデータを用いた顧客インサイトの抽出
協力会社やIT部門に対するコントロール及びコラボレーション

<データ分析案件の例>
・全社統一KGI/KPI指標の設計および提供
・チャネル×価格帯でのBiz Opportunity分析
・ブランド中期計画のためのプロモーション効果検証
・離脱者＆再購入者の分析
・情緒的価値観の指標化

・自ら課題を定義/提案し、解決策の実行まで責任もって取り組める
・幅広く知識/経験を吸収し、プロフェッショナルとして専門性を高める意欲がある
・データエンジニアとしての実務経験を1年以上有する
・Azure/AWS/GCPのいずれかを用いたデータ分析基盤の構築/運用経験がある
・データマネジメント（モデリング/加工/カタログ/品質管理など）の経験がある
・基本的なSQL言語を記述できる
・テクノロジー動向に興味がある

エンドユーザー(企業)のDX化を支援するためにデータ事業の展開や社内のデータ利活用を推進する、ETL/ELT処理開発、DWH構築などのデータ基盤開発の責務を担っていただきます。
◆業務内容の詳細◆
Databricks、Airflow、AWS Glueを利用したデータパイプラインの開発・運用
Apache Sparkを利用したETL処理の開発
各サービス開発チームのデータエンジニアリングの支援
◆今後の進展について◆
昨年夏頃にDatabricksを導入したばかりのため、既存基盤からの移行を実施し、全社横断データ基盤として活用していきます。
それに伴い、各サービス開発チームを中心とした分散オーナーシップ型データ基盤開発組織化の推進と全社横断的なデータマネジメントに注力していきます。

・サーバーサイドのアプリケーション開発経験
・AWS/GCP/Azureのいずれかのクラウドサービスを利用した経験
・データレイク、データウェアハウスの設計・構築・運用経験
・ETL/ELTなどのデータワークフロー管理ツールの開発・運用経験
・チーム開発経験

データサイエンティストが構築したモデルを実際の機械学習のプロダクションシステムに落とし込む作業をお願いいたします。

【詳細】
・MLアプリケーションPoCのプロトタイプの開発
・機械学習APIサーバーの設計/構築/運用または実装
・サービス監視設計/運用

・クラウド上でのPythonを用いたソフトウェア開発経験
・機械学習などの大規模データを扱うバッチ処理、ワークフローの開発/運用経験
・MLOpsの企画/設計/開発/運用経験

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

【概要】
TreasureData導入、運用保守案件や顧客の分析要件に基づいたデータ抽出環境整備における構築業務を担っていただきます。
多数のプロジェクトがあり、適性なものにジョインを想定しております。

【環境】
TreasureData,SQL,Python,Git

【業務】
・CDP及びDMPの設計/構築/運用
・各種DB、分析ツールを連携させたデータ管理、分析環境の構築
・データマートの設計/構築/運用
・クライアントとの細部仕様調整
・TreasureDataの社内講師（スキルによって）

・SQL
・TreasureData経験・Python

BI,ビジュアルアナリティクス、セルフサービスBI　を武器としたデータ活用支援
・ユーザートレーニング、操作にとどまらない人材育成プログラム
・Tableuコンピテンシーセンターのメンバとしてプロジェクトを担当。

・BI経験、要件定義