ETLの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:124

ETLの案件を探す

案件内容

pandas ライブラリを利用した ETL 処理
をしていただきます。

担当フェイズ
設計~開発~テスト

必須スキル
pandas ライブラリを利用した ETL 処理に慣れている方
— データソース:csv, parquet, Redshift/RDS table, boto3 API
— 加工処理:カラムの追加・削除、行列抽出、値の置換、四則演算、日付演算等
— アウトプットの書き込み:S3(csv, parquet, json), Redshift, RDS
静的解析ツールのチェック結果に基づいてコードの修正が可能な方(flake8, mypy)
ユニットテストを実装できる方(pytest)
案件内容

LaKeel BIからpowerBIにダッシュボードの移行作業をお願いいたします。

■業務内容
LaKeel BIで開発した下記のレポートやグラフの移行作業と改善業務
・販売系の実用予測のレポート
・PLの管理会計のグラフ
・プロモーション広告費の費用対効果の分析レポート

■チームメンバー構成
3名体制
その内のメンバーポジションの募集になります。

必須スキル
・powerBI経験
・SQLServer経験
案件内容

クライアントでは「商品名○○」など、クライアントの提供する各種サービスをひとつのIDで使用できる統合管理システム「●●」を運用しております。
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。

クライアントのデータエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

<具体的な業務内容>
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

技術環境
<プロダクト開発部>
言語:TypeScript, Python, Flutter
フレームワーク:Vue.js, Nuxt.js,Node.js
データベース:Cloud Firestore
インフラ:AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理:Bitbucket
プロジェクト管理ツール:Notion, JIRA
コミュニケーションツール:Zoom, Slack, Google Workspace

<R&D部門>
開発言語:Python
フレームワーク:PyTorch, HuggingFace, SpeechBrain, scikit-learn

必須スキル
・データサイエンス全般に関する理解・経験
・Pythonを含む複数言語(TypeScript等)での開発経験(3年以上)
 TypeScript、SQL、Java、Scalaでの開発経験尚可
・データ基盤および分析基盤などの開発・構築経験(3年以上)
・AWS、GCP等の各種クラウドサービスの利用およびスケーラブルなクラウドベースのアーキテクチャデザイン・実装経験
・ETLやELTの実装経験
・TerraformなどInfrastructure as Codeの運用経験または興味関心
(業務委託の方の場合)平日10:00~18:00の間で週24h以上稼働が可能な方
案件内容

SQLでのデータ抽出&加工、分析
※分析はトラフィックやアプリ利用実績等を集計
※現状はExcel数表ベースで提供
※中長期の案件となります

参考までに、今後、あると良い経験
・ETL…Prep、SASEG、PowerCenter、DataStage
・BI…Tableau、Qlik製品、PowerBI等

必須スキル

SQLによるデータ抽出・加工

案件内容

【業務概要】
・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。

【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。

必須スキル
・PythonかTypeScriptでの開発ご経験が3年以上
・データ基盤および分析基盤などの開発・構築ご経験が3年以上
・AWS、GCP等の各種クラウドサービスの利用およびスケーラブルなクラウドベースの
アーキテクチャデザイン・実装経験
・ETLやELTの実装のご経験
・TerraformなどInfrastructure as Codeの運用ご経験
案件内容

主に Python を用いたデータ基盤や ETL の構築・運用
・同じく Python(FastAPI)を用いて Web サービス向けサーバサイド API の実装・運用
・ クラウドインフラ(GCP)のアーキテクチャ上での機能追加・改善
・多数のデータサービス施策のモニタリングとインシデント発生時のオペレーション
・エンジニアリングチーム内の技術コミュニケーション(レビューや技術調査)
BI開発(未経験可)

必須スキル
– Python 3系 での開発経験
– SQLに関する理解と充分な経験
– GCP 環境上での開発経験
– BigQuery 上でのデータマート運用経験
– Docker フレンドリな環境での開発・運用経験
– Git ベースの開発経験
– チケット駆動型のタスク管理
– リモート環境下での他者との意思疎通が柔軟にできること
案件内容

リアルタイムなデータパイプラインを構築するためのデータエンジニア業務と、
機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築、効率よくデータを捌くためのミドルウェア開発、インフラ構築などを行う、MLOpsエンジニア業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

[データエンジニア概要]
■データパイプライン(リアルタイム)の設計・実装

(具体的な職務)
・収集対象:ECサイト
・データ分析基盤の開発・運用
・データを収集するETL/ELTパイプラインの開発
・運用体制構築のためのルール・ドキュメント整備
・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)
・技術調査

[MLOpsエンジニア概要]
■ ビジネス課題と要求の整理(案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる)
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用(アプリ開発側との連携)
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■効率よくデータを捌くためのミドルウェア開発、インフラ構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

(具体的な職務)
■ ビジネス課題と要求の整理(案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる)
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用(アプリ開発側との連携)
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ 運用体制構築のためのルール・ドキュメント整備

必須スキル
・SQLを用いたデータ抽出経験
・ETL/ELTのデータパイプライン設計/構築
・Infrastructure as CodeおよびCI/CDの経験
・ワークフローの構築経験
・Pythonなどを利用したアプリケーション開発経験
・GCPでの開発経験
・コンテナ技術(Docker)を用いた開発経験
案件内容

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

必須スキル
・DB構築経験
・NWの知識(データ転送が分かる方)
ポジション2
・AWSの設計、環境構築経験
・CI/CD環境構築経験
ポジション3
・AWSの設計、環境構築経験
・データ連携に関する知見(ETL や AWS Glue)
案件内容

【システム概要】
複数のビジネスチーム向けに必要なデータセットの要件を整理し、
Databricks上で分析用データセットを効率的に作成するETL、
ワークフローを開発します。

【業務内容】
各チームから挙げられる要件の整理や、ベストプラクティスを調査し、
購買情報、各種施策、会員情報やアクセスログなどを元に、効率的な
データセットを作成するためのETL、パイプラインの作成を行います。
データ分析基盤チームに参画しており、必要に応じてノウハウなどを
共有しながら作業を進めて頂きます。

【担当領域】
要件定義~実装

【開発方式】
お客様と都度調整しながら進めるアジャイル開発となります。

   

【システム構成】
サービス:AWS、Databricks、Redshift
利用ツール:Slack、Backlog、Git (GitHub)

必須スキル
DWH/DM設計
ETL開発
Python

検索結果124件中31-40件