• フリーランス案件一覧

Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数：36件

Sparkの案件を探す

募集終了
【DWH/ETLなど】内製開発：ETLチームの求人・案件

リモート・常駐 併用
案件内容

・SEからのインプットを基に詳細設計
・ETLコーディング
・ワークフローシナリオ実装
・UT観点項目作成
・UTスクリプト作成
・UT実施
・必要に応じてシミュレーター/スタブ開発
必須スキル

※全て当てはまらなくても良いです
・開発経験１０年以上
・DWHやETL等のビッグデータ実装への理解
・Sparkの使用経験
・Kinesisの使用経験
・5名程度の開発チームのリーダー経験
・開発フレームワーク／ツール／プロセスの選定と制定
・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解
・Pandasライブラリを用いた開発経験
・Data Pipeline構築経験（ETL開発経験）
・AWS上でのシステム開発経験
・Lambdaなどのサーバーレス開発経験
・RDBを用いたシステム開発の経験
・OSSを活用したシステム開発経験（Kafka, MySQL, MongoDB…）
・AWSのマネージドサービス利用経験（Redshift,SMS/SQS,RDS）
・アジャイルでのシステム開発経験
・JIRA/Confulence相当を利用した開発経験

募集終了
【Python/SQLなど】データエンジニアの求人・案件

リモート
案件内容

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。
必須スキル
・PythonやSQLやAthenaを用いたデータ活用支援計経験
・下記の項目を1つ以上満たす方
・DB、DWHを使ったデータ基盤の開発経験
・ データ処理パイプラインの開発経験
・Apache Hadoop、Sparkなどの分散データ処理の開発経験
・AWSやGCP、Azureなどのクラウドにおける開発経験
・高いコミュニケーション力と柔軟性のある方

募集終了
【SQLなど】サービス内(App/Web)におけるユーザーの活動分析の求人・案件

常駐
案件内容

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

＜業務詳細＞
・分析基盤整備
　└ダッシュボードの作成（KPIツリー、目的別ボード）
　└ユーザー行動の可視化（推移、利用特性）
　└分析基盤整備の推進（データ取得の推進、課題点洗い出し）
・分析
　└データを用いた仮説検証（機能、UI改善、施策）
　└ユーザー行動（数値化、可視化、セグメント分類）
　└効果検証（広告、キャンペーン、メールマガジン等）
　└得られたデータを元にしたインサイトの提供

　　　　

＜使用ツール＞
・開発言語：Go
・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理：GitHub
・CI/CD：CircleCI, Cloud Build
・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring
・インシデント管理：PagerDuty
・コミュニケーション：Slack, Google Meet
・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase
必須スキル
・データ分析経験3年以上
・SQLを用いたデータ分析やデータ集計の経験
・PythonやRなどを利用したデータ分析業務の経験
・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験
・BIツール（Looker、Tableau、Redash等）でのダッシュボード経験

募集終了
【SQL/Python】DWH/BIの求人・案件

リモート・常駐 併用
案件内容

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善

・データマート日次運用保守業務

　　　

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight
必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・pythonでの開発経験
・AWS分析基盤開発経験
(Glue,Athena,QuickSightの経験歓迎,他のAWSサービスにも詳しい方大歓迎)
・アプリケーション開発経験

募集終了
【SQL/Python】新規データマート作成の求人・案件

案件内容

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　
必須スキル
①SQL　
(Window関数やUNION,副問い合わせを流暢に扱えること)
②Pythonでの開発経験
③アプリケーション開発経験

募集終了
【SQL】トライネットシステム開発支援の求人・案件

案件内容

■開発環境
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

■業務内容
・新規データマート要件定義、既存集計フロー効率化
ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

  • AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
  • 既存の基盤改修・改善
    ・データマート日次運用保守業務
必須スキル
・SQL(Window関数やUNION,副問い合わせを流暢に扱えること)
・アプリケーション開発経験

募集終了
【Pythonなど】小売/卸売業向けAI系サービス/データ基盤構築の求人・案件

リモート
案件内容

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。
自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。
顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。
社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。

業務内容
顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用します。

・新規データ取得のETL及びデータウェアハウスの実装
・データ基盤の運用及び保守開発
・データの可視化
・定例MTG対応
・仕様書等ドキュメント作成（一部）

技術環境
O S 　　 ：Linux, Windows
言 語 　　 ：Python, SQL
D B　　　 ：Redshift, Aurora(PostgreSQL互換)
Cloud　　 ：AWS（ECS, S3, StepFunctions, Lambda, Redshift, Aurora等）
DWH　　 ：BigQuery, TreasureData等
機械学習系：Kedro, MLflow
C I　　　 ：CircleCI
監視系　　：Sentry
その他　　： GitHub, Slack, CircleCI
必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験

募集終了
【Python/SQL】Saasのデータ基盤構築の求人・案件

リモート
案件内容

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン： Amazon Elasticsearch Service
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ： Amazon Web Services
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry
必須スキル
・何かしらのシステム開発経験3年以上
・Pythonの実装経験1年以上
・Sparkなどの分散処理システムの経験
・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験
・アプリケーションの設計経験
・AWSなどクラウド環境を利用したシステム開発の経験

募集終了
【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

リモート
案件内容

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。

顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。

【開発環境】

・開発言語： Python、SQL

・DB: Aurora(PostgreSQL互換)、Redshift

・ライブラリ・フレームワーク：Pandas、Numpy、Dask

・インフラ：AWS

・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch

・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry
必須スキル
・Webシステム設計～開発経験3年以上ある方
・Python開発経験1年以上ある方
・Sparkなどの分散処理システムの経験がある方
・SQLの実装経験

 

（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）
・データ基盤の構築経験ある方
・AWSを用いた開発経験ある方
・Dockerなどのコンテナ技術を利用した開発経験がある方

検索結果36件中1-10件