Sparkの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:36

Sparkの案件を探す

案件内容
オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。
データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。
クラウド環境:AWS
必須スキル

SQL/データベースに精通していること
ETLの開発経験
Linuxサーバ構築経験
SparkやHadoopのような分散処理システムの経験

案件内容
■業務内容
製造メーカー系会社のデータ処理基盤の設計・構築
→ 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用
必須スキル

・クラウド環境の構築経験・知識(AWSなど)
・分散処理の経験・知識 (Spark、分散処理)

案件内容
概要
国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う
業務目的
施策で使われるモデルやアルゴリズムを実装し、運用すること。
部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。
プロジェクト例
● 横断データを活用した、カスタマーのライフイベントタイミング予測
● カスタマー属性の予測(年収、職業など)
必須スキル

● 基本的な数学(解析学・線形代数学・確率論)の理解
● 基本的な統計学・機械学習の理解
● Python / Rなどでの統計分析・機械学習の実務経験2年以上

案件内容 モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
必須スキル

– 統計的手法や機械学習の技術を用いた機能の実装経験
MySQL、BigQuery、Hive、Spark などのデータストアの利用経験
– データ分析を行うパイプラインの設計およびその実装する能力

案件内容 ■業務内容 (1)Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ (2)HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 (3)Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼 働:週2日~5日 相談可能 時 間:9:30 - 18:30(応相談) 服 装:ビジネスカジュアル・私服
必須スキル

・Scala(もしくはJava)の実装経験
・Hadoopエコシステムに関する知識(実務経験は問わない)

案件内容 AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。
必須スキル

・新技術の調査・利用のご経験がある方 ・下記はいずれか1つは必須  - Linux上でのOSSミドルウェア導入経験  - Restful API等を活用したマッシュアップでのアプリ開発   (設計、実装の双方をご経験されている)

案件内容 データベース内ビッグデータの集計及び分析作業 データ分析システムの構築/分析データの評価/報告レポートの作成
必須スキル

・Unix /Linux OS の操作経験(2 年以上) ・SQL、Excel 等によるデータ加工経験 ・DBに関する基礎知識(データの読み書き、テーブル操作等)

案件内容 通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計/分析を 可能とするプラットフォームの構築案件です。
必須スキル

・Apache hadoop/kafka/storm/spark等を利用したビックデータ基盤構築経験

案件内容 広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理
必須スキル

・ディープラーニングもしくはAIに関する知識  ※開発に携わっている方であればベスト(在学中を含む) ・Sparkチューニング経験者 ・サーバ設計構築経験者

案件内容 上位リーダーのもとで作業頂くメンバーの方 領域:デジタルマーケティング領域 お客様:ECサイト
必須スキル

全てを網羅している必要はありません。 【機械学習】 ・AWS(EC2,S3)  EC2及びS3を利用した集計作業に困難がないこと ・Linux  Linux環境で苦なく集計作業ができること ・Redshift  列指向DBの特性および分散キーやソートキーについて理解していること ・SQL  分析関数(窓関数)が使用できること ・Apach Spark  分散処理による機械学習プログラムの実装を行うことができること、  もしくは調べながら習得することができること ・Python  Pandasを利用したプログラムを実装することができること ・マート設計/実装 パフォーマンスチューニングができること ・テーブル設計/実装 テーブル定義、ER図が書けること ・ジョブ設計/実装 DataPipeLine を使用できるとより良い ・Shell設計/実装 例外処理、エラー処理を作成できること 【アナリスト】 ・AWS(EC2,S3)  EC2及びS3を利用した分析作業に困難がないこと ・Linux  Linux環境で苦なく分析作業ができること ・SQL  分析関数(窓関数)が使用できること ・Python  機械学習のロジックをPythonで実装/検証できること ・機械学習  Pythonで書かれた既存のロジックを読み解くことができること検証結果を読み解くことができること

検索結果36件中21-30件