Hadoopの案件一覧

過去に募集したエンジニア、データサイエンティスト、マーケターの案件を中心に掲載しています。
非公開案件を多数保有していますので、ご希望のイメージに近い案件をクリックして無料サポートにお申込みください。
専門コンサルタントがヒアリングを通じて最適な案件をご提案いたします。
単価や稼働日数などの条件面についてもお気軽にご相談ください。

該当件数:27

Hadoopの案件を探す

案件内容

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

必須スキル
・PythonやSQLやAthenaを用いたデータ活用支援計経験
・下記の項目を1つ以上満たす方
・DB、DWHを使ったデータ基盤の開発経験
・ データ処理パイプラインの開発経験
・Apache Hadoop、Sparkなどの分散データ処理の開発経験
・AWSやGCP、Azureなどのクラウドにおける開発経験
・高いコミュニケーション力と柔軟性のある方
案件内容

クライアントが保有するビッグデータの利活用を進めていくにあたりAWSでのデータの加工、修正をお願いいたします。

必須スキル
・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識)
・以下のプログラミング経験
– AWSと連携する機能を設計・実装・テストした経験
– Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可
・ コミュニケーションスキル
・ Linuxの基本的なコマンド操作
案件内容

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

<業務詳細>
・分析基盤整備
 └ダッシュボードの作成(KPIツリー、目的別ボード)
 └ユーザー行動の可視化(推移、利用特性)
 └分析基盤整備の推進(データ取得の推進、課題点洗い出し)
・分析
 └データを用いた仮説検証(機能、UI改善、施策)
 └ユーザー行動(数値化、可視化、セグメント分類)
 └効果検証(広告、キャンペーン、メールマガジン等)
 └得られたデータを元にしたインサイトの提供

    

<使用ツール>
・開発言語:Go
・インフラ環境:Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理:GitHub
・CI/CD:CircleCI, Cloud Build
・監視/モニタリング:Google Cloud Logging, Google Cloud Monitoring
・インシデント管理:PagerDuty
・コミュニケーション:Slack, Google Meet
・プロジェクト管理/ドキュメント:JIRA/Confluence/DocBase

必須スキル
・データ分析経験3年以上
・SQLを用いたデータ分析やデータ集計の経験
・PythonやRなどを利用したデータ分析業務の経験
・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験
・BIツール(Looker、Tableau、Redash等)でのダッシュボード経験
案件内容

データ分析基盤の開発・構築を行なっていただきます。

必須スキル
・BigQuery、Redshift、Hadoop、Snowflakeなどの分散データ基盤の利用経験
・アプリケーション開発経験 または ETL/ELTツールを利用した開発経験
・RDBMSの利用経験
案件内容

大規模データ収集基板構築(オンプレにて構築)に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。

アプリケーションの設計、開発、テストがメイン業務となります。

アプリ設計、データ投入、環境利用等で分散FS(Hadoop)の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。

RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応(システム運用設計や手順整備、セキュリティ設計等)
【開発環境】

・Java

・Hadoop(Cloudera)

・Apache kafka

・Apache spark

・Kubernetes/OpenShift/vCenter

必須スキル
・業務経験5年必須
・Javaによるアプリケーションの開発経験
・Linux、Windowsサーバーでの開発経験
・コンテナアプリの開発経験
・分散FS上のDBに対するデータ取得If開発の経験(Hadoopだと最良)
・大規模データ収集基盤でのETL処理実装経験
案件内容

在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

必須スキル
・Hadoopの知見/知識/経験
・クラウドの知見/知識/経験
・アーキテクト能力
・システムを俯瞰してみる能力
・テックリード能力
案件内容

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

必須スキル
・エンジニアとしての実務経験4年以上
・Pythonの経験1年以上
・SQLの経験1年以上
・AWS/GCPを利用した開発経験1年以上
・GitHub or Gitを利用した開発経験1年以上
案件内容

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

必須スキル
・AWSの各サービスの運用経験
・データウェアハウス及び、データマート向けのETLジョブ開発
・Pythonの利用経験
・複数人でチームを組みサービス開発をした経験
案件内容

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

必須スキル

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
 ○ リレーショナルDBを使ったデータ処理の開発経験
 ○ データ処理パイプラインの開発経験
 ○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
 ○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

案件内容

[ポジション]:AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

必須スキル

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル

検索結果27件中1-10件