Hadoopの案件一覧

データエンジニアとして、データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行っていただきます。
データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

クライアントが保有するビッグデータの利活用を進めていくにあたりAWSでのデータの加工、修正をお願いいたします。

・サービス内(App/Web)におけるユーザーの活動分析
・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施
・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する
・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等)
※海外とのやり取りが発生するため英語の読み書きが頻出します(担当業務によっては英会話の必要性も有り)

＜業務詳細＞
・分析基盤整備
　└ダッシュボードの作成（KPIツリー、目的別ボード）
　└ユーザー行動の可視化（推移、利用特性）
　└分析基盤整備の推進（データ取得の推進、課題点洗い出し）
・分析
　└データを用いた仮説検証（機能、UI改善、施策）
　└ユーザー行動（数値化、可視化、セグメント分類）
　└効果検証（広告、キャンペーン、メールマガジン等）
　└得られたデータを元にしたインサイトの提供

＜使用ツール＞
・開発言語：Go
・インフラ環境：Google Cloud、Cloud Spanner、Cloud Function、Cloud Run、BigQuery
・ソースコード管理：GitHub
・CI/CD：CircleCI, Cloud Build
・監視/モニタリング：Google Cloud Logging, Google Cloud Monitoring
・インシデント管理：PagerDuty
・コミュニケーション：Slack, Google Meet
・プロジェクト管理/ドキュメント：JIRA/Confluence/DocBase

データ分析基盤の開発・構築を行なっていただきます。

大規模データ収集基板構築（オンプレにて構築）に伴い、アプリケーションの新基板への移行/アプリケーションのコンテナ化を支援いただける方を募集します。

アプリケーションの設計、開発、テストがメイン業務となります。

アプリ設計、データ投入、環境利用等で分散FS（Hadoop）の構成について考慮する必要があるため、Hadoop環境の利用経験がある方を優遇させていただきます。

RDBからデータ取得を行うアプリケーションをDWH(Hadoopベース)からデータ取得を行うように改修、改修のための設計、開発、テスト新基盤移行に伴う運用面対応（システム運用設計や手順整備、セキュリティ設計等）
【開発環境】

・Java

・Hadoop(Cloudera)

・Apache kafka

・Apache spark

・Kubernetes/OpenShift/vCenter

在庫管理等の分散処理システムをHadoop on Sparkで組んでおりDMCから逆輸入による導入

社内データ分析基盤開発・保守・運用業務を担っていただきます。■Python/Shell/Rubyで開発されているバッチ系システムが主

・データレイクへの取り込み

・中間テーブル生成

■追加機能開発 / 不具合調査・修正 / 社内ユーザーからの問合せ対応

・社内ユーザコミュニケーションや要件定義も含む

・インフラからコードデプロイまでを担当

- ローカルで実装、Sandbox環境で動作検証、Productionデプロイ

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

1.GPSデータを用いた予測支援
2.SaaS型プロダクトの開発支援
上記いずれかにおいてデータエンジニア業務に従事いただきます。

●Python
●MySQLによる大規模データの処理経験
● AWSやGCP、Azureなどクラウドを利用した開発経験
● 下記の項目から 1つ以上の経験を有する方
　○ リレーショナルDBを使ったデータ処理の開発経験
　○ データ処理パイプラインの開発経験
　○ 分散データ処理の開発経験 (Apache Hadoop/Sparkなどを使用)
　○ Webスクレイピング等の Webから情報を収集するシステムの開発経験

[ポジション]：AIエンジニア

自社で探索型BIツールを開発しており、そこにおける人材を募集
・検索・機械学習エンジンの開発・実装、および性能改善
・自然言語処理を使用した検索エンジンの開発
・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

以下のいずれかを得意としていて、その他の分野に対しては、キャッチアップしていく意欲がある方
・機械学習、コンピュータサイエンス、数学の専門的な知識
・自然言語処理とRDBに関する基礎知識
・何らかのサービス・プロジェクトにおけるAPIやシステムの開発、および運用経験
・データの探索、特徴量の変換、モデルの導出、システムの実装、パフォーマンス評価の一通りの行程をPythonを使用して実施できるスキル