DB/基盤系の案件一覧

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用

データ分析システム・サービスの監視設計・運用

日々の運用業務から発生する課題の解決・改善

クライアントにて日本最大の美容総合サイトを運営しております。

豊富なサービス（EC・リアル店舗など）で生み出される膨大で多様なデータを取り扱うことで、大規模なデータパイプラインの設計・開発・運用経験が得られます。

主務となるtoB向け商用稼働サービスの取引実績は順調に増加しており、現在は200以上のブランドに向けサービスを提供中。

特に、ミドル・テール(認知度がまた高くない)ブランド向けのエントランス戦略が動いており、サービスの拡大、ユーザーへの貢献を実感しながら開発に携わることができます。
また、今後全社でデータの利活用を促進していくにあたり、直接プロジェクトに携わることで、ビジネスに必要なデータに関する管理運用方針への理解が深まり、データを中心とした社内外の課題に対しての提案・解決能力を養うことができます。

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。

[具体的な業務]

・RDBのデータベース設計

・Glue JobでPythonを利用したETL処理の設計・開発

・API Gateway、Lambdaを利用したAPI開発

・技術的知見からの、プロダクトオーナと協調した仕様策定

・AWS関連リソースのより積極的な活用

・git flowベースの開発進行

自動車大手のお客様にて開発中のデータ基盤（AWSのESK上で構築）に関連するエンハンス開発や追加要求に対する周辺システムの開発

データ収集・分析・可視化・新規サービスへの情報提供・管理機能など
PJ規模

チーム単位で５～８名程度のチームが複数8チームほど存在。

このチームのどこかに参画頂く予定

Javaでの開発スキル（設計工程や、ソースレビューもできるレベル希望）

・求人サイトをクローリング、BQへ投入するなどのバックエンド処理の実装

・設計書作成、テストなどの工程実施

※Salesforce周辺は知見のある弊社エンジニアが担当予定です。
【概要】

・クライアント企業様SalesforceCRM上で管理されているエンドユーザ企業を一覧取得

・対象企業をもとに転職サイトをクローリングし、求人情報を取得　※複数の転職サイトを想定

・BigQueryに投入し、データ整形・変換（業種・業界などサイト個別に異なるワードを統一など）を実施し、結果をSalesforceにもどす。
【背景】

・クライアント様が提供されている各種サービス製品を効率的に営業するため、営業または営業事務が転職サイトの求人情報を検索し、新規事業立ち上げ、やDXなどのキーワードをもとにエンドユーザ企業の状況を収集

・取得した情報を営業へ共有し、製品・サービスの営業を実施

※現在は手作業で行われており、これを自動化したい

※情報はBigQueryに溜め込み、今後の動向分析等にも利用したい
【システム環境】

・言語：python

・DB：My SQL、Postgres

・DWH：BigQuery

作業内容：某大手小売業向けETL基盤構築

┗新規ジョブ、既存ジョブの作成

┗設計～開発

データプラットフォーム基盤の構築

・データモデル設計

・アーキテクチャ設計

・技術調査

・ETL / ELT処理の実装

※ システムとしてのユースケースを整理しながら進行しているため、要求定義、要件定義の視点で物事を考える必要があるケースが多い
【開発環境】

-技術要素-

・BigQuery

・MySQL

・Cloud SQL

・Go言語

・PowerBI等のサービス調査/検討

・アクセス制御設計/NW設計/システム構成設計

・Azure環境にNWやGateWayを構築

・AKS(kubernetes)にquorumやAP用のpodを構築

・Azureサービスを用いたDB、ストレージ、監視・運用の仕組みを構築

AWS設計から各種サービスの構築、コーディング

某大手Sier様の各事業部におけるインフラ案件の対応支援

要件定義、基本設計、詳細設計、試験、運用設計の実施

金融、公共、流通などのエンド顧客に対してクラウド基盤構築を実施

Sier様の各部署はクラウドの知見が浅い為、クラウドのプロフェッショナルとして、設計構築を実施、運用フェーズは別チームが対応。

AWS要件定義からチームリード、設計構築

某大手Sier様の各事業部におけるインフラ案件の対応支援

要件定義、基本設計、詳細設計、試験、運用設計の実施

金融、公共、流通などのエンド顧客に対してクラウド基盤構築を実施

Sier様の各部署はクラウドの知見が浅い為、クラウドのプロフェッショナルとして、設計構築を実施、運用フェーズは別チームが対応。

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。チームメンバーと共に試行錯誤しながら業務を進めていただきます。

下記業務をご担当いただく予定です。

・データソースの収集

・S3への蓄積

・AWS Glueを使用したデータ加工

・外部ツールからのデータ収集／外部ツールへの加工データ連携

・QuickSightを使用したデータ集計

・データ加工の自動化（Lambda、StepFunctionを想定）

・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3、Quicksight）