AWS Glueの案件一覧

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data ： Salesforce 他
・Out Data ： Tableau 他

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

・AWSクラウドおよびお客様独自プラットフォーム上でのクラウド連携サービスの開発
・Androidアプリとクラウド間でのデータの入出力を行う機能開発

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

大手通販会社の発注業務に関わるシステム運用保守・ならびに追加開発をご支援いただきます。

クライアントの発注グループが利用するシステムにおいて、
データ登録ミスや基幹システムとのデータ不整合が起きた際に、調査・原因分析・対処（暫定、恒久）などを実施いただきます。
また、月末や月初に実施する月次処理（運用保守チームが担当する部分）や、
発注グループが担当する月次処理の結果を確認し、問題があればご対応いただきます。

システム追加開発のニーズもあるため、新規画面作成や既存システム改修もご担当いただきます。
クライアント社員（リーダ）の元、1人称でご担当いただきます。
AWSのサーバレスを中心とした技術がメインとなり、採用する技術を提案することもできるため、特に技術面でやりがいがある案件となります。

なお、本業務を担当している社員の工数減に伴う募集となります。
そのため、稼働率について、年内は50％や80％となる可能性がございます（年明け以降は100％となる予定です。現時点では50％稼働の方を優先して検討いたします）。
曜日や時間の固定はございませんので、週次MTGなどは参画時の調整となります。
また、月次処理など重要な作業については、随時ご相談となります。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション

顧客内の情報を一元的に管理・可視化する、データ分析基盤の開発支援です。
チームメンバーと共に試行錯誤しながら業務を進めていただきます。
下記業務をご担当いただく予定です。
・データソースの収集
・S3への蓄積
・AWS Glueを使用したデータ加工
・外部ツールからのデータ収集／外部ツールへの加工データ連携
・QuickSightを使用したデータ集計
・データ加工の自動化（Lambda、StepFunctionを想定）
・terraformを利用した構成管理（Glueのジョブ、IAMロール、S3
、Quicksight）

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。
主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、
QuickSightに流し込むまでをユーザーヒアリングを行いながら
実施していただく予定です。
開発環境　：Python（PySpark, pandas）AWS（RDS、Athena、Lambda、Glue、QuickSight）など