AWS Glueの案件一覧

社内外からのデータを元に構築したデータ基盤を元に、数理モデルの構築やMLOpsのモデリング部分を担当するポジションです。
様々なところから集まったデータを利活用するために、しやすい環境を整備し、会社の成長加速に貢献していただきます。具体的な業務内容は以下のとおりです。
・弊社プロダクト及び金融機関から集まるデータの分析とモデリング
・データパイプラインの運用・管理
・ビジネスダッシュボードの構築
・Pythonを用いた機械学習実装
・MLOpsのPoCとプロダクトへの組み込み

某金融機関の吸収合併に伴う事業継承の為、下記基盤移行を行います。

現行オンプレ環境のサーバーOS EOLが2024年7月末、
そのタイミングでAWSへの移行を計画中です。

下記の作業を行うにあたりアーキテクト（テックリード）のような立ち位置で支援していただける方を募集しています。

・AWS SaaSを利用したデータパイプライン環境構築
　　-Lambda
　　-Glue
　　-Step Function etc…
・基本テンプレート開発
・システム監視
・構築する環境
・本番環境
・開発環境

2年ほど前にAWSをベースに分析基盤が構築されたものの、現状がわかりづらい状況となっています。
現状を調査し調査の後、必要に応じて「システムの再構築」
「一部破棄」または「システムの刷新」の方針決めを行います。
※詳細、募集背景は面談時にご説明いたします。

【ターゲットとなるシステム】
・In Data ： Salesforce 他
・Out Data ： Tableau 他

【概要/作業内容】
・金融系システムのエンハンス作業
・作業内容はAWS構築、ネットワークに関する業務で下記いずれかのポジションを担当
①DBデータ移行
DB(sybaseとoracle)のダンプデータがある状態からクラウドにデータ移行してDB構築

②AWS構築
AWSの設計から環境構築

③データ分析環境構築
Tableauが動くためのインフラ環境構築
データ量が大きいためNWまわり含めたサイジングも実施

・新規データマート要件定義、既存集計フロー効率化ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります

・データマート作成
既存帳票(Excel,CSV)からSQL作成、BIでの可視化

・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善

・データマート日次運用保守業務

【開発環境】
プログラミング言語：Python
ライブラリ：PySpark, pandas
データベース：AWS RDS (SQLServer), AWS Athena(trino)
環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue
BIツール：QuickSight

・AWSクラウドおよびお客様独自プラットフォーム上でのクラウド連携サービスの開発
・Androidアプリとクラウド間でのデータの入出力を行う機能開発

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。
設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。
データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

■データ分析基盤チーム
エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。
その後可視化、分析結果からの将来予測など。
データレイク、DWH。

【開発環境】
インフラ：AWS（Athena、Redshift、Glue、QuickSightなど）
データベース：RDS（Aurora MySQL）
ETL：AWS Glue
BIツール：QuickSight
言語：Python
コミュニケーション：Slack、Zoom、Backlog、DocBase

大手通販会社の発注業務に関わるシステム運用保守・ならびに追加開発をご支援いただきます。

クライアントの発注グループが利用するシステムにおいて、
データ登録ミスや基幹システムとのデータ不整合が起きた際に、調査・原因分析・対処（暫定、恒久）などを実施いただきます。
また、月末や月初に実施する月次処理（運用保守チームが担当する部分）や、
発注グループが担当する月次処理の結果を確認し、問題があればご対応いただきます。

システム追加開発のニーズもあるため、新規画面作成や既存システム改修もご担当いただきます。
クライアント社員（リーダ）の元、1人称でご担当いただきます。
AWSのサーバレスを中心とした技術がメインとなり、採用する技術を提案することもできるため、特に技術面でやりがいがある案件となります。

なお、本業務を担当している社員の工数減に伴う募集となります。
そのため、稼働率について、年内は50％や80％となる可能性がございます（年明け以降は100％となる予定です。現時点では50％稼働の方を優先して検討いたします）。
曜日や時間の固定はございませんので、週次MTGなどは参画時の調整となります。
また、月次処理など重要な作業については、随時ご相談となります。

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施
・上記に必要な検証環境構築作業および要件定義の資料化
※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います　
①製造業向けデータ分析基盤構築：要件定義
・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する
・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる
・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター
・今のところ、下記のようなサービスが必要なのではと思案中
　AWS Glue
　AWS Lambda
　AWS Code Pipeline
　AWS Code Commit
・合わせて以下のサービスを組み合わせてジョブの実行管理・フロー制御を行う想定
　AWS Step Functions（詳細フロー制御）
　Amazon Managed Workflow for Apache Airflow（実行管理）
上記の設定内容をリポジトリへ保存してバージョン管理を行うことも必要と考えているため、これらの統合についてもテーマとなる
②研究開発
・上記顧客案件にデリバリーするためのソリューションの整備環境として、CI/CD環境を社内に構築する
・Snowflakeを用いたデータ基盤の構築を早期化するソリューション