分析基盤エンジニアの案件一覧

・SQLのクエリ修正（DB名、テーブル名、スキーマ名、カラム名を指定の名に変更する）・BIツールの検証やデータ連携、構築対応・作業手順書の作成(AWS,Snowflake等)

【案件概要】弊社クライアント（HR系）のデータサイエンス部署にてデータマート開発実務を担当いただきます。データマート開発実装をメインにご担当いただきますが、要件定義にてクライアントと直接コミュニケーションを取っていただく必要があります。
【具体的な業務内容】・分析用データマート開発　┗ 要件定義、データマート（テーブル）設計、SQL実装、テスト・バッチ基盤（digdag）の実装、運用保守・データエンジニアリング業務　┗ データの収集、加工、集計・データマートの保守運用・TableauのViz作成

・バンダイナムコエンターテインメントのデータパイプライン設計・実装及び実装委託・DWH管理業務 (欠損,Issue,申請等の対応)・技術調査
【業務スコープ】・Google Cloud Platformをバックエンドとするデータ分析基盤の開発・運用・データ分析基盤と各事業部が有するデータを活用するための開発・運用・データ分析基盤にデータを収集するETL/ELTパイプラインの開発・データ分析基盤でデータを集計するワークフローの開発・上記を継続的に利用するための、ソフトウェアのバージョンアップや周辺ツールの開発(運用)・技術調査

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。自社サービスSaasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望が出てきています。顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。
【募集背景】新バージョンの機能追加が急務であり、エンジニアリソースが不足しているため。
【開発環境】・開発言語： Python、SQL・DB: Aurora(PostgreSQL互換)、Redshift・検索エンジン： Amazon Elasticsearch Service・ライブラリ・フレームワーク：Pandas、Numpy、Dask・インフラ： Amazon Web Services・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

作業内容：PySperkを用いたデータ連携システムの構築工　程　：基本設計～総合試験開発環境：AWS、PySperk

・Python開発経験 、基本設計経験

・データ分析基盤の大規模な、追加開発・改造を実施予定。・DWH設計者（データ設計など）もしくは、DWH基盤構築（ツール設計など）

業務：プロダクトの分析業務を支える基盤の機能拡充ならびに運用自動化に関わる開発を担当いただきます。・データウェアハウスへのデータ連携を含む、データ基盤で動作するETL処理の開発・データパイプラインを管理・運用・監視する仕組みづくり・取り扱うデータのセキュリティやガバナンス対応・各種運用業務の自動化とドキュメント整備
環境：プログラミング言語: Python, SQLバージョン管理: Git/GitHubデータ分析基盤、環境: AWS, SnowflakeETLツール: trocco, Airbyte, dbt(導入準備中)IaCツール: TerraformBI: Redash, Google Spread Sheet, Looker Studioコミュニケーション: Slack, ClickUp, Notion

リモートワークをベースとしていますが、週1日程度出社日を設けています。週5未満の場合でも、出社日、スクラムイベントのため火曜は勤務日となるようお願いします。

クライアント社内で運用している需要予測・発注数量最適化ソリューションにおけるデータパイプライン、MLパイプラインの運用、エラー発生、顧客問い合わせ時の初動調査のご担当をいただきます。複数のクライアントの運用を行っており、各パイプラインの運用、さらには、将来的にはその開発まで対応を可能な方を期待しています。

・自社プロダクトであるデータ統合SaaSおよび、AWSやGoogle Cloud等のクラウドサービスを用いたデータ分析基盤構築・データ統合パイプラインの設計および実装・SQLを用いたデータマート作成、名寄せ、クレンジング等の実施・BIツールを用いたデータ可視化・外部サービス(CDP/MA/SFA等)とのデータ連携および活用の支援

携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。
・AWS：Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP：BigQuery, GCS, CloudFunction, CloudComposer,・DB：Redshift,PostgreSQL,Oracle,MySQL・リポジトリ：Github Enterprise,CodeCommit・コラボレーションツール：JIRA, Confluence, Backlog・コミュニケーションツール：Slack,Google Workspaces