Dockerの案件一覧

【概要】
・在庫最適化システムを支えるデータ基盤の構築
・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増
・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、
集計後、データストアに投入する基盤の構築
・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制

【工程】
基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【開発環境】
・開発言語： Python、SQL
・DB: Aurora(PostgreSQL互換)、Redshift
・検索エンジン： Amazon Elasticsearch Service
・ライブラリ・フレームワーク：Pandas、Numpy、Dask
・インフラ： Amazon Web Services
・AWS製品： ECS、S3、Step Functions、Lambda、CloudWatch
・環境、ツール： Docker、GitHub、Jira、Slack、CircleCI、Sentry

Java(Springフレームワーク)を用いたWebシステムの開発を行います。

・DWH層テーブルの要件定義・設計・開発・保守
　 - 関係者からのヒアリング・データ調査
　 - メンテナンス性・汎用性を意識したテーブルの設計
　 - SQLおよびPySparkを用いた実装
・DWH層テーブルについての問い合わせ対応・不具合調査
・DWH層開発環境の設計・開発・保守・運用
[案件例]
・売上集計用DWH
・機能利用状況DWH
■開発環境
　言語＿＿＿＿：SQL,Python,ShellScript
　ＦW＿＿＿＿：Apache Spark
　環境・ＯＳ＿：GCP (Google Cloud Platform),AWS (Amazon Web Services)
　ツール＿＿＿：Docker,Terraform,digdag,JIRA,Github

大手半導体業界メーカーのデータ収集基板構築（オンプレサーバー上にて構築）に伴い、システム構築・データ処理などのプログラム開発、パフォーマンス検証等をご担当頂く方を募集します。

具体的な業務としては以下になります。
・データ種の追加やアプリケーション追加によるデータ処理(Go言語・コンテナアプリケーション)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修・検証・テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入・検証・テスト
・データ基盤の量産
・顧客との打ち合わせ (顧客のエンジニアおよび弊社メンバーと一緒に開発頂きます)

AIエンジニアとしてCSO、プロジェクトマネージャー等と連携しながら、
分散コンピューティング基盤 のコア技術部分への機械学習ライブラリ組み込み開発に携わって頂きます。

概　要：

世界各国で利用されるオンラインサービスにおけるデータ分析基盤の開発運用支援をお願い致します

【事業概要】

広告効果予測AIを活用した新しいクリエイティブ制作プロセスを確立し、高品質で広告効果の高い当たりクリエイティブの大量制作・納品・配信を可能にすることを目指します。
【業務概要】

新しいクリエイティブ制作プロセスを実現するための、クリエイティブ制作画面の新機能開発と保守運用を担当していただきます。
【業務詳細】

- 効果予測 API のリファクタ・アップデート ( Python, GKE, dbt )

- 新機能開発におけるアーキテクチャ選定、設計、実装 ( Python, GoogleCloud )

- 機械学習基盤、推論基盤のリファクタ・アップデート ( Python, Kubeflow, Vertex AI )

- データ処理パイプライン設計・実装 ( dbt, Embulk, Argo workflow, Dataflow )

- 自動テスト・デプロイ・インテグレーションの拡充 ( CloudBuild )

- サービス保守運用 ( アラート対応、再発防止案策定 )
【文化】

- 設計の見直しやリファクタを適切に行い、高いシステム品質と事業開発力の維持・強化を目指します

- 社内クリエイターから制作プロセスをヒアリングし、制作効率を改善するための施策をメンバーと議論をしながら設計・開発します
【利用ツール/言語】

Vue, TypeScript, Golang, Python, BigQuery, GKE など

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用

データ分析システム・サービスの監視設計・運用

日々の運用業務から発生する課題の解決・改善

　　　
技術要素(★が特に重要)

GoogleCloud

★Cloud Composer2（及びAirflow2）

★Cloud Dataproc（Apache Spark(scala)）

Cloud Build

Cloud Storage

BigQuery

Cloud Monitoring / Cloud Logging

AWS

★Kinesis firehose

★SQS / SNS

★ECS

★Lambda

ECR

S3

Cloud Watch

その他

GithubActions

Terraform

『作業内容』

調査、設計〜テスト
『開発環境』

フロントエンド：React（TypeScript）、wepack

バックエンド：Python

プラットフォーム：AWS

（CloudFront、Cognito、Batch、Lambda、CodeBuild、他多数使用）

データベース、ストレージ：Redshift、DynamoDB、S3

監視ツール：Cloudwatch、Sentry

仮想環境：Docker

その他開発ツール：VSCode、Jupyter nootbook

ソース管理：Github

プロジェクト管理：Backlog

コミュニケーション：Slack

ドラレコを用いた走行診断・事故対応システムのリファクタリング。

顧客向けにドラレコを活用した走行診断・事故対応システムをリリースしているが、全体最適化が出来ておらずランニングコストが高くなっている。

現システムに影響を出ない形でリファクタリングを実施し、段階的に変更した構成に移行する。

AWS上に、Python、Java等で構築されている。