kubernetesの案件一覧

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。
PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。

データ基盤要件定義
データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ
ル etc…)
データソースのインターフェイス特定 (REST API, FTP etc…)
データ加⼯(ETL)要件ヒアリング
データレイク設計 (Hadoop File System)
DWH設計/テーブル定義 (Apache Hive, Spark, HBase etc…)
データフロー設計 (Apache NiFi)
バッチアプリケーション作成 (Java, Shellスクリプト)
インフラセキュリティ対応 （SSL化対応、AD認証連携 etc…)

環境
オンプレサーバー (現地作業等は無し、リモートから接続)
OS: RHEL8HPE Ezmeral Data Fabric (Hadoop, Hive, Spark, NiFi etc…)
データ分散処理基盤にまつわるpache系OSSをまとめたパッケージ製品
(サポートが付くだけのようなイメージ)
HPE Ezmeral Runtime (≒ Kubernetes)
OpenShift等に⽐べ、より純正Kubernetesに近い
構成
データレイク: HDFS, minio(≒S3), HBase
DWH: Hive or Spark
ワークフロー: NiFi or Airflow
データ加⼯: Hive, Spark (シェルスクリプト/Java or Python)
BI: Tableau, Palantir (本募集スコープの作業範囲外)
体制
アジャイル開発 (スクラム)
メンバー10名程度
デイリーで午前にスクラムミーティング有り

3年以上のバックエンドまたはインフラ開発経験

機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築や、効率よくデータを捌くためのミドルウェア開発、インフラ構築など業務をおまかせします。
GCPデータ基盤とその活用案件、は既に多数存在するものの、さらなる拡充を狙った専門人材の募集となります。
IP(知的財産)ビジネスがドメインの事業会社において、全社へ大きな影響を与える分析部門にアサイン頂きます。

【業務スコープ】
分析官や機械学習エンジニアと連携しながら、速く安全に機械学習のサイクルを回せるML基盤の構築をお任せします。

■ ビジネス課題と要求の整理（案件の要件定義をPMと行える=足りない情報が何かを定義し、自身で要求できる）
■ 機械学習ワークフローの設計/開発/運用
■ データ提供のためのAPI設計/開発/運用（アプリ開発側との連携）
■ 機械学習モデルをより素早く安定的にデプロイできるようなCI/CDパイプラインの構築
■ ML基盤内へログデータを収集・蓄積・加工する、一連のデータパイプラインの設計/開発/運用

スマートシティ構想のクライアントにて主に以下の業務を依頼します。
[主要業務]
・Data Pipeline 設計、実装
・ML Ops 設計・実装 、 サービス・モデル
・データセキュリティ 設計、実装
・AI サービスAPIの設計、実装
・データ可視化サービスの設計、実装
・データ収集PoC 向けシステム設計、実装
[備考]
・daily scrum、sprint planning/review参加、報告（英語）
・PoC関連ドキュメント作成 （英語）
・メンバーとのdailyコミュニケーション（slack meet,f2f：英語）
[その他利用ツールなど環境]
・Python,AWS
・MS（Excel、Word、 Power Point）、G suite、Slack
・GitHub、JIRA/Confluence、Linux(CLI)

・GKE上に構築されたETLの保守
・ETLはOSSのDigdagとEmbulkを使用
・GKE上に構築されたRPAの保守
・RPAはセレニウム　Pythonでマクロを書くようなイメージ
・定期メンテ3ヶ月単位目安
・Google CloudやOSSを使用しているため、定期的なメンテナンスが必要
・ソフトウェア、ミドルウェアのアップデート対応
・Dockerfile で最新Verを指定してビルド＆デプロイして検証、問題なければリリース

※工数についてはご提示可能な工数で相談可能。

・Docker, Kubernetes, Python,Gitご経験

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝

内視鏡データ(動画)を管理するデータベースシステムの開発を中心に、次世代の内視鏡AIの開発の基盤となるサーバーシステムの開発をご担当いただきます。
<主な内容>
・動画データでのMLOps環境の開発/整備
・動画データとカルテ情報を紐づけた症例情報の管理システムの開発/運用
・アノテーションツール/サービスの開発・運用
データセンターの環境はCPUサーバー2台(ストレージ500TB)、GPUサーバー2台(DGX)で、LinuxサーバーでオンプレミスでKubernetesの環境を整備しています。
ストレージサービスはRook(Ceph)を検討しています。社内サービスはPythonをメインに開発しております。
内視鏡動画は1検査5分で10GB程度の大容量の動画となります。施設からHDDで受け取ったデータをサーバー上で効率よく管理し、動画によるAIの開発体制を作ることが目標です。

・社内システムのフロントエンドおよびバックエンドの開発/運用
　社内の運用および追加機能開発
・技術調査

【業務スコープ】
・社内システムの開発および運用
　　社内webアプリA：フロント/React, バック/Python
　　社内webアプリB：フロントおよびバック/Svelte
・要件定義、設計など上流工程
・ドキュメント整備
・社内メンバーからの不具合報告、問い合わせ等窓口対応
・技術調査

React, Python, Svelte
※ フロントエンドの言語優先
【環境】
・構成：GKE/Cloud SQL
・CI/CD：GitHub Actions
・監視ツール：Cloud Monitoring, datadog
・インフラ構成管理：Terraform
・コード管理：GitHub
・コミュニケーションツール類：Slack / Google Workspace / notion

【業務内容】
大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。

【ポイント】

• データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。
• 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。

【開発チームと配属先について】
当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。
今回お願いしたいポジションはサーバサイドエンジニアです。

チームには現在18名のエンジニアが在籍しています。
また、複数のプロダクトを管理しているチームのため、担当領域ごとにグループ分けをしています。

• Infeed領域の広告運用のためのプロダクトを開発するグループ
• インターネット広告関連データをデータレイクに蓄積するシステムを開発するグループ
• インターネット広告関連データが蓄積されたデータレイクを用いたデータ基盤を開発するグループ
• 機械学習を用いたプロダクトを開発するグループ
• 掲載情報や実績情報を出力・レポーティングするための分析用プロダクトを開発するグループ

【技術キーワード】

• ApacheSpark
• AWS Glue
• Snowflake
• データレイク/データウェアハウス/データマート

Rubyを中心とした運用保守及び開発業務となります。

開発手法：スクラム

Ruby経験3年以上

・エンタープライズ様向けにAI Saasサービスを展開されている会社様になります。
・具体的にはデータエンジニアとしてデータプラットフォームの企画およびアーキテクチャ設計や
データパイプラインの設計・構築といった業務に携わって頂きます。

【参画メリット】
・フルリモートですので、ご自身のリラックスできる環境で作業が可能です。
・AIを活用したモダンな開発環境がございますので、今後のスキルアップに繋がりやすいかと存じます。

【就業形態について】
現状、メンバーのほとんどはフルリモートにて業務を行っております。
週に何日かご出社をご希望の際にはご相談ください。