データエンジニアの案件一覧

【業務内容】
・データ要素追加、アプリケーション追加によるデータ処理(Go言語)の追加
・既存データ基盤(オンプレ、Kubernetes環境)の改修、検証、テスト
・各種ミドルウェア(CI/CD、監視、DB)の導入、検証、テスト
・データ基盤の量産
・顧客折衝

・新規データマート要件定義、既存集計フロー効率化
・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります
・データマート作成
・既存帳票(Excel,CSV)からSQL作成、BIでの可視化
・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務

• AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築
• 既存の基盤改修・改善
  ・データマート日次運用保守業務

【現場環境】
・プログラミング言語：　Python
・ライブラリ：　PySpark, pandas
・データベース：　AWS RDS (SQLServer), AWS Athena(trino)
・環境・OS：　AWS (Amazon Web Services), AWS Lambda, AWS Glue
・BIツール：　QuickSight　

統合顧客データベースの構想策定フェーズにおいて、構想検討を実施し要件定義まで一貫して実施していく必要があり、これらをサポートするポジション

１．新アーキテクチャ対応移行作業（単体テスト、結合テスト、システムテスト）
２．新アーキテクチャ対応移行作業（移行テスト、パフォーマンステスト、運用テスト）
３．既存ソースコードの修正（新アーキテクチャ対応移行作業）（AWS Lambda、AWS Glue）

内視鏡データ(動画)を管理するデータベースシステムの開発を中心に、次世代の内視鏡AIの開発の基盤となるサーバーシステムの開発をご担当いただきます。
<主な内容>
・動画データでのMLOps環境の開発/整備
・動画データとカルテ情報を紐づけた症例情報の管理システムの開発/運用
・アノテーションツール/サービスの開発・運用
データセンターの環境はCPUサーバー2台(ストレージ500TB)、GPUサーバー2台(DGX)で、LinuxサーバーでオンプレミスでKubernetesの環境を整備しています。
ストレージサービスはRook(Ceph)を検討しています。社内サービスはPythonをメインに開発しております。
内視鏡動画は1検査5分で10GB程度の大容量の動画となります。施設からHDDで受け取ったデータをサーバー上で効率よく管理し、動画によるAIの開発体制を作ることが目標です。

ETL処理（設計、実装、単体テスト、結合テスト、システムテスト）

クライアントへの見える化システムの開発に向けて、設計・開発を頂きます。

【主なサービス/ツール/技術】
AWS（EC2、S3、CodeCommit、RDS）Oracle、Snowflake、IICS（ETLツール）、Linux（Red Hat系）

・SQLの経験

社員もプロジェクトメンバに入れ、隣で一緒に分析＆座学しながら教育するプロジェクト
一定のデータ分析スキルとコンサルティングスキルを保有し、人に教えることができるスキル感があると良い

ビックデータを独自のAI分析で情報を加工し提供している会社にて、
ビッグデータ分析担当者が開発や検討を効率的に行えるようなライブラリ（API群）の設計・実装を行っていただきます。
主にビッグデータ定量評価、特徴量への加工・変換、計算、レポーティング機能などを開発いたします。

工程
要件定義、基本設計、詳細設計、構築、テスト