データエンジニアの案件一覧

位置情報プラットフォームを運営するエンドクライアントにてデータエンジニアを募集しております。

【背景と期待する役割】
顧客ごとやプロダクトごとにデータマート作成しているため、新規顧客が増えるごとにdbtを利用しデータパイプラインを整える必要があります。
組織の拡大のため要件の判断から一人称で行える即戦力の人材が必要になっております。

【業務スコープ】
・dbtを用いたデータモデリング
・dbtを用いたデータパイプラインの構築
・BigqueryからSnowflakeへの移行
※ご経験があれば

【体制】
7，8名程度（業務委託含む）

pandas ライブラリを利用した ETL 処理
をしていただきます。

担当フェイズ
設計～開発～テスト

LaKeel BIからpowerBIにダッシュボードの移行作業をお願いいたします。

■業務内容
LaKeel BIで開発した下記のレポートやグラフの移行作業と改善業務
・販売系の実用予測のレポート
・PLの管理会計のグラフ
・プロモーション広告費の費用対効果の分析レポート

■チームメンバー構成
3名体制
その内のメンバーポジションの募集になります。

クライアントでは「商品名○○」など、クライアントの提供する各種サービスをひとつのIDで使用できる統合管理システム「●●」を運用しております。
今回のポジションは議事録、通話データなどの多様なデータをデジタル化し、統合管理をするデータプラットフォームの構築がメインミッションとなります。

クライアントのデータエンジニアとして、CTO、CSO等と連携しながら、データインテグレーションに関する企画・開発全般をご担当いただきます。

＜具体的な業務内容＞
・データプラットフォームの企画およびアーキテクチャ設計
・データパイプラインの設計・構築
・データ分析のためのBIの開発・運用
・継続的なモニタリングプロセスの構築・運用
・データサイエンティスト、データアナリストが作成する分析フローの運用改善支援
・顧客データ活用の実態やドメイン知識の理解
・CTO、CSO等と連携し、プロジェクトの目的・方針・計画等の策定 等

技術環境
＜プロダクト開発部＞
言語：TypeScript, Python, Flutter
フレームワーク：Vue.js, Nuxt.js,Node.js
データベース：Cloud Firestore
インフラ：AWS, GCP, Azure, Cloud Firebase, Cloud Functions
ソースコード管理：Bitbucket
プロジェクト管理ツール：Notion, JIRA
コミュニケーションツール：Zoom, Slack, Google Workspace

＜R&D部門＞
開発言語：Python
フレームワーク：PyTorch, HuggingFace, SpeechBrain, scikit-learn

現行水準のままでのHW,SWのリプレース
本番環境（東京）、災対環境（大阪）の2拠点の更改を行います。

工程
基盤　構築・単体テスト～システムテスト

・Linux(RedHat)、WAS、HULFT、JP1、Oracle、LifeKeeperの構築経験（一人称で対応可能な方）

以下現在進んでいるプロジェクトにおいてクライアントのリーダーと共に参画していただき環境の構築をお願いできればと思います。

【プロジェクト進捗】
・現在客先でもっているDBを収集、可視化、分析したい依頼を受けておりプラットフォームはすでにできている
状態
・DBは試行錯誤したなかでCassandraでのPOCをはじめており機械の製造に当たるデータが時系列で出てくる

・いままではファイルだったがリソースがいっぱいで動かなくなってきたのでスペックアップして仮想環境を作りアプリの分散化を図っている

※すべてを満たさなくても提案可能です。
・Linuxでの環境構築
・NoSQL　Cassandraまたは、DYNAMOの環境構築経験（複数ノードでの構築）
・CQL（Cassandra Query Language）の利用経験
・Bigdataに関する知見

・データユーザーからの要求をくみとり的確なデータとフローの設計を行い、パイプラインの構築や
　パイプラインを動かすデータ分析基盤の運用保守を行っていただきます。

・Google Cloud、AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用と
　日々の運用業務から発生する課題の解決・改善を行っていただきます。

・BigQuery、Cloud Composer(Airflow)、Pythonの実務利用経験
・Embulk、DigDagの利用経験
・Linuxサーバの運用保守経験
・AWS、GCPいずれかのクラウドサービスの開発及び運用経験

AWS Lambda(Python)でPostgreSQLのテーブルをSELECTする処理60本の量産・単体テスト
サンプルコードあり。抽出条件も更新日付のみのため比較的イージー。（★4月直近でやっていただきたい作業）
ETL処理の開発、単体テスト
結合テスト、システムテスト、運用テストの実施要員

・SQL開発経験
・Pythonの経験

■作業(概要）
・作業フェーズ
開発、単体テスト、結合テスト、システムテスト、UAT

パイプライン開発者
Azure Data FactoryおよびTransat-SQLにデータレイクからデータを加工してデータマートに格納する
DB：SQL Serverを使用

大規模言語モデル（LLM）を利用したセキュアなシステムの開発、社内データとの統合を含む。
LLMの開発における深い技術知識の活用、社内データソースとの接続を可能にするためのインフラ構築。
技術戦略および戦術の策定と実施、データの利活用を最大化するためのアプローチの開発。
開発に必要なリソースの設計と管理、データアクセスと分析のためのシステムの構築。

主な担当業務：現状分析、データ活用の施策決め、データの可視化、データオペレーション

業務例①：XplentyやSnowflake、Amazon Redsift、Amazon QuickSight等のツールを用いて、お客様のデータを可視化し、経営判断等に使用可能な有用なデータをマイニングできるようにする。

業務例②：生成AI用のデータの準備やデータフローの設計・実装を行う。

技術戦略の立案と実行経験、データ利活用に関する知識。