仕事内容
スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。
【具体的には】
・パブリッククラウド(AWS、GCP、Azure など)上でのデータ基盤・データパイプラインの設計、構築、運用
・データ収集、加工、ストレージに関わるシステムの開発
・大規模データを対象としたETL (ELT) 処理の最適化
・リアルタイムデータの処理
・データクレンジング処理やデータマートの構築
・データの可視化および分析基盤の構築支援
・データパイプラインの品質管理、パフォーマンスの向上
・データウェアハウスの運用保守
・ステークホルダー(データアナリスト、データサイエンティストなど)との連携
・顧客との要件定義や設計フェーズでのコミュニケーション
【具体的には】
・パブリッククラウド(AWS、GCP、Azure など)上でのデータ基盤・データパイプラインの設計、構築、運用
・データ収集、加工、ストレージに関わるシステムの開発
・大規模データを対象としたETL (ELT) 処理の最適化
・リアルタイムデータの処理
・データクレンジング処理やデータマートの構築
・データの可視化および分析基盤の構築支援
・データパイプラインの品質管理、パフォーマンスの向上
・データウェアハウスの運用保守
・ステークホルダー(データアナリスト、データサイエンティストなど)との連携
・顧客との要件定義や設計フェーズでのコミュニケーション
応募資格
・ パブリッククラウド(AWS、GCP、Azure)を利用したデータ基盤の構築経験 (AmazonRedshift、GoogleBigQuery、AzureSynapseAnalyticsなど)
・ ETLプロセスの設計・開発経験(dbt、dagster、Airflow、Glue、Dataform、DataFactory、Kafka、AmazonKinesisなど)
・ Python、Java、またはScalaを用いたデータ処理の実務経験
・ SQLの高度なスキル
・ CI/CDツールを用いたパイプラインの自動化経験
【歓迎】
・ TerraformやCloudFormationを利用したIaC(InfrastructureasCode)の経験
・ BigQuery、Redshift、Snowflakeなどのクラウドデータウェアハウスの知識
・ ApacheAirflow、Kafka、Sparkなどのデータ処理ツールの利用経験
・ クエリ最適化やインデックス設計などデータベースのチューニング経験
・ ETLプロセスの設計・開発経験(dbt、dagster、Airflow、Glue、Dataform、DataFactory、Kafka、AmazonKinesisなど)
・ Python、Java、またはScalaを用いたデータ処理の実務経験
・ SQLの高度なスキル
・ CI/CDツールを用いたパイプラインの自動化経験
【歓迎】
・ TerraformやCloudFormationを利用したIaC(InfrastructureasCode)の経験
・ BigQuery、Redshift、Snowflakeなどのクラウドデータウェアハウスの知識
・ ApacheAirflow、Kafka、Sparkなどのデータ処理ツールの利用経験
・ クエリ最適化やインデックス設計などデータベースのチューニング経験