Data Warehouse System Engineer

Job Title

Data Warehouse SE

Job description

We are seeking an experienced Data Warehouse SE (Data Platform Engineer) to lead the evolution of our enterprise data platform from a traditional Hadoop/Hive architecture to a modern cloud-native Lakehouse platform built on Apache Iceberg and object storage.

This role focuses on platform engineering, building and operating large-scale data infrastructure rather than developing business-specific data pipelines. The ideal candidate will have deep expertise in distributed data systems, cloud-native architectures, and large-scale data processing technologies.

You will be responsible for designing and delivering core platform capabilities including:

Compute-storage separation architectures

Apache Iceberg-based data lake implementations

Unified access frameworks across multiple processing engines (Spark, Flink, Trino, etc.)

Reliable operation of data workloads on Kubernetes and object storage

Solving large-scale engineering challenges related to performance, scalability, concurrency, cost optimization, and operational stability at PB-scale

Key Responsibilities:

Design, build, and operate an enterprise-scale Lakehouse platform based on Apache Iceberg to support batch, streaming, and incremental data workloads. Drive the migration from Hadoop/HDFS to cloud-native object storage architectures and implement compute-storage separation at scale. Develop and enhance core platform services, including metadata management, catalog systems, governance frameworks, and multi-engine data access capabilities. Optimize distributed processing engines such as Spark to improve performance, scalability, reliability, and cost efficiency in PB-scale environments. Build and operate cloud-native data platforms on Kubernetes, including workload orchestration, resource management, and operational automation. Integrate the platform with cloud ecosystems such as Azure, Databricks, and Snowflake to enable seamless data flow and interoperability. Develop internal platform components and engineering tools for data ingestion, orchestration, quality management, diagnostics, and AI-driven automation.

Required Skills

Expert-level knowledge of Apache Spark, including execution planning, shuffle processing, memory management, and performance optimization. Strong experience with Apache Iceberg, Hudi, or Delta Lake, including metadata architecture, snapshots, manifests, schema evolution, and partition evolution. Hands-on experience deploying and managing data workloads on Kubernetes, including Spark on Kubernetes, Operators, and resource scheduling. Solid understanding of cloud object storage platforms such as Azure Blob Storage, Amazon S3, or MinIO, including storage consistency and performance characteristics. Deep understanding of modern Lakehouse architecture, including Iceberg, Spark, Catalog services, and object storage ecosystems. Experience with at least one cloud data platform such as Azure, Databricks, or Snowflake. Strong software engineering and programming skills in Java, Scala, or Python.

Preferred Qualifications

Experience designing and delivering enterprise-level data platform solutions rather than single business applications. Hands-on experience with Lakehouse implementation, data lake modernization, or platform migration initiatives. Proven experience deploying and operating large-scale data platforms on Kubernetes. Strong track record of diagnosing and resolving complex performance issues in distributed systems. Experience reading, debugging, or contributing to open-source projects such as Spark, Iceberg, Flink, or Trino. Practical experience applying AI technologies to data platforms, including Data Agents, intelligent automation, or AI-assisted analytics.

Educational background and Working Experience

Bachelor's or Master's degree in Computer Science, Software Engineering, Information Systems, or a related technical field. Minimum 3 years of experience in large-scale data platform engineering or distributed data systems development. Proven experience building platform-level solutions rather than business-specific data engineering applications. Experience supporting PB-scale data environments or large distributed computing clusters is highly preferred. Experience leading or participating in Lakehouse modernization, Hadoop migration, or cloud-native data platform transformation projects is preferred. Experience migrating Hadoop/HDFS-based platforms to cloud-native architectures and object storage solutions is a strong plus. Fluent in Mandarin Chinese is a plus, particularly for collaboration with global engineering teams across multiple regions.

Compensation: The anticipated base salary range for this position is $70,000-105,000 annually.

Actual compensation will be determined based on experience, skills, qualifications, and business needs.

Titre du poste

Ingénieur(e) des systèmes – Entrepôt de données (Data Warehouse SE)

Description du poste

Nous sommes à la recherche d'un(e) ingénieur(e) des systèmes expérimenté(e) en entrepôt de données (ingénieur(e) de plateforme de données) pour diriger l'évolution de notre plateforme de données d'entreprise, en la faisant passer d'une architecture Hadoop/Hive traditionnelle vers une plateforme Lakehouse moderne et infonuagique native, bâtie sur Apache Iceberg et le stockage d'objets.

Ce rôle est axé sur l'ingénierie de plateforme, soit la construction et l'exploitation d'une infrastructure de données à grande échelle, plutôt que le développement de pipelines de données propres à des applications d'affaires. Le/la candidat(e) idéal(e) possède une expertise approfondie des systèmes de données distribués, des architectures infonuagiques natives et des technologies de traitement de données à grande échelle.

Vous serez responsable de la conception et de la livraison de capacités de plateforme essentielles, notamment :

Architectures à séparation du calcul et du stockage Implémentations de lacs de données basées sur Apache Iceberg Cadres d'accès unifiés à travers plusieurs moteurs de traitement (Spark, Flink, Trino, etc.) Exploitation fiable des charges de travail de données sur Kubernetes et le stockage d'objets Résolution de défis d'ingénierie à grande échelle liés à la performance, à l'évolutivité, à la concurrence, à l'optimisation des coûts et à la stabilité opérationnelle à l'échelle du pétaoctet (Po)

Principales responsabilités :

Concevoir, construire et exploiter une plateforme Lakehouse à l'échelle de l'entreprise, basée sur Apache Iceberg, afin de soutenir les charges de travail de données par lots, en continu et incrémentielles. Diriger la migration de Hadoop/HDFS vers des architectures de stockage d'objets infonuagiques natives et mettre en œuvre la séparation du calcul et du stockage à grande échelle. Développer et améliorer les services essentiels de la plateforme, y compris la gestion des métadonnées, les systèmes de catalogue, les cadres de gouvernance et les capacités d'accès aux données multi-moteurs. Optimiser les moteurs de traitement distribués tels que Spark afin d'améliorer la performance, l'évolutivité, la fiabilité et l'efficacité des coûts dans des environnements à l'échelle du pétaoctet. Construire et exploiter des plateformes de données infonuagiques natives sur Kubernetes, y compris l'orchestration des charges de travail, la gestion des ressources et l'automatisation opérationnelle. Intégrer la plateforme aux écosystèmes infonuagiques tels qu'Azure, Databricks et Snowflake afin de permettre un flux de données harmonieux et l'interopérabilité. Développer des composants de plateforme internes et des outils d'ingénierie pour l'ingestion de données, l'orchestration, la gestion de la qualité, le diagnostic et l'automatisation basée sur l'intelligence artificielle.

Compétences requises

Connaissance de niveau expert d'Apache Spark, y compris la planification d'exécution, le traitement du « shuffle », la gestion de la mémoire et l'optimisation de la performance. Solide expérience avec Apache Iceberg, Hudi ou Delta Lake, y compris l'architecture des métadonnées, les instantanés (snapshots), les manifestes, l'évolution des schémas et l'évolution des partitions. Expérience pratique du déploiement et de la gestion des charges de travail de données sur Kubernetes, y compris Spark sur Kubernetes, les Operators et l'ordonnancement des ressources. Solide compréhension des plateformes de stockage d'objets infonuagiques telles qu'Azure Blob Storage, Amazon S3 ou MinIO, y compris la cohérence du stockage et les caractéristiques de performance. Compréhension approfondie de l'architecture Lakehouse moderne, y compris Iceberg, Spark, les services de catalogue et les écosystèmes de stockage d'objets. Expérience avec au moins une plateforme de données infonuagique telle qu'Azure, Databricks ou Snowflake. Solides compétences en génie logiciel et en programmation en Java, Scala ou Python.

Qualifications souhaitées

Expérience dans la conception et la livraison de solutions de plateforme de données à l'échelle de l'entreprise, plutôt que d'applications d'affaires isolées. Expérience pratique de la mise en œuvre de Lakehouse, de la modernisation de lacs de données ou d'initiatives de migration de plateformes. Expérience avérée dans le déploiement et l'exploitation de plateformes de données à grande échelle sur Kubernetes. Solide feuille de route dans le diagnostic et la résolution de problèmes de performance complexes dans les systèmes distribués. Expérience dans la lecture, le débogage ou la contribution à des projets libres tels que Spark, Iceberg, Flink ou Trino. Expérience pratique de l'application de technologies d'intelligence artificielle aux plateformes de données, y compris les agents de données (Data Agents), l'automatisation intelligente ou l'analytique assistée par l'IA.

Formation et expérience de travail

Baccalauréat ou maîtrise en informatique, en génie logiciel, en systèmes d'information ou dans un domaine technique connexe. Minimum de 3 ans d'expérience en ingénierie de plateformes de données à grande échelle ou en développement de systèmes de données distribués. Expérience avérée dans la construction de solutions au niveau de la plateforme, plutôt que d'applications d'ingénierie de données propres à des besoins d'affaires. Expérience de soutien d'environnements de données à l'échelle du pétaoctet ou de grappes informatiques distribuées à grande échelle fortement souhaitée. Expérience dans la direction ou la participation à des projets de modernisation Lakehouse, de migration Hadoop ou de transformation de plateforme de données infonuagique native souhaitée. Expérience dans la migration de plateformes basées sur Hadoop/HDFS vers des architectures infonuagiques natives et des solutions de stockage d'objets, un atout important. Maîtrise du mandarin, un atout, particulièrement pour la collaboration avec des équipes d'ingénierie internationales réparties dans plusieurs régions.

Rémunération : L'échelle salariale de base prévue pour ce poste se situe entre 70 000 $ et 105 000 $ par année.

La rémunération réelle sera déterminée en fonction de l'expérience, des compétences, des qualifications et des besoins de l'entreprise.