Lead Data Engineer GCP
Meritis
Lead Data Engineer GCP
Meritis
IT transformation consulting and software development
Dans le cadre du développement d’une nouvelle plateforme de données dédiée au marketing et à la personnalisation client, nous recherchons un Lead Data Engineer (H/F) spécialisé dans les architectures de streaming temps réel sur Google Cloud Platform (GCP).
Vous intégrerez une nouvelle équipe et participerez à la construction d’une plateforme data moderne, évolutive et performante, depuis les premières phases de conception jusqu’à l’industrialisation des pipelines de données.
Vos missions :
Concevoir, développer et maintenir des pipelines de données en streaming temps réel sur GCP
Participer à la conception et à la construction d’architectures de streaming reposant notamment sur Apache Beam et Google Cloud Dataflow
Collecter, transformer, enrichir et fiabiliser des données à grande échelle, notamment les flux issus de Google Tag Manager
Concevoir des traitements adaptés aux contraintes du temps réel : gestion des fenêtres temporelles, agrégations continues, watermarks et traitement des événements tardifs
Contribuer à la mise en place d’une plateforme data moderne, scalable et résiliente, adaptée aux enjeux de marketing et de personnalisation client
Participer aux choix d’architecture et aux premières phases de construction du projet
Garantir la qualité, la performance et la fiabilité des pipelines développés
Mettre en place les bonnes pratiques de développement, de tests et d’intégration continue
Contribuer à l’industrialisation et à l’automatisation des déploiements grâce à des outils CI/CD et Infrastructure as Code
Développement : Java et/ou Python.
Streaming temps réel : Apache Beam, Google Cloud Dataflow, Apache Spark Streaming ou Apache Flink.
Concepts de streaming : Event Time vs Processing Time, Windowing, Continuous Aggregation, Watermarks et gestion des événements tardifs.
Environnement GCP : BigQuery, Dataflow, Dataproc et services associés.
Industrialisation : CI/CD, GitHub Actions, Terraform et Git.
Data Engineering : traitement de données à grande échelle, qualité des données, optimisation des performances et fiabilité des pipelines.
La maitrise de l'anglais (écrit et oral) est mandatory
Vous êtes force de proposition et autonome, avec un bon leadership
"Meritis est engagée dans la Responsabilité Sociétale des Entreprises. Nous valorisons notre impact positif sur la société et l'environnement. Notre démarche RSE guide chacune de nos actions pour promouvoir l'équité, la durabilité et le bien-être de nos collaborateurs. Rejoignez-nous pour être partie prenante de cette démarche responsable, où chacun de nos talents contribue à construire un avenir meilleur.
Nos différences sont nos atouts. C’est pourquoi Meritis s'implique en faveur de la diversité et de la non-discrimination. Tous nos métiers sont accessibles aux personnes en situation de handicap."
Meritis est un cabinet de conseil spécialisé dans la transformation numérique. Il réunit environ 600 consultants qui accompagnent les entreprises tout au long de la chaîne de valeur, du cadrage des projets au pilotage et au développement applicatif. Ses domaines d’expertise couvrent l’Architecture des systèmes d’information, le Cloud, la Data, le software engineering, la finance et la cybersécurité. Leurs agences se trouvent à Paris, Sophia Antipolis, Aix-en-Provence, Montpellier, Nantes et ils interviennent aussi à Rennes, Bordeaux et Lille. L’objectif est de donner un temps d’avance aux clients en connectant les meilleurs talents à leur transformation digitale. Meritis se distingue par son accompagnement personnalisé, des parcours de carrière et des formations adaptés, ainsi qu’une culture d’exigence, d’humilité, de bienveillance et de proximité, qui lui a valu plusieurs distinctions Great Place To Work.
Explore more opportunities at Meritis