NEXTON

Builds digital projects for large French firms

Data Engineer PySpark

Data EngineeringPosted on Nov 12

Full-timeÎle-de-France, FranceNo salary listedIn-person

About the Job

Requirements

At least 5 years of experience developing data projects.
Advanced mastery of PySpark, including distributed development, Spark job optimization, memory management, and partitioning.
Strong SQL expertise, including complex querying, performance optimization, and data warehouse modeling.
Confirmed experience with dbt, including model development, macros, data tests, and documentation.
Advanced knowledge of the AWS cloud ecosystem, including S3, Glue, EMR, Redshift, IAM, and Lambda.
Proficiency with Terraform for provisioning and automating cloud resource management.
Knowledge of software development best practices, including Git, continuous integration and continuous delivery (CI/CD), and unit and integration testing.
Ability to diagnose data-processing bottlenecks and propose effective solutions.
Ability to explain technical topics to business and technical stakeholders.
Ability to collaborate in multidisciplinary teams in an Agile environment.
Ability to work autonomously, take initiative, and contribute to data architecture decisions.
Active interest in developments in cloud and data technologies.

Responsibilities

Design, develop, and maintain large-scale data-processing pipelines using PySpark.
Build and optimize data models and advanced data-processing techniques.
Implement Big Data architectures on AWS using services such as S3, EMR, Lambda, and Snowflake.
Develop using SQL, Snowflake, Scala, GitLab CI/CD, and Apache Spark for large-scale data processing.
Automate workflows using Apache Airflow and dbt to orchestrate pipelines.
Design and expose performant APIs for serving data, using technologies including Scala, Spark, Terraform, GitLab CI/CD, ECS Fargate, Kinesis, DynamoDB, and S3.
Optimize performance and ensure system scalability to support a large number of users.

Description du poste

NEXTON recrute un Data Engineer PySpark H/F, en CDI, à Paris !

Ton futur environnement de travail :

Au sein d'un de nos clients grands comptes, dans l'univers des médias, tu interviens dans le programme Data chargé d'aider à la prise décisionnelle.

Tes missions :

En tant que Data Engineer, tes principales missions sont :

Tu Conçois, développe et maintient des pipelines de traitement de données massives en PySpark.
Tu construis et optimises des modèles de données et des techniques avancées de traitement de données.
Tu mets en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).
Tu développes en SQL, Snowflake, Scala, Gitlab CI/CD et exploiter Apache Spark pour le traitement massif des données.
Tu automatises les workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
Tu conçois et exposes des APIs performantes pour servir les données (Scala, Spark, Terraform, Gitlab CI CD, ECS Fargate, Kinesis, DynamoDB, S3, etc.).
Tu optimises les performances et garantis la scalabilité du système pour gérer un grand volume d’utilisateurs.

Qualifications

Tu possèdes au minimum 5 ans d'expérience dans le développement de projets Data.

Tes qualités et compétences techniques sont les suivantes :

Maîtrise approfondie de PySpark (développement distribué, optimisation des jobs Spark, gestion de la mémoire et du partitionnement).
Solide expertise en SQL (requêtage complexe, optimisation de performances, modélisation de data warehouses).
Expérience confirmée sur dbt (développement de modèles, macros, tests de données, documentation).
Connaissance avancée de l'écosystème Cloud AWS (S3, Glue, EMR, Redshift, IAM, Lambda, etc.).
Maîtrise de Terraform pour le provisionnement et la gestion automatisée des ressources Cloud.
Bonnes pratiques de développement logiciel (Git, CI/CD, tests unitaires et d'intégration).

Tes qualités et compétences transverses sont les suivantes :

Esprit d'analyse et de résolution de problèmes : Capacité à diagnostiquer rapidement les goulets d'étranglement sur les traitements de données et à proposer des solutions efficaces.
Communication : Aptitude à vulgariser des sujets techniques auprès d'interlocuteurs métiers et techniques.
Travail en équipe : Capacité à collaborer au sein d'équipes pluridisciplinaires en environnement Agile.
Autonomie et proactivité : Capacité à prendre des initiatives et à être force de proposition sur les choix d'architecture Data.
Curiosité technique : Veille active sur les évolutions des technologies Cloud et Data.

Informations supplémentaires

Pourquoi choisir NEXTON ?

Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l'année :

▶ Des communautés dynamiques pour t'accompagner dans ton parcours.

▶ Des Meet Up pour développer tes compétences.

▶ Des formations pour te réinventer et progresser.

▶ Des événements sportifs et festifs pour t'épanouir.

▶ Un forfait mobilité durable pour faciliter ton quotidien et encourager la mobilité douce.

▶ Un téléphone de dernière génération pour rester connecté.

Prêt à nous rejoindre ? Rencontrons-nous !

NEXTON

About the Company

NEXTON

Builds digital projects for large French firms

NEXTON plans and builds digital projects for large French companies and online businesses, combining digital strategy with software development and marketing. Its teams cover product management, user-experience design, agile delivery and data work, and build websites, mobile applications and customer communications. Clients pay for specialist consultants assigned to their teams or for projects delivered by NEXTON's own agency. The agency combines designers, developers and marketing specialists to handle projects from planning and interface design through development and delivery. Founded in Paris in 2011, NEXTON is headquartered there at 5-7 rue Saint-Fiacre and operates across France.

Company size: Not listed
Company stage: Not listed
Total funding: Not listed
Headquarters: Paris, France
Founded: 2011

Recently Posted Jobs

Explore more opportunities at NEXTON

See more jobs