Data Engineer Senior F/H
Role details
Job location
Tech stack
Job description
Maîtrise de Spark et Scala pour le traitement distribué des données.
-
Expérience significative avec Databricks (développement, déploiement et industrialisation).
-
Bonnes connaissances des bases de données SQL et NoSQL.
-
Expérience avec les écosystèmes Big Data et outils associés : Hadoop, Hive, Kafka, etc.
-
Compétences en programmation Python et/ou Java.
-
Connaissance des principes de gouvernance des données, qualité et bonnes pratiques de développement (CI/CD).
-
Compétences en monitoring et supervision des pipelines en production.
-
Capacités d'analyse, rigueur, attention au détail et sens du travail en équipe.
-
Certifications Databricks ou autres certifications Big Data appréciées. ???? Vos missions seront les suivants :
-
Concevoir, implémenter et optimiser des modèles et architectures pour stocker et traiter les données.
-
Déployer et industrialiser des pipelines de collecte, d'ingestion et de stockage de données sur Databricks et plateformes associées.
-
Implémenter, optimiser et maintenir des algorithmes de traitement distribués (Scala, Spark, Java).
-
Contrôler et évaluer la qualité des modèles et données ; définir et appliquer les règles de gouvernance.
-
Assurer la surveillance, le support et la maintenance des pipelines en production (alerting, logs, résilience).
Requirements
4 à 6 ans d'expérience en Data Engineering, idéalement sur des contextes industriels ou secteur public.
- Expertise opérationnelle sur Databricks et Spark/Scala ; pratique quotidienne de Python/Java.
- Solide expérience des systèmes distribués, ingestion de flux (Kafka), ETL/ELT et stockage (SQL/NoSQL, Data Lake).
- Esprit d'analyse, autonomie, sens de l'organisation et aptitude à résoudre des problèmes complexes.
- Bonnes qualités relationnelles et capacité à collaborer avec des interlocuteurs techniques et métiers.
- Sens de la qualité, rigueur et souci des bonnes pratiques (tests, CI/CD, monitoring).
- Certifications (Databricks, Cloud ou Big Data) : un plus.