Data Platform Engineer H/F
Role details
Job location
Tech stack
Job description
Au sein de l'équipe, vous serez responsable de la conception, du développement et de la maintenance de pipelines de données sécurisés, scalables et fiables, permettant de soutenir l'analytique d'entreprise et la prise de décision basée sur les données.
La collaboration avec les analystes, les équipes applicatives et les équipes sécurité est essentielle afin de fournir des solutions data robustes alignées avec les standards et exigences de sécurité de l'entreprise.
Vous appliquerez les bonnes pratiques DataOps (CI/CD, gestion de version, tests automatisés, documentation) tout en assurant le support des environnements de production via la supervision, le troubleshooting et l'amélioration continue.
Conception et ingénierie des pipelines de données
- Concevoir, développer et maintenir des pipelines de données sécurisés, scalables et fiables supportant l'analytique d'entreprise et la prise de décision basée sur les données.
- Collaborer avec les analystes, les équipes applicatives ainsi que les équipes cloud, infrastructure et sécurité afin de traduire les besoins métiers en solutions techniques robustes.
- Développer et gérer les processus d'ingestion, de transformation et d'intégration des données en utilisant la stack technologique sélectionnée par DDS (Microsoft Fabric, Azure, Terraform et certaines technologies open source).
- Implémenter et maintenir des modèles de données optimisés pour l'analyse, le reporting et les usages downstream.
- Appliquer les bonnes pratiques d'ingénierie : CI/CD, gestion de version, tests automatisés et documentation.
- Mettre en place et maintenir les pipelines CI/CD pour les traitements data via l'intégration GitHub et/ou les pipelines Azure DevOps.
- Utiliser l'Infrastructure as Code (Terraform) pour permettre le provisioning reproductible des environnements et la promotion contrôlée entre les environnements.
Fiabilité de la plateforme, qualité et opérations
- Garantir la qualité, la cohérence, la disponibilité et la performance des données sur la plateforme data.
- Superviser, diagnostiquer et résoudre les incidents sur les pipelines de données en production et les composants de la plateforme.
- Participer aux activités opérationnelles : gestion des incidents, optimisation des performances, planification de capacité.
- Contribuer à l'amélioration continue des standards d'ingénierie et à l'évolution de la plateforme.
Accompagnement des utilisateurs internes de la plateforme data
- Assurer l'onboarding, la documentation et la diffusion des bonnes pratiques.
- Accompagner les analystes et équipes applicatives dans l'utilisation des composants de la plateforme.
- Contribuer aux sujets de gouvernance des données (sécurité, gestion des accès, règles de qualité des données)., Notre activité couvre la totalité des cycles de vie d'un Système d'information (Pilotage et Gestion de projet, Conseil en MOA, Conception Réalisation, Maintenance, Production Exploitation).
Requirements
Diplôme de niveau Bachelor / Bac +3 minimum en informatique, ingénierie logicielle, data, informatique de gestion ou expérience équivalente.
5+ ans d'expérience en Data Engineering dans des environnements de production, incluant ETL/ELT, data warehouse et modélisation de données.
Solide expérience avec les technologies de data engineering telles que :
bases de données relationnelles et non relationnelles
Microsoft Fabric
services data Microsoft Azure
technologies open source data
Power BI
Très bonne maîtrise du SQL ; Python fortement recommandé, avec une expérience pratique de PySpark.
Expérience avec des plateformes data cloud et le traitement de données distribué.
Bonne compréhension des principes de sécurité des données, de contrôle des accès et de gouvernance dans un environnement IT d'entreprise.
Connaissance des pratiques DevOps et DataOps, incluant les pipelines CI/CD, GitHub, Azure DevOps et l'Infrastructure as Code avec Terraform.
Capacités de communication et de collaboration : capacité à documenter clairement les fonctionnalités de la plateforme et à former/supporter les équipes d'ingénierie sur les outils, processus et bonnes pratiques.
Anglais courant (niveau B2-C1) à l'écrit et à l'oral.
