Cloud Engineer AWS
Role details
Job location
Tech stack
Job description
Gestion Cloud AWS
-
Administrer et configurer les ressources cloud utilisées par Databricks côté AWS.
-
Suivre les coûts, les quotas, les performances compute et les logs CloudWatch.
-
Gérer les rôles IAM, les politiques de sécurité, le VPC, les flux réseau, les ACL - notamment lors des incidents identifiés (ACL Databricks non conformes, etc.).
-
Adapter les environnements lors des optimisations ou montées de version.
Engineering & automatisation
- Industrialiser et automatiser les opérations via :
- Scripts (Python, Bash),
- CI/CD (GitHub Actions / Azure DevOps / autre),
- Terraform / IaC (si applicable).
- Automatiser les déploiements multi-pays
- Construire et maintenir l'outillage interne : monitoring, dashboards, diagnostics.
Administration Databricks
- Gérer les workspaces, clusters, policies, permissions, pools, jobs.
- Optimiser les configurations (Spark, compute, init scripts, network).
- Suivre et corriger les problèmes de configuration (ACL, networking, IAM, permissions).
- Superviser la stabilité des workloads (logs, monitoring, coûts, autoscaling).
- Gérer les environnements (prod, non-prod, sandbox) et leurs alignements.
Support technique & collaboration transverse : travailler étroitement avec les équipes data.
Requirements
Plateforme et cloud
- Databricks (clusters, policies, jobs, init scripts, monitoring).
- AWS : IAM, VPC, S3, CloudWatch, networking, sécurité.
- Unity Catalog : migrations, permissions, catalogage.
Industrialisation
- CI/CD (GitHub Actions, Azure DevOps, ou équivalent).
- Terraform / IaC (un plus).
- Python / Bash pour automatisation.
Data & gouvernance
- Connaissance des environnements Data Lake / Lakehouse.
- Concepts de gouvernance, quality, lineage, RBAC/ABAC.
Soft skills
- Communication claire avec équipes techniques et non techniques.
- Vision systémique & capacité à absorber des environnements complexes.
- Rigueur, résolution de problèmes (réseau, permissions, jobs, configurations).
- Capacité à documenter et standardiser.