Description du poste :

Nous recherchons un(e) Senior Data Engineer pour contribuer à l'industrialisation de solutions Data et Intelligence Artificielle au sein d'une plateforme Analytics basée sur Databricks et AWS.

Vous interviendrez dans un environnement Agile et collaborerez étroitement avec les équipes Data Engineering, Data Science, Cloud et Produit afin de concevoir des solutions performantes, évolutives et industrialisées.

Missions :

• Industrialiser les cas d'usage Analytics et Machine Learning développés sous Databricks.

• Concevoir, développer et maintenir des pipelines de données distribués à grande échelle.

• Définir et promouvoir les bonnes pratiques de développement, d'architecture et de qualité logicielle.

• Mettre en place des frameworks, templates et composants réutilisables pour accélérer les développements.

• Réaliser des revues de code et accompagner les équipes dans l'amélioration continue de la qualité des livrables.

• Optimiser les pipelines existants afin d'améliorer leurs performances, leur fiabilité et leur maintenabilité.

• Participer au déploiement en production des solutions Data et IA.

• Administrer et faire évoluer l'environnement Databricks.

• Renforcer la gouvernance des données, la sécurité et la gestion des accès.

• Optimiser les coûts d'infrastructure Cloud.

• Accompagner les utilisateurs de la plateforme et contribuer aux actions de formation et de montée en compétences.

• Participer aux choix d'architecture et aux orientations techniques de la plateforme.

Profil Recherché :

Expérience :

• Minimum 6 à 7 ans d'expérience en Data Engineering.

• Au moins 3 ans d'expérience sur Databricks.

• Expérience confirmée dans l'industrialisation de solutions Analytics ou Machine Learning.

• Solide expérience dans la conception et l'exploitation de pipelines distribués avec Apache Spark.

• Expérience significative sur des environnements Cloud AWS.

Compétences techniques :

• Excellente maîtrise de Python, PySpark et SQL.

• Expertise de Databricks (administration, gouvernance, optimisation et industrialisation).

• Bonne maîtrise des architectures Lakehouse et de Delta Lake.

• Solide expérience avec Apache Spark.

• Maîtrise des services AWS, notamment S3, ECS et Fargate.

• Expérience avec Apache Airflow pour l'orchestration des workflows.

• Bonne connaissance de Docker et des pratiques de conteneurisation.

• Maîtrise des outils GitLab et des pipelines CI/CD.

• Bonne maîtrise de Terraform et de l'Infrastructure as Code.

• Connaissance du cycle de vie des modèles de Machine Learning (MLflow).

• Des connaissances en TensorFlow ou PyTorch constituent un atout.

Environnement techniques :

• Cloud : AWS (S3, ECS, Fargate)

• Data Platform : Databricks, Delta Lake, Lakehouse Architecture

• Data Engineering : Apache Spark, PySpark, SQL

• Machine Learning : MLflow, TensorFlow, PyTorch, Scikit-learn

• Orchestration : Apache Airflow

• DevOps : GitLab, CI/CD

• Infrastructure as Code : Terraform

• Conteneurisation : Docker

• Méthodologie : Agile / Scrum

Soft skills :

• Esprit d'analyse et capacité à proposer des solutions innovantes.

• Excellentes compétences en communication.

• Goût pour le partage de connaissances et l'accompagnement des équipes.

• Autonomie, rigueur et sens du détail.

• Capacité à évoluer dans un environnement international et multidisciplinaire.