Poste

Pour le compte de notre client, nous recherchons un consultant senior Data Engineer pour une mission de longue durée à Casablanca.

Missions :

• Conception de pipelines de données en intégrant  des sources de données variées (bases de données relationnelles, systèmes de fichiers, API, etc.)
• Développer des processus ETL/ELT Talend pour l’extraction, la transformation et le chargement des données en respectant les règles métier.
• Améliorer les performances des pipelines pour garantir la rapidité et l’efficacité du traitement des données.
• Gestion des infrastructures de données et sélection des technologies appropriées (bases de données NoSQL, Datalakes, data warehouses, ets).
• Définir une architecture de données évolutive.
• Gérer l’infrastructure dans des environnements cloud (AWS, Azure, Google Cloud) ou sur site, en tenant compte des besoins de scalabilité et de sécurité.
• Sécurité des données : Mettre en œuvre des politiques de sécurité (chiffrement, anonymisation, gestion des accès) pour garantir la confidentialité des données.
• Automatisation et monitoring des processus

Qualifications :

• Maitrise des langages : Python, Scala, SQL.
• Outils et frameworks : hadoop, Spark, Kafka.
• Bases de données : MySQL, PostgreSQL, Cassandra, Redshift, BigQuery.
• Gestion de version : Git.
• Orchestration : Airflow.
• Connaissances en DevOps : Docker, Kubernetes.