Poste
Pour le compte de notre client, nous recrutons un Consultant Data engineer pour une mission freelance de longue durée à Casablanca.
Profil
Ingénieur en informatique de formation (ou équivalent), vous justifiez d'une expérience d'au moins 5 ans dans un poste similaire.
Missions :
- Conception de pipelines de
données en intégrant des sources de données variées (bases de données
relationnelles, systèmes de fichiers, API, etc.)
- Développer des processus ETL/ELT Talend pour l’extraction, la transformation
et le chargement des données en respectant les règles métier.
- Améliorer les performances des pipelines pour garantir la rapidité et
l’efficacité du traitement des données.
- Gestion des infrastructures de données et sélection des technologies
appropriées (bases de données NoSQL, Datalakes, data warehouses, ets).
- Définir une architecture de données évolutive.
- Gérer l’infrastructure dans des environnements cloud (AWS, Azure, Google
Cloud) ou sur site, en tenant compte des besoins de scalabilité et de sécurité.
- Sécurité des données : Mettre en œuvre des politiques de sécurité
(chiffrement, anonymisation, gestion des accès) pour garantir la
confidentialité des données.
- Automatisation et monitoring des processus
Compétences :
- Maitrise des langages : Python,
Scala, SQL.
- Outils et frameworks : hadoop, Spark, Kafka.
- Bases de données : MySQL, PostgreSQL, Cassandra, Redshift, BigQuery.
- Gestion de version : Git.
- Orchestration : Airflow.
- Connaissances en DevOps : Docker, Kubernetes.
Aptitudes / Qualités personnelles requises :
• Engagement.
• Solidarité, Audace et Curiosité.
• Rigueur et Pragmatisme.
• Méthode et analyse.
• Autonomie.