Data Engineer
Description du Poste
Data Engineer — Plateforme de détection de fraude (+ de 5 ans d’expérience)
Le contexte
Le Data Engineer intègre l'équipe en charge d'Orionis, une plateforme de détection de fraude télécom en temps réel, déployée dans un environnement cloud industriel (Kubernetes). Le projet couvre l'intégralité de la chaîne de la donnée : ingestion de flux télécom, normalisation, scoring par des modèles de machine Learning (Khiops/Kubeflow MPI), et restitution des alertes à des analystes fraude via une interface web dédiée.
Profil recherché
Le profil doit justifier de plus de 6 ans d'expérience dans le développement des pipelines de traitement de données, avec une maîtrise solide de Spark et Kafka. Le profil code en Scala et en Python de façon rigoureuse : code testé, documenté, maintenable. Le profil est à l'aise dans un environnement Kubernetes et sait lire et écrire des Helm Charts.
Le profil est autonome, orienté fiabilité et apprécie les environnements où précision technique et enjeux opératinnels se combinent directement.
Missions
Conception et exploitation des pipelines de données : Le profil développe et maintient les jobs. Le profil est responsable de la fiabilité et de la performance de ces pipelines en production.
Intégration des modèles de scoring : En lien étroit avec l'équipe métier, le profil intègre les modèles Khiops/MPI dans les pipelines de traitement : Preprocessing, application des règles métier, construction des tableaux de scores et d'alertes, alimentation et versioning de la base de connaissances, et suivi des performances modèles.
Développement et maintenance du frontend : Le profil maintient et fait évoluer les IHMs de la plateforme ORIONIS.
Infrastructure, déploiements et CI/CD : Le profil participe activement aux déploiements Helm Charts sur Kubernetes, maintient les pipelines CI/CD GitLab et gère les scripts SQL lors des mises en production de nouvelles versions.
Qualité, tests et documentation : Le profil rédige et maintient les tests unitaires et contribue aux tests d'intégration. Le profil documente les décisions d'architecture et produit les schémas techniques.
Stack Technique
|
Domaine |
Technologies |
|
Streaming & ingestion |
Spark, Kafka |
|
Stockage |
S3, MariaDB / MySQL |
|
Orchestration |
Apache Airflow, Kubernetes, Helm Charts |
|
Langages |
Scala, Python |
|
CI/CD & DevOps |
GitLab CI/CD, Docker, docker-compose |
|
ML & scoring |
Khiops / Kubeflow MPI |
|
Tests |
Behave, Playwright, tests unitaires |
|
Monitoring |
Splunk |
|
Front-end |
RiotJS 3.x, Elm (pattern MVU) |