Industrialisation de pipelines
Conception, developpement, tests, orchestration et livraison de flux batch ou streaming avec Spark, Kafka, Glue, Oozie, Jenkins, Ansible et GitLab CI.
Senior Data Engineer - Tech Lead Data - Nantes
Je construis des plateformes data fiables, lisibles et prêtes pour la production. Des plateformes data fiables, lisibles et prêtes pour la production.
J'accompagne les entreprises qui veulent fiabiliser leurs pipelines, migrer leurs plateformes Big Data, industrialiser leurs traitements Spark et remettre de la clarte dans des environnements data complexes.
- 6+ ans
- data engineering et production
- Spark
- Scala, Python, Java, batch et streaming
- Cloud
- AWS Glue, S3, Azure Databricks, Delta Lake
Ce que j'apporte
Un profil technique qui sait aussi tenir un projet jusqu'a la mise en production.
Mon terrain naturel : les pipelines critiques, les migrations de plateformes, la qualite des donnees, les performances Spark et les chaines CI/CD qui evitent les deploiements fragiles.
Je peux intervenir comme Senior Data Engineer pour produire vite et proprement, ou comme Tech Lead Data pour cadrer l'architecture, animer l'equipe et fluidifier les echanges entre technique et metier.
Savoir-faire
Des sujets data concrets, la ou les projets gagnent ou perdent en fiabilite.
Migration de plateformes data
Migration Teradata vers Azure Databricks, Hortonworks vers Cloudera, modernisation de traitements existants et accompagnement des equipes dans les nouveaux usages.
Performance et qualite
Optimisation Spark, partitionnement, cout/performance, observabilite, suivi de production, analyse d'incidents et amelioration de la tracabilite des donnees.
Leadership technique
Cadrage technique, animation agile, documentation, formation d'equipes Big Data et coordination avec les metiers pour transformer les besoins en livrables exploitables.
Realisations
Des environnements exigeants, avec des enjeux de production bien reels.
AWS
My Money Bank
Pipelines AWS modernes et MCO Semarchy XDI
Creation de traitements Spark/Scala sur AWS Glue, gestion des datasets sur S3, observabilite CloudWatch et maintien en conditions operationnelles de flux d'integration et de transformation.
DBX
SNCF DSI Voyageurs
Migration Teradata vers Azure Databricks
Pilotage technique d'une migration data sur des indicateurs strategiques : comptabilite des ventes, fidelite, abonnements, affluence, CO2 et kilometres/passager. CI/CD avec Jenkins et Ansible.
DLK
Credit Agricole Technologies et Services
Datalake bancaire, Spark et Kafka
Flux batch et streaming, migration Hortonworks vers Cloudera, workflows Oozie, supervision de production et accompagnement d'une equipe dans l'univers Big Data.
HDP
CNAM
Plateforme Big Data et outillage d'ingestion
Mise en place d'une plateforme Hadoop, traitements Spark/Nifi/Java/Shell, datalab, dashboards et outils de generation et d'ingestion automatique de donnees structurees et non structurees.
Stack
Une experience large, avec un coeur tres net : data engineering distribue.
Cloud et lakehouse
Azure Databricks, Unity Catalog, ADLS Gen2, Delta Lake, AWS S3, Glue, CloudWatch, EMR
Big Data
Spark Scala/Python/Java, Kafka, Hive, HDFS, Oozie, Nifi, Cloudera, Hortonworks, Semarchy XDI
DevOps et production
GitLab CI, Jenkins, Ansible, XLRelease, Nexus, Artifactory, Datadog, Kibana, Grafana
Data, BI et bases
Python, R, Tableau, Apache Superset, PostgreSQL, MySQL, Teradata, MongoDB, Cassandra
Parcours
Un parcours construit dans des contextes bancaires, transport et service public.
Senior Data Engineer - My Money Bank
AWS, Spark/Scala, Glue, S3, CloudWatch, Semarchy XDI.
Tech Lead Data - SNCF DSI Voyageurs
Migration Azure Databricks, Spark/Scala, CI/CD, Scrum Master.
Data Engineer - Credit Agricole Technologies et Services
Datalake bancaire, Kafka, Spark, Cloudera, Oozie, production.
Data Engineer - Caisse Nationale de l'Assurance Maladie
Hadoop, Spark, Nifi, Java, Shell, datalab et dashboards.
Travaillons ensemble
Vous avez un sujet data a fiabiliser, migrer ou industrialiser ?
Je suis base a Nantes et j'interviens sur des missions data engineering, cloud data platform, migration Big Data, leadership technique et mise en production.