Data Platform MS Fabric Databricks

Short Summary

Data Platform MS Fabric Databricks at Talan. About the employer Talan est un groupe international de conseil et d’expertises technologiques, qui accompagne et accélère la transformation digitale de ses clients par les leviers de la technologie, de la data et de l’innovation. Depuis plus de 20 ans, Talan conseille et accompagne les entreprises et les institutions publiques dans la définition et la mise en œuvre de leurs…

Key Details

• Position / opportunity: Data Platform MS Fabric Databricks
• Organization: Talan
• Country / coverage: Switzerland
• Location: Genève, , Switzerland
• Work arrangement: On-site
• Opportunity type: Jobs
• Sector: Information Technology
• Compensation: Not specified
• Application deadline: Not specified by source

Description

About the employer

Talan est un groupe international de conseil et d’expertises technologiques, qui accompagne et accélère la transformation digitale de ses clients par les leviers de la technologie, de la data et de l’innovation.

Depuis plus de 20 ans, Talan conseille et accompagne les entreprises et les institutions publiques dans la définition et la mise en œuvre de leurs projets de transformation et d'innovation en Suisse et à l'international.

Présent sur 5 continents dans 21 pays, le Groupe, certifié Great Place To Work, compte plus de 7000 collaborateurs.

Doté d'un Centre de recherche et d'innovation, Talan met l'innovation au cœur de son développement et intervient dans les domaines des mutations technologiques telles que l'Intelligence Artificielle, la Data Intelligence, la Blockchain, pour servir la croissance des grands groupes et des ETI dans une démarche engagée et responsable.

En plaçant la “Positive Innovation” au cœur de sa stratégie, Talan est convaincu que c’est en étant au service de l’humain que la technologie amplifie son impact sur la société tout entière.

#TalanSuisse

Responsibilities

Contexte de la mission

Dans le cadre de l’évolution d’une plateforme Data au sein d’un environnement bancaire, nous recherchons un Data Engineer expérimenté sur Databricks et Microsoft Fabric.

La mission consiste principalement à étendre la couverture fonctionnelle d’une plateforme Data existante en intégrant de nouveaux datasets selon des patterns et standards déjà définis.

L’architecture et le framework étant déjà en place, l’objectif n’est pas de redéfinir la solution, mais de déployer de nouveaux flux de données en respectant les modèles, règles de qualité et processus CI/CD existants.

Missions principales

Intégrer de nouveaux datasets au sein de la plateforme Data existante.

Configurer les nouveaux flux selon les patterns et standards établis.

Développer et adapter les traitements avec PySpark et SQL.

Définir correctement la modélisation des nouvelles données : dimensions, faits, granularité, clés métiers, SCD1/SCD2, snapshots.

Configurer les datasets à travers une approche déclarative, notamment via TOML.

Valider les données selon les règles de qualité et contrats existants.

Analyser et corriger les anomalies rencontrées lors de l'intégration des nouvelles sources.

Déployer les évolutions au travers des pipelines CI/CD Azure DevOps.

Diagnostiquer et résoudre les échecs liés aux quality gates et aux différentes étapes de promotion.

Comprendre fonctionnellement les données bancaires sources afin de garantir leur bonne intégration dans la plateforme.

Qualifications

Data Engineering

Solide expérience Databricks

Maîtrise de Delta Lake

Bonne connaissance de Unity Catalog

Connaissance de Change Data Feed

Très bon niveau en PySpark

Très bon niveau en SQL

Data Modelling

Capacité à déterminer pour chaque nouveau dataset :

dimension vs fact ;

SCD Type 1 vs SCD Type 2 ;

logique de snapshot ;

granularité ;

clés métiers naturelles ;

règles de transformation et de validation.

CI/CD & DevOps

Bonne maîtrise d'Azure DevOps

Expérience de pipelines CI/CD existants

Compréhension des mécanismes de gates et de promotion par branches

Capacité à diagnostiquer les erreurs de déploiement

Une exposition à Databricks Asset Bundles et/ou Terraform constitue un avantage.

Connaissance bancaire

Une expérience du secteur bancaire, idéalement en Private Banking / Wealth Management, est indispensable.

Bonne compréhension de données telles que :

positions ;

transactions ;

Assets under Management (AuM) ;

Net New Assets (NNA) ;

booking centers ;

hiérarchies clients.

La capacité à comprendre fonctionnellement des données provenant d'un Core Banking System est particulièrement importante.

Compétences appréciées

Expérience avec TOML ou des frameworks Data déclaratifs/config-driven

Expérience des patterns Auto CDC

SCD1 / SCD2

Kafka

Spark Declarative Pipelines

Connaissance de Microsoft Fabric

Expérience de la modélisation dimensionnelle

Connaissance de la méthodologie Kimball

Terraform

Additional information

Responsibilities

• Dans le cadre de l’évolution d’une plateforme Data au sein d’un environnement bancaire, nous recherchons un Data Engineer expérimenté sur Databricks et Microsoft Fabric.
• La mission consiste principalement à étendre la couverture fonctionnelle d’une plateforme Data existante en intégrant de nouveaux datasets selon des patterns et standards déjà définis.
• L’architecture et le framework étant déjà en place, l’objectif n’est pas de redéfinir la solution, mais de déployer de nouveaux flux de données en respectant les modèles, règles de qualité et processus CI/CD existants.
• Intégrer de nouveaux datasets au sein de la plateforme Data existante.
• Configurer les nouveaux flux selon les patterns et standards établis.
• Développer et adapter les traitements avec PySpark et SQL.
• Définir correctement la modélisation des nouvelles données : dimensions, faits, granularité, clés métiers, SCD1/SCD2, snapshots.
• Configurer les datasets à travers une approche déclarative, notamment via TOML.
• Valider les données selon les règles de qualité et contrats existants.
• Analyser et corriger les anomalies rencontrées lors de l'intégration des nouvelles sources.
• Déployer les évolutions au travers des pipelines CI/CD Azure DevOps.
• Diagnostiquer et résoudre les échecs liés aux quality gates et aux différentes étapes de promotion.

Requirements / Eligibility

• Data Engineering

  Solide expérience Databricks

  Maîtrise de Delta Lake

  Bonne connaissance de Unity Catalog

  Connaissance de Change Data Feed

  Très bon niveau en PySpark

  Très bon niveau en SQL

  Data Modelling

  Capacité à déterminer pour chaque nouveau dataset :

  dimension vs fact ;

  SCD Type 1 vs SCD Type 2 ;

  logique de snapshot ;

  granularité ;

  clés métiers naturelles ;

  règles de transformation et de validation.

  CI/CD & DevOps

  Bonne maîtrise d'Azure DevOps

  Expérience de pipelines CI/CD existants

  Compréhension des mécanismes de gates et de promotion par branches

  Capacité à diagnostiquer les erreurs de déploiement

  Une exposition à Databricks Asset Bundles et/ou Terraform constitue un avantage.

  Connaissance bancaire

  Une expérience du secteur bancaire, idéalement en Private Banking / Wealth Management, est indispensable.

  Bonne compréhension de données telles que :

  positions ;

  transactions ;

  Assets under Management (AuM) ;

  Net New Assets (NNA) ;

  booking centers ;

  hiérarchies clients.

  La capacité à comprendre fonctionnellement des données provenant d'un Core Banking System est particulièrement importante.

  Compétences appréciées

  Expérience avec TOML ou des frameworks Data déclaratifs/config-driven

  Expérience des patterns Auto CDC

  SCD1 / SCD2

  Kafka

  Spark Declarative Pipelines

  Connaissance de Microsoft Fabric

  Expérience de la modélisation dimensionnelle

  Connaissance de la méthodologie Kimball

  Terraform

How To Apply

Select Apply now to complete the application for this position. Submit the documents requested in the application form.