Data Engineer- Team Lakehouse

Omschrijving van de opdracht

Startdatum: zo snel mogelijk 
Einddatum: 16 juni 2025
Locatie: Utrecht/thuis
Uiterlijk aanbieden: 5 juni 13:00
Selectiegesprekken: zo snel mogelijk
Maximum tarief*: € 95,-
*Let op: Bovenstaand tarief is een max. all-in uurtarief (incl. o.a. reiskosten, faciliteiten, eventuele vergoedingen en de fee(s) voor onze contractmanager FastFlex, excl. btw). Het tarief weegt mee in het selectieproces.

Dit ga je doen
In jouw functie als Senior Data Engineer speel je een belangrijke rol in het beschikbaar krijgen en houden van data pipelines bij de NS. Als Senior Data Engineer in het team Lakehouse is het jouw rol om ervoor te zorgen dat deze data betrouwbaar is, maar ook op een efficiëntie en schaalbare manier verwerkt wordt. Daarnaast draag je zorg dat dit gebeurt op een manier die voldoet aan de eisen die er liggen met betrekking tot de security en privacy. 

In onze Azure cloud omgeving bouw je in een enthousiast team mee aan een datafundament waarin alle batch- en streaming databronnen ontsloten kunnen worden voor verder gebruik door interne- en externe afnemers. Je schakelt veel met collega´s, biedt oplossingen en zorgt voor verbetering. Ook speel je een grote rol in het opzetten en beheren van de continuous delivery pipeline waarbinnen de pipelines van ontwikkeling tot productie worden gerealiseerd. 

Hierin ben je succesvol doordat je jouw leergierigheid, motivatie en ‘getting-things-done mentaliteit’ slim inzet bij het:

• Het inrichten van data pipelines tussen bron, opslag en Analytics oplossing en tussen oplossing en eindgebruiker;

• Het inrichten van de continuous delivery pipeline voor data acquisitie, 

• Je ervaring en kennis inzet om te komen tot optimale solution architecturen, 

• Je proactief inzet in de begeleiding, coaching en skill opbouw van je teamleden.

Mindset

• De reiziger en bedrijfsdoelstellingen staan op 1, 2 en 3;

• Je neemt de gedeelde verantwoordelijkheid in team resultaten;

• Je geeft opbouwende feedback aan je teamgenoten en kunt feedback van je teamgenoten waarderen;

• Je vindt het leuk om met je team een autonome/zelf-organiserende aanpak te hanteren;

• Je hebt een proactieve houding;

• Je bent bereid tot het aannemen van disciplines die buiten je eigen expertisegebied liggen;

•  Je bent trots op je geschreven code en vindt kwalitatieve code schrijven belangrijk;

• Je bent leergierig en altijd op zoek naar nieuwe technieken om data te laden;

• Je vraagt je af hoe we de data beter, sneller en goedkoper kunnen ontsluiten;

• Als expert help jij ons om die extra stap te kunnen zetten!

Hier ga je werken
Welkom in de wereld van ‘DIA’ – Data, Innovatie & Analyse bij NS. DIA telt op dit moment ruim 300 medewerkers en we groeien iedere dag. Op het hoofdkantoor in Utrecht bij het Centraal Station en gedeeltelijk hybride vanuit huis bundelen collega’s hun krachten. Een mix van ervaringen en persoonlijkheden, die elkaar graag opzoeken om met elkaar te sparren en kennis te delen. In scrumteams werken we Agile samen om kwalitatief hoogwaardige en innovatieve dataproducten te leveren, die (interne) gebruikers snel en betrouwbaar inzicht geven om tot juiste acties te komen door het verzamelen, combineren, analyseren en presenteren van informatie. 

Over ons
Wij zijn Team Lakehouse. Een team van ontwikkelaars die de meest slimme oplossingen (in Python) bouwen binnen de dynamische afdeling Data, Innovatie & Analyse van NS. Wij richten ons op geavanceerde oplossingen voor het ontsluiten en beschikbaar stellen van Data. Het team bestaat uit gedreven professionals die samenwerken aan baanbrekende projecten. Door het vertrek van een teamlid zijn wij op zoek naar een Developer die ons team komt versterken.

Je bent verantwoordelijk voor het ontwikkelen en implementeren van nieuwe toepassingen. Je schrijft leesbare code, je analyseert wensen, behoeften en eisen van onze opdrachtgevers en vertaalt deze naar een ontwerp of plan. Daarnaast monitor, test en onderhoud je bestaande Python-bronontsluitingen en werk je daarin samen met de andere teamleden.

Dit zijn de eisen

Om je rol als Data Engineer succesvol in te vullen, vragen we het volgende van je:

• Je hebt een relevante opleiding afgerond op HBO/WO niveau; 

• 3-5 Jaar ervaring in het werken met gestructureerde datasets;

• Kennisdeling en coaching van je mede developers 

• Ervaring met data acquisitie architecturen, 

• Ervaring met technieken zoals Kafka, RabbitMQ en/of Event Hub;

• Ervaring met Infrastructure as Code te en bijvoorbeeld Terra form of andere

• Ervaring met het implementeren van security maatregelen binnen een cloud omgeving;

• Ervaring met cloud omgevingen, bij voorkeur Microsoft Azure;

• Ervaring met CI/CD pipelines schrijven, zoals in Azure DevOps of Jenkins;

• In staat een solution architectuur te bedenken, en gevraagd en ongevraagd advies te geven;

• Ervaring met Python en met minstens een van de programmeertalen:, Scala, Julia en/of Go;

• Ervaring met typescript of React voor het ontwikkelen van een front-end en bekend 

• Ervaring met het structureel monitoren van data kwaliteit en bepalen van kwaliteitsstandaarden;

Competenties

• Solution Engineering voor streaming en batch verwerking van databronnen

• Solution Engineering voor opslag en verwerking en toegang tot data leveringen 

• Expertise in het opzetten van Cloud oplossingen (bij voorkeur Microsoft Azure)

• Expertise in het opzetten van Security maatregelen in Cloud systemen (voorkeur Microsoft Azure).

• Expertise in het opzetten van Deployment Pipelines (bijv. Jenkins, Azure Pipelines)

• Expertise in het uitdenken en realiseren van Privacy vraagstukken rondom data.

• Data Engineering

• Ervaring met een basis set aan programmeertalen, zodat overstappen naar een andere taal geen probleem is.

• Ervaring met van data Pipelines, waarbij ook de monitoring en logging geïmplementeerd zijn.

• Development Frameworks

• Bekend met het implementeren van CI/CD oplossingen

• Bekend met version control (i.e. Git) 

• Clean code en code design vinden wij erg belangrijk, code die werkt is niet goed genoeg.

Op NS kun je rekenen
Werken bij NS betekent dat jij hét verschil kunt maken in de wereld van duurzame mobiliteit. Jij helpt mee om Nederland bereikbaar te houden, voor iedereen. Bij NS krijg je veel vrijheid. We beloven je dat geen dag hetzelfde is. De kernwaarden van NS zijn open en betrouwbaar. Wij gaan voor resultaat en willen vooruit.