1 hour ago
Amsterdam, NetherlandsSenior
Responsibilities
- Productiewaardige datapipelines schrijven in Python en PySpark volgens de medallion-architectuur op Delta Lake.
- Data ontsluiten uit relationele en NoSQL-databases, Blob- en S3-opslag, REST API's en SFTP-servers.
- Unit-, integratie- en BDD-tests voor datatransformaties ontwikkelen en integreren in het CI/CD-proces in Azure DevOps.
- Datakwaliteitsvalidaties ontwerpen en implementeren om problemen vroegtijdig te signaleren.
- Samenwerken met data- en businessanalisten aan datamodellen en dataproducten.
- Technische oplossingen ontwerpen en implementeren binnen de software- en cloudarchitectuur van het dataplatform.
- Bijdragen aan kennisdeling, nieuwe tools presenteren en code reviews uitvoeren.
Requirements
- HBO/WO werk- en denkniveau met relevante werkervaring als data engineer.
- Ervaring met het schrijven van productiewaardige Python-code met een nette projectstructuur, herbruikbare componenten en foutafhandeling.
- Aantoonbare ervaring met schaalbare dataplatforms met PySpark en Delta Lake, inclusief partitionering, schema-evolutie, time travel en merge/upsert-patronen.
- Kennis van medallion-architectuur of vergelijkbare gelaagde dataplatformprincipes.
- Ervaring met het aansluiten van uiteenlopende bronsystemen en verschillende typen koppelingen.
- Ervaring met datakwaliteitsvalidaties en het borgen van datakwaliteit in processen.
- Ervaring met geautomatiseerd testen en CI/CD-pipelines.
- Vermogen om logische modellen en businessdefinities te vertalen naar fysieke datamodellen.
- Ervaring met de Azure-datastack, waaronder Synapse, Data Factory en Azure Functions, is een pré.
- Een achtergrond als backend developer, platform engineer, software consultant of AI engineer is welkom.
Benefits
- Salarisschaal van € 4.665 tot € 6.665 op basis van 40 uur, afhankelijk van kennis en ervaring.
- Vaste eindejaarsuitkering en prestatiebonus.
- Internetvergoeding en een NS Business Card, kilometervergoeding of elektrische Swapfiets.
- 29 vakantiedagen en één persoonlijke feestdag.
- Modern premievrij pensioen en goede opleidingsmogelijkheden.
- Veel vrijheid en verantwoordelijkheid.
- Hybride werken vanuit het kantoor in Amsterdam; minimaal 50% op kantoor, waarbij 100% op kantoor ook mogelijk is.
