Ontwikkeling van een schaalbare data-infrastructuur voor het Entrance Data Platform

ENTRANCE is een proeftuin voor energietransitie waarin studenten, docenten, bedrijven en overheden samenwerken aan duurzame energievoorziening. Het Entrance Data Platform (EDP) verbindt databronnen uit test- en onderzoeksfaciliteiten met opslag- en analyseomgevingen. Voor de doorontwikkeling van dit platform is een robuuste, schaalbare en geautomatiseerd uitgerolde backend nodig.

Doel
Het realiseren van een productiewaardige data infrastructuur voor het EDP: berichtenbroker, connectors en database, inclusief geautomatiseerde uitrol.

Werkzaamheden 

Broker

• Vergelijkend onderzoek Azure Event Grid versus Mosquitto, met aansluiting op bestaande architectuur en use cases.
• Inrichten CI/CD pipeline voor geautomatiseerde uitrol van de broker.

Connectors

• Vergelijkend onderzoek Azure Functions versus Docker containers voor koppeling tussen databronnen en database.
• Ontwikkelen van één of meerdere CI/CD pipelines voor uitrol van connectors, inclusief test- en validatiemechanismen.

Database

• Ontwerpen en optimaliseren van een databasemodel voor kortlopende, hoog resolutie datastromen, met aandacht voor aggregatie, retentiebeleid en compressie.
• Ontwikkelen van een methode om datasets met asynchrone tijdstempels betrouwbaar te combineren.

CI/CD fundament
• Inrichten van GitHub met richtlijnen voor pull requests, branching, testen/validatie en codekwaliteit.
• Vergelijkend onderzoek Azure DevOps pipelines versus GitHub Actions.
Datalogger
• Ontwerpen van een low tech datalogger op basis van NodeRED op Raspberry Pi, voortbouwend op de huidige inrichting.

Op te leveren
Werkende broker, connectors en database in productie, CI/CD pipelines, GitHub inrichting met richtlijnen, vergelijkende onderzoeksrapporten, prototype datalogger, technische documentatie.