Tester for our LLM (chat met de wet)

Ben jij benieuwd hoe de overheid er in de toekomst uit kan zien? In het DIT-lab (Discover Innovations of Tomorrow) werk je samen met andere studenten én professionals van DUO aan vernieuwende vraagstukken rond digitale identiteit en publieke dienstverlening.

Het DIT-lab is gevestigd in de Digital Society Hub en biedt jou de kans om te leren, experimenteren en bijdragen aan echte innovaties. Denk bijvoorbeeld aan het digitaal uitgeven van diploma’s, dat grote impact kan hebben op hoe DUO haar diensten inricht. Of het testen van een persoonlijke datakluis die automatisch gegevens deelt met je aanvraag voor studiefinanciering – allemaal projecten die nog volop in ontwikkeling zijn.

Je gaat aan de slag met actuele, complexe vraagstukken waarvoor we gebruikmaken van een gestructureerde innovatieaanpak. Samen onderzoeken we wat er technisch mogelijk is én wat gebruikers nodig hebben.

In het DIT-lab werk je:

• In multidisciplinaire teams met studenten en DUO-medewerkers
• Met opkomende technologieën zoals Large Language Models, Self Sovereign Identity (SSI), Verifiable Credentials(VC) en datakluizen
• In een open en dynamische leeromgeving waar experimenteren en samenwerken centraal staan

Kortom: wil jij praktijkervaring opdoen in een innovatief lab waar je meewerkt aan de digitale overheid van de toekomst? Dan is het DIT-lab dé plek voor jou.

Achtergrond
Binnen het DITlab van DUO hebben we Chat met de Wet ontwikkeld ons eigen taalmodel LLM dat DUOmedewerkers helpt bij het beantwoorden van complexe vragen over wet en regelgeving en beleidsregels. Vorig semester hebben we de basis gelegd voor het testen van dit model. Nu is het tijd voor de volgende stap. Bij juridische vragen is ongeveer goed niet goed genoeg. We moeten de testimplementaties verbeteren de scope vergroten en zorgen dat we exact weten hoe het model presteert wanneer een medewerker het raadpleegt.

De Opdracht
Jij bent verantwoordelijk voor het naar een professioneel niveau tillen van het testproces voor Chat met de Wet. Je zorgt ervoor dat medewerkers kunnen vertrouwen op de AI door innovatieve testmethodes en inzicht in de resultaten te creëren.

Wat ga je doen?

• Requirements Juridische Logica Je denkt mee over nieuwe features vanuit een testersperspectief. Hoe valideren we of de AI de juiste juridische bronnen raadpleegt?
• Vergroten van de Test Scope Je bouwt scenarios die verder gaan dan simpele vragen. Je test specifiek op de nauwkeurigheid van de business rules van DUO en voorkomt dat de AI juridische adviezen verzint.
• Data Observability Je ontwikkelt een dashboard of methode om testresultaten en feedback van medewerkers usage data inzichtelijk te maken. Waar loopt de AI vast en waar blinkt hij uit?
• Test Management Je zoekt en implementeert een efficinte methode voor het beheer van testcases zodat we bij elke update van de wet snel kunnen hertesten.
• Samenwerken Je bent de schakel tussen de developers SE en de businesslogica BITM om de kwaliteit van Chat met de Wet te borgen.

• Opleiding: HBOstudent ICTSoftware Engineering SE of ICTBusiness IT Management BITM.
• Analytisch Vermogen: Je bent nauwkeurig en begrijpt dat een foutieve interpretatie van de wet grote gevolgen kan hebben.
• TesterDNA: Je hebt affiniteit met software testing en vindt het een uitdaging om AI te vangen op inconsistenties.
• Pre: Je vindt het interessant om met juridische teksten en complexe beslisbomen te werken.