Betrouwbaar AI-nakijken van open vragen
Ons eigen taalmodel kijkt open antwoorden van leerlingen na. In deze stage zoek je uit hoe je dat nakijken betrouwbaarder, eerlijker en nuttiger maakt, met echte data op onze eigen hardware.
- Locatie
- Amsterdam, deels op afstand
- Taal
- Nederlands of Engels
- Uren
- In overleg
- Periode
- In overleg
- Soort
- Bachelor/Master
Waar het over gaat
Een open vraag nakijken is meer dan trefwoorden zoeken. Een leerling kan het goed bedoelen en het net anders opschrijven, of het juiste woord gebruiken zonder het te begrijpen. Ons model leert daar elke dag beter mee om, en jij gaat uitzoeken waar het nog anders oordeelt dan een docent, waarom, en hoe dat beter kan. Dat is een onderzoeksvraag met een echte lat: een docent moet het oordeel kunnen vertrouwen.
Waarom nu
Het nakijken draait al, op ons eigen model en onze eigen GPU-server. Er is dus een werkend systeem om op te meten, en er komen steeds meer docentcorrecties bij om van te leren. Dat is het moment waarop gedegen onderzoek het verschil maakt: niet een demo bouwen, maar precies laten zien waar het model staat en wat het beter maakt.
Wat je gaat doen
- Een foutenanalyse: waar oordeelt het model anders dan docenten, en zit daar een patroon in
- Onderzoeken of het nakijken eerlijk is voor zwakke spellers en leerlingen met dyslexie
- Het model verbeteren, bijvoorbeeld door te leren van docentcorrecties, een groter model op onze eigen GPU's te proberen, of eerst per punt te beoordelen voordat er een totaalscore komt
- Een betrouwbaar signaal ontwikkelen voor wanneer het model twijfelt, zodat een docent precies weet welke antwoorden hij zelf moet bekijken
- Uitzoeken hoe de feedback aan leerlingen echt bruikbaar wordt: wat ging goed, wat mist er, wat kun je de volgende keer doen
Wat je leert, en wat je oplevert
Leerdoelen
- Een evaluatieopzet bouwen die laat zien hoe goed een taalmodel nakijkt, en waar niet
- Eerlijkheid van een AI-systeem meten voor verschillende groepen leerlingen
- Een taalmodel verbeteren met echte data, en aantonen dat het ook echt beter werd
- Onzekerheid van een model zo vertalen dat een docent er iets mee kan
- Zorgvuldig werken met gevoelige onderwijsdata
Eindproduct
Een verslag of scriptie, een verbeterde versie van ons nakijkmodel en een benchmark waarmee we elke volgende versie op dezelfde manier kunnen toetsen. De data blijft daarbij op onze eigen hardware in Nederland: gepseudonimiseerd en onder een geheimhoudingsverklaring.
Waar je mee werkt
De ruil
Wat we van je vragen
- Je zit in je bachelor (hbo of wo) of master richting AI, computer science, data science of iets wat daarop lijkt
- Je hebt ervaring met machine learning in Python en kunt een experiment netjes opzetten
- Je bent kritisch op je eigen resultaten en schrijft eerlijk op wat je vindt
- Je vindt het belangrijk dat een oordeel over een leerling klopt, en snapt dat dat zorgvuldigheid vraagt
Pre, geen eis
- Ervaring met het finetunen of evalueren van taalmodellen
- Interesse in eerlijkheid en uitlegbaarheid van AI
- Je hebt zelf ooit lesgegeven of bijles gegeven
Wat wij ertegenover zetten
- Een goede leerweg, met begeleiding van mensen die het vak kennen
- Meerdere uren per week met een van de oprichters, geen groepsintake
- Materiaal en een eigen bureau als je dat nodig hebt
- Reiskostenvergoeding als je geen studenten-ov hebt
- Echte barista-koffie, met de beste bonen van heel Amsterdam
- Een referentie na afloop, en kans op een baan bij ons
Hoe het verdergaat
Je stuurt je bericht
Motivatie in je eigen woorden plus je cv. Geen standaardbrief nodig; schrijf gewoon waarom dit je aanspreekt.
Reactie binnen vijf werkdagen
Ook als het een nee is. Je hoort van ons, altijd.
Kennismaking van een uur
Op kantoor in Amsterdam of online. We laten het platform zien en jij vertelt waar je goed in wilt worden.
Meelopen, een dagdeel
Je werkt aan iets echts en ziet hoe wij werken. Daarna weten we het allebei.
Afspraken maken
Stageovereenkomst met je opleiding, startdatum, en wat je gaat opleveren.
Solliciteer direct
Je hoeft geen perfecte brief te schrijven. Vertel in een paar zinnen waarom dit je aanspreekt en wat je wilt leren. Dat zegt ons meer.