Betrouwbaarheid is een van de twee pijlers van testkwaliteit in de psychodiagnostiek, naast validiteit. Het begrip verwijst naar de mate waarin een test bij herhaalde afname consistente resultaten oplevert. Een instrument dat bij dezelfde persoon onder vergelijkbare omstandigheden sterk wisselende scores geeft, is niet geschikt voor diagnostische conclusies. Voor psychologen, verwijzers en opdrachtgevers is kennis van dit concept van belang om testresultaten op waarde te schatten.
Wat houdt het begrip in?
Elke testmeting bevat een zekere mate van meetfout. De vraag is hoe groot die fout is. Bij een instrument met hoge meetconsistentie is de fout klein: de score weerspiegelt grotendeels de werkelijke eigenschap van de cliënt. Bij lage consistentie is het aandeel meetfout groter en wordt de score minder informatief. De psycholoog houdt bij de interpretatie rekening met deze foutmarge door een betrouwbaarheidsinterval rond de score te rapporteren.
Welke vormen worden onderscheiden?
De psychometrie kent vier hoofdvormen. Interne consistentie meet of de items van een test hetzelfde construct dekken. De meest gebruikte maat hiervoor is Cronbach’s alfa: waarden boven 0.80 worden als goed beschouwd. Test-hertest meet of de resultaten stabiel zijn over de tijd. Interbeoordelaars-overeenstemming betreft de vraag of verschillende beoordelaars tot dezelfde conclusie komen bij dezelfde testgegevens. Paralleltestconsistentie toetst of twee equivalente versies van een test vergelijkbare resultaten opleveren.
De COTAN beoordeelt de meetconsistentie van tests als een van de zeven kwaliteitscriteria. Een positieve beoordeling op dit criterium geeft aan dat het instrument voldoende consistent meet voor professioneel gebruik.
Waarom is dit relevant voor de praktijk?
Bij de keuze van instrumenten voor een testbatterij weegt de meetconsistentie zwaar mee. Een test met een Cronbach’s alfa van 0.70 heeft een aanzienlijk grotere foutmarge dan een instrument met een waarde van 0.92. In de rapportage vermeldt de psycholoog het betrouwbaarheidsinterval, zodat de verwijzer of opdrachtgever weet binnen welke marge het resultaat valt. Bij een second opinion is met name de test-hertest consistentie van belang: alleen bij instrumenten met hoge stabiliteit over tijd kan worden vastgesteld of een scoreverschil een werkelijke verandering weerspiegelt of meetruis is.
In de arbeidssector is dit extra relevant. Rapportages over belastbaarheid moeten juridisch houdbaar zijn. Wanneer een test met onvoldoende meetconsistentie wordt ingezet, kan de conclusie bij een second opinion of bezwaarprocedure worden aangevochten. De AST-NIP 2024 schrijft voor dat de psycholoog verantwoordt waarom bepaalde instrumenten zijn gekozen en hoe de meetkwaliteit is beoordeeld.
Meetconsistentie bij PSYVICE
PSYVICE selecteert uitsluitend instrumenten met een positieve COTAN-beoordeling op meetconsistentie. In elke rapportage worden betrouwbaarheidsintervallen gerapporteerd zodat scores in de juiste context worden geplaatst. Alle onderzoeken worden uitgevoerd in samenwerking met en ondertekend door een BIG-geregistreerde professional. Neem contact op voor meer informatie over de werkwijze.
Toepassingen
Betrouwbaarheid is een kwaliteitscriterium dat bij elke psychologische test wordt beoordeeld. Het speelt een rol bij:
- De keuze van testinstrumenten voor een onderzoek
- De interpretatie van testscores en het bepalen van de meetfout
- De beoordeling van tests door de COTAN
- De onderbouwing van diagnostische conclusies in rapportages
- De vergelijking van testprestaties over tijd (voor- en nameting)
Geschikt voor
Psychologen die instrumenten selecteren voor diagnostisch onderzoek. Relevant voor verwijzers en opdrachtgevers die rapportages beoordelen en willen begrijpen hoe testresultaten tot stand komen. Informatief voor cliënten die willen weten waarom bepaalde tests worden gekozen.
Niet geschikt bij
Het concept is een psychometrische eigenschap van tests, niet van personen. Een test kan betrouwbaar zijn maar toch ongeschikt als het verkeerde construct wordt gemeten. Betrouwbaarheid alleen zegt niets over de geldigheid van de conclusies; daarvoor is validiteit nodig.
Praktijkvoorbeeld
Bij de selectie van een aandachtstest vergelijkt de psycholoog twee instrumenten. Test A heeft een interne consistentie (Cronbach’s alfa) van 0.92, test B van 0.71. De psycholoog kiest test A omdat de hogere waarde aangeeft dat de items van de test beter op elkaar aansluiten. In de rapportage vermeldt de psycholoog de meetfout die bij de score hoort, zodat de verwijzer weet binnen welke marge het resultaat valt.
Veelgestelde vragen
Vragen? Hier vind je de antwoorden!
Het begrip verwijst naar de consistentie van meetresultaten. Een test met hoge consistentie levert bij herhaalde afname onder vergelijkbare omstandigheden vergelijkbare uitkomsten op. Hoe hoger de waarde, hoe kleiner de meetfout en hoe meer vertrouwen u kunt stellen in het resultaat.
De vier belangrijkste vormen zijn: interne consistentie (meten de items hetzelfde construct?), test-hertest (levert de test na verloop van tijd dezelfde resultaten?), interbeoordelaars-overeenstemming (komen verschillende beoordelaars tot hetzelfde oordeel?) en paralleltestconsistentie (leveren twee vergelijkbare versies van dezelfde test vergelijkbare resultaten?).
De meest gebruikte maat is Cronbach’s alfa voor interne consistentie. Waarden boven 0.80 worden doorgaans als goed beschouwd, boven 0.90 als uitstekend. De COTAN beoordeelt de meetconsistentie als onderdeel van de testkwaliteit.
Meetconsistentie is een noodzakelijke maar niet voldoende voorwaarde voor validiteit. Een test die inconsistente resultaten oplevert, kan niet geldig meten. Maar een consistente test meet niet automatisch het juiste construct. Beide eigenschappen moeten in orde zijn voor verantwoord testgebruik.
PSYVICE selecteert uitsluitend instrumenten met een positieve COTAN-beoordeling op meetconsistentie en andere kwaliteitscriteria. In de rapportage wordt de meetfout gerapporteerd zodat het resultaat in context kan worden geplaatst. Elk onderzoek wordt uitgevoerd in samenwerking met en ondertekend door een BIG-geregistreerde professional.
Bronnen & referenties
Evers, A., Lucassen, W., Meijer, R., & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de kwaliteit van tests. Nederlands Instituut van Psychologen.
Commissie Testaangelegenheden Nederland (COTAN). COTAN-documentatie.
Drenth, P.J.D., & Sijtsma, K. (2006). Testtheorie: Inleiding in de theorie van de psychologische test en zijn toepassingen. Bohn Stafleu van Loghum.
