Missing data analyse
In bijna elke vragenlijst ontbreken antwoorden. Missing data zijn niet ingevulde gegevens. Voordat je verder analyseert, moet je nagaan wat voor ontbrekende gegevens het zijn, hoeveel het er zijn en of ze willekeurig ontbreken. Daarna kies je een manier om ermee om te gaan. Dit gaat in vier stappen.
Stap 1: bepaal het type ontbrekende gegevens
| Type | Oorzaak | Wat doe je |
|---|---|---|
| Negeerbaar | Het ontbreken komt door het ontwerp van het onderzoek, zoals routeringen ("ga door naar vraag 12 als u geen auto heeft") of non-respons op vragen die de respondent niet hoefde in te vullen | Je kunt deze gewoon negeren of verwijderen; er is geen probleem |
| Niet-negeerbaar | De respondent gaf geen antwoord terwijl dat wel verwacht werd, of er ontbraken antwoordcategorieën | Je moet uitzoeken waardoor het ontbreken wordt veroorzaakt |
Stap 2: bepaal de omvang
Bekijk per variabele en per respondent hoeveel gegevens ontbreken. Een frequentietabel of de Missing Value Analysis in SPSS geeft per variabele het aantal en percentage ontbrekende waarden.
Stap 3: bepaal de willekeur (MCAR of MAR)
| Soort | Betekenis | Voorbeeld |
|---|---|---|
| MCAR (missing completely at random) | Er is geen duidelijke reden voor het ontbreken; het is volledig toevallig. Dit is de situatie die je wilt. | Een respondent slaat per ongeluk een vraag over |
| MAR (missing at random) | Er is een mogelijke verklaring voor het ontbreken, samenhangend met andere variabelen | Oudere respondenten vullen een bepaalde vraag vaak niet in |
Er zijn twee manieren om dit te beoordelen.
1. De vuistregel met groepsverschillen. Je vergelijkt het percentage ontbrekende waarden tussen groepen (bijvoorbeeld mannen en vrouwen, of leeftijdscategorieën) met een kruistabel. Je vergelijkt de groep met het grootste percentage met de groep met het kleinste percentage.
- Bij een steekproef van n > 400: een verschil van meer dan 5% geldt als significant, dus MAR.
- Bij een steekproef van n < 400: een verschil van meer dan 10% geldt als significant, dus MAR.
Voorbeeld: in groep 1 ontbreekt 5%, in groep 2 7%. Het verschil is 2%. Bij een steekproef groter dan 400 is dat minder dan 5%, dus MCAR. Tweede voorbeeld: voor een variabele is het hoogste percentage ontbrekend 3% en het laagste 0,6%. Het verschil is 2,4%, kleiner dan 5%, dus MCAR en niets aan de hand.
Let op: als er maar één groep is, kun je deze missing data analyse niet doen, want er valt niets te vergelijken.
2. Little's MCAR-test. Deze toets beoordeelt alle ontbrekende waarden tegelijk.
H0: het patroon van ontbrekende waarden is gelijk aan wat je bij toeval verwacht (MCAR). H1: het patroon wijkt af van wat je verwacht (MAR). Alfa = .05. Is p < .05, dan verwerp je H0 en zijn de gegevens MAR. Is p ≥ .05, dan behoud je H0 en zijn de gegevens MCAR.
Let op de omgekeerde logica: bij Little's test hoop je op een niet-significante uitkomst, want dan ontbreken de gegevens volledig willekeurig.
Stap 4: kies een imputatiemethode
Imputatiemethoden zijn technieken om met ontbrekende gegevens om te gaan.
| Situatie | Methode | Uitleg |
|---|---|---|
| MAR | Subset van de steekproef | Overweeg de analyse te doen op een deel van de steekproef, omdat de ontbrekende waarden samenhangen met een kenmerk en de resultaten anders vertekend raken |
| MCAR | Listwise deletion | Respondenten met een ontbrekende waarde op één van de gebruikte variabelen worden helemaal uit de analyse gehaald |
| MCAR | Pairwise deletion | Per analyse (bijvoorbeeld per correlatie tussen twee variabelen) worden alle beschikbare gegevens gebruikt; een respondent valt alleen weg waar hij iets mist |
| MCAR | Mean substitution | Een ontbrekende waarde wordt vervangen door het gemiddelde van die variabele |
| MCAR | Regressietechnieken | Een ontbrekende waarde wordt voorspeld op basis van de andere variabelen |
Listwise deletion is het eenvoudigst maar kost de meeste respondenten (en daarmee power); pairwise deletion houdt meer gegevens over, maar per analyse kan het aantal respondenten verschillen. Mean substitution houdt alle respondenten in de analyse, maar maakt de spreiding van de variabele kunstmatig kleiner en verzwakt de samenhang met andere variabelen, omdat iedereen met een ontbrekende waarde precies het gemiddelde krijgt. Regressietechnieken benutten de samenhang met andere variabelen en geven daardoor meestal een betere schatting dan het gemiddelde.
SPSS
- Analyze > Missing Value Analysis: zet de variabelen erin en zet EM aan. In de EM-output staat Little's MCAR-test, als voetnoot onder de tabel EM Means: "Little's MCAR test: Chi-Square = ..., DF = ..., Sig. = ...". De waarde bij Sig. is de p-waarde die je met .05 vergelijkt.
- Onder Patterns zet je de bovenste optie aan, laat je patronen onder 1% weg en zet je het sorteren van variabelen uit.
- Onder Descriptives zet je de onderste drie opties aan met een grens van 1%; daarmee krijg je onder andere de percentages ontbrekend per groep.
- Met Analyze > Descriptive Statistics > Crosstabs maak je kruistabellen om het percentage ontbrekend per groep te vergelijken voor de vuistregel.