HC 5: Variantieanalyse (one-way ANOVA)

Met een t-toets vergelijk je twee groepen. Maar wat als je drie leerstijlen, vier soorten arbeidsrelaties of acht politieke voorkeuren wilt vergelijken? Dan gebruik je variantieanalyse (analysis of variance, ANOVA). Het idee: je vergelijkt de spreiding tussen de groepsgemiddelden met de spreiding binnen de groepen. Dit hoofdstuk behandelt waarom een reeks t-toetsen niet mag, hoe je de kwadratensommen opsplitst, hoe je de F-toets uitvoert, welke assumpties gelden en welke post-hoctoets je kiest. Op het tentamen moet je ANOVA-tabellen kunnen aanvullen en lezen.

Wanneer variantieanalyse?

• Eén afhankelijke variabele (responsvariabele) van interval- of rationiveau, bijvoorbeeld een tentamencijfer of het aantal uren werk.
• Eén of meer onafhankelijke variabelen (factoren) die categorisch zijn, met twee of meer niveaus.
• Typisch bij experimenten: groepen krijgen een verschillende "behandeling" en je wilt het effect daarvan aantonen.

Met één factor spreek je van een one-way ANOVA, met twee factoren van een two-way of factoriële ANOVA. Je onderscheidt verder een independent design (verschillende eenheden per groep) en een repeated measures design (dezelfde eenheden meerdere keren gemeten). Deze cursus behandelt het independent design.

De casus: leerstijlen

In het college werden 48 studenten verdeeld over drie leerstijlen (16 per groep): betekenisgericht ("begrijpen"), toepassingsgericht ("gebruiken") en reproductiegericht ("stampen"). De afhankelijke variabele is het eindcijfer op een tentamen. Gemiddelden: 63,75, 64,69 en 46,56; het totale gemiddelde (grand mean) is 58,33.

Waarom geen reeks t-toetsen? Kanskapitalisatie

Je zou de drie groepen paarsgewijs kunnen vergelijken: 1 met 2, 1 met 3 en 2 met 3. Bij elke toets is de kans op een Type I-fout 5%. De kans dat je bij alle toetsen een juiste conclusie trekt is dan $0,95^3=0,857$, dus de kans op minstens één Type I-fout is 14,3%. Bij tien toetsen is $0,95^{10}=0,599$: 40% kans op een vals alarm.

Dit heet kanskapitalisatie. Je kunt $\alpha$ per toets verkleinen (Bonferroni-correctie: $\alpha /k$, dus $0,05/3=0,017$), maar dan verliest elke toets power en neemt de kans op een Type II-fout toe. Variantieanalyse lost dit op met één globale toets:

• $H_0:{\mu }_1={\mu }_2={\mu }_3$
• $H_a$: minstens één $\mu$ wijkt af.

Pas als H0 verworpen is, zoek je met post-hoctoetsen uit welke groepen verschillen.

Kwadratensommen: totaal, model en error

Elke score wijkt af van het totale gemiddelde. Die totale afwijking splits je in twee delen: het deel dat door het groepslidmaatschap komt (het model) en het deel binnen de groep (error).

• SST (totaal): $\sum (x_i-{\bar{x}}_{\text{grand}}{)}^2$, alle scores ten opzichte van het totale gemiddelde.
• SSM (model, between): $\sum n_k({\bar{x}}_k-{\bar{x}}_{\text{grand}}{)}^2$, de groepsgemiddelden ten opzichte van het totale gemiddelde, gewogen met de groepsgrootte. Het verklaarde deel.
• SSE (error, within, ook SSR): $\sum (x_i-{\bar{x}}_k{)}^2$, elke score ten opzichte van het eigen groepsgemiddelde. Het onverklaarde deel.

In de casus:

Met $S{S}_T=8966,67$ volgt $S{S}_E=8966,67-3332,29=5634,38$.

Van kwadratensom naar gemiddelde kwadratensom

Een kwadratensom groeit mee met het aantal termen. Daarom deel je door de vrijheidsgraden en krijg je een mean square (MS), een gemiddelde variantie:

Hierbij is $k$ het aantal groepen en $N$ het totale aantal eenheden. De vrijheidsgraden tellen op: $2+45=47$; de MS-waarden tellen niet op.

De F-toets

F is de verhouding tussen verklaarde en onverklaarde variantie (signaal tegen ruis). Als H0 waar is, zijn beide schattingen van dezelfde populatievariantie en ligt F rond 1. Is de spreiding tussen de groepen groot ten opzichte van de spreiding binnen de groepen, dan wordt F groot.

De kritieke waarde zoek je op in de F-tabel met $k-1$ vrijheidsgraden in de teller en $N-k$ in de noemer. Bij $\alpha =0,05$ en df (2, 45) is $F_{\alpha }=3,20$. Omdat $13,31>3,20$ (en $p<0,001$) wordt H0 verworpen: minstens twee leerstijlgroepen verschillen in gemiddeld cijfer. Rapportage: $F(2,45)=13,31$, $p<0,001$.

Een F-toets is altijd eenzijdig in de rechterstaart: F kan niet negatief worden.

Voorbeeld uit het practicum. Uren werk naar type arbeidsrelatie (4 groepen, $N=955$): $S{S}_M=11104,8$, $S{S}_E=168187,5$. $M{S}_M=11104,8/3=3701,6$, $M{S}_E=168187,5/951=176,85$, $F=20,93$. Kritieke waarde bij df (3, 951) is 2,70: H0 verwerpen.

Verband met de t-toets

Bij twee groepen geven ANOVA en de independent t-toets dezelfde uitkomst: $F=t^2$. In het practicum gaf een t-toets $t=-7,917$ en de ANOVA $F=62,68$. De t-toets werkt met afwijkingen gedeeld door de standaardfout, de ANOVA met gekwadrateerde afwijkingen.

Assumpties

Assumpties zijn voorwaarden voor een geldig toetsresultaat. Worden ze geschonden, dan kun je een andere toets kiezen, een correctie inbouwen of de resultaten voorzichtiger interpreteren. Bij variantieanalyse:

• Gelijke groepsgrootte (min of meer). Ongelijke groepen zijn op zich geen groot probleem.
• Gelijke varianties (homogeniteit). Bij gelijke groepsgrootte is ANOVA robuust tegen ongelijke varianties.
• Het probleem ontstaat als beide assumpties geschonden zijn: ongelijke groepen én ongelijke varianties. Dan is ANOVA niet meer robuust.

Homogeniteit toets je met Levene's test: $H_0$: de varianties in alle groepen zijn gelijk; $H_a$: minstens één variantie wijkt af. Sig. groter dan 0,05: geen probleem.

Post-hoctoetsen

Een significante F zegt alleen dat er ergens een verschil is. Post-hoctoetsen vergelijken alle paren van groepen, met een ingebouwde correctie voor kanskapitalisatie. Welke je kiest hangt af van de assumpties:

De output is een tabel met per paar het gemiddelde verschil, de standaardfout, Sig. en een betrouwbaarheidsinterval. Bevat het interval de 0, dan is het verschil niet significant.

In de casus wees de Games-Howell-toets uit dat de reproductiegerichte groep significant afwijkt van zowel de toepassingsgerichte als de betekenisgerichte groep (beide $p=0,001$), terwijl die twee onderling niet verschillen. In het practicum werkten zelfstandigen significant meer uren dan de andere drie groepen (95%-interval van het verschil met private loondienst: 4,43 tot 15,17 uur).

Is de globale F-toets niet significant, dan stopt de analyse: post-hoctoetsen hebben dan geen zin.

In SPSS: Analyze, Compare Means, One-Way ANOVA, met onder Options Descriptives, Homogeneity of variance test en Means plot, en onder Post Hoc de gekozen toets.