HC 6: Enkelvoudige en meervoudige regressie

Regressieanalyse is de veelzijdigste techniek uit de cursus. Waar correlatie alleen de sterkte van een samenhang geeft, voorspelt regressie hoeveel Y verandert als X toeneemt. Hoeveel extra omzet levert een euro advertentie op? Wat verandert er als de prijs 10 cent daalt? Dit hoofdstuk behandelt enkelvoudige regressie (één X) en meervoudige regressie (meerdere X'en): het schatten van de coëfficiënten met de kleinste-kwadratenmethode, de evaluatie in drie stappen (F-toets, $R^{2}$ , t-toetsen) en het maken van voorspellingen.

Wanneer regressie?

Methode	Afhankelijke variabele	Onafhankelijke variabele
Kruistabel	Categorisch	Categorisch
t-toets	Metrisch	Categorisch (twee groepen)
ANOVA	Metrisch	Categorisch (meer dan twee groepen)
Lineaire regressie	Metrisch	Metrisch, of categorisch als dummy's

Categorische onafhankelijke variabelen moet je eerst omzetten naar dummyvariabelen (0/1); dat komt in HC 7 aan bod.

Het regressiemodel

Ook regressie volgt het principe uitkomst = model + error. Zonder informatie over X is je beste voorspelling het gemiddelde $\overset{y}{ˉ}$ (het basismodel). In de koffiezaakcasus uit het college is de gemiddelde weekomzet 40.000 euro. De vraag is hoeveel van de spreiding rond dat gemiddelde je wegneemt door advertentie-uitgaven in het model op te nemen.

Y_{i} = β_{0} + β_{1} X_{i} + ε_{i}

$β_{0}$ , het intercept (constante): de verwachte waarde van Y als X = 0.
$β_{1}$ , de helling (slope, regressiecoëfficiënt): de verwachte verandering in Y bij één eenheid meer X.
$ε_{i}$ , de error (residu): het verschil tussen de werkelijke en de voorspelde Y.

Het model heeft een deterministisch deel ( $β_{0} + β_{1} X$ : de relatie die je theorie voorspelt) en een aselect deel (de residuen). Stel $β_{0} = 25000$ en $β_{1} = 3$ : zonder advertenties is de omzet 25.000 euro, en elke euro advertentie levert gemiddeld 3 euro extra omzet op.

Kleinste kwadraten (OLS)

Door een puntenwolk kun je veel lijnen trekken. De methode van de kleinste kwadraten (ordinary least squares, OLS) kiest de lijn waarbij de som van de gekwadrateerde residuen zo klein mogelijk is:

min i = 1 \sum n \overset{ε}{^}_{i}^{2}

De oplossing:

\hat{β}_{1} = \frac{S S _{x y}}{S S _{xx}} \hat{β}_{0} = \overset{y}{ˉ} - \hat{β}_{1} \overset{x}{ˉ}

S S_{x y} = \sum x y - \frac{( \sum x ) ( \sum y )}{n} S S_{xx} = \sum x^{2} - \frac{( \sum x ) ^{2}}{n}

$S S_{x y}$ is de som van de kruisproducten $\sum (x - \overset{x}{ˉ}) (y - \overset{y}{ˉ})$ en $S S_{xx}$ de kwadratensom van X. De regressielijn gaat altijd door het punt $(\overset{x}{ˉ}, \overset{y}{ˉ})$ .

Rekenvoorbeeld. Studie-uren 2, 4, 6, 8 en cijfers 5, 6, 6, 7: $S S_{x y} = 6$ , $S S_{xx} = 20$ . Dan $\hat{β}_{1} = 0, 3$ en $\hat{β}_{0} = 6 - 0, 3 \times 5 = 4, 5$ . De lijn is $\overset{y}{^} = 4, 5 + 0, 3 x$ : elk extra studie-uur levert 0,3 cijferpunt op.

Stappenplan regressie

Formuleer hypothesen voor het model en de coëfficiënten.
Schat de modelparameters.
Controleer de verdeling van de variabelen (scheefheid, kurtosis).
Controleer de assumpties: lineariteit, uitschieters, normaal verdeelde residuen, homoscedasticiteit en bij meerdere X'en multicollineariteit (HC 7).
Evalueer het model: bruikbaarheid (F-toets), verklaringskracht ( $R^{2}$ ), bijdrage van de afzonderlijke variabelen (t-toetsen).
Gebruik het model voor schattingen en voorspellingen.

Casus koffiezaak: de schatting

Twee ondernemers met een koffiezaak in Nijmegen willen weten wat hun advertentie-uitgaven (X, euro per week) opleveren aan omzet (Y, euro). SPSS geeft in de tabel Coefficients: Constant 32728,489 en advertentie 1,767.

\hat{Y} = 32728, 489 + 1, 767 X

Elke euro extra advertentie levert gemiddeld 1,77 euro extra omzet op.

Stap 5.1: bruikbaarheid met de F-toets

De spreiding in Y splitst zoals bij ANOVA:

SST: variantie van de waargenomen Y rond $\overset{y}{ˉ}$ .
SSM: variantie die het model verklaart (de voorspelde waarden rond $\overset{y}{ˉ}$ ).
SSE (SSR): onverklaarde variantie, de residuen rond de regressielijn.

F = \frac{M S _{M}}{M S _{E}} = \frac{S S _{M} / k}{S S _{E} / ( N - k - 1 )}

met $k$ het aantal onafhankelijke variabelen. Hypothesen: $H_{0}$ : alle $β = 0$ (geen enkele variabele helpt Y te verklaren); $H_{a}$ : minstens één $β \neq = 0$ . Een significante F betekent dat het model beter voorspelt dan het basismodel $\overset{y}{^} = \overset{y}{ˉ}$ . In de casus is $F \approx 231$ , ruim boven de kritieke waarde van 3,94: het model is bruikbaar. (Op de slide staat $M S_{E}$ als 321532427,9; uit $F \approx 231$ en $S S_{E} = S S_{T} - S S_{M}$ blijkt dat dit 31532427,9 moet zijn.)

Stap 5.2: verklaringskracht met $R^{2}$

R^{2} = \frac{S S _{M}}{S S _{T}}

De determinatiecoëfficiënt is het deel van de variantie in Y dat het model verklaart, tussen 0 en 1. In de casus: $R^{2} = 7289591453, 1/10505899100 = 0, 694$ . Advertentie-uitgaven verklaren 69,4% van de spreiding in omzet. Bij enkelvoudige regressie geldt $R^{2} = r^{2}$ : in het practicum (posts en likes) gaf $R^{2} = 0, 764$ een correlatie van $0, 764 = 0, 874$ .

Theoretisch heet $R^{2}$ rond 0,25 matig, rond 0,50 sterk en rond 0,75 zeer sterk; in sociaalwetenschappelijk onderzoek hanteert het college ook de praktische grenzen 0,02 (zwak), 0,13 (medium) en 0,26 (sterk). Een model met $R^{2} = 0, 07$ , zoals uitgaven aan apps in het practicum, heeft een lage verklaringskracht, ook al is het significant.

Stap 5.3: bijdrage van de variabelen met t-toetsen

Per coëfficiënt toets je $H_{0} : β_{j} = 0$ tegen $H_{a} : β_{j} \neq = 0$ :

t = \frac{β ^ _{j}}{S E _{\hat{β}_{j}}}

Bij grote steekproeven gebruik je als kritieke waarden ±1,96 ( $α = 0, 05$ ); de df zijn $N - k - 1$ . In het practicum: $b = 0, 759$ met $S E = 0, 043$ geeft $t \approx 17, 7$ (SPSS: 17,825): het aantal posts draagt significant bij. Bij enkelvoudige regressie geldt weer $F = t^{2}$ ( $17, 82 5^{2} = 317, 7$ ).

Stap 6: voorspellen

Een puntschatter krijg je door X in te vullen. Omzet bij 5000 euro advertentie: $32728, 489 + 1, 767 \times 5000 = 41563$ euro. Een puntschatter mist een maat van betrouwbaarheid; SPSS kan een 95%-interval voor de gemiddelde voorspelde waarde opslaan (LMCI en UMCI onder Save). Voorspel alleen binnen het bereik van de waargenomen X: in het practicum liep het aantal posts van 1 tot 27, dus een voorspelling bij 32 posts mag niet. Om dezelfde reden heeft het intercept vaak geen praktische betekenis als X = 0 niet voorkomt.

Meervoudige regressie

Met meer verklarende variabelen wordt het model:

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2} + \dots + β_{k} X_{k} + ε

Elke $β_{j}$ is nu het effect van $X_{j}$ onder constanthouding van de andere variabelen. Hypothesen: F-toets $H_{0} : β_{1} = β_{2} = 0$ ; per variabele een t-toets.

Koffiezaak met prijs erbij. SPSS geeft:

omzet = 40201, 346 + 1, 695 \cdot advertentie - 2679, 765 \cdot prijs

Bij advertentie 6000 en prijs 2,80: $40201, 346 + 1, 695 \times 6000 - 2679, 765 \times 2, 80 = 42868$ euro. Verlaag je de prijs met 10 cent, dan stijgt de voorspelde omzet met $0, 10 \times 2679, 765 = 268$ euro tot 43136 euro. De constante (prijs 0) is hier betekenisloos, want prijzen liepen van 1,75 tot 3,80.

Salariscasus (HC 7). $salaris = - 25965 + 600 \cdot leeftijd + 2057 \cdot opleiding$ : elk jaar ouder levert 600 euro op bij gelijke opleiding, elk jaar opleiding 2057 euro bij gelijke leeftijd.

Adjusted $R^{2}$ en gestandaardiseerde coëfficiënten

$R^{2}$ stijgt altijd als je een variabele toevoegt, ook een zinloze. De adjusted $R^{2}$ corrigeert voor het aantal variabelen en is daarom de maat om modellen met elkaar te vergelijken. In het practicum steeg $R^{2}$ van 0,070 naar 0,173 door leeftijd en inkomen toe te voegen, en de adjusted $R^{2}$ steeg mee: die variabelen hebben meerwaarde.
De ongestandaardiseerde b's hangen af van de meeteenheid (TV kijken in minuten geeft een kleine b, inkomen in decielen een grote). Wil je weten welke variabele de sterkste invloed heeft, kijk dan naar de gestandaardiseerde coëfficiënten (Beta): het effect uitgedrukt in standaardafwijkingen. In het practicum had cursusuren Beta 0,104 en intellectuele aanleg 0,583: aanleg weegt veel zwaarder.
Controlevariabelen kunnen een effect zichtbaar maken: in het practicum werd uren werk pas significant toen leeftijd en inkomen in het model kwamen.

SPSS-output lezen

Model Summary: R, R Square, Adjusted R Square, Std. Error of the Estimate.
ANOVA: Sum of Squares (Regression = SSM, Residual = SSE, Total = SST), df ( $k$ , $N - k - 1$ , $N - 1$ ), Mean Square, F en Sig.
Coefficients: B en Std. Error (ongestandaardiseerd), Beta, t en Sig. per variabele.
Het aantal eenheden in de analyse lees je af aan df Total + 1. Missende waarden op één variabele verkleinen de effectieve steekproef (in het practicum van 1375 naar 343).

In SPSS: Analyze, Regression, Linear.

Voor het tentamen

$\hat{β}_{1} = S S_{x y} / S S_{xx}$ , $\hat{β}_{0} = \overset{y}{ˉ} - \hat{β}_{1} \overset{x}{ˉ}$ .
Drie evaluatiestappen: F-toets (bruikbaarheid), $R^{2} = S S_{M} / S S_{T}$ (verklaringskracht), t-toetsen $b / S E_{b}$ (bijdrage).
F met df ( $k$ , $N - k - 1$ ); bij één X geldt $F = t^{2}$ en $R^{2} = r^{2}$ .
Meervoudig: elke b geldt onder constanthouding van de andere variabelen.
Adjusted $R^{2}$ om modellen te vergelijken; Beta om de sterkte van variabelen te vergelijken.
Voorspel alleen binnen het bereik van de X-waarden.

Andere hoofdstukken van Kwantitatieve Methoden 1

Test jezelf met oefenvragen