Wiskunde bovenbouw · Grades 10–12

34Sommen van stochastische variabelen en de wet van de grote aantallen

Waarom winnen casino’s altijd op den duur, en waarom werken peilingen? Omdat gemiddelden van veel onafhankelijke stochastische grootheden steeds minder fluctueren. Dit hoofdstuk bewijst het: lineariteit van de verwachting, additiviteit van de variantie voor onafhankelijke variabelen, de ongelijkheid van Bienaymé–Tsjebysjev, en de wet van de grote aantallen.

34.1 Sommen van stochastische variabelen

Gegeven twee stochastische variabelen $X, Y$ op dezelfde eindige uitkomstenruimte $\Omega$ , is de som $X + Y$ de stochastische variabele $\omega \mapsto X(\omega) + Y(\omega)$ .

Stelling 34.1 (Lineariteit van de verwachting)

Voor alle stochastische variabelen $X, Y$ op $\Omega$ en $a, b \in \R$ :

\E(X + Y) = \E(X) + \E(Y), \qquad \E(aX + b) = a\E(X) + b .

Geen onafhankelijkheidshypothese is nodig.

Bewijs. Schrijf de verwachting als som over uitkomsten: omdat $\P(X = x) = \sum_{\omega : X(\omega) = x} \P(\{\omega\})$ , groeperen van termen geeft $\E(X) = \sum_{\omega \in \Omega} \P(\{\omega\})\,X(\omega)$ . Dan

\E(X + Y) = \sum_{\omega} \P(\{\omega\})\bigl(X(\omega) + Y(\omega)\bigr) = \sum_{\omega} \P(\{\omega\})X(\omega) + \sum_{\omega} \P(\{\omega\})Y(\omega) = \E(X) + \E(Y). \qedhere

∎

Definitie 34.2 (Onafhankelijke stochastische variabelen)

$X$ en $Y$ zijn onafhankelijk als voor alle waarden $x, y$ :

\P(X = x \text{ en } Y = y) = \P(X = x)\,\P(Y = y).

Meerdere variabelen $X_1, \dots, X_n$ zijn onafhankelijk als deze productregel geldt voor elke keuze van waarden van elke subfamilie.

Propositie 34.3

Als $X$ en $Y$ onafhankelijk zijn, $\E(XY) = \E(X)\,\E(Y)$ .

Bewijs.

\begin{aligned} \E(XY) &= \sum_{x, y} xy\;\P(X = x \text{ en } Y = y) = \sum_{x, y} xy\,\P(X=x)\P(Y=y) \\ &= \Bigl(\sum_x x\P(X=x)\Bigr)\Bigl(\sum_y y\P(Y=y)\Bigr). \qedhere \end{aligned}

∎

Stelling 34.4 (Variantie van een som)

Als $X$ en $Y$ onafhankelijk zijn, dan

\V(X + Y) = \V(X) + \V(Y).

Algemener, voor onafhankelijke $X_1, \dots, X_n$ : $\V(X_1 + \dots + X_n) = \V(X_1) + \dots + \V(X_n)$ .

Bewijs. Met König–Huygens (Propositie 33.3) en lineariteit:

\begin{align*} \V(X + Y) &= \E\bigl((X+Y)^2\bigr) - \bigl(\E X + \E Y\bigr)^2\\ &= \E(X^2) + 2\E(XY) + \E(Y^2) - \E(X)^2 - 2\E(X)\E(Y) - \E(Y)^2\\ &= \V(X) + \V(Y) + 2\bigl(\E(XY) - \E(X)\E(Y)\bigr), \end{align*}

en de laatste haak verdwijnt voor onafhankelijke variabelen (Propositie 34.3). Het algemene geval volgt door inductie. ∎

Voorbeeld 34.5 (Binomiaal hernomen)

Een binomiale variabele $X \sim \mathcal B(n, p)$ is een som $X = X_1 + \dots + X_n$ van $n$ onafhankelijke Bernoulli-variabelen. Dus, structureel:

\E(X) = np, \qquad \V(X) = np(1-p),

wat Stelling 33.8 terugvindt zonder enige berekening.

Propositie 34.6 (Steekproefgemiddelde)

Laat $X_1, \dots, X_n$ onafhankelijk zijn met dezelfde verdeling als $X$ (verwachting $\mu$ , variantie $\sigma^2$ ), en laat $M_n = \frac{X_1 + \dots + X_n}{n}$ hun steekproefgemiddelde zijn. Dan

\E(M_n) = \mu, \qquad \V(M_n) = \frac{\sigma^2}{n}, \qquad \sigma(M_n) = \frac{\sigma}{\sqrt n}.

Bewijs. Lineariteit geeft $\E(M_n) = \frac{n\mu}{n} = \mu$ ; onafhankelijkheid geeft $\V(X_1 + \dots + X_n) = n\sigma^2$ , en delen door $n$ schaalt de variantie met $\frac{1}{n^2}$ (Propositie 33.4). ∎

De $\frac{\sigma}{\sqrt n}$ is de fundamentele wortelwet: om de fluctuaties van een gemiddelde te halveren, verviervoudig de steekproefgrootte.

De wortelwet: elke verviervoudiging van de steekproefgrootte halveert alleen de standaardafwijking van het gemiddelde.

34.2 Concentratieongelijkheden

Stelling 34.7 (Ongelijkheid van Markov)

Als $X \geq 0$ en $a > 0$ :

\P(X \geq a) \leq \frac{\E(X)}{a}.

Bewijs. In $\E(X) = \sum_i p_i x_i$ (alle termen niet-negatief), behoud alleen de termen met $x_i \geq a$ : elk is minstens $a\,p_i$ , dus $\E(X) \geq a \sum_{x_i \geq a} p_i = a\,\P(X \geq a)$ . ∎

Stelling 34.8 (Ongelijkheid van Bienaymé–Tsjebysjev)

Voor elke stochastische variabele $X$ en elke $\varepsilon > 0$ :

\P\bigl(\abs{X - \E(X)} \geq \varepsilon\bigr) \leq \frac{\V(X)}{\varepsilon^2}.

Bewijs. Pas de ongelijkheid van Markov toe op de niet-negatieve variabele $Y = (X - \E(X))^2$ met $a = \varepsilon^2$ :

\P\bigl(\abs{X - \E(X)} \geq \varepsilon\bigr) = \P(Y \geq \varepsilon^2) \leq \frac{\E(Y)}{\varepsilon^2} = \frac{\V(X)}{\varepsilon^2}. \qedhere

∎

Concentratie: Bienaymé–Tsjebysjev begrensd de kans dat X in de staarten valt (rood), op afstand minstens van haar verwachting, door (X)/ 2. — Concentratie: Bienaymé–Tsjebysjev begrensd de kans dat $X$ in de staarten valt (rood), op afstand minstens $\varepsilon$ van haar verwachting, door $\V(X)/\varepsilon^2$ .

Stelling 34.9 (Wet van de grote aantallen)

Laat $X_1, \dots, X_n$ onafhankelijk zijn met dezelfde verdeling (verwachting $\mu$ , variantie $\sigma^2$ ) en $M_n$ hun steekproefgemiddelde. Voor elke $\varepsilon > 0$ :

\P\bigl(\abs{M_n - \mu} \geq \varepsilon\bigr) \leq \frac{\sigma^2}{n\,\varepsilon^2} \xrightarrow[n \to +\infty]{} 0 .

Het steekproefgemiddelde concentreert rond de verwachting.

Bewijs. Bienaymé–Tsjebysjev toegepast op $M_n$ , waarvan de verwachting $\mu$ is en de variantie $\frac{\sigma^2}{n}$ (Propositie 34.6). ∎

Opmerking 34.10

Deze stelling is de brug tussen kansrekening en statistiek: de frequentie van een gebeurtenis over veel onafhankelijke herhalingen nadert haar kans (neem $X_i$ de indicator van de gebeurtenis, zodat $\mu = p$ ). Zij rechtvaardigt het schatten van een kans door simulatie (Monte Carlo-methode) en een populatieproportie door een peiling — kwantitatief: zie Hoofdstuk 35.

Methode 34.11 (Bienaymé–Tsjebysjev gebruiken)

Om $\P(\abs{M_n - \mu} \geq \varepsilon) \leq \alpha$ te garanderen, volstaat $n \geq \frac{\sigma^2}{\alpha\,\varepsilon^2}$ . De grens is grof (echte fluctuaties zijn meestal veel kleiner) maar perfect algemeen: zij eist niets over de verdeling buiten een eindige variantie.

34.3 Oefeningen

Oefening 34.1 ★

Twee eerlijke dobbelstenen worden geworpen; laat $S$ de som zijn. Met lineariteit (niet de verdeling van $S$ !), bereken $\E(S)$ ; bereken daarna $\V(S)$ met onafhankelijkheid, gegeven dat één eerlijke steen variantie $\frac{35}{12}$ heeft.

Oplossing

Oplossing van Oefening 34.1.

Elke steen heeft verwachting $\frac{1 + 2 + \dots + 6}{6} = \frac{7}{2}$ , dus door lineariteit $\E(S) = \frac72 + \frac72 = 7$ . De stenen zijn onafhankelijk, dus $\V(S) = \frac{35}{12} + \frac{35}{12} = \frac{35}{6} \approx 5.83$ .

Oefening 34.2 ★

Laat $X \sim \mathcal B(100,\ 0.5)$ . Begrens $\P(X \geq 75)$ met de ongelijkheid van Markov, daarna $\P(\abs{X - 50} \geq 25)$ met Bienaymé–Tsjebysjev. Vergelijk.

Oplossing

Oplossing van Oefening 34.2.

$\E(X) = 50$ en $\V(X) = 100 \times 0.25 = 25$ .

Markov ( $X \geq 0$ ): $\P(X \geq 75) \leq \frac{50}{75} = \frac23$ .

Bienaymé–Tsjebysjev: $\P(\abs{X - 50} \geq 25) \leq \frac{25}{25^2} = 0.04$ — en dit begrensd zelfs de tweezijdige gebeurtenis, waarvan $X \geq 75$ de helft is. Tsjebysjev is hier veel scherper omdat hij de variantie benut, niet alleen het gemiddelde. (De ware waarde van $\P(X \geq 75)$ is kleiner dan $10^{-6}$ : beide grenzen zijn grof.)

Oefening 34.3 ★

Een eerlijke munt wordt $n$ keer geworpen en $F_n$ duidt de frequentie van kop aan. Hoe groot moet $n$ zijn zodat, volgens de grens van Bienaymé–Tsjebysjev, $\P\bigl(\abs{F_n - 0.5} \geq 0.05\bigr) \leq 0.05$ ?

Oplossing

Oplossing van Oefening 34.3.

$F_n$ is het steekproefgemiddelde van $n$ Bernoulli $\left(\frac12\right)$ -variabelen, van variantie $\sigma^2 = \frac14$ . De grens

\P\left(\abs{F_n - 0.5} \geq 0.05\right) \leq \frac{1/4}{n \times 0.05^2} = \frac{100}{n}

is $\leq 0.05$ zodra $n \geq 2000$ .

Oefening 34.4 ★★

Een investeerder splitst haar kapitaal gelijk over $n$ onafhankelijke activa, elk met verwachte opbrengst $\mu = 5\%$ en standaardafwijking $\sigma = 20\%$ . Bereken de verwachting en standaardafwijking van de portefeuilleopbrengst $M_n$ , en het aantal activa nodig om de standaardafwijking onder $4\%$ te brengen. Welk financieel principe illustreert dit?

Oplossing

Oplossing van Oefening 34.4.

Volgens Propositie 34.6, $\E(M_n) = 5\%$ (diversificatie verandert de verwachte opbrengst niet) en $\sigma(M_n) = \frac{20\%}{\sqrt n}$ . Eisen $\frac{20}{\sqrt n} < 4$ geeft $\sqrt n > 5$ , d.w.z. $n \geq 26$ . Dit is het principe van diversificatie: kapitaal spreiden over onafhankelijke risico’s deelt het risico (standaardafwijking) door $\sqrt n$ zonder de verwachte opbrengst te verlagen.

Oefening 34.5 ★★

Laat $X$ en $Y$ onafhankelijk zijn, beide uniform op $\{1, 2, 3\}$ .

Geef de verdeling van $S = X + Y$ en bereken $\E(S)$ , $\V(S)$ direct daaruit.
Herwin beide waarden door lineariteit en additiviteit van variantie.

Oplossing

Oplossing van Oefening 34.5.

1. De $9$ even waarschijnlijke paren tellen: $S$ neemt de waarden $2, 3, 4, 5, 6$ aan met kansen $\frac19, \frac29, \frac39, \frac29, \frac19$ . Dus $\E(S) = \frac{2 + 6 + 12 + 10 + 6}{9} = 4$ en $\E(S^2) = \frac{4 + 18 + 48 + 50 + 36}{9} = \frac{156}{9} = \frac{52}{3}$ , dus $\V(S) = \frac{52}{3} - 16 = \frac43$ .

2. Eén variabele: $\E(X) = 2$ , $\E(X^2) = \frac{1 + 4 + 9}{3} = \frac{14}{3}$ , $\V(X) = \frac{14}{3} - 4 = \frac23$ . Dan $\E(S) = 2 + 2 = 4$ en, door onafhankelijkheid, $\V(S) = \frac23 + \frac23 = \frac43$ . Dezelfde waarden.

Oefening 34.6 ★★

Toon dat de additiviteit van variantie kan falen zonder onafhankelijkheid: bereken $\V(X + Y)$ voor $Y = X$ , en vergelijk met $\V(X) + \V(Y)$ . Voor welke variabelen $X$ is $\V(2X) = 2\V(X)$ ?

Oplossing

Oplossing van Oefening 34.6.

Met $Y = X$ : $\V(X + Y) = \V(2X) = 4\V(X)$ , terwijl $\V(X) + \V(Y) = 2\V(X)$ . De twee komen alleen overeen wanneer $\V(X) = 0$ , d.w.z. wanneer $X$ constant is — dus additiviteit eist echt onafhankelijkheid (hier is $X$ maximaal afhankelijk van zichzelf).

Oefening 34.7 ★★

Een dobbelsteen wordt verdacht oneerlijk te zijn. Zij wordt $1200$ keer geworpen en toont een zes $260$ keer ( $f = 0.2167$ in plaats van $\frac16 \approx 0.1667$ ). Onder de hypothese dat de steen eerlijk is, begrens $\P\bigl(\abs{F_n - \frac16} \geq 0.05\bigr)$ door Bienaymé–Tsjebysjev, en bespreek of de eerlijkheidshypothese aannemelijk is.

Oplossing

Oplossing van Oefening 34.7.

Onder eerlijkheid is $F_n$ het gemiddelde van $n = 1200$ Bernoulli-variabelen met $p = \frac16$ , $\sigma^2 = \frac16\cdot\frac56 = \frac{5}{36}$ :

\P\left(\abs{F_n - \tfrac16} \geq 0.05\right) \leq \frac{5/36}{1200 \times 0.0025} = \frac{5}{108} \approx 0.046 .

De waargenomen afwijking is precies $0.05$ : een gebeurtenis die een eerlijke steen produceert met kans hoogstens $4.6\%$ — en omdat Tsjebysjev zeer conservatief is, is de ware kans veel kleiner. De eerlijkheidshypothese is niet aannemelijk; de steen is zeer waarschijnlijk oneerlijk.

Oefening 34.8 ★★★

(Een betere ongelijkheid voor de munt.) Laat $X \sim \mathcal B(n,\ p)$ en $F_n = \frac Xn$ .

Toon dat $p(1-p) \leq \frac14$ voor $p \in \intcc{0}{1}$ .
Leid de verdelingsvrije grens af $\P\bigl(\abs{F_n - p} \geq \varepsilon\bigr) \leq \frac{1}{4n\varepsilon^2}$ .
Hoeveel mensen moeten gepolld worden zodat de waargenomen frequentie binnen $3$ punten van de ware proportie ligt met kans minstens $95\%$ , met deze grens? (Echte peilingen gebruiken scherpere schattingen, maar de ordegrootte klopt.)

Oplossing

Oplossing van Oefening 34.8.

1. $p(1-p) = \frac14 - \left(p - \frac12\right)^2 \leq \frac14$ .

2. $F_n$ heeft verwachting $p$ en variantie $\frac{p(1-p)}{n} \leq \frac{1}{4n}$ ; Bienaymé–Tsjebysjev geeft

\P\bigl(\abs{F_n - p} \geq \varepsilon\bigr) \leq \frac{p(1-p)}{n\varepsilon^2} \leq \frac{1}{4n\varepsilon^2},

geldig wat de onbekende $p$ ook is.

3. Met $\varepsilon = 0.03$ en niveau $0.05$ :

\frac{1}{4n(0.03)^2} \leq 0.05 \iff n \geq \frac{1}{4 \times 0.0009 \times 0.05} \approx 5556 .

Ongeveer $5600$ mensen volstaan volgens deze grove grens (het klassieke normaal-benaderingsantwoord ligt dichter bij $1100$ , zie Hoofdstuk 35).