Universitaire wiskunde — Bachelor jaar 3 · Bachelor Year 3

23Karakteristieke functies en de centrale limietstelling

De wet van de grote aantallen zegt dat gemiddelden convergeren; de centrale limietstelling zegt hoe ze schommelen: de fout, met $\sqrt n$ uitvergroot, is asymptotisch gaussisch — wat de verdeling ook is waarvan je vertrok. Die universaliteit is het diepste feit van de elementaire kansrekening, en haar natuurlijke bewijs is fourieranalytisch: de karakteristieke functie (de fouriergetransformeerde van een verdeling) zet onafhankelijke sommen om in producten, en de machinerie van Hoofdstuk 14 — injectiviteit, gaussische vaste punten — zet de puntsgewijze convergentie van die producten om in convergentie van verdelingen (de stelling van Lévy, voluit bewezen). Het hoofdstuk eindigt met gaussische vectoren en de eerlijke afleiding van de betrouwbaarheidsintervallen die overal in de statistiek worden gebruikt; de weekendopgave geeft het tweede bewijs van de centrale limietstelling, van Lindeberg, met een expliciete foutsnelheid.

23.1 Karakteristieke functies

Definitie 23.1

De karakteristieke functie van een reële toevalsveranderlijke $X$ is

\varphi_X(\xi) = \E\bigl[\eu^{\iu\xi X}\bigr] = \int_\R \eu^{\iu\xi x}\,\dd\P_X(x) \qquad (\xi \in \R)

(de overdrachtsformule berekent haar uit de verdeling; voor een dichtheid $f$ is $\varphi_X(\xi) = \hat f(-\xi)$ in de afspraak van Hoofdstuk 14).

Propositie 23.2

(a) $\varphi_X(0) = 1$ , $\abs{\varphi_X} \leq 1$ , en $\varphi_X$ is uniform continu; en $\varphi_{aX + b}(\xi) = \eu^{\iu b\xi}\varphi_X(a\xi)$ . (b) Zijn $X, Y$ onafhankelijk, dan is $\varphi_{X+Y} = \varphi_X\,\varphi_Y$ . (c) Is $\E\abs X^k < \infty$ , dan is $\varphi_X \in \mathcal C^k$ met $\varphi_X^{(j)}(0) = \iu^j\,\E[X^j]$ voor $j \leq k$ ; in het bijzonder is voor gecentreerde $X \in L^2$ met variantie $\sigma^2$

\varphi_X(\xi) = 1 - \frac{\sigma^2\xi^2}{2} + o(\xi^2) \qquad (\xi \to 0).

(d) Gaussisch: $X \sim \mathcal N(m, \sigma^2)$ heeft $\varphi_X(\xi) = \eu^{\iu m\xi - \sigma^2\xi^2/2}$ .

Bewijs. (a) De grenzen zijn onmiddellijk; continuïteit: $\abs{\varphi(\xi + h) - \varphi(\xi)} \leq \E\abs{\eu^{\iu hX} - 1} \to 0$ als $h \to 0$ volgens de gedomineerde convergentie, uniform in $\xi$ . De affiene regel is een substitutie. (b) $\eu^{\iu\xi(X+Y)} = \eu^{\iu\xi X}\eu^{\iu\xi Y}$ , en verwachtingswaarden van producten van onafhankelijke veranderlijken ontbinden (Stelling 22.5, toegepast op het reële en het imaginaire deel). (c) Differentiëren onder de verwachtingswaarde, gedomineerd door $\E\abs X^j$ (Stelling 10.15); de taylorontwikkeling in $0$ is dan Taylor–Young voor de $\mathcal C^2$ -functie $\varphi$ . (d) Voor $\mathcal N(0,1)$ : de gaussische getransformeerde (Voorbeeld 14.2 met $a = \frac12$ ) geeft $\int\eu^{\iu\xi x}\frac{\eu^{-x^2/2}}{\sqrt{2\pi}}\dd x = \eu^{-\xi^2/2}$ ; het algemene geval met de affiene regel. ∎

Stelling 23.3 (Injectiviteit)

Is $\varphi_X = \varphi_Y$ , dan hebben $X$ en $Y$ dezelfde verdeling. Preciezer: voor $N \sim \mathcal N(0,1)$ onafhankelijk van $X$ en $\varepsilon > 0$ heeft de gladgestreken veranderlijke $X + \varepsilon N$ de dichtheid

p_\varepsilon(x) = \frac1{2\pi}\int_\R \varphi_X(-\xi)\,\eu^{-\varepsilon^2\xi^2/2}\, \eu^{\iu\xi x}\,\dd\xi ,

die enkel door $\varphi_X$ wordt bepaald; $\varepsilon \to 0$ laten gaan wint de verdeling van $X$ terug.

Bewijs. $X + \varepsilon N$ heeft de dichtheid $p_\varepsilon(x) = \E\bigl[g_\varepsilon(x - X)\bigr]$ , met $g_\varepsilon$ de dichtheid van $\mathcal N(0, \varepsilon^2)$ : inderdaad geven voor borel $B$ de onafhankelijkheid en Tonelli $\P(X + \varepsilon N \in B) = \int\!\!\int\mathbf 1_B(x + \varepsilon n)g_1(n)\,\dd n\,\dd\P_X(x) = \int_B\E[g_\varepsilon(t - X)]\dd t$ (substitueer, dan opnieuw Tonelli). $g_\varepsilon$ met de fourierinversie van haar getransformeerde schrijven (Oefening 14.4, herschaald): $g_\varepsilon(u) = \frac1{2\pi}\int \eu^{-\varepsilon^2\xi^2/2}\eu^{\iu\xi u}\dd \xi$ , en Fubini (alles gedomineerd door de gaussische factor):

p_\varepsilon(x) = \frac1{2\pi}\int_\R \varphi_X(-\xi)\,\eu^{-\varepsilon^2\xi^2/2}\, \eu^{\iu\xi x}\,\dd\xi ,

een functionaal van enkel $\varphi_X$ . Is $\varphi_X = \varphi_Y$ , dan hebben $X + \varepsilon N$ en $Y + \varepsilon N$ voor elke $\varepsilon$ dezelfde verdeling; voor begrensde continue $f$ is $\E f(X + \varepsilon N) \to \E f(X)$ als $\varepsilon \to 0$ (gedomineerde convergentie, want $X + \varepsilon N \to X$ puntsgewijs op de productruimte), dus $\E f(X) = \E f(Y)$ voor al zulke $f$ — en dat legt de verdeling vast: klem voor elke $t$ $\mathbf 1_{\intoc{-\infty}t}$ tussen de begrensde continue hellingen $f_k^\pm$ (gelijk aan $1$ op $\intoc{-\infty}{t \mp \frac1k}$ , aan $0$ voorbij $t \pm \frac1k$ , affien ertussen); naar de limiet gaan in $\E f_k^-(X) \leq F_X(t) \leq \E f_k^+(X)$ geeft $F_X(t) = F_Y(t)$ in elk punt waar beide continu zijn, en dus overal wegens de rechtscontinuïteit en de dichtheid van de gemeenschappelijke continuïteitspunten (beide $F$ ’s hebben aftelbaar veel sprongen); gelijke verdelingsfuncties dwingen gelijke verdelingen af (Oefening 9.3, steunend op Stelling 9.7). ∎

23.2 Convergentie in verdeling

Definitie 23.4

$X_n$ convergeert in verdeling naar $X$ , genoteerd $X_n \Rightarrow X$ , als

\E\bigl[f(X_n)\bigr] \longrightarrow \E\bigl[f(X)\bigr] \qquad\text{voor elke begrensde continue } f\colon\R\to\R .

Gelijkwaardig (Oefening 23.4): $F_{X_n}(t) \to F_X(t)$ in elk continuïteitspunt $t$ van $F_X$ . De $X_n$ hoeven niet op een gemeenschappelijke kansruimte te leven: enkel de verdelingen tellen.

Stelling 23.5 (Selectiestelling van Helly)

Elke rij $(F_n)$ verdelingsfuncties heeft een deelrij die in elk continuïteitspunt van de limiet puntsgewijs convergeert naar een niet-dalende rechtscontinue $G \colon \R \to \intcc01$ — mogelijk met $G(+\infty) - G(-\infty) < 1$ (er kan massa naar oneindig ontsnappen).

Bewijs. Een diagonaalextractie geeft $F_{n_k}(q) \to \ell(q)$ voor elke rationale $q$ (waarden in de compacte $\intcc01$ ). Definieer $G(t) = \inf\{\ell(q) : q \in \Q, q > t\}$ : niet-dalend en rechtscontinu (een infimum over krimpende rationale omgevingen van rechts). In een continuïteitspunt $t$ van $G$ is voor rationale $q_1 < t < q_2$

\ell(q_1) \leq \liminf F_{n_k}(t) \leq \limsup F_{n_k}(t) \leq \ell(q_2),

wegens de monotonie van elke $F_{n_k}$ . Uit de definitie van $G$ als infimum en de monotonie van $\ell$ op de rationale getallen: $G(s) \leq \ell(q) \leq G(q)$ zodra $s < q$ . Met $s < q_1 < t$ geeft dat $\ell(q_1) \geq G(s)$ , en $\ell(q_2) \leq G(q_2)$ ; laat $s \uparrow t$ en $q_2 \downarrow t$ gaan: de continuïteit van $G$ in $t$ klemt zowel de $\liminf$ als de $\limsup$ tot $G(t)$ . ∎

Lemma 23.6 (Gespannenheid uit de karakteristieke functie)

Voor elke toevalsveranderlijke $X$ en $u > 0$ is

\P\Bigl(\abs X \geq \frac2u\Bigr) \;\leq\; \frac1u\int_{-u}^{u}\bigl(1 - \operatorname{Re}\varphi_X(\xi)\bigr)\,\dd\xi .

Bewijs. Met Tonelli–Fubini (begrensde integrand, eindig gebied in $\xi$ ):

\frac1u\int_{-u}^u\bigl(1 - \operatorname{Re}\varphi_X(\xi)\bigr)\dd\xi = \E\Bigl[\frac1u\int_{-u}^u(1 - \cos(\xi X))\,\dd\xi\Bigr] = 2\,\E\Bigl[1 - \frac{\sin(uX)}{uX}\Bigr]

(vat het haakje in $X = 0$ op als zijn limiet $0$ ). De integrand is niet-negatief ( $\abs{\sin t} \leq \abs t$ ), en voor $\abs{uX} \geq 2$ is $1 - \frac{\sin(uX)}{uX} \geq 1 - \frac1{\abs{uX}} \geq \frac12$ . Enkel de gebeurtenis $\{\abs{uX} \geq 2\}$ binnen de verwachtingswaarde behouden laat dus minstens $2 \cdot \frac12\,\P(\abs X \geq \frac2u)$ over, en dat is de bewering. ∎

Stelling 23.7 (Continuïteitsstelling van Lévy)

Zij $(X_n)$ toevalsveranderlijken waarvan de karakteristieke functies puntsgewijs convergeren: $\varphi_{X_n}(\xi) \to \varphi(\xi)$ voor elke $\xi$ , waarbij $\varphi = \varphi_X$ de karakteristieke functie van een toevalsveranderlijke $X$ is. Dan is $X_n \Rightarrow X$ .

Bewijs. Gespannenheid. Leg $\varepsilon > 0$ vast. Omdat $\varphi$ continu is in $0$ met $\varphi(0) = 1$ , kies je $u > 0$ met $\frac1u\int_{-u}^u(1 - \operatorname{Re}\varphi) < \varepsilon$ ; volgens de gedomineerde convergentie (de integrand is op de vaste $[-u,u]$ door $2$ begrensd) is dezelfde integraal voor $\varphi_{X_n}$ voor grote $n$ $< 2\varepsilon$ : Lemma 23.6 geeft $\P(\abs{X_n} \geq \frac2u) \leq 2\varepsilon$ voor grote $n$ , en de constante vergroten handelt de eindig veel andere af: de verdelingen zijn gespannen — er ontsnapt geen massa.

Deelrijen. Zij $(F_{n_k})$ een willekeurige deelrij; haal er met Helly (Stelling 23.5) een $F_{n_{k_j}} \to G$ uit in de continuïteitspunten. De gespannenheid dwingt $G(-\infty) = 0$ en $G(+\infty) = 1$ af ( $G(\frac2u) - G(-\frac2u) \geq 1 - 2\varepsilon$ in de continuïteitspunten): $G$ is dus een echte verdelingsfunctie, van een toevalsveranderlijke $Y$ . Dan is $X_{n_{k_j}} \Rightarrow Y$ (Oefening 23.4, convergentie in verdeling uit de $F$ ’s), dus $\varphi_{X_{n_{k_j}}} \to \varphi_Y$ puntsgewijs ( $x \mapsto \eu^{\iu\xi x}$ is begrensd en continu, met het reële en het imaginaire deel apart); vergelijken met de hypothese geeft $\varphi_Y = \varphi = \varphi_X$ , en de injectiviteit (Stelling 23.3) geeft $Y \sim X$ , dat wil zeggen $G = F_X$ .

Besluit. Elke deelrij van $(F_n)$ heeft een deeldeelrij die naar dezelfde $F_X$ convergeert (in haar continuïteitspunten); dus $F_n(t) \to F_X(t)$ in elk continuïteitspunt $t$ (een reële rij waarvan alle deelrijen deeldeelrijen met dezelfde limiet hebben, convergeert): $X_n \Rightarrow X$ . ∎

23.3 De centrale limietstelling

Stelling 23.8 (Centrale limietstelling)

Zij $(X_n)$ i.i.d. met $\E X_1 = m$ en $\V(X_1) = \sigma^2 \in \intoo0\infty$ . Dan is

\frac{S_n - nm}{\sigma\sqrt n} \;\Longrightarrow\; \mathcal N(0, 1) : \qquad \P\Bigl(a \leq \frac{S_n - nm}{\sigma\sqrt n} \leq b\Bigr) \longrightarrow \frac{1}{\sqrt{2\pi}}\int_a^b\eu^{-x^2/2}\,\dd x

voor alle $a < b$ .

Bewijs. Centreer en normeer: $Z_i = \frac{X_i - m}{\sigma}$ (i.i.d., met gemiddelde $0$ en variantie $1$ ) en $T_n = \frac1{\sqrt n}\sum_{i\leq n}Z_i$ . Met de onafhankelijkheid en de affiene regel (Propositie 23.2):

\varphi_{T_n}(\xi) = \varphi_{Z}\Bigl(\frac{\xi}{\sqrt n}\Bigr)^{n}, \qquad \varphi_Z(\eta) = 1 - \frac{\eta^2}2 + \eta^2\rho(\eta),\quad \rho(\eta)\to0 .

Leg $\xi$ vast en stel $a_n = \varphi_Z(\xi/\sqrt n)$ en $b_n = 1 - \frac{\xi^2}{2n}$ : beide hebben voor grote $n$ modulus $\leq 1$ ( $\abs{b_n} \leq 1$ zodra $\xi^2 \leq 4n$ ; $\abs{a_n} \leq 1$ altijd). De elementaire ongelijkheid $\abs{a^n - b^n} \leq n\abs{a - b}$ voor $\abs a, \abs b \leq 1$ (telescoperen: $a^n - b^n = \sum a^k(a - b)b^{n-1-k}$ ) geeft

\Bigl|\varphi_{T_n}(\xi) - \Bigl(1 - \frac{\xi^2}{2n}\Bigr)^{n}\Bigr| \leq n\,\Bigl|\varphi_Z\Bigl(\frac\xi{\sqrt n}\Bigr) - 1 + \frac{\xi^2}{2n}\Bigr| = \xi^2\,\Bigl|\rho\Bigl(\frac{\xi}{\sqrt n}\Bigr)\Bigr| \longrightarrow 0,

terwijl $\bigl(1 - \frac{\xi^2}{2n}\bigr)^n \to \eu^{-\xi^2/2}$ (reële logaritme). Dus $\varphi_{T_n}(\xi) \to \eu^{-\xi^2/2} = \varphi_{\mathcal N(0,1)}(\xi)$ (Propositie 23.2(d)) voor elke $\xi$ : Lévy (Stelling 23.7) besluit $T_n \Rightarrow \mathcal N(0,1)$ . De kansen op intervallen volgen omdat $F_{\mathcal N}$ overal continu is. ∎

Voorbeeld 23.9 (Betrouwbaarheidsintervallen, eerlijk afgeleid)

Peil $n$ onafhankelijke kiezers; $\hat p_n = S_n/n$ schat de ware $p$ , met $\sigma^2 = p(1-p) \leq \frac14$ . De centrale limietstelling geeft voor grote $n$

\P\Bigl(\abs{\hat p_n - p} \leq \frac{z}{2\sqrt n}\Bigr) \;\geq\; \P\Bigl(\Bigl|\frac{S_n - np}{\sigma\sqrt n}\Bigr| \leq z\Bigr) \longrightarrow \Phi(z) - \Phi(-z),

waarbij $\Phi$ de standaardgaussische verdelingsfunctie is. Met $z = 1.96$ : een asymptotisch betrouwbaarheidsniveau van $95\%$ , en een marge $\frac{1.96}{2\sqrt n} \leq 3\%$ vereist $n \geq \bigl(\frac{1.96}{0.06}\bigr)^2 \approx 1068$ — het getal achter elke “ $\pm3$ punten, $95\%$ ” die je leest; vergelijk met de $5556$ van Chebyshev (Oefening 22.7). De $\sqrt n$ is universeel: om de fout te halveren moet je de steekproef verviervoudigen — dezelfde wet die de kostprijs van monte carlo bepaalt (Oefening 23.7).

23.4 Gaussische vectoren

Definitie 23.10

Een toevalsvector $X = (X_1, \dots, X_d)$ heet gaussisch als elke lineaire combinatie $\langle t, X\rangle = \sum t_iX_i$ een (mogelijk ontaarde) reële gaussische veranderlijke is. Haar verdeling ligt vast door de gemiddeldenvector $m = (\E X_i)$ en de covariantiematrix $\Sigma = \bigl(\operatorname{Cov} (X_i, X_j)\bigr)$ : inderdaad is de karakteristieke functie van de vector, $\varphi_X(t) = \E\eu^{\iu\langle t, X\rangle}$ , de waarde in $1$ van de karakteristieke functie van $\langle t, X\rangle$ :

\varphi_X(t) = \exp\Bigl(\iu\langle t, m\rangle - \tfrac12\,t^{\mathsf T}\Sigma\,t\Bigr),

en $d$ -dimensionale karakteristieke functies zijn injectief (hetzelfde bewijs met gladstrijken als Stelling 23.3, met coördinaatsgewijze gaussische functies).

Stelling 23.11

Zij $X$ een gaussische vector.

Elk affien beeld $AX + b$ is een gaussische vector.
De componenten $X_i$ zijn onafhankelijk dan en slechts dan als $\Sigma$ diagonaal is: voor gezamenlijk gaussische veranderlijken is ongecorreleerd $=$ onafhankelijk.
Is $\Sigma$ inverteerbaar, dan heeft $X$ de dichtheid $\frac{1}{(2\pi)^{d/2}\sqrt{\det\Sigma}} \exp\bigl(-\frac12(x - m)^{\mathsf T}\Sigma^{-1}(x - m)\bigr)$ .

Bewijs. (1) Lineaire combinaties van de componenten van $AX + b$ zijn affiene functies van lineaire combinaties van $X$ : gaussisch (een affien beeld van een gaussische veranderlijke is gaussisch). (2) Is $\Sigma$ diagonaal, dan ontbindt de karakteristieke functie: $\varphi_X(t) = \prod_i\exp(\iu t_im_i - \frac12\Sigma_{ii}t_i^2) = \prod\varphi_{X_i}(t_i)$ , en dat is de karakteristieke functie van de productverdeling (Stelling 22.5, gelezen via de $d$ -dimensionale injectiviteit): de componenten zijn dus onafhankelijk. De omkering is het verdwijnen van de covarianties van onafhankelijke veranderlijken in $L^2$ . (3) Diagonaliseer $\Sigma = P D P^{\mathsf T}$ ( $P$ orthogonaal, $D > 0$ diagonaal — Oefening 20.8); de vector $Y = P^{\mathsf T}(X - m)$ is gaussisch met covariantie $D$ : volgens (2) zijn haar componenten onafhankelijk $\mathcal N(0, d_i)$ , dus heeft $Y$ de productdichtheid; duw vooruit met de volumebehoudende $x = m + PY$ (Stelling 11.10, $\abs{\det P} = 1$ ) en herschrijf de exponent invariant. ∎

Stelling 23.12 (Meerdimensionale centrale limietstelling)

Zij $(X_n)$ i.i.d. kwadratisch integreerbare toevalsvectoren van $\R^d$ met gemiddelde $m$ en covariantiematrix $\Sigma$ . Dan convergeert $\frac{S_n - nm}{\sqrt n}$ in verdeling naar de gaussische vector $\mathcal N(0, \Sigma)$ .

Bewijs. Op dit niveau zonder bewijs aangenomen. ∎

Opmerking 23.13

Bijna alles hebben we al in handen. Voor elke richting $t \in \R^d$ is de reële veranderlijke $\langle t, \frac{S_n - nm}{\sqrt n}\rangle$ een genormeerde som van i.i.d. reële veranderlijken met variantie $t^{\mathsf T}\Sigma t$ , dus geeft de berekening van Stelling 23.8 de puntsgewijze convergentie van de $d$ -dimensionale karakteristieke functies naar $\eu^{-t^{\mathsf T}\Sigma t/2}$ , de karakteristieke functie van $\mathcal N(0, \Sigma)$ (Definitie 23.10). Wat we niet opnieuw hebben bewezen, is de continuïteitsstelling van Lévy in $\R^d$ : de selectie van Helly en de afschatting van de gespannenheid veralgemenen routineus (coördinaatsgewijs), en die herleiding van Cramér–Wold wordt in elke masteropleiding kansrekening eerlijk uitgevoerd; er is niets nodig voorbij de methoden van dit hoofdstuk.

Methode 23.14

Om een limietverdeling te herkennen: bereken karakteristieke functies, neem de puntsgewijze limiet, herken haar (gaussisch $\eu^{-\sigma^2\xi^2/2}$ , poisson $\eu^{\lambda(\eu^{\iu\xi}-1)}$ , exponentieel $\frac{\lambda} {\lambda - \iu\xi}$ , …) en roep Lévy in. Het ritueel in drie stappen (onafhankelijkheid $\to$ product; Taylor in $0$ $\to$ exponentiële limiet; Lévy $\to$ convergentie in verdeling) bewijst de centrale limietstelling, de wet van de zeldzame gebeurtenissen (Oefening 23.5) en elke klassieke limietstelling van deze cursus. Voor b.z.-uitspraken ga je terug naar de gereedschapskist van Hoofdstuk 22: de twee hoofdstukken beantwoorden verschillende vragen over dezelfde $S_n$ .

23.5 Oefeningen

Oefening 23.1 ★

Bereken de karakteristieke functies: uniform op $\intcc{-1}1$ ; exponentieel $\mathcal E(\lambda)$ ; poisson $\mathcal P(\lambda)$ ; binomiaal $\mathcal B(n, p)$ . Leid met Stelling 23.3 af dat de som van onafhankelijke poissonveranderlijken ( $\lambda, \mu$ ) poisson $(\lambda + \mu)$ is.

Oplossing

Oplossing van Oefening 23.1.

Uniform op $\intcc{-1}1$ : $\varphi(\xi) = \frac12\int_{-1}^1\eu^{\iu\xi x}\dd x = \frac{\sin\xi}{\xi}$ (gelijk aan $1$ in $\xi = 0$ ). Exponentieel $\mathcal E(\lambda)$ : $\varphi(\xi) = \lambda\int_0^\infty\eu^{(\iu\xi - \lambda)x}\dd x = \frac{\lambda}{\lambda - \iu\xi}$ (de primitieve verdwijnt in $+\infty$ omdat $\operatorname{Re}(\iu\xi - \lambda) < 0$ ). Poisson $\mathcal P(\lambda)$ : volgens de overdrachtsstelling voor discrete verdelingen,

\varphi(\xi) = \sum_{k\geq0}\eu^{\iu\xi k}\,\eu^{-\lambda}\frac{\lambda^k}{k!} = \eu^{-\lambda}\exp\bigl(\lambda\eu^{\iu\xi}\bigr) = \exp\bigl(\lambda(\eu^{\iu\xi} - 1)\bigr).

Binomiaal $\mathcal B(n, p)$ : een som van $n$ onafhankelijke bernoulliveranderlijken, elk met karakteristieke functie $1 - p + p\eu^{\iu\xi}$ , dus $\varphi(\xi) = \bigl(1 - p + p\eu^{\iu\xi}\bigr)^n$ (Propositie 23.2(b)). Additiviteit van poisson: zijn $X \sim \mathcal P(\lambda)$ en $Y \sim \mathcal P(\mu)$ onafhankelijk, dan is

\varphi_{X+Y}(\xi) = \eu^{\lambda(\eu^{\iu\xi}-1)} \eu^{\mu(\eu^{\iu\xi}-1)} = \eu^{(\lambda+\mu)(\eu^{\iu\xi}-1)},

de karakteristieke functie van $\mathcal P(\lambda + \mu)$ ; de injectiviteit (Stelling 23.3) identificeert de verdeling.

Oefening 23.2 ★★

(a) Toon aan dat $\varphi_X$ reëelwaardig is dan en slechts dan als $X$ en $-X$ dezelfde verdeling hebben (een symmetrische veranderlijke). (b) Stel dat $\abs{\varphi_X(\xi_0)} = 1$ voor een $\xi_0 \neq 0$ . Toon aan dat $X$ bijna zeker haar drager in een rekenkundige rij $a + \frac{2\pi}{\xi_0}\Z$ heeft (schrijf $\varphi_X(\xi_0) = \eu^{\iu\theta}$ en bereken $\E[1 - \cos(\xi_0X - \theta)]$ ). Leid af dat als $X$ een dichtheid heeft, $\abs{\varphi_X(\xi)} < 1$ voor alle $\xi \neq 0$ .

Oplossing

Oplossing van Oefening 23.2.

(a) $\overline{\varphi_X(\xi)} = \E\eu^{-\iu\xi X} = \varphi_{-X}(\xi)$ . Dus is $\varphi_X$ reëelwaardig dan en slechts dan als $\varphi_X = \varphi_{-X}$ , dan en slechts dan als (injectiviteit, Stelling 23.3) $X$ en $-X$ dezelfde verdeling hebben. (b) Schrijf $\varphi_X(\xi_0) = \eu^{\iu\theta}$ . Dan is

\E\bigl[1 - \cos(\xi_0X - \theta)\bigr] = 1 - \operatorname{Re}\bigl(\eu^{-\iu\theta} \varphi_X(\xi_0)\bigr) = 1 - 1 = 0 .

De integrand is niet-negatief, dus $\cos(\xi_0X - \theta) = 1$ bijna zeker (een niet-negatieve veranderlijke met verwachtingswaarde nul verdwijnt b.z.), dat wil zeggen $\xi_0X - \theta \in 2\pi\Z$ b.z.: $X$ neemt haar waarden bijna zeker aan in de rekenkundige rij $\frac{\theta}{\xi_0} + \frac{2\pi}{\xi_0}\Z$ . Heeft $X$ een dichtheid, dan is die aftelbare verzameling lebesgue-nul en draagt ze dus kans $0$ — tegenspraak; bijgevolg is $\abs{\varphi_X(\xi)} < 1$ voor elke $\xi \neq 0$ .

Oefening 23.3 ★★

Zij $X \sim \mathcal N(m_1, \sigma_1^2)$ en $Y \sim \mathcal N(m_2, \sigma_2^2)$ onafhankelijk. Toon aan dat $X + Y \sim \mathcal N(m_1 + m_2, \sigma_1^2 + \sigma_2^2)$ , en algemener dat de gaussische familie stabiel is onder onafhankelijke sommen en affiene afbeeldingen. Contrast: is de som van twee afhankelijke gaussische veranderlijken altijd gaussisch? (Oefening 23.9.)

Oplossing

Oplossing van Oefening 23.3.

Uit de onafhankelijkheid en Propositie 23.2:

\varphi_{X+Y}(\xi) = \eu^{\iu m_1\xi - \sigma_1^2\xi^2/2}\, \eu^{\iu m_2\xi - \sigma_2^2\xi^2/2} = \eu^{\iu(m_1+m_2)\xi - (\sigma_1^2+\sigma_2^2)\xi^2/2},

de karakteristieke functie van $\mathcal N(m_1 + m_2, \sigma_1^2 + \sigma_2^2)$ ; de injectiviteit besluit. De stabiliteit onder affiene afbeeldingen is de affiene regel ( $aX + b \sim \mathcal N(am_1 + b, a^2\sigma_1^2)$ , met het ontaarde geval $a = 0$ toegelaten), en de stabiliteit onder onafhankelijke sommen volgt uit bovenstaande berekening met inductie. Voor afhankelijke gaussische veranderlijken hoeft de som niet gaussisch te zijn: in Oefening 23.9 zijn $X$ en $Y = \varepsilon X$ elk standaardgaussisch, maar $X + Y$ verdwijnt met kans $\frac12$ zonder b.z. nul te zijn, dus is het niet gaussisch.

Oefening 23.4 ★★

(a) Bewijs de gelijkwaardigheid in Definitie 23.4: geldt $\E f(X_n) \to \E f(X)$ voor alle begrensde continue $f$ , dan is $F_{X_n}(t) \to F_X(t)$ in de continuïteitspunten (klem $\mathbf 1_{\intoc{-\infty}t}$ tussen twee continue traphellingen); en omgekeerd (benader een begrensde continue $f$ met sommen van hellingfuncties, of conditioneer op een fijn rooster van continuïteitspunten) — de omkering mag eerst voor uniform continue $f$ worden behandeld, en dan in het algemeen. (b) Toon aan dat $X_n \Rightarrow c$ (een constante) impliceert dat $X_n \to c$ in kans.

Oplossing

Oplossing van Oefening 23.4.

(a) Directe implicatie. Zij $t$ een continuïteitspunt van $F_X$ en $\delta > 0$ . Neem de continue hellingen $f^-$ ( $= 1$ op $\intoc{-\infty}{t-\delta}$ , $0$ vanaf $t$ , affien daartussen) en $f^+$ ( $= 1$ op $\intoc{-\infty}t$ , $0$ vanaf $t + \delta$ , affien daartussen); dan is $f^- \leq \mathbf 1_{\intoc{-\infty}t} \leq f^+$ , dus

\E f^-(X_n) \leq F_{X_n}(t) \leq \E f^+(X_n),

en de buitenste termen convergeren naar $\E f^\pm(X)$ , die zelf tussen $F_X(t - \delta)$ en $F_X(t + \delta)$ geklemd liggen. Laat $n \to \infty$ en daarna $\delta \to 0$ gaan en gebruik de continuïteit van $F_X$ in $t$ : $F_{X_n}(t) \to F_X(t)$ .

Omgekeerd. Zij $f$ begrensd en continu, $M = \sup\abs f$ , $\varepsilon > 0$ . De continuïteitspunten van $F_X$ liggen dicht ( $F_X$ heeft hoogstens aftelbaar veel sprongen), dus kies continuïteitspunten $a < b$ met $F_X(a) < \varepsilon$ en $1 - F_X(b) < \varepsilon$ . Op de compacte $\intcc ab$ is $f$ uniform continu: kies continuïteitspunten $a = t_0 < t_1 < \dots < t_m = b$ van $F_X$ zodat de oscillatie van $f$ op elke $\intoc{t_{j-1}}{t_j}$ hoogstens $\varepsilon$ is, en stel $g = \sum_j f(t_j)\,\mathbf 1_{\intoc{t_{j-1}}{t_j}}$ . Dan is $\abs{f - g} \leq \varepsilon$ op $\intoc ab$ , $\abs g \leq M$ , en voor $T = X_n$ of $X$ :

\bigl|\E f(T) - \E g(T)\bigr| \leq \varepsilon + 2M\bigl(F_T(a) + 1 - F_T(b)\bigr).

Bovendien is $\E g(X_n) = \sum_j f(t_j)\bigl(F_{X_n}(t_j) - F_{X_n}(t_{j-1})\bigr) \to \E g(X)$ (een eindige som van convergerende termen, want alle $t_j$ zijn continuïteitspunten), en $F_{X_n}(a) \to F_X(a) < \varepsilon$ , $1 - F_{X_n}(b) \to 1 - F_X(b) < \varepsilon$ . Samengevoegd: $\limsup_n\abs{\E f(X_n) - \E f(X)} \leq 2\varepsilon + 8M\varepsilon$ ; laat $\varepsilon \to 0$ gaan.

(b) De verdelingsfunctie van de constante $c$ is $\mathbf 1_{\intco c\infty}$ , continu behalve in $c$ . Voor $\varepsilon > 0$ zijn de punten $c - \varepsilon$ en $c + \frac\varepsilon2$ continuïteitspunten, dus

\P(\abs{X_n - c} > \varepsilon) \leq F_{X_n}(c - \varepsilon) + 1 - F_{X_n}\Bigl(c + \frac\varepsilon2\Bigr) \longrightarrow 0 + 1 - 1 = 0 .

Oefening 23.5 ★★

(Wet van de zeldzame gebeurtenissen) Zij $X_n \sim \mathcal B(n, p_n)$ met $np_n \to \lambda > 0$ . Toon met karakteristieke functies en Stelling 23.7 aan dat $X_n \Rightarrow \mathcal P(\lambda)$ . Numerieke controle: vergelijk $\P(X = 0)$ voor $\mathcal B(100, 0.02)$ en $\mathcal P(2)$ .

Oplossing

Oplossing van Oefening 23.5.

Stel $z_n = p_n(\eu^{\iu\xi} - 1)$ , zodat $\varphi_{X_n}(\xi) = (1 + z_n)^n$ (Oefening 23.1) en $\abs{z_n} \leq 2p_n \to 0$ (merk op dat $p_n = \frac{np_n}n \to 0$ ). Zowel $1 + z_n$ als $\eu^{z_n}$ hebben modulus hoogstens $1$ : $\abs{1 + z_n} = \abs{(1 - p_n) + p_n\eu^{\iu\xi}} \leq 1$ volgens de driehoeksongelijkheid, en $\abs{\eu^{z_n}} = \eu^{p_n(\cos\xi - 1)} \leq 1$ . De telescopische ongelijkheid $\abs{a^n - b^n} \leq n\abs{a - b}$ (bewijs van Stelling 23.8) en de machtreeksgrens $\abs{\eu^z - 1 - z} \leq \abs z^2\eu^{\abs z}$ geven

\bigl|(1 + z_n)^n - \eu^{nz_n}\bigr| \leq n\bigl|1 + z_n - \eu^{z_n}\bigr| \leq n\,\abs{z_n}^2\,\eu^{\abs{z_n}} \leq 4\eu^2\,np_n^2 = 4\eu^2\,(np_n)\,p_n \longrightarrow 0 .

Omdat $nz_n = np_n(\eu^{\iu\xi} - 1) \to \lambda(\eu^{\iu\xi} - 1)$ , besluiten we $\varphi_{X_n}(\xi) \to \exp\bigl(\lambda(\eu^{\iu\xi} - 1)\bigr)$ voor elke $\xi$ : de karakteristieke functie van $\mathcal P(\lambda)$ , en Lévy (Stelling 23.7) geeft $X_n \Rightarrow \mathcal P(\lambda)$ . Numeriek: $\P\bigl(\mathcal B(100, 0.02) = 0\bigr) = 0.98^{100} = \eu^{100\ln 0.98} \approx \eu^{-2.020} \approx 0.1326$ , terwijl $\P\bigl(\mathcal P(2) = 0\bigr) = \eu^{-2} \approx 0.1353$ : twee procent verschil, al bij deze grove $n$ .

Oefening 23.6 ★★

(a) Een eerlijke dobbelsteen wordt $n = 1000$ keer geworpen; benader de kans dat het totaal $3600$ overschrijdt (gemiddelde $3500$ , variantie per worp $\frac{35}{12}$ ). (b) Benader voor $S \sim \mathcal B(100, \frac12)$ $\P(45 \leq S \leq 55)$ met de centrale limietstelling en de continuïteitscorrectie ( $\pm\frac12$ ), en becommentarieer het effect van de correctie.

Oplossing

Oplossing van Oefening 23.6.

(a) Eén worp heeft gemiddelde $\frac72$ en variantie $\frac{35}{12}$ , dus $S$ heeft gemiddelde $3500$ , variantie $\frac{35000}{12} \approx 2916.7$ en standaardafwijking $\approx 54.0$ . Volgens de centrale limietstelling,

\P(S > 3600) = \P\Bigl(\frac{S - 3500}{54.0} > 1.85\Bigr) \approx 1 - \Phi(1.85) \approx 0.032 :

ongeveer $3\%$ kans. (b) $S \sim \mathcal B(100, \frac12)$ : gemiddelde $50$ , standaardafwijking $5$ . Met de continuïteitscorrectie,

\P(45 \leq S \leq 55) \approx \Phi\Bigl(\frac{55.5 - 50}{5}\Bigr) - \Phi\Bigl(\frac{44.5 - 50}{5}\Bigr) = 2\Phi(1.1) - 1 \approx 0.729,

tegenover de exacte waarde $0.7287$ ; zonder de correctie $2\Phi(1) - 1 \approx 0.683$ , bijna vijf punten ernaast. De correctie doet ertoe omdat $S$ een roosterveranderlijke is: het atoom $\P(S = k)$ wordt goed benaderd door de gaussische massa van $\intcc{k - \frac12}{k + \frac12}$ , en het interval bij de gehele getallen $45$ en $55$ afknippen gooit aan elk uiteinde een half atoom weg.

Oefening 23.7 ★★

(Fout van monte carlo) Zij in het kader van Probleem 22.1, vraag 11, met $g \in L^2(\intcc01^d)$ , $\sigma^2 = \V(g(U_1))$ en $I = \int g$ . Toon aan dat

\sqrt n\,\Bigl(\frac1n\sum_{k\leq n}g(U_k) - I\Bigr) \Longrightarrow \mathcal N(0, \sigma^2),

en leid de asymptotische foutmarge van $95\%$ , $\pm 1.96\,\sigma/\sqrt n$ , af — onafhankelijk van de dimensie $d$ . Vergelijk met de deterministische middelpuntsregel in dimensie $d$ (fout $\sim n^{-2/d}$ voor $\mathcal C^2$ -integranden): vanaf welke dimensie wint het toevallig bemonsteren?

Oplossing

Oplossing van Oefening 23.7.

De veranderlijken $g(U_k)$ zijn i.i.d. (meetbare beelden van i.i.d. veranderlijken), kwadratisch integreerbaar, met gemiddelde $I$ (overdrachtsstelling, Oefening 11.9) en variantie $\sigma^2$ . Is $\sigma > 0$ , dan is Stelling 23.8 toegepast op die veranderlijken precies de gevraagde convergentie

\sqrt n\,\Bigl(\frac1n\sum_{k\leq n}g(U_k) - I\Bigr) = \frac{\sum_{k\leq n}\bigl(g(U_k) - I\bigr)}{\sqrt n} \Longrightarrow \mathcal N(0, \sigma^2)

(is $\sigma = 0$ , dan is $g$ b.z. constant en verdwijnt het linkerlid identiek). Bijgevolg is $\P\bigl(\abs{\frac1n\sum g(U_k) - I} \leq 1.96\,\sigma/\sqrt n\bigr) \to 0.95$ : de foutmarge $\pm 1.96\,\sigma/\sqrt n$ ziet de dimensie $d$ enkel via de constante $\sigma$ , nooit via de snelheid in $n$ . De middelpuntsregel met $n$ knopen in dimensie $d$ heeft maaswijdte $n^{-1/d}$ en een fout van de orde $n^{-2/d}$ voor $\mathcal C^2$ -integranden. De $n^{-1/2}$ van monte carlo daalt sneller dan $n^{-2/d}$ precies wanneer $\frac12 > \frac2d$ , dat wil zeggen $d > 4$ : vanaf dimensie $5$ wint het toevallig bemonsteren asymptotisch van het rooster — de vloek van de dimensie spaart de kansrekenkundige methoden, en daarom heerst monte carlo over de hoogdimensionale integratie.

Oefening 23.8 ★★★

(Slutsky) Stel dat $X_n \Rightarrow X$ en $Y_n \to c$ in kans ( $c$ constant). Toon aan dat $X_n + Y_n \Rightarrow X + c$ en $Y_nX_n \Rightarrow cX$ . (Werk met karakteristieke functies en de afschatting $\abs{\E\eu^{\iu\xi (X_n+Y_n)} - \eu^{\iu\xi c}\E\eu^{\iu\xi X_n}} \leq \E\abs{\eu^{\iu\xi(Y_n - c)} - 1}$ , en splits op $\abs{Y_n - c} \leq \delta$ .) Toepassing: verantwoord in Voorbeeld 23.9 het vervangen van de onbekende $\sigma = \sqrt{p(1-p)}$ door $\sqrt{\hat p_n(1 - \hat p_n)}$ .

Oplossing

Oplossing van Oefening 23.8.

Som. Voor vaste $\xi$ :

\bigl|\E\eu^{\iu\xi(X_n+Y_n)} - \eu^{\iu\xi c}\,\E\eu^{\iu\xi X_n}\bigr| = \bigl|\E\bigl[\eu^{\iu\xi X_n}\bigl(\eu^{\iu\xi Y_n} - \eu^{\iu\xi c}\bigr)\bigr]\bigr| \leq \E\bigl|\eu^{\iu\xi(Y_n - c)} - 1\bigr| .

Splits op de gebeurtenis $\{\abs{Y_n - c} \leq \delta\}$ : daar is $\abs{\eu^{\iu\xi(Y_n-c)} - 1} \leq \abs\xi\,\delta$ (de koorde is korter dan de boog); het complement draagt hoogstens $2\,\P(\abs{Y_n - c} > \delta) \to 0$ bij. De $\limsup$ is dus $\leq \abs\xi\,\delta$ voor elke $\delta > 0$ : het verschil streeft naar $0$ . Omdat $\E\eu^{\iu\xi X_n} \to \varphi_X(\xi)$ , krijgen we $\varphi_{X_n+Y_n}(\xi) \to \eu^{\iu\xi c}\varphi_X(\xi) = \varphi_{X+c}(\xi)$ , en Lévy (Stelling 23.7) levert $X_n + Y_n \Rightarrow X + c$ .

Product. Eerst $cX_n \Rightarrow cX$ : $\varphi_{cX_n}(\xi) = \varphi_{X_n}(c\xi) \to \varphi_X(c\xi) = \varphi_{cX}(\xi)$ . Vervolgens $(Y_n - c)X_n \to 0$ in kans: de verdelingen van de $X_n$ zijn gespannen (hun karakteristieke functies convergeren naar een karakteristieke functie; zie de gespannenheidsstap van Stelling 23.7), dus kies bij $\varepsilon > 0$ een $M$ met $\P(\abs{X_n} > M) \leq \varepsilon$ voor alle $n$ ; dan is

\P\bigl(\abs{(Y_n - c)X_n} > \varepsilon\bigr) \leq \P(\abs{X_n} > M) + \P\Bigl(\abs{Y_n - c} > \frac{\varepsilon}{M}\Bigr) \leq \varepsilon + o(1) .

Schrijf $Y_nX_n = cX_n + (Y_n - c)X_n$ en pas het somgedeelte toe (waarvan het bewijs enkel gebruikte dat $Y_n' := (Y_n - c)X_n \to 0$ in kans, met constante $0$ ): $Y_nX_n \Rightarrow cX$ .

Toepassing. Volgens de sterke wet van de grote aantallen (Stelling 22.13) is $\hat p_n \to p$ b.z., dus is $\hat\sigma_n = \sqrt{\hat p_n(1 - \hat p_n)} \to \sigma = \sqrt{p(1 - p)} > 0$ b.z. wegens continuïteit, en dus $\frac{\sigma}{\hat\sigma_n} \to 1$ in kans. De productregel van Slutsky waardeert $\frac{S_n - np}{\sigma\sqrt n} \Rightarrow \mathcal N(0,1)$ op tot $\frac{S_n - np}{\hat\sigma_n\sqrt n} = \frac{\sigma}{\hat\sigma_n}\cdot \frac{S_n - np}{\sigma\sqrt n} \Rightarrow \mathcal N(0,1)$ : het bruikbare betrouwbaarheidsinterval $\hat p_n \pm 1.96\,\hat\sigma_n/\sqrt n$ , enkel uit de gegevens opgebouwd, behoudt zijn asymptotische niveau van $95\%$ .

Oefening 23.9 ★★★

Zij $X \sim \mathcal N(0,1)$ en $\varepsilon$ onafhankelijk met $\P(\varepsilon = \pm1) = \frac12$ ; stel $Y = \varepsilon X$ . (a) Toon aan dat $Y \sim \mathcal N(0,1)$ en $\operatorname{Cov}(X, Y) = 0$ . (b) Toon aan dat $X$ en $Y$ niet onafhankelijk zijn, en dat $(X, Y)$ geen gaussische vector is (bereken $\P(X + Y = 0)$ ). (c) Moraal: Stelling 23.11(2) vereist gezamenlijke gaussischheid — “ongecorreleerde gaussische veranderlijken” alleen bewijst niets.

Oplossing

Oplossing van Oefening 23.9.

(a) Splits de verwachtingswaarde over de twee waarden van $\varepsilon$ (onafhankelijkheid): voor borelse $B$ is $\P(Y \in B) = \frac12\P(X \in B) + \frac12\P(-X \in B) = \P(X \in B)$ , want $-X \sim X$ ( $\mathcal N(0,1)$ is symmetrisch): $Y \sim \mathcal N(0,1)$ . En $\operatorname{Cov}(X, Y) = \E[\varepsilon X^2] = \E[\varepsilon]\,\E[X^2] = 0 \cdot 1 = 0$ . (b) $\abs Y = \abs X$ , dus $\P(\abs X \leq 1,\ \abs Y \geq 2) = 0$ terwijl $\P(\abs X \leq 1)\,\P(\abs Y \geq 2) > 0$ : niet onafhankelijk. Was $(X, Y)$ een gaussische vector, dan zou $X + Y = (1 + \varepsilon)X$ een reële gaussische veranderlijke zijn (Definitie 23.10 met $t = (1,1)$ ); maar $\P(X + Y = 0) = \P(\varepsilon = -1) = \frac12$ , terwijl een gaussische veranderlijke enkel een atoom heeft als ze b.z. constant is — en $X + Y$ is gelijk aan $2X \neq 0$ b.z. op $\{\varepsilon = 1\}$ . Tegenspraak: $(X, Y)$ is niet gaussisch. (c) Elke marginale is gaussisch en de covariantie verdwijnt, en toch faalt de onafhankelijkheid — omdat het paar niet gezamenlijk gaussisch is. Stelling 23.11(2) laat zich niet verzwakken tot “gaussische marginalen”.

Oefening 23.10 ★★

De cauchyverdeling heeft dichtheid $\frac1{\pi(1 + x^2)}$ . (a) Toon aan dat haar karakteristieke functie $\eu^{-\abs\xi}$ is (Oefening 14.1 en inversie). (b) Toon aan dat als $X_1, \dots, X_n$ i.i.d. cauchy zijn, $\frac{S_n}n$ opnieuw cauchy is — met dezelfde verdeling: het gemiddelde concentreert nooit. (c) Verzoen dat met de wetten van de grote aantallen en de centrale limietstelling: welke hypothesen falen? (Bereken $\E\abs{X_1}$ .)

Oplossing

Oplossing van Oefening 23.10.

(a) Oefening 14.1 berekent $\widehat{\eu^{-\abs\cdot}}(\xi) = \frac{2}{1 + \xi^2}$ ; beide leden zijn integreerbaar, dus draait de fourierinversie (Stelling 14.5) dit om:

\int_\R\eu^{\iu\xi x}\,\frac{\dd x}{\pi(1 + x^2)} = \eu^{-\abs\xi},

en dat is precies $\varphi_X(\xi)$ voor een cauchyveranderlijke $X$ . (b) Uit de onafhankelijkheid volgt $\varphi_{S_n}(\xi) = \bigl(\eu^{-\abs\xi}\bigr)^n = \eu^{-n\abs\xi}$ , dus $\varphi_{S_n/n}(\xi) = \varphi_{S_n}(\xi/n) = \eu^{-\abs\xi}$ : het empirische gemiddelde $\frac{S_n}n$ is voor elke $n$ opnieuw standaardcauchy (injectiviteit). Het gemiddelde concentreert nooit: zijn schommelingen op tijd $10^6$ zijn die van één enkele waarneming. (c) $\E\abs{X_1} = \frac2\pi\int_0^\infty\frac{x\,\dd x}{1 + x^2} = +\infty$ : de cauchyverdeling is niet integreerbaar, dus is de sterke wet van de grote aantallen (Stelling 22.13) niet van toepassing, en de centrale limietstelling (die een eindige variantie vergt) al helemaal niet. Hier falen hun conclusies echt, niet enkel hun bewijzen. Consistentiecontrole: $\varphi(\xi) = \eu^{-\abs\xi}$ is niet differentieerbaar in $0$ , zoals Propositie 23.2(c) contrapositief gelezen voorspelt voor een niet-integreerbare veranderlijke.

Oefening 23.11 ★★

(Stabiele verdelingen in de dop) Zij $(X_n)$ i.i.d. standaardcauchy (Oefening 23.10). (a) Toon aan dat voor alle $a, b > 0$ $aX_1 + bX_2$ de verdeling van $(a + b)X_1$ heeft: de cauchyfamilie is strikt stabiel van index $1$ . (b) Toon aan dat de gaussische familie strikt stabiel van index $2$ is: $aX_1 + bX_2 \sim \sqrt{a^2 + b^2}\,X_1$ voor $X_i$ i.i.d. $\mathcal N(0,1)$ . (c) Leg met karakteristieke functies van de vorm $\eu^{-c\abs\xi^\alpha}$ uit waarom stabiliteit van index $\alpha$ voor sommen de normering $n^{1/\alpha}$ afdwingt, en wat dat zegt over de aantrekkingsbekkens van de centrale limietstelling: welke i.i.d. sommen kunnen na affiene normering naar een cauchyverdeling convergeren in plaats van naar een gaussische?

Oplossing

Oplossing van Oefening 23.11.

(a) $\varphi_{aX_1 + bX_2}(\xi) = \eu^{-a\abs\xi}\eu^{-b\abs\xi} = \eu^{-(a+b)\abs\xi} = \varphi_{(a+b)X_1}(\xi)$ (onafhankelijkheid en Oefening 23.10); de injectiviteit identificeert de verdelingen.

(b) $\varphi_{aX_1+bX_2}(\xi) = \eu^{-a^2\xi^2/2} \eu^{-b^2\xi^2/2} = \eu^{-(a^2+b^2)\xi^2/2}$ : de verdeling van $\sqrt{a^2+b^2}\,X_1$ .

(c) Is $\varphi_X(\xi) = \eu^{-c\abs\xi^\alpha}$ , dan heeft $S_n = X_1 + \dots + X_n$ als karakteristieke functie $\varphi_{S_n} = \eu^{-cn\abs\xi^\alpha}$ , en heeft $S_n/n^{1/\alpha}$ opnieuw $\varphi(\xi) = \eu^{-c\abs\xi^\alpha}$ : exacte zelfreproductie onder de schaling $n^{1/\alpha}$ — $\sqrt n$ voor de gaussische ( $\alpha = 2$ ), $n$ zelf voor cauchy ( $\alpha = 1$ , Oefening 23.10(b)). Een som van i.i.d. veranderlijken kan (na affiene normering) enkel convergeren naar een verdeling die stabiel is onder zulke convoluties; de centrale limietstelling zegt dat een eindige variantie het gaussische bekken afdwingt, en het cauchybekken is voorbehouden aan verdelingen met zulke zware staarten dat $\E X^2 = \infty$ en zelfs $\E\abs X = \infty$ — bijvoorbeeld sommen van cauchyveranderlijken zelf. De universaliteit heeft meerdere eilanden, geïndexeerd door de staartexponent $\alpha \in \intoc02$ .

Oefening 23.12 ★★

(De empirische verdelingsfunctie) Zij $(X_n)$ i.i.d. met verdelingsfunctie $F$ , en $F_n(t) = \frac1n\#\{k \leq n : X_k \leq t\}$ . (a) Leg $t$ vast. Toon aan dat $n F_n(t) \sim \mathcal B(n, F(t))$ , dat $F_n(t) \to F(t)$ b.z. (Stelling 22.13), en dat

\sqrt n\,\bigl(F_n(t) - F(t)\bigr) \Longrightarrow \mathcal N\bigl(0,\ F(t)(1 - F(t))\bigr) .

(b) In welke $t$ is de asymptotische variantie maximaal? Interpreteer: de mediaan is waar een empirische verdeling het moeilijkst vast te pinnen is. (c) Toon voor continue $F$ aan dat de verdeling van $\sup_t\abs{F_n(t) - F(t)}$ niet van $F$ afhangt (herleid met Oefening 22.1 tot uniforme veranderlijken) — het verdelingsvrije wonder achter de toets van Kolmogorov–Smirnov; die verdeling berekenen wordt niet gevraagd.

Oplossing

Oplossing van Oefening 23.12.

(a) De indicatoren $\mathbf 1_{X_k \leq t}$ zijn i.i.d. bernoulli met parameter $p = F(t)$ : hun som $nF_n(t)$ is binomiaal $\mathcal B(n, p)$ ; de sterke wet geeft $F_n(t) \to p$ b.z., en de centrale limietstelling (Stelling 23.8) toegepast op dezelfde indicatoren (variantie $p(1-p)$ ) geeft de gevraagde gaussische limiet.

(b) $p(1 - p)$ is maximaal in $p = \frac12$ , dat wil zeggen waar $F(t) = \frac12$ : in de mediaan. Staartkansen schatten is asymptotisch makkelijk (de variantie gaat naar $0$ als $p \to 0, 1$ ); het mediaangebied draagt de grootste statistische ruis — de empirische kromme wiebelt het meest in haar midden.

(c) Voor continue $F$ zijn de veranderlijken $U_k = F(X_k)$ i.i.d. uniform op $\intoo01$ (Oefening 22.1), en de monotonie van $F$ geeft, met $G_n$ voor de empirische verdelingsfunctie van de $U_k$ :

\sup_{t\in\R}\,\abs{F_n(t) - F(t)} = \sup_{u \in \operatorname{im}F}\,\abs{G_n(u) - u} = \sup_{u\in\intcc01}\abs{G_n(u) - u} :

de eerste gelijkheid omdat $\{X_k \leq t\} = \{U_k \leq F(t)\}$ op nulgebeurtenissen na (monotonie; de strikte ongelijkheid kan enkel falen op de vlakke stukken van $F$ , waar beide leden onveranderd blijven), en de tweede omdat een continue $F$ , die van $0$ naar $1$ loopt, elke waarde van $\intoo01$ aanneemt (tussenwaardestelling), terwijl de eindpunten niets toevoegen ( $G_n(0) - 0 = 0$ en $G_n(1) - 1 = 0$ ). Het rechterlid bevat enkel uniforme veranderlijken: één verdeling voor alle $F$ — zodat één enkele tabel van kritieke waarden (die van de verdeling van Kolmogorov) elk continu model tegen gegevens toetst.

23.6 Probleem: het bewijs van Lindeberg van de centrale limietstelling, met een snelheid

Probleem 23.1

Weekendopgave — de vervangingsmethode

Lindeberg (1922) bewees de centrale limietstelling met een idee van ontwapenende eenvoud: verwissel de termen één voor één met gaussische en beheers elke verwisseling met een taylorontwikkeling. De methode heeft geen fourieranalyse nodig, levert een expliciete foutsnelheid, en drijft vandaag universaliteitsbewijzen door de hele kansrekening aan. Zij $(X_i)$ i.i.d. en gecentreerd met $\V(X_1) = 1$ en $\beta = \E\abs{X_1}^3 < \infty$ ; en zij $(N_i)$ i.i.d. $\mathcal N(0,1)$ , onafhankelijk van de $X_i$ (bestaan: Stelling 22.6). Stel

T_n = \frac{X_1 + \dots + X_n}{\sqrt n}, \qquad G_n = \frac{N_1 + \dots + N_n}{\sqrt n} \sim \mathcal N(0,1).

Deel I — De verwisselingsidentiteit. Leg $f \in \mathcal C^3_b(\R)$ vast (drie begrensde continue afgeleiden; $M_3 = \sup\abs{f'''}$ ). Definieer voor $0 \leq i \leq n$ de hybride sommen

H_i = \frac{X_1 + \dots + X_i + N_{i+1} + \dots + N_n}{\sqrt n},

zodat $H_n = T_n$ en $H_0 = G_n$ .

Schrijf $H_i = W_i + \frac{X_i}{\sqrt n}$ en $H_{i-1} = W_i + \frac{N_i}{\sqrt n}$ met $W_i = \frac{1}{\sqrt n}\bigl(\sum_{j<i}X_j + \sum_{j>i}N_j\bigr)$ , en merk op dat $W_i$ onafhankelijk is van het paar $(X_i, N_i)$ . Verantwoord dat.
Taylor met integraal- of lagrangerestterm: voor alle reële $w, h$ is

$\Bigl|f(w + h) - f(w) - f'(w)h - \tfrac12f''(w)h^2\Bigr| \leq \frac{M_3\,\abs h^3}{6} .$
Pas vraag 2 tweemaal toe ( $h = \frac{X_i}{\sqrt n}$ en $h = \frac{N_i}{\sqrt n}$ in $w = W_i$ ), neem verwachtingswaarden, en gebruik de onafhankelijkheid plus het samenvallen van de eerste twee momenten van $X_i$ en $N_i$ om aan te tonen dat

$\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{M_3}{6}\cdot \frac{\beta + \gamma}{n^{3/2}}, \qquad \gamma = \E\abs{N_1}^3 = \frac{2\sqrt2}{\sqrt\pi} .$
Telescopeer over $i$ en besluit tot de grens van Lindeberg:

$\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{M_3\,(\beta + \gamma)}{6\,\sqrt n} .$

Deel II — Van gladde $f$ naar de centrale limietstelling.

Toon aan dat $\E f(T_n) \to \E f(N)$ voor elke $f \in \mathcal C_b^3$ , en til dat op tot alle begrensde continue $f$ : construeer bij zo’n $f$ en $\varepsilon$ een $f_\varepsilon \in \mathcal C^3_b$ met $\norm{f - f_\varepsilon}_\infty \leq \varepsilon$ op een groot interval — bijvoorbeeld door $f$ met een $\mathcal C^\infty$ -bult te convolueren (Stelling 12.9) — en handel de staarten met de gespannenheid af ( $\V(T_n) = 1$ en Chebyshev). Besluit $T_n \Rightarrow \mathcal N(0, 1)$ : de centrale limietstelling, opnieuw bewezen.
Waar gebruikte het bewijs dat de $X_i$ identiek verdeeld zijn? Toon aan dat het dat nauwelijks deed: formuleer en bewijs de versie voor onafhankelijke, gecentreerde, niet identiek verdeelde $X_i$ met $\sum_i\V(X_i) = s_n^2$ en derde momenten, met de fout $\frac{M_3}{6s_n^3}\sum_i\bigl(\E\abs{X_i}^3 + \V(X_i)^{3/2}\gamma\bigr)$ — de echte stelling van Lindeberg in haar vorm van Lyapunov.

Deel III — Kwantitatieve dividenden.

(Verdelingsfuncties) Zij $t \in \R$ en benader $\mathbf 1_{\intoc{-\infty}t}$ van boven en van onder met $\mathcal C^3_b$ -hellingen van breedte $\delta$ (construeer ze, met $M_3 = O(\delta^{-3})$ ). Leid, samen met Deel I, de grens met twee termen af:

$\sup_{t\in\R}\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \;\leq\; \frac{C_1(\beta + \gamma)}{\delta^3\sqrt n} + C_2\,\delta \qquad (\text{voor elke } \delta > 0),$

met expliciete constanten (de term $C_2\delta$ gebruikt dat $\Phi$ een dichtheid heeft die door $\frac1{\sqrt{2\pi}}$ begrensd is), en optimaliseer $\delta \sim n^{-1/8}$ om een uniforme snelheid van de orde $n^{-1/8}$ te verkrijgen. (De optimale $n^{-1/2}$ — Berry–Esseen — vergt fijner gereedschap; het punt is een expliciete snelheid uit elementair verwisselen.)
(De Moivre–Laplace, gekwantificeerd) Specialiseer tot $X_i = 2B_i - 1$ (de tekens van eerlijke munten): vergelijk het besluit met de lokale schatting van Probleem 11.1, vraag 7 — wat geeft elke methode wat de andere niet geeft?
(Universaliteit) Leg in een alinea uit waarom de vervangingsmethode meer toont dan de centrale limietstelling: elke statistiek van de vorm $\E f(\text{som})$ met gladde $f$ is, tot op de orde $n^{-1/2}$ , ongevoelig voor de hele verdeling van de termen voorbij haar eerste twee momenten — het “invariantiebeginsel” dat de moderne universaliteitsresultaten (toevalsmatrices, toevalsveeltermen) schraagt, waarvan de centrale limietstelling het eerste geval is.

Deel IV — Gladstrijken, doorgedreven: betere snelheden. Het verlies van $n^{-1/2}$ (gladde $f$ ) naar $n^{-1/8}$ (verdelingsfuncties) kwam doordat $f'''$ in supremumnorm werd aangerekend. De hybriden kunnen een deel ervan herstellen: ze bevatten gaussische termen, en gaussische functies strijken glad.

(Een verborgen gaussische) Schrijf voor $1 \leq i \leq n - 1$ , $h = \frac{X_i}{\sqrt n}$ of $\frac{N_i}{\sqrt n}$ , en $\theta \in \intcc01$ $W_i + \theta h = A + Z$ met $Z = \frac{N_{i+1} + \dots + N_n}{\sqrt n}$ . Toon aan dat $Z \sim \mathcal N\bigl(0, \frac{n-i}n\bigr)$ onafhankelijk is van het paar $(A, h)$ , en leid voor elke continue $g \in L^1(\R)$ af dat

$\E\bigl[\abs h^3\,\abs{g(W_i + \theta h)}\bigr] \;\leq\; \sqrt{\frac{n}{2\pi(n - i)}}\; \norm{g}_{L^1}\;\E\abs h^3 .$
Combineer vraag 10 met de integraalvorm van de taylorrestterm,

$f(w + h) = f(w) + f'(w)h + \tfrac12f''(w)h^2 + \int_0^1\frac{(1 - \theta)^2}2\,f'''(w + \theta h)\,h^3\,\dd\theta,$

om de vragen 3 en 4 over te doen: voor $f \in \mathcal C^3_b$ met bovendien $f''' \in L^1(\R)$ is

$\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta + \gamma}{3\sqrt{2\pi}}\cdot \frac{\norm{f'''}_{L^1}}{\sqrt n} + \frac{M_3(\beta + \gamma)}{6\,n^{3/2}}$

(vraag 10 handelt de verwisselingen met $i \leq n - 1$ af — gebruik $\sum_{m=1}^{n-1}m^{-1/2} \leq 2\sqrt n$ — en de grove grens van vraag 3 handelt de laatste af). Ga na dat de hellingen van vraag 7 voldoen aan $\norm{\psi_\delta'''}_{L^1} = K_1\delta^{-2}$ terwijl $M_3 = K\delta^{-3}$ , voer ze in, en optimaliseer $\delta$ : de uniforme snelheid voor de verdelingsfuncties verbetert tot $O(n^{-1/6})$ .
(Nog een moment doen samenvallen) Neem daarbovenop aan dat $\E X_1^3 = 0$ en $\beta_4 = \E X_1^4 < \infty$ . Bereken $\E N_1^3$ en $\E N_1^4$ , ontwikkel tot de vierde orde, en bewijs langs dezelfde lijnen dat de snelheid voor de verdelingsfuncties $O(n^{-1/4})$ wordt (nu is $\norm{\psi_\delta^{(4)}}_{L^1} = K_2\delta^{-3}$ en $M_4 = K'\delta^{-4}$ ; kies $\delta = n^{-1/4}$ ).
(De obstructie) Stel dat de eerste $k$ momenten van $X_1$ met de gaussische overeenstemmen ( $k = 2$ altijd; $k = 3$ precies wanneer $\E X_1^3 = 0$ ; $k \geq 4$ in wezen nooit, want $\E N_1^4 = 3$ ). Ga na dat het schema van de vragen 10 tot 12 voor de verdelingsfuncties de snelheid $n^{-(k-1)/(2k+2)}$ levert, door $\delta^{-k}n^{-(k-1)/2}$ tegen $\delta$ af te wegen, en merk op dat de exponent de waarde $\frac12$ van Berry–Esseen enkel benadert als $k \to \infty$ . Leg in enkele zinnen uit waarom de verwisselingsmethode verzadigt: elke verwisseling wordt in absolute waarde aangerekend, terwijl de fourierweg (de gladstrijkongelijkheid van Esseen) de oscillatie van het verschil van de karakteristieke functies uitbuit en met enkel drie momenten $C\beta n^{-1/2}$ haalt.

Deel V — Twee dimensies: de meerdimensionale centrale limietstelling, door te verwisselen. Zij nu de $X_i$ i.i.d. gecentreerde toevalsvectoren van $\R^2$ met covariantiematrix $\Sigma$ en $\beta' = \E\norm{X_1}^3 < \infty$ (euclidische norm).

(Gaussische vectoren, op maat) Diagonaliseer $\Sigma = PDP^{\mathsf T}$ (Oefening 20.8) en stel $C = P\sqrt DP^{\mathsf T}$ . Toon voor $Z = (Z^1, Z^2)$ een paar onafhankelijke standaardgaussische veranderlijken (Stelling 22.6) aan dat $N = CZ$ een gaussische vector is (Definitie 23.10) met gemiddelde $0$ en covariantie $\Sigma$ , met $\gamma' = \E\norm N^3 < \infty$ ; en dat $G_n = \frac{N_1 + \dots + N_n}{\sqrt n}$ voor i.i.d. kopieën $N_i$ exact de verdeling $\mathcal N(0, \Sigma)$ heeft.
(Taylor in twee veranderlijken) Bewijs voor $f \colon \R^2 \to \R$ van klasse $\mathcal C^3$ met $M_3 = \max_{\abs\alpha = 3}\sup\abs{\partial^\alpha f} < \infty$ dat

$\Bigl|f(w + h) - f(w) - \langle\nabla f(w), h\rangle - \tfrac12\langle h, D^2f(w)\,h\rangle \Bigr| \leq \frac{M_3}6\,\bigl(\abs{h_1} + \abs{h_2}\bigr)^3 \leq \frac{\sqrt2\,M_3}3\, \norm h^3$

(bestudeer $t \mapsto f(w + th)$ op $\intcc01$ ).
(De centrale limietstelling in $\R^2$ ) Voer het vervangingsschema uit op de vectorhybriden $H_i$ : toon aan dat de termen van eerste en tweede orde wegvallen (de gemiddelden en de covarianties vallen samen), telescopeer, en til het op als in vraag 5 (gespannenheid uit $\E\norm{T_n}^2 = \operatorname{tr}\Sigma$ ; het gladstrijken nu in $\R^2$ , Stelling 12.9) om te besluiten: voor elke begrensde continue $f \colon \R^2 \to \R$ is

$\E\,f\Bigl(\frac{X_1 + \dots + X_n}{\sqrt n}\Bigr) \longrightarrow \E\,f(N), \qquad N \sim \mathcal N(0, \Sigma) :$

Stelling 23.12 in dimensie $2$ , met een snelheid voor gladde $f$ en zonder fourieranalyse.
(Cramér–Wold, en een gezamenlijke schommeling) Leid af dat $\langle t, \frac{S_n}{\sqrt n}\rangle \Rightarrow \mathcal N(0, t^{\mathsf T}\Sigma t)$ voor elke vaste $t \in \R^2$ . Toepassing: toon voor i.i.d. reële $(\xi_i)$ , gecentreerd, met $\E\xi_1^2 = 1$ en $\E\xi_1^6 < \infty$ (zodat Deel V op $V_i = (\xi_i, \xi_i^2 - 1)$ van toepassing is) aan dat

$\frac1{\sqrt n}\Bigl(\sum_{i\leq n}\xi_i,\ \sum_{i\leq n}(\xi_i^2 - 1)\Bigr) \Longrightarrow \mathcal N\Bigl(0, \begin{pmatrix} 1 & \E\xi_1^3\\ \E\xi_1^3 & \E\xi_1^4 - 1\end{pmatrix}\Bigr) :$

het empirische gemiddelde en het empirische tweede moment schommelen gezamenlijk gaussisch — in de limiet onafhankelijk dan en slechts dan als $\E\xi_1^3 = 0$ (Stelling 23.11).

Deel VI — De deltamethode.

Zij $(\hat\theta_n)$ toevalsveranderlijken met $\sqrt n(\hat\theta_n - \theta) \Rightarrow \mathcal N(0, \sigma^2)$ voor een reële parameter $\theta$ , en zij $g$ differentieerbaar in $\theta$ . Bewijs de deltamethode:

$\sqrt n\bigl(g(\hat\theta_n) - g(\theta)\bigr) \Longrightarrow \mathcal N\bigl(0, g'(\theta)^2\sigma^2\bigr)$

(schrijf $g(x) - g(\theta) = (g'(\theta) + \eta(x))(x - \theta)$ met $\eta \to 0$ in $\theta$ ; toon aan dat $\hat\theta_n \to \theta$ en dan $\eta(\hat\theta_n) \to 0$ in kans; maak het af met Slutsky, Oefening 23.8, en Oefening 23.4(b)).
Toepassingen. (a) Toon voor i.i.d. reële $(\xi_i)$ met gemiddelde $\mu$ en variantie $\sigma^2$ , en $\bar X_n = \frac1n\sum_{i\leq n}\xi_i$ , aan dat $\sqrt n(\bar X_n^2 - \mu^2) \Rightarrow \mathcal N(0, 4\mu^2\sigma^2)$ wanneer $\mu \neq 0$ , en dat de juiste uitspraak voor $\mu = 0$ op een andere schaal leeft: $n\bar X_n^2 \Rightarrow \sigma^2N^2$ met $N \sim \mathcal N(0,1)$ (identificeer de verdelingsfunctie van de limiet). (b) (Variantiestabilisering) Toon voor $\hat p_n$ de successfrequentie van een steekproef $\mathcal B(1, p)$ met $p \in \intoo01$ aan dat $g(p) = \arcsin\sqrt p$ voldoet aan

$\sqrt n\,\bigl(g(\hat p_n) - g(p)\bigr) \Longrightarrow \mathcal N\Bigl(0, \frac14\Bigr)$

wat $p$ ook is — een asymptotische foutmarge vrij van de onbekende parameter; vergelijk met Voorbeeld 23.9.

Deel VII — Poisson, met dezelfde methode: de stelling van Le Cam. Het verwisselen kent een tweede universaliteitsklasse: sommen van veel onafhankelijke zeldzame gebeurtenissen. Voor verdelingen op $\N$ is de juiste afstand de totale variatie,

d_{\mathrm{TV}}(\mu, \nu) = \sup_{A\subseteq\N}\, \abs{\mu(A) - \nu(A)} .

Toon aan dat $d_{\mathrm{TV}}(\mu, \nu) = \frac12\sum_{k\geq0}\abs{\mu(\{k\}) - \nu(\{k\})}$ , en bewijs de koppelingsgrens: voor elk paar $(X, Y)$ toevalsveranderlijken met verdelingen $\mu$ en $\nu$ op dezelfde ruimte is $d_{\mathrm{TV}}(\mu, \nu) \leq \P(X \neq Y)$ .
Bereken exact, voor $p \in \intoo01$ :

$d_{\mathrm{TV}}\bigl(\mathcal B(1, p), \mathcal P(p)\bigr) = p\bigl(1 - \eu^{-p}\bigr) \leq p^2 .$
(Le Cam, door te verwisselen) Zij $X_i \sim \mathcal B(1, p_i)$ en $Y_i \sim \mathcal P(p_i)$ , met de $2n$ veranderlijken onafhankelijk; $S = X_1 + \dots + X_n$ , en herinner je dat $Y_1 + \dots + Y_n \sim \mathcal P(\lambda)$ met $\lambda = \sum_ip_i$ (Oefening 23.1). Verwissel in de gehele hybriden $H_i = Y_1 + \dots + Y_i + X_{i+1} + \dots + X_n$ één coördinaat per keer: toon voor elke $A \subseteq \N$ aan dat

$\abs{\P(H_{i-1} \in A) - \P(H_i \in A)} \leq d_{\mathrm{TV}}\bigl(\mathcal B(1, p_i), \mathcal P(p_i)\bigr),$

en besluit tot de ongelijkheid van Le Cam:

$d_{\mathrm{TV}}\bigl(\text{verdeling van } S,\ \mathcal P(\lambda)\bigr) \leq \sum_{i=1}^np_i^2 .$
Dividenden. (a) Voor $p_i = \frac\lambda n$ is de grens $\frac{\lambda^2}n$ — de wet van de zeldzame gebeurtenissen (Oefening 23.5), opgewaardeerd tot een expliciete snelheid, uniform over alle gebeurtenissen en ook geldig voor ongelijke $p_i$ . (b) Er worden $500$ brieven bezorgd, die elk onafhankelijk met kans $\frac1{500}$ verloren gaan: begrens de fout van het poissonmodel met parameter $1$ , en schat de kans dat geen enkele brief verloren gaat. (c) Sluit de opgave af: vergelijk de twee universaliteitsklassen die je hier bent tegengekomen — gaussisch (veel kleine, uitgespreide bijdragen; twee samenvallende momenten; Taylor) en poisson (veel zeldzame bijdragen; één samenvallend gemiddelde; een exacte koppeling in totale variatie) — en de ene vervangingsmethode achter beide.
(Relatieve fout en de logtransformatie) Zij $(X_n)$ i.i.d. en positief met gemiddelde $\mu > 0$ en variantie $\sigma^2$ , en zij $\bar X_n$ het empirische gemiddelde. Toon met de deltamethode aan dat

$\sqrt n\,\bigl(\ln\bar X_n - \ln\mu\bigr) \Longrightarrow \mathcal N\Bigl(0,\ \frac{\sigma^2}{\mu^2}\Bigr) :$

de asymptotische parameter van $\ln\bar X_n$ is de variatiecoëfficiënt $\sigma/\mu$ — een relatieve, schaalvrije fout. Leid een betrouwbaarheidsinterval van $95\%$ voor $\mu$ af van de multiplicatieve vorm $\bar X_n\cdot\eu^{\pm1.96\,\sigma/(\mu\sqrt n)}$ , en leg uit wanneer het boven het additieve interval te verkiezen is.
(Het derde moment stuurt de fout) Bereken voor gecentreerde $X \sim$ bernoulli( $p$ ) $\E\bigl[(X - p)^3\bigr] = p(1-p)(1-2p)$ . Leg met de analyse van Deel IV (de fout bij het verwisselen wordt door derde momenten aangedreven) uit waarom de normale benadering van $\mathcal B(n, p)$ voor $p \neq \frac12$ asymmetrisch is — aan de ene kant te hoog, aan de andere te laag — en waarom $p = \frac12$ de snellere snelheid van samenvallende momenten geniet. Ga het teken van de scheefheid numeriek na op $\mathcal B(20, 0.1)$ tegenover $\mathcal N(2, 1.8)$ : vergelijk $\P(S = 0) = 0.9^{20}$ met de gaussische massa van $\intoo{-\infty}{0.5}$ .

Oplossing

Oplossing van Probleem 23.1.

1. De familie $(X_1, \dots, X_n, N_1, \dots, N_n)$ is onafhankelijk: de twee blokken zijn per constructie onafhankelijk van elkaar en elk blok is i.i.d. $W_i$ is een meetbare functie van enkel de veranderlijken $(X_j)_{j<i}$ en $(N_j)_{j>i}$ , alle verschillend van $X_i$ en $N_i$ : volgens het coalitieprincipe (Stelling 22.5) is $W_i$ onafhankelijk van het paar $(X_i, N_i)$ . De ontbindingen $H_i = W_i + \frac{X_i}{\sqrt n}$ en $H_{i-1} = W_i + \frac{N_i}{\sqrt n}$ volgen onmiddellijk uit de definities: van $H_i$ naar $H_{i-1}$ gaan verwisselt de ene term $X_i$ voor $N_i$ .

2. Taylor–Lagrange van orde $3$ : er is een $c$ tussen $w$ en $w + h$ met $f(w + h) = f(w) + f'(w)h + \frac12f''(w)h^2 + \frac16f'''(c)h^3$ , en $\abs{f'''(c)} \leq M_3$ geeft de grens.

3. Trek de twee ontwikkelingen in het gemeenschappelijke basispunt $w = W_i$ van elkaar af:

f(H_i) - f(H_{i-1}) = f'(W_i)\,\frac{X_i - N_i}{\sqrt n} + \frac{f''(W_i)}{2}\,\frac{X_i^2 - N_i^2}{n} + R_i, \qquad \abs{R_i} \leq \frac{M_3}{6}\cdot \frac{\abs{X_i}^3 + \abs{N_i}^3}{n^{3/2}} .

Neem verwachtingswaarden. Volgens vraag 1 zijn $f'(W_i)$ en $f''(W_i)$ onafhankelijk van $(X_i, N_i)$ , dus splitsen de gemengde verwachtingswaarden:

\begin{align*} \E\Bigl[f'(W_i)\,\frac{X_i - N_i}{\sqrt n}\Bigr] &= \E\bigl[f'(W_i)\bigr]\,\frac{\E X_i - \E N_i}{\sqrt n} = 0, \\ \E\Bigl[f''(W_i)\,\frac{X_i^2 - N_i^2}{n}\Bigr] &= \E\bigl[f''(W_i)\bigr]\,\frac{1 - 1}{n} = 0 : \end{align*}

de eerste twee momenten van $X_i$ en $N_i$ vallen samen, en enkel de restterm overleeft:

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \E\abs{R_i} \leq \frac{M_3}{6}\cdot\frac{\beta + \gamma}{n^{3/2}} .

Het gaussische derde moment: $\gamma = \E\abs{N_1}^3 = 2\int_0^\infty x^3\,\frac{\eu^{-x^2/2}}{\sqrt{2\pi}}\,\dd x = \frac{2}{\sqrt{2\pi}}\int_0^\infty 2u\,\eu^{-u}\dd u = \frac{4}{\sqrt{2\pi}} = \frac{2\sqrt2}{\sqrt\pi}$ (substitutie $u = x^2/2$ , daarna $\Gamma(2) = 1$ ).

4. Telescopeer $\E f(T_n) - \E f(G_n) = \sum_{i=1}^n\bigl(\E f(H_i) - \E f(H_{i-1})\bigr)$ en pas vraag 3 toe op elk van de $n$ termen:

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq n \cdot \frac{M_3(\beta + \gamma)}{6\,n^{3/2}} = \frac{M_3\,(\beta + \gamma)}{6\,\sqrt n} .

5. $G_n$ is voor elke $n$ exact $\mathcal N(0,1)$ (een genormeerde som van onafhankelijke standaardgaussische veranderlijken, Oefening 23.3), dus is $\E f(G_n) = \E f(N)$ en luidt vraag 4 $\abs{\E f(T_n) - \E f(N)} \leq \frac{M_3(\beta+\gamma)}{6\sqrt n} \to 0$ voor $f \in \mathcal C^3_b$ . Optillen. Zij $f$ begrensd en continu, $M = \sup\abs f$ , $\varepsilon > 0$ . Kies $A \geq 1$ met $\frac1{A^2} \leq \varepsilon$ : Chebyshev met $\V(T_n) = 1$ geeft $\P(\abs{T_n} > A) \leq \varepsilon$ voor alle $n$ , en evenzo $\P(\abs N > A) \leq \varepsilon$ . Zij $\chi$ van klasse $\mathcal C^\infty$ met $\mathbf 1_{\intcc{-A}A} \leq \chi \leq \mathbf 1_{\intcc{-A-1}{A+1}}$ (een gladde plateaufunctie, gebouwd door $\mathbf 1_{\intcc{-A-\frac12}{A+\frac12}}$ te regulariseren, Stelling 12.9); $g = f\chi$ is continu met compacte drager, dus uniform continu, zodat haar regularisatie $g_\eta = g * \rho_\eta$ van klasse $\mathcal C^\infty$ is met begrensde afgeleiden van alle orden en $\norm{g - g_\eta}_\infty \leq \varepsilon$ voor $\eta$ klein genoeg. Voor $T = T_n$ of $N$ , en omdat $f = g$ op $\intcc{-A}A$ en $\abs{f - g} \leq 2M$ overal:

\bigl|\E f(T) - \E g_\eta(T)\bigr| \leq \E\abs{(f - g)(T)} + \norm{g - g_\eta}_\infty \leq 2M\,\P(\abs T > A) + \varepsilon \leq (2M + 1)\,\varepsilon .

Samen met $\E g_\eta(T_n) \to \E g_\eta(N)$ (vraag 4 is van toepassing: $g_\eta \in \mathcal C^3_b$ ):

\limsup_n\;\bigl|\E f(T_n) - \E f(N)\bigr| \leq 2(2M + 1)\,\varepsilon ,

en $\varepsilon$ was willekeurig: $\E f(T_n) \to \E f(N)$ voor elke begrensde continue $f$ , dat wil zeggen $T_n \Rightarrow \mathcal N(0,1)$ .

6. De gelijke verdeling kwam maar in één zin binnen: “ $X_i$ en $N_i$ hebben dezelfde eerste twee momenten”. Zij dus $X_1, \dots, X_n$ onafhankelijk, gecentreerd, met varianties $\sigma_i^2$ en eindige derde momenten, $s_n^2 = \sum_i\sigma_i^2 > 0$ , en neem $N_i \sim \mathcal N(0, \sigma_i^2)$ onafhankelijk van al de rest. Definieer de hybriden met de normering $s_n$ : $H_i = \frac1{s_n}(\sum_{j\leq i}X_j + \sum_{j>i}N_j)$ . Bij de $i$ -de verwisseling doden $\E X_i = \E N_i = 0$ en $\E X_i^2 = \E N_i^2 = \sigma_i^2$ opnieuw de termen in $f'$ en $f''$ , en de restterm geeft (met $\E\abs{N_i}^3 = \sigma_i^3\gamma$ door schaling):

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{M_3}{6\,s_n^3}\bigl(\E\abs{X_i}^3 + \sigma_i^3\gamma\bigr) .

Telescoperen:

\Bigl|\E f\Bigl(\frac{X_1 + \dots + X_n}{s_n}\Bigr) - \E f(N)\Bigr| \leq \frac{M_3}{6\,s_n^3}\sum_{i=1}^n \Bigl(\E\abs{X_i}^3 + \V(X_i)^{3/2}\,\gamma\Bigr) .

Omdat $\sigma_i^3 = (\E X_i^2)^{3/2} \leq \E\abs{X_i}^3$ (de machtsgemiddelde-ongelijkheid, dat wil zeggen Jensen voor $t \mapsto t^{3/2}$ toegepast op $X_i^2$ ), is het rechterlid hoogstens $\frac{M_3(1 + \gamma)}{6}\cdot \frac{\sum_i\E\abs{X_i}^3}{s_n^3}$ : onder de voorwaarde van Lyapunov $\frac1{s_n^3}\sum_i\E\abs{X_i}^3 \to 0$ convergeren de genormeerde sommen in verdeling naar $\mathcal N(0,1)$ — de centrale limietstelling zonder gelijke verdeling.

7. Zij $\rho \in \mathcal C^\infty_c(\intoo01)$ met $\int\rho = 1$ en stel $\psi(x) = \int_x^1\rho(s)\dd s$ : $\psi$ is $\mathcal C^\infty$ , niet-stijgend, $\psi = 1$ op $\R_-$ , $\psi = 0$ op $\intco1\infty$ ; zij $K = \norm{\psi'''}_\infty$ . Definieer voor $t \in \R$ en $\delta > 0$ $\psi_\delta(x) = \psi\bigl(\frac{x - t}\delta\bigr)$ en $\tilde\psi_\delta(x) = \psi\bigl(\frac{x - t}\delta + 1\bigr)$ : die zijn $\mathcal C^3_b$ met derde afgeleide begrensd door $K/\delta^3$ , en

\mathbf 1_{\intoc{-\infty}{t-\delta}} \leq \tilde\psi_\delta \leq \mathbf 1_{\intoc{-\infty}t} \leq \psi_\delta \leq \mathbf 1_{\intoc{-\infty}{t+\delta}} .

Bovengrens: volgens vraag 4 toegepast op $\psi_\delta$ (met $M_3 = K/\delta^3$ ),

\P(T_n \leq t) \leq \E\psi_\delta(T_n) \leq \E\psi_\delta(N) + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n} \leq \Phi(t + \delta) + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n} \leq \Phi(t) + \frac{\delta}{\sqrt{2\pi}} + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n},

want $\Phi$ is lipschitz met constante $\frac1{\sqrt{2\pi}}$ (haar dichtheid is door $\frac1{\sqrt{2\pi}}$ begrensd). De symmetrische ondergrens via $\tilde\psi_\delta$ geeft de schatting met twee termen

\sup_{t\in\R}\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \leq \frac{K(\beta + \gamma)}{6}\cdot\frac{1}{\delta^3\sqrt n} + \frac{\delta}{\sqrt{2\pi}} \qquad(\delta > 0\ \text{willekeurig}).

De twee termen wegen tegen elkaar op wanneer $\delta^{-3}n^{-1/2} \asymp \delta$ , dat wil zeggen $\delta = n^{-1/8}$ : beide zijn dan $O(n^{-1/8})$ , een expliciete uniforme snelheid, geldig voor elke $n$ . (De optimale snelheid $C\beta/\sqrt n$ van Berry–Esseen vergt de gladstrijkongelijkheid van de fouriermethode; het verwisselen ruilt scherpte voor volledige elementariteit.)

8. Voor $X_i = 2B_i - 1$ (eerlijke tekens): gecentreerd, variantie $1$ , en $\abs{X_i} = 1$ , dus $\beta = 1$ . Vraag 7 begrenst dan $\sup_t\abs{\P(\frac{S_n}{\sqrt n} \leq t) - \Phi(t)}$ expliciet en uniform voor elke eindige $n$ — een globale, niet-asymptotische uitspraak over de verdelingsfunctie. De lokale schatting van Probleem 11.1, vraag 7, geeft daarentegen de exacte asymptotiek van één afzonderlijk atoom, $\P(S_{2n} = 2k) \sim \frac{\eu^{-k^2/n}}{\sqrt{\pi n}}$ : zij lost kansen van de grootte $n^{-1/2}$ op, ver onder de resolutie $n^{-1/8}$ van vraag 7, maar ze is puntsgewijs, asymptotisch (geen expliciete fout bij vaste $n$ ) en gebonden aan deze bijzondere roosterverdeling. Lokale precisie tegenover globale uniformiteit: de twee methoden vullen elkaar aan, en de lokale schatting over $k \in \intint{a\sqrt n}{b\sqrt n}$ sommeren geeft de Moivre–Laplace op intervallen terug — met een scherpere snelheid, maar enkel voor deze verdeling.

9. Het verwisselingsargument gebruikte over de verdeling van de $X_i$ niets meer dan $\E X_i = 0$ , $\E X_i^2 = 1$ en de eindigheid van $\E\abs{X_i}^3$ : hadden we de gaussische $N_i$ vervangen door om het even welke andere i.i.d. familie met dezelfde eerste twee momenten en een eindig derde moment, dan zou hetzelfde telescoperen $\abs{\E f(\text{som}_X) - \E f(\text{som}_Y)}$ begrenzen door $O(n^{-1/2})$ voor elke gladde $f$ . Gladde statistieken van grote onafhankelijke sommen zijn dus universeel: op een gekwantificeerde fout na hangen ze van de verdeling van de termen enkel via twee getallen af. Dat is het invariantiebeginsel: bewijs een limietstelling voor de best berekenbare verdeling (de gaussische, waar alles exact is) en draag ze dan door verwisseling over naar alle verdelingen. Hetzelfde schema — met sommen vervangen door ingewikkelder functionalen — drijft de halvecirkelwet van Wigner voor toevalsmatrices aan, de universaliteit van de nulpunten van toevalsveeltermen, en een groot deel van de moderne kansrekening; de centrale limietstelling is er het eerste en eenvoudigste geval van.

10. $Z$ is een borelfunctie van enkel $(N_{i+1}, \dots, N_n)$ , terwijl $A = W_i + \theta h - Z$ en $h$ functies zijn van de overige veranderlijken van de onafhankelijke familie $(X_1, \dots, X_n, N_1, \dots, N_n)$ : volgens het coalitieprincipe (Stelling 22.5) is $Z$ onafhankelijk van $(A, h)$ . Als som van de onafhankelijke $N_j/\sqrt n \sim \mathcal N(0, \frac1n)$ is $Z \sim \mathcal N(0, s^2)$ met $s^2 = \frac{n-i}n$ (Oefening 23.3), met een dichtheid begrensd door $\frac1{s\sqrt{2\pi}}$ . De verdeling van $((A, h), Z)$ is het product van de twee marginale verdelingen, dus bevriest Tonelli (overdracht) het eerste blok: met $G(a) = \E\abs{g(a + Z)} = \int\abs{g(a + z)}\,\varphi_s(z)\,\dd z \leq \frac{\norm g_{L^1}}{s\sqrt{2\pi}}$ voor elke $a$ ,

\E\bigl[\abs h^3\abs{g(A + Z)}\bigr] = \E\bigl[\abs h^3\,G(A)\bigr] \leq \frac{\norm g_{L^1}}{s\sqrt{2\pi}}\,\E\abs h^3 = \sqrt{\frac{n}{2\pi(n-i)}}\,\norm g_{L^1}\,\E\abs h^3 .

11. De integraalvorm van de formule van Taylor volgt door $f(w + h) - f(w) = h\int_0^1f'(w + \theta h)\,\dd\theta$ tweemaal partieel te integreren naar $\theta$ . Neem verwachtingswaarden bij de $i$ -de verwisseling: de orden $0, 1, 2$ vallen precies weg als in vraag 3, en de twee resttermen (voor $h = X_i/\sqrt n$ en $N_i/\sqrt n$ ) worden voor $i \leq n - 1$ begrensd door vraag 10 met $g = f'''$ :

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \int_0^1\frac{(1-\theta)^2}2\,\dd\theta\; \sqrt{\frac{n}{2\pi(n-i)}}\,\norm{f'''}_{L^1} \frac{\beta + \gamma}{n^{3/2}} = \frac{\beta + \gamma}{6\,n^{3/2}} \sqrt{\frac{n}{2\pi(n-i)}}\,\norm{f'''}_{L^1} .

Sommeren, met $\sum_{i=1}^{n-1}\sqrt{\frac n{n-i}} = \sqrt n\sum_{m=1}^{n-1}m^{-1/2} \leq 2n$ , en de grens van vraag 3 voor de laatste verwisseling erbij ( $i = n$ , geen gaussische meer over):

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta + \gamma}{3\sqrt{2\pi}}\cdot \frac{\norm{f'''}_{L^1}}{\sqrt n} + \frac{M_3(\beta + \gamma)}{6\,n^{3/2}} .

De hellingen: $\psi_\delta'''(x) = \delta^{-3}\psi'''\bigl(\frac{x - t}\delta\bigr)$ , dus $M_3 = K\delta^{-3}$ met $K = \norm{\psi'''}_\infty$ en $\norm{\psi_\delta'''}_{L^1} = \delta^{-2} \norm{\psi'''}_{L^1} = K_1\delta^{-2}$ (substitutie). De insluiting van vraag 7 geeft dan

\sup_t\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \leq \frac{K_1(\beta + \gamma)}{3\sqrt{2\pi}}\cdot \frac1{\delta^2\sqrt n} + \frac{K(\beta + \gamma)}{6}\cdot \frac1{\delta^3n^{3/2}} + \frac\delta{\sqrt{2\pi}} .

In $\delta = n^{-1/6}$ zijn de eerste en de derde term $O(n^{-1/6})$ en de middelste $O(n^{-1})$ : een uniforme snelheid $O(n^{-1/6})$ , strikt beter dan de $n^{-1/8}$ van vraag 7 — de gaussische helft van de hybride deed het extra gladstrijken.

12. $\E N_1^3 = 0$ (oneven integrand), en partiële integratie geeft $\E N_1^4 = 3\,\E N_1^2 = 3$ ( $\int x^3\cdot x\varphi(x)\dd x = 3\int x^2\varphi$ ). Voor $f$ van klasse $\mathcal C^4$ met begrensde afgeleiden ontwikkel je elke verwisseling tot de vierde orde: de termen van derde orde dragen de factor $\E X_i^3 - \E N_i^3 = 0$ (de onafhankelijkheid splitst ze als in vraag 3), dus overleeft enkel de restterm van vierde orde $\int_0^1\frac{(1-\theta)^3}6f^{(4)}(w + \theta h)h^4\dd\theta$ , met $\int_0^1 \frac{(1-\theta)^3}6\dd\theta = \frac1{24}$ en $\E h^4 = \beta_4n^{-2}$ of $3n^{-2}$ . Vraag 10 (met $g = f^{(4)}$ ) begrenst de verwisselingen met $i \leq n - 1$ , en sommeren als in vraag 11:

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta_4 + 3}{12\sqrt{2\pi}}\cdot \frac{\norm{f^{(4)}}_{L^1}}{n} + \frac{M_4(\beta_4 + 3)}{24\,n^2} .

Met $\norm{\psi_\delta^{(4)}}_{L^1} = K_2\delta^{-3}$ en $M_4 = K'\delta^{-4}$ wordt de grens voor de verdelingsfuncties $C\delta^{-3}n^{-1} + C'\delta^{-4}n^{-2} + \frac\delta{\sqrt{2\pi}}$ ; in $\delta = n^{-1/4}$ zijn de buitenste termen $O(n^{-1/4})$ en de middelste $O(n^{-1})$ : snelheid $O(n^{-1/4})$ .

13. Met $k$ samenvallende momenten is de overblijvende restterm per verwisseling van de orde $\E\abs h^{k+1} \asymp n^{-(k+1)/2}$ ; de grens met de verborgen gaussische rekent $\norm{f^{(k+1)}}_{L^1}$ aan en de som over de verwisselingen draagt de factor $2n$ bij, wat $\asymp\norm{f^{(k+1)}}_{L^1}\, n^{-(k-1)/2}$ geeft voor gladde $f$ . Hellingen kosten $\norm{\psi_\delta^{(k+1)}}_{L^1} \asymp \delta^{-k}$ , dus is de fout voor de verdelingsfuncties $\asymp \delta^{-k}n^{-(k-1)/2} + \delta$ , afgewogen in $\delta = n^{-(k-1)/(2k+2)}$ : snelheid $n^{-(k-1)/(2k+2)}$ , dat is $n^{-1/6}$ voor $k = 2$ , $n^{-1/4}$ voor $k = 3$ , en streeft enkel naar $n^{-1/2}$ als $k \to \infty$ — maar $k \geq 4$ zou $\E X_1^4 = 3$ en verder afdwingen, dat wil zeggen een verdeling die de gaussische al nabootst. De verzadiging is structureel: het verwisselen telt $n$ verwisselingsfouten in absolute waarde op en ziet af van elke wegvalling tussen verwisselingen. Het fourierbewijs vergelijkt karakteristieke functies, waar de fouten met hun oscillerende fasen verschijnen; de gladstrijkongelijkheid van Esseen zet $\abs{\varphi_{T_n} - \varphi_N}$ , geïntegreerd tegen $\frac{\dd\xi}{\abs\xi}$ , tegen enkel logaritmische kosten om in een grens voor de verdelingsfuncties, en levert de $C\beta n^{-1/2}$ van Berry–Esseen uit drie momenten. Het vervangen ruilt optimaliteit voor robuustheid — en, zoals Deel VII toont, voor overdraagbaarheid.

14. $\Sigma$ is symmetrisch positief semidefiniet; met $\Sigma = PDP^{\mathsf T}$ ( $P$ orthogonaal, $D \geq 0$ diagonaal, Oefening 20.8) voldoet de symmetrische $C = P\sqrt DP^{\mathsf T}$ aan $C^2 = \Sigma$ . Voor elke $t \in \R^2$ is $\langle t, CZ\rangle = \langle Ct, Z\rangle = (Ct)_1Z^1 + (Ct)_2Z^2$ een lineaire combinatie van onafhankelijke gaussische veranderlijken, dus gaussisch (Oefening 23.3): $N = CZ$ is een gaussische vector; haar gemiddelde is $0$ en haar covariantie $\E[NN^{\mathsf T}] = C\,\E[ZZ^{\mathsf T}]\,C^{\mathsf T} = CC^{\mathsf T} = \Sigma$ . Momenten: $\norm N^3 \leq (\abs{N_1} + \abs{N_2})^3 \leq 4(\abs{N_1}^3 + \abs{N_2}^3)$ (convexiteit van $x^3$ op $\R_+$ ), en elke coördinaat is een reële gaussische veranderlijke met momenten van alle orden (Oefening 11.10): $\gamma' < \infty$ . Ten slotte is elke $\langle t, G_n\rangle = \frac1{\sqrt n}\sum_i\langle t, N_i\rangle$ een genormeerde som van i.i.d. $\mathcal N(0, t^{\mathsf T}\Sigma t)$ , dus exact $\mathcal N(0, t^{\mathsf T}\Sigma t)$ : $G_n$ is een gaussische vector met gemiddelde $0$ en covariantie $\Sigma$ , en haar verdeling is $\mathcal N(0, \Sigma)$ (Definitie 23.10: de verdeling ligt door die gegevens vast).

15. Zij $\phi(t) = f(w + th)$ , $t \in \intcc01$ : $\phi$ is $\mathcal C^3$ met

\phi'''(t) = \sum_{j,k,l\in\{1,2\}}\partial_{jkl}f(w + th)\,h_jh_kh_l, \qquad \abs{\phi'''(t)} \leq M_3\Bigl(\sum_j\abs{h_j}\Bigr)^3 = M_3(\abs{h_1} + \abs{h_2})^3 .

Taylor–Lagrange van orde $3$ voor $\phi$ tussen $0$ en $1$ geeft de eerste ongelijkheid; Cauchy–Schwarz geeft $\abs{h_1} + \abs{h_2} \leq \sqrt2\norm h$ , vandaar de constante $\frac{2\sqrt2M_3}6 = \frac{\sqrt2M_3}3$ .

16. Definieer $H_i$ en $W_i$ als in vraag 1, nu in $\R^2$ ; het coalitieargument blijft onveranderd. Bij de $i$ -de verwisseling geven de termen van eerste orde $\sum_j\E[\partial_jf(W_i)]\,(\E X_{i,j} - \E N_{i,j})/ \sqrt n = 0$ en die van tweede orde $\frac1{2n}\sum_{j,k}\E[\partial_{jk}f(W_i)]\,(\Sigma_{jk} - \Sigma_{jk}) = 0$ : de gemiddelden en de covarianties vallen samen. Vraag 15 begrenst de twee resttermen:

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{\sqrt2M_3}3\cdot\frac{\E\norm{X_i}^3 + \E\norm{N_i}^3}{n^{3/2}} = \frac{\sqrt2M_3(\beta' + \gamma')}{3\,n^{3/2}},

en telescoperen over de $n$ verwisselingen:

\Bigl|\E f\Bigl(\frac{S_n}{\sqrt n}\Bigr) - \E f(G_n)\Bigr| \leq \frac{\sqrt2\,M_3(\beta' + \gamma')}{3\sqrt n}, \qquad G_n \sim \mathcal N(0, \Sigma)\ \text{exact} .

Optillen: $\E\norm{T_n}^2 = \E\norm{X_1}^2 = \operatorname{tr}\Sigma$ (de gemengde termen verdwijnen wegens onafhankelijkheid en centrering), dus $\P(\norm{T_n} > A) \leq \operatorname{tr}\Sigma/A^2$ , en evenzo voor $N$ : gespannenheid. Vermenigvuldig, bij een begrensde continue $f$ en $\varepsilon > 0$ , met een gladde plateaufunctie $\chi$ gelijk aan $1$ op de bol met straal $A$ en met drager in straal $A + 1$ (regulariseer een indicator in $\R^2$ , Stelling 12.9); $g = f\chi$ is uniform continu met compacte drager, dus is haar tweedimensionale regularisatie $g_\eta$ van klasse $\mathcal C^\infty$ met begrensde afgeleiden van alle orden en $\norm{g - g_\eta}_\infty \leq \varepsilon$ voor kleine $\eta$ . De keten met drie $\varepsilon$ ’s van vraag 5 draagt zich dan woordelijk over: $\E f(T_n) \to \E f(N)$ voor elke begrensde continue $f \colon \R^2 \to \R$ . Dat is Stelling 23.12 voor $d = 2$ , nu bewezen — het verwisselen omzeilt de tweedimensionale stelling van Lévy die het hoofdstuk toegegeven had gelaten.

17. Voor begrensde continue $g \colon \R \to \R$ is de afbeelding $x \mapsto g(\langle t, x\rangle)$ begrensd en continu op $\R^2$ , dus geeft vraag 16 $\E g(\langle t, T_n\rangle) \to \E g(\langle t, N\rangle)$ : elke projectie convergeert in verdeling, en $\langle t, N\rangle \sim \mathcal N(0, t^{\mathsf T}\Sigma t)$ . (Dat is de makkelijke richting van Cramér–Wold: gezamenlijke convergentie impliceert de convergentie van alle lineaire beelden.) Toepassing: $V_i = (\xi_i, \xi_i^2 - 1)$ zijn i.i.d. gecentreerde vectoren ( $\E\xi_1^2 = 1$ ), met covariantie-elementen $\V(\xi_1) = 1$ , $\operatorname{Cov}(\xi_1, \xi_1^2 - 1) = \E\xi_1^3$ en $\V(\xi_1^2 - 1) = \E\xi_1^4 - 1$ ; het derde moment $\E\norm{V_1}^3 \leq 4\bigl(\E\abs{\xi_1}^3 + \E\abs{\xi_1^2 - 1}^3\bigr)$ is eindig zodra $\xi_1 \in L^6$ . Vraag 16 levert de opgeschreven gezamenlijke gaussische limiet, en Stelling 23.11(2): de twee limietcoördinaten zijn onafhankelijk precies wanneer de covariantie $\E\xi_1^3$ verdwijnt — voor symmetrische verdelingen ontkoppelen het empirische gemiddelde en de empirische variantie asymptotisch.

18. Schrijf $g(x) - g(\theta) = (g'(\theta) + \eta(x))(x - \theta)$ met $\eta(x) = \frac{g(x) - g(\theta)}{x - \theta} - g'(\theta)$ voor $x \neq \theta$ en $\eta(\theta) = 0$ : differentieerbaarheid in $\theta$ betekent precies dat $\eta(x) \to 0$ als $x \to \theta$ . Stap 1: $\hat\theta_n \to \theta$ in kans: voor $\varepsilon > 0$ en willekeurige $A > 0$ is uiteindelijk $\varepsilon\sqrt n \geq A$ , dus $\P(\abs{\hat\theta_n - \theta} > \varepsilon) \leq \P(\abs{\sqrt n(\hat\theta_n - \theta)} > A) \to \P(\sigma\abs N > A)$ (de verdelingsfuncties convergeren in de continuïteitspunten $\pm A$ ), en het rechterlid streeft naar $0$ als $A \to \infty$ . Stap 2: $\eta(\hat\theta_n) \to 0$ in kans: kies bij $\varepsilon' > 0$ een $\delta$ met $\abs\eta \leq \varepsilon'$ op $\abs{x - \theta} \leq \delta$ ; dan is $\P(\abs{\eta(\hat\theta_n)} > \varepsilon') \leq \P(\abs{\hat\theta_n - \theta} > \delta) \to 0$ . Stap 3:

\sqrt n\bigl(g(\hat\theta_n) - g(\theta)\bigr) = g'(\theta)\,\sqrt n(\hat\theta_n - \theta) + \eta(\hat\theta_n)\cdot\sqrt n(\hat\theta_n - \theta) .

Volgens de productregel van Slutsky (Oefening 23.8, met de rij $\eta(\hat\theta_n) \to 0$ in kans en de in verdeling convergerende $\sqrt n(\hat\theta_n - \theta)$ ) convergeert de tweede term in verdeling naar $0\cdot\mathcal N(0, \sigma^2) = 0$ , dus naar $0$ in kans (Oefening 23.4(b)); de eerste convergeert in verdeling naar $g'(\theta)\mathcal N(0, \sigma^2)$ (opnieuw Slutsky, of de affiene regel voor karakteristieke functies); de somregel van Slutsky zet ze samen: de limiet is $\mathcal N(0, g'(\theta)^2\sigma^2)$ .

19. (a) De centrale limietstelling geeft $\sqrt n(\bar X_n - \mu) \Rightarrow \mathcal N(0, \sigma^2)$ ; de deltamethode met $g(x) = x^2$ , $g'(\mu) = 2\mu$ , geeft $\sqrt n(\bar X_n^2 - \mu^2) \Rightarrow \mathcal N(0, 4\mu^2\sigma^2)$ — ontaard (limiet $0$ ) wanneer $\mu = 0$ . In dat geval leeft de schommeling een schaal hoger: $n\bar X_n^2 = (\sqrt n\,\bar X_n)^2$ , en voor $t > 0$ is

\P\bigl(n\bar X_n^2 \leq t\bigr) = \P\bigl(-\sqrt t \leq \sqrt n\,\bar X_n \leq \sqrt t\bigr) \longrightarrow \Phi\Bigl(\frac{\sqrt t}\sigma\Bigr) - \Phi\Bigl(-\frac{\sqrt t}\sigma\Bigr) = \P(\sigma^2N^2 \leq t) :

$n\bar X_n^2 \Rightarrow \sigma^2N^2$ , het kwadraat van een gaussische veranderlijke (een “chi-kwadraatverdeling”) — sterft de eerste afgeleide, dan dicteert de term van tweede orde in Taylor een niet-gaussische limiet. (b) Hier is $\sqrt n(\hat p_n - p) \Rightarrow \mathcal N(0, p(1 - p))$ en heeft $g(p) = \arcsin\sqrt p$ de afgeleide $g'(p) = \frac1{2\sqrt{p(1 - p)}}$ , dus $g'(p)^2\,p(1 - p) = \frac14$ : de limiet is $\mathcal N(0, \frac14)$ voor elke $p \in \intoo01$ . Op de $\arcsin$ -schaal is de asymptotische foutmarge van $95\%$ dus $\pm \frac{0.98}{\sqrt n}$ , op voorhand bekend — terwijl in Voorbeeld 23.9 de breedte de onbekende $\sigma = \sqrt{p(1-p)}$ bevatte, die door $\frac12$ moest worden afgeschat of geschat: de transformatie stabiliseert de variantie.

20. Zij $A^* = \{k : \mu(\{k\}) > \nu(\{k\})\}$ en $\Delta_k = \mu(\{k\}) - \nu(\{k\})$ , zodat $\sum_k\Delta_k = 0$ . Voor elke $A \subseteq \N$ is $\mu(A) - \nu(A) = \sum_{k\in A}\Delta_k \leq \sum_{k\in A^*}\Delta_k$ , met gelijkheid in $A = A^*$ ; en omdat het positieve en het negatieve deel van $(\Delta_k)$ dezelfde totale massa hebben, is $\sum_{A^*}\Delta_k = \frac12\sum_k\abs{\Delta_k}$ . Het verwisselen van $\mu$ en $\nu$ handelt het teken af: $d_{\mathrm{TV}}(\mu, \nu) = \frac12\sum_k\abs{\Delta_k}$ . Koppeling: voor elke $A$ is

\mu(A) - \nu(A) = \E\bigl[\mathbf 1_A(X) - \mathbf 1_A(Y)\bigr] = \E\bigl[(\mathbf 1_A(X) - \mathbf 1_A(Y))\,\mathbf 1_{X\neq Y}\bigr] \leq \P(X \neq Y),

en neem het supremum over $A$ .

21. De twee verdelingen laden: $k = 0$ : $1 - p$ tegenover $\eu^{-p}$ , met $\eu^{-p} > 1 - p$ ; $k = 1$ : $p$ tegenover $p\,\eu^{-p} < p$ ; $k \geq 2$ : $0$ tegenover de poissonrest $1 - \eu^{-p} - p\eu^{-p} \geq 0$ . Bijgevolg

d_{\mathrm{TV}} = \tfrac12\bigl[(\eu^{-p} - 1 + p) + (p - p\eu^{-p}) + (1 - \eu^{-p} - p\eu^{-p})\bigr] = \tfrac12\bigl(2p - 2p\eu^{-p}\bigr) = p(1 - \eu^{-p}),

en $1 - \eu^{-p} \leq p$ geeft de grens $p^2$ .

22. Schrijf $H_{i-1} = W_i + X_i$ en $H_i = W_i + Y_i$ met $W_i = \sum_{j<i}Y_j + \sum_{j>i}X_j$ , onafhankelijk van het paar $(X_i, Y_i)$ (coalities). Voor $A \subseteq \N$ geeft conditioneren op de aftelbaar vele waarden, met de onafhankelijkheid,

\P(H_{i-1} \in A) = \sum_{k\geq0}\P(X_i = k)\,\P(W_i + k \in A),

en evenzo voor $H_i$ met $Y_i$ . Aftrekken, met $c_k = \P(W_i + k \in A) \in \intcc01$ en $\Delta_k = \P(X_i = k) - \P(Y_i = k)$ van som nul:

\abs{\P(H_{i-1} \in A) - \P(H_i \in A)} = \Bigl|\sum_k\Delta_k\bigl(c_k - \tfrac12\bigr)\Bigr| \leq \tfrac12\sum_k\abs{\Delta_k} = d_{\mathrm{TV}}\bigl(\mathcal B(1, p_i), \mathcal P(p_i)\bigr) .

Telescoperen van $H_0 = S$ tot $H_n = \sum_iY_i \sim \mathcal P(\lambda)$ (Oefening 23.1, herhaald) en vraag 21 gebruiken:

\abs{\P(S \in A) - \P(\mathcal P(\lambda) \in A)} \leq \sum_{i=1}^np_i\bigl(1 - \eu^{-p_i}\bigr) \leq \sum_{i=1}^np_i^2 \qquad\text{voor elke } A :

de ongelijkheid van Le Cam. (De koppelingsgrens van vraag 20 geeft een alternatieve weg: koppel elk paar op één uniforme veranderlijke zodat $\P(X_i \neq Y_i) \leq p_i^2$ en begrens $\P(S \neq \sum Y_i)$ ; het verwisselen heeft helemaal geen constructie nodig.)

23. (a) Met $p_i = \frac\lambda n$ : $d_{\mathrm{TV}}(\text{verdeling van }S, \mathcal P(\lambda)) \leq \frac{\lambda^2}n$ . Dat scherpt Oefening 23.5 op drie manieren aan: een expliciete fout bij elke eindige $n$ , uniformiteit over alle gebeurtenissen $A$ tegelijk (niet één interval per keer), en geen behoefte aan gelijke $p_i$ — enkel aan een kleine $\sum_ip_i^2$ , bijvoorbeeld $\sum p_i^2 \leq \lambda\max_ip_i$ : veel zeldzame gebeurtenissen, geen enkele dominant. (b) Hier is $n = 500$ , $p_i = \frac1{500}$ , $\lambda = 1$ : het poissonmodel vergist zich op elke gebeurtenis met hoogstens $500\cdot\frac1{500^2} = 0.002$ ; in het bijzonder, met $A = \{0\}$ ,

\P(\text{geen brief verloren}) = \Bigl(1 - \frac1{500}\Bigr)^{500}, \qquad \Bigl|\P(\text{geen brief verloren}) - \eu^{-1}\Bigr| \leq 0.002,

zodat het antwoord $\eu^{-1} \approx 0.368$ is, op een gewaarborgde $0.002$ na (de werkelijke afwijking is ongeveer $4\cdot10^{-4}$ ). (c) De opgave sluit op één methode met twee regimes. Wanneer $n$ vergelijkbare bijdragen elk variantie $\frac1n$ dragen, maakt het samenvallen van twee momenten met de gaussische de verwisselingsfouten elk $o(\frac1n)$ : sommen worden gaussisch — met Taylor als lokaal vergelijkingsgereedschap. Wanneer $n$ bijdragen indicatoren met kans $p_i$ zijn, maakt het samenvallen van het gemiddelde met een poissonatoom elke verwisseling $p_i$ in het kwadraat duur: tellingen van zeldzame gebeurtenissen worden poisson — met de totale variatie als exacte lokale vergelijking. Dezelfde hybriden, dezelfde telescoop, een andere lokale schatting: het vervangen is een strategie, geen stelling, en de gaussische en de poissonlimiet zijn de twee oudste dividenden ervan.

24. De centrale limietstelling geeft $\sqrt n(\bar X_n - \mu) \Rightarrow \mathcal N(0, \sigma^2)$ , en $g(x) = \ln x$ is differentieerbaar in $\mu > 0$ met $g'(\mu) = \frac1\mu$ : de deltamethode (Deel VI) levert $\sqrt n(\ln\bar X_n - \ln\mu) \Rightarrow \mathcal N(0, \sigma^2/\mu^2)$ . Het interval $\abs{\ln\bar X_n - \ln\mu} \leq \frac{1.96\,\sigma}{\mu\sqrt n}$ door exponentiëren uitpakken:

\mu \in \bar X_n\cdot \eu^{\pm1.96\,\sigma/(\mu\sqrt n)} \qquad\text{met asymptotische kans } 95\%

(in de praktijk wordt $\sigma/\mu$ door zijn empirische versie vervangen, Slutsky als in Oefening 23.8). Het multiplicatieve interval is het natuurlijke wanneer de gegevens positief zijn met fouten evenredig aan hun grootte — inkomens, concentraties, halveringstijden: grootheden die op een logaritmische schaal leven, waar symmetrische additieve intervallen zelfs door nul zouden kunnen gaan.

25. $\E[(X - p)^3] = (1-p)^3p + (-p)^3(1 - p) = p(1-p)\bigl[(1-p)^2 - p^2\bigr] = p(1-p)(1 - 2p)$ . In de analyse van het verwisselen (Deel IV) draagt de leidende foutterm na het samenvallen van twee momenten het getekende derde moment: voor $p < \frac12$ is het positief (de verdeling leunt naar rechts: zeldzame grote uitschieters boven het gemiddelde), en de normale benadering legt de massa stelselmatig verkeerd — ze onderschat de korte linkerstaart en overschat de rechter — met een fout van de orde $n^{-1/2}$ ; in $p = \frac12$ verdwijnt het derde moment, valt de bernoulliverdeling tot in de derde orde met de gaussische samen, en verbetert de snelheid (de vraag over samenvallende momenten van Deel IV). Numeriek: $\P(S = 0) = 0.9^{20} = 0.1216$ , terwijl de gaussische $\mathcal N(2, 1.8)$ $\Phi\bigl(\frac{0.5 - 2}{\sqrt{1.8}}\bigr) = \Phi(-1.118) \approx 0.132$ geeft: de normale kromme, die niets weet van de muur in $0$ en van de scheefheid naar rechts, legt te veel massa onderaan — het voorspelde teken van de fout, al zichtbaar bij $n = 20$ .

Begrippen gedefinieerd in dit hoofdstuk

Bekijk alle 395 begrippen in de begrippenlijst