Universitaire wiskunde — Bachelor jaar 3 · Bachelor Year 3

23Karakteristieke functies en de centrale limietstelling

De wet van de grote aantallen zegt dat gemiddelden convergeren; de centrale limietstelling zegt hoe zij fluctueren: de fout, vergroot met $\sqrt n$ , is asymptotisch Gaussisch — wat de wet waarmee men begon ook was. Deze universaliteit is het diepste feit van de elementaire kansrekening, en haar natuurlijke bewijs is Fourier-analytisch: de karakteristieke functie (de Fourier-transformatie van een wet) zet onafhankelijke sommen om in producten, en de machinerie van Hoofdstuk 14 — injectiviteit, Gaussische vaste punten — zet puntsgewijze convergentie van deze producten om in convergentie van wetten (stelling van Lévy, volledig bewezen). Het hoofdstuk eindigt met Gaussische vectoren en de eerlijke afleiding van de betrouwbaarheidsintervallen die overal in de statistiek gebruikt worden; het weekendprobleem geeft het tweede bewijs van Lindeberg van de CLT, met een expliciete foutratio.

23.1 Karakteristieke functies

Definitie 23.1

De karakteristieke functie van een reële stochastische variabele $X$ is

\varphi_X(\xi) = \E\bigl[\eu^{\iu\xi X}\bigr] = \int_\R \eu^{\iu\xi x}\,\dd\P_X(x) \qquad (\xi \in \R)

(de overdrachtsstelling berekent haar uit de wet; voor een dichtheid $f$ , $\varphi_X(\xi) = \hat f(-\xi)$ in de conventie van Hoofdstuk 14).

Propositie 23.2

(a) $\varphi_X(0) = 1$ , $\abs{\varphi_X} \leq 1$ , en $\varphi_X$ is uniform continu; $\varphi_{aX + b}(\xi) = \eu^{\iu b\xi}\varphi_X(a\xi)$ . (b) Als $X, Y$ onafhankelijk zijn: $\varphi_{X+Y} = \varphi_X\,\varphi_Y$ . (c) Als $\E\abs X^k < \infty$ , dan $\varphi_X \in \mathcal C^k$ met $\varphi_X^{(j)}(0) = \iu^j\,\E[X^j]$ voor $j \leq k$ ; in het bijzonder, voor gecentreerde $X \in L^2$ met variantie $\sigma^2$ :

\varphi_X(\xi) = 1 - \frac{\sigma^2\xi^2}{2} + o(\xi^2) \qquad (\xi \to 0).

(d) Gaussisch: $X \sim \mathcal N(m, \sigma^2)$ heeft $\varphi_X(\xi) = \eu^{\iu m\xi - \sigma^2\xi^2/2}$ .

Bewijs. (a) De grenzen zijn onmiddellijk; continuïteit: $\abs{\varphi(\xi + h) - \varphi(\xi)} \leq \E\abs{\eu^{\iu hX} - 1} \to 0$ als $h \to 0$ door gedomineerde convergentie, uniform in $\xi$ . De affiene regel is een substitutie. (b) $\eu^{\iu\xi(X+Y)} = \eu^{\iu\xi X}\eu^{\iu\xi Y}$ , en verwachtingen van producten van onafhankelijke variabelen factoriseren (Stelling 22.5, toegepast op reële en imaginaire delen). (c) Differentiatie onder de verwachting, gedomineerd door $\E\abs X^j$ (Stelling 10.15); de Taylor-ontwikkeling in $0$ is dan Taylor–Young voor de $\mathcal C^2$ -functie $\varphi$ . (d) Voor $\mathcal N(0,1)$ : de Gaussische transformatie (Voorbeeld 14.2 met $a = \frac12$ ) geeft $\int\eu^{\iu\xi x}\frac{\eu^{-x^2/2}}{\sqrt{2\pi}}\dd x = \eu^{-\xi^2/2}$ ; het algemene geval via de affiene regel. ∎

Stelling 23.3 (Injectiviteit)

Als $\varphi_X = \varphi_Y$ , dan hebben $X$ en $Y$ dezelfde wet. Nauwkeuriger: voor $N \sim \mathcal N(0,1)$ onafhankelijk van $X$ en $\varepsilon > 0$ heeft de gegladde variabele $X + \varepsilon N$ de dichtheid

p_\varepsilon(x) = \frac1{2\pi}\int_\R \varphi_X(-\xi)\,\eu^{-\varepsilon^2\xi^2/2}\, \eu^{\iu\xi x}\,\dd\xi ,

bepaald door $\varphi_X$ alleen; $\varepsilon \to 0$ herwint de wet van $X$ .

Bewijs. $X + \varepsilon N$ heeft de dichtheid $p_\varepsilon(x) = \E\bigl[g_\varepsilon(x - X)\bigr]$ , waarbij $g_\varepsilon$ de $\mathcal N(0, \varepsilon^2)$ -dichtheid is: voor Borels $B$ geven onafhankelijkheid en Tonelli $\P(X + \varepsilon N \in B) = \int\!\!\int\mathbf 1_B(x + \varepsilon n)g_1(n)\,\dd n\,\dd\P_X(x) = \int_B\E[g_\varepsilon(t - X)]\dd t$ (substitueren, dan opnieuw Tonelli). Schrijf $g_\varepsilon$ via Fourier-inversie van haar transform (Oefening 14.4, herschaald): $g_\varepsilon(u) = \frac1{2\pi}\int \eu^{-\varepsilon^2\xi^2/2}\eu^{\iu\xi u}\dd\xi$ , en Fubini (alles gedomineerd door de Gaussische factor):

p_\varepsilon(x) = \frac1{2\pi}\int_\R \varphi_X(-\xi)\,\eu^{-\varepsilon^2\xi^2/2}\, \eu^{\iu\xi x}\,\dd\xi ,

een functionaal van $\varphi_X$ alleen. Als $\varphi_X = \varphi_Y$ : $X + \varepsilon N$ en $Y + \varepsilon N$ hebben gelijke wetten voor elke $\varepsilon$ ; voor begrensde continue $f$ , $\E f(X + \varepsilon N) \to \E f(X)$ als $\varepsilon \to 0$ (gedomineerde convergentie, $X + \varepsilon N \to X$ puntsgewijs op de productruimte), dus $\E f(X) = \E f(Y)$ voor alle zulke $f$ — en dit bepaalt de wet: voor elke $t$ , klem $\mathbf 1_{\intoc{-\infty}t}$ tussen de begrensde continue hellingen $f_k^\pm$ (gelijk aan $1$ op $\intoc{-\infty}{t \mp \frac1k}$ , aan $0$ voorbij $t \pm \frac1k$ , affien ertussen); limietneming in $\E f_k^-(X) \leq F_X(t) \leq \E f_k^+(X)$ geeft $F_X(t) = F_Y(t)$ in elk $t$ waar beide continu zijn, dus overal door rechtscontinuïteit en dichtheid van gemeenschappelijke continuïteitspunten (beide $F$ hebben aftelbaar veel sprongen); gelijke verdelingsfuncties dwingen gelijke wetten (Oefening 9.3, steunend op Stelling 9.7). ∎

23.2 Convergentie in verdeling

Definitie 23.4

$X_n$ convergeert in verdeling (of in wet) naar $X$ , genoteerd $X_n \Rightarrow X$ , als

\E\bigl[f(X_n)\bigr] \longrightarrow \E\bigl[f(X)\bigr] \qquad\text{voor elke begrensde continue } f\colon\R\to\R .

Equivalent (Oefening 23.4): $F_{X_n}(t) \to F_X(t)$ in elk continuïteitspunt $t$ van $F_X$ . De $X_n$ hoeven niet op een gemeenschappelijke waarschijnlijkheidsruimte te leven: alleen de wetten tellen.

Stelling 23.5 (Selectiestelling van Helly)

Elke rij $(F_n)$ van verdelingsfuncties heeft een deelrij die puntsgewijs convergeert, in elk continuïteitspunt van de limiet, naar een niet-dalende rechtscontinue $G \colon \R \to \intcc01$ — mogelijk met $G(+\infty) - G(-\infty) < 1$ (massa kan naar oneindig ontsnappen).

Bewijs. Diagonale extractie geeft $F_{n_k}(q) \to \ell(q)$ voor elke rationale $q$ (waarden in de compacte $\intcc01$ ). Definieer $G(t) = \inf\{\ell(q) : q \in \Q, q > t\}$ : niet-dalend; rechtscontinu (een infimum over krimpende rationale buurten van rechts). In een continuïteitspunt $t$ van $G$ : voor rationalen $q_1 < t < q_2$ ,

\ell(q_1) \leq \liminf F_{n_k}(t) \leq \limsup F_{n_k}(t) \leq \ell(q_2),

door monotonie van elke $F_{n_k}$ . Uit de definitie van $G$ als infimum en de monotonie van $\ell$ op de rationalen: $G(s) \leq \ell(q) \leq G(q)$ zodra $s < q$ . Nemen van $s < q_1 < t$ geeft $\ell(q_1) \geq G(s)$ , en $\ell(q_2) \leq G(q_2)$ ; laten $s \uparrow t$ en $q_2 \downarrow t$ , dwingt continuïteit van $G$ in $t$ zowel de $\liminf$ als de $\limsup$ naar $G(t)$ . ∎

Lemma 23.6 (Spanning vanuit de karakteristieke functie)

Voor elke stochastische variabele $X$ en $u > 0$ :

\P\Bigl(\abs X \geq \frac2u\Bigr) \;\leq\; \frac1u\int_{-u}^{u}\bigl(1 - \operatorname{Re}\varphi_X(\xi)\bigr)\,\dd\xi .

Bewijs. Door Tonelli–Fubini (integrand begrensd, gebied eindig in $\xi$ ):

\frac1u\int_{-u}^u\bigl(1 - \operatorname{Re}\varphi_X(\xi)\bigr)\dd\xi = \E\Bigl[\frac1u\int_{-u}^u(1 - \cos(\xi X))\,\dd\xi\Bigr] = 2\,\E\Bigl[1 - \frac{\sin(uX)}{uX}\Bigr]

(interpreteer de haak als limiet $0$ in $X = 0$ ). De integrand is niet-negatief ( $\abs{\sin t} \leq \abs t$ ), en voor $\abs{uX} \geq 2$ : $1 - \frac{\sin(uX)}{uX} \geq 1 - \frac1{\abs{uX}} \geq \frac12$ . Alleen de gebeurtenis $\{\abs{uX} \geq 2\}$ in de verwachting houden laat minstens $2 \cdot \frac12\,\P(\abs X \geq \frac2u)$ over, wat de bewering is. ∎

Stelling 23.7 (Continuïteitsstelling van Lévy)

Zij $(X_n)$ stochastische variabelen waarvan de karakteristieke functies puntsgewijs convergeren: $\varphi_{X_n}(\xi) \to \varphi(\xi)$ voor elke $\xi$ , waarbij $\varphi = \varphi_X$ de karakteristieke functie is van een zekere stochastische variabele $X$ . Dan $X_n \Rightarrow X$ .

Bewijs. Spanning. Fixeer $\varepsilon > 0$ . Omdat $\varphi$ continu is in $0$ met $\varphi(0) = 1$ , kies $u > 0$ met $\frac1u\int_{-u}^u(1 - \operatorname{Re}\varphi) < \varepsilon$ ; door gedomineerde convergentie (integrand begrensd door $2$ op het vaste $[-u,u]$ ) is dezelfde integraal voor $\varphi_{X_n}$ $< 2\varepsilon$ voor $n$ groot: Lemma 23.6 geeft $\P(\abs{X_n} \geq \frac2u) \leq 2\varepsilon$ voor grote $n$ , en de constante vergroten behandelt de eindig veel overige: de wetten zijn gespannen — geen massa ontsnapt.

Deelrijen. Zij $(F_{n_k})$ een willekeurige deelrij; via Helly (Stelling 23.5) extraheer $F_{n_{k_j}} \to G$ in continuïteitspunten. Spanning dwingt $G(-\infty) = 0$ , $G(+\infty) = 1$ ( $G(\frac2u) - G(-\frac2u) \geq 1 - 2\varepsilon$ in continuïteitspunten): $G$ is een echte verdelingsfunctie, van een zekere stochastische variabele $Y$ . Dan $X_{n_{k_j}} \Rightarrow Y$ (Oefening 23.4, verdelingsconvergentie uit $F$ ’s), dus $\varphi_{X_{n_{k_j}}} \to \varphi_Y$ puntsgewijs ( $x \mapsto \eu^{\iu\xi x}$ is begrensd continu, reële en imaginaire delen afzonderlijk); vergelijken met de hypothese: $\varphi_Y = \varphi = \varphi_X$ , en injectiviteit (Stelling 23.3) geeft $Y \sim X$ , d.w.z. $G = F_X$ .

Conclusie. Elke deelrij van $(F_n)$ heeft een subdeelrij die convergeert naar dezelfde $F_X$ (in haar continuïteitspunten); dus $F_n(t) \to F_X(t)$ in elk continuïteitspunt $t$ (een reële rij waarvan alle deelrijen subdeelrijen met dezelfde limiet hebben, convergeert): $X_n \Rightarrow X$ . ∎

23.3 De centrale limietstelling

Stelling 23.8 (Centrale limietstelling)

Zij $(X_n)$ i.i.d. met $\E X_1 = m$ en $\V(X_1) = \sigma^2 \in \intoo0\infty$ . Dan

\frac{S_n - nm}{\sigma\sqrt n} \;\Longrightarrow\; \mathcal N(0, 1) : \qquad \P\Bigl(a \leq \frac{S_n - nm}{\sigma\sqrt n} \leq b\Bigr) \longrightarrow \frac{1}{\sqrt{2\pi}}\int_a^b\eu^{-x^2/2}\,\dd x

voor alle $a < b$ .

Bewijs. Centreer en normaliseer: $Z_i = \frac{X_i - m}{\sigma}$ (i.i.d., gemiddelde $0$ , variantie $1$ ) en $T_n = \frac1{\sqrt n}\sum_{i\leq n}Z_i$ . Door onafhankelijkheid en de affiene regel (Propositie 23.2):

\varphi_{T_n}(\xi) = \varphi_{Z}\Bigl(\frac{\xi}{\sqrt n}\Bigr)^{n}, \qquad \varphi_Z(\eta) = 1 - \frac{\eta^2}2 + \eta^2\rho(\eta),\quad \rho(\eta)\to0 .

Fixeer $\xi$ en zet $a_n = \varphi_Z(\xi/\sqrt n)$ , $b_n = 1 - \frac{\xi^2}{2n}$ : beide hebben modulus $\leq 1$ voor $n$ groot ( $\abs{b_n} \leq 1$ zodra $\xi^2 \leq 4n$ ; $\abs{a_n} \leq 1$ altijd). De elementaire ongelijkheid $\abs{a^n - b^n} \leq n\abs{a - b}$ voor $\abs a, \abs b \leq 1$ (telescoperen $a^n - b^n = \sum a^k(a - b)b^{n-1-k}$ ) geeft

\Bigl|\varphi_{T_n}(\xi) - \Bigl(1 - \frac{\xi^2}{2n}\Bigr)^{n}\Bigr| \leq n\,\Bigl|\varphi_Z\Bigl(\frac\xi{\sqrt n}\Bigr) - 1 + \frac{\xi^2}{2n}\Bigr| = \xi^2\,\Bigl|\rho\Bigl(\frac{\xi}{\sqrt n}\Bigr)\Bigr| \longrightarrow 0,

terwijl $\bigl(1 - \frac{\xi^2}{2n}\bigr)^n \to \eu^{-\xi^2/2}$ (reële logaritme). Dus $\varphi_{T_n}(\xi) \to \eu^{-\xi^2/2} = \varphi_{\mathcal N(0,1)}(\xi)$ (Propositie 23.2(d)) voor elke $\xi$ : Lévy (Stelling 23.7) concludeert $T_n \Rightarrow \mathcal N(0,1)$ . De intervalkansen volgen omdat $F_{\mathcal N}$ overal continu is. ∎

Voorbeeld 23.9 (Betrouwbaarheidsintervallen, eerlijk afgeleid)

Peil $n$ onafhankelijke kiezers; $\hat p_n = S_n/n$ schat de ware $p$ , met $\sigma^2 = p(1-p) \leq \frac14$ . De CLT geeft, voor grote $n$ ,

\P\Bigl(\abs{\hat p_n - p} \leq \frac{z}{2\sqrt n}\Bigr) \;\geq\; \P\Bigl(\Bigl|\frac{S_n - np}{\sigma\sqrt n}\Bigr| \leq z\Bigr) \longrightarrow \Phi(z) - \Phi(-z),

waarbij $\Phi$ de standaard-Gaussische verdelingsfunctie is. Met $z = 1{,}96$ : asymptotisch betrouwbaarheidsniveau $95\%$ , en marge $\frac{1{,}96}{2\sqrt n} \leq 3\%$ eist $n \geq \bigl(\frac{1{,}96}{0{,}06}\bigr)^2 \approx 1068$ — het getal achter elke “ $\pm3$ punten, $95\%$ ” die men leest; vergelijk met de $5556$ van Chebyshev (Oefening 22.7). De $\sqrt n$ is universeel: om de fout te halveren, verviervoudig de steekproef — dezelfde wet die de kost van Monte Carlo vastlegt (Oefening 23.7).

23.4 Gaussische vectoren

Definitie 23.10

Een stochastische vector $X = (X_1, \dots, X_d)$ is Gaussisch als elke lineaire combinatie $\langle t, X\rangle = \sum t_iX_i$ een (mogelijk ontaarde) reële Gaussische variabele is. Haar wet wordt bepaald door de gemiddelde vector $m = (\E X_i)$ en de covariantiematrix $\Sigma = \bigl(\operatorname{Cov} (X_i, X_j)\bigr)$ : de karakteristieke functie van de vector, $\varphi_X(t) = \E\eu^{\iu\langle t, X\rangle}$ , is immers de waarde in $1$ van de kf van $\langle t, X\rangle$ :

\varphi_X(t) = \exp\Bigl(\iu\langle t, m\rangle - \tfrac12\,t^{\mathsf T}\Sigma\,t\Bigr),

en $d$ -dimensionale karakteristieke functies zijn injectief (zelfde gladmakingsbewijs als Stelling 23.3, Gaussisch per coördinaat).

Stelling 23.11

Zij $X$ een Gaussische vector.

Elke affiene afbeelding $AX + b$ is een Gaussische vector.
De componenten $X_i$ zijn onafhankelijk dan en slechts dan als $\Sigma$ diagonaal is: voor gezamenlijk Gaussische variabelen is ongecorreleerd $=$ onafhankelijk.
Als $\Sigma$ inverteerbaar is, heeft $X$ de dichtheid $\frac{1}{(2\pi)^{d/2}\sqrt{\det\Sigma}} \exp\bigl(-\frac12(x - m)^{\mathsf T}\Sigma^{-1}(x - m)\bigr)$ .

Bewijs. (1) Lineaire combinaties van componenten van $AX + b$ zijn affiene functies van lineaire combinaties van $X$ : Gaussisch (een affien beeld van een Gaussische variabele is Gaussisch). (2) Als $\Sigma$ diagonaal is, factoriseert de karakteristieke functie: $\varphi_X(t) = \prod_i\exp(\iu t_im_i - \frac12\Sigma_{ii}t_i^2) = \prod\varphi_{X_i}(t_i)$ , wat de karakteristieke functie is van de productwet (Stelling 22.5 gelezen via $d$ -dimensionale injectiviteit): de componenten zijn onafhankelijk. De omgekeerde is het verdwijnen van covarianties van onafhankelijke $L^2$ -variabelen. (3) Diagonaliseer $\Sigma = P D P^{\mathsf T}$ ( $P$ orthogonaal, $D > 0$ diagonaal — Oefening 20.8); de vector $Y = P^{\mathsf T}(X - m)$ is Gaussisch met covarianties $D$ : door (2) zijn haar componenten onafhankelijk $\mathcal N(0, d_i)$ , dus $Y$ heeft de productdichtheid; push-forward door de volumebewarende $x = m + PY$ (Stelling 11.10, $\abs{\det P} = 1$ ) en herschrijf de exponent invariant. ∎

Stelling 23.12 (Multidimensionale CLT)

Zij $(X_n)$ i.i.d. kwadratisch integreerbare stochastische vectoren van $\R^d$ met gemiddelde $m$ en covariantiematrix $\Sigma$ . Dan convergeert $\frac{S_n - nm}{\sqrt n}$ in verdeling naar de Gaussische vector $\mathcal N(0, \Sigma)$ .

Bewijs. Toegegeven op dit niveau. ∎

Opmerking 23.13

Bijna alles is al in onze handen. Voor elke richting $t \in \R^d$ is de reële variabele $\langle t, \frac{S_n - nm}{\sqrt n}\rangle$ een genormaliseerde som van i.i.d. reële variabelen van variantie $t^{\mathsf T}\Sigma t$ , dus de berekening van Stelling 23.8 geeft puntsgewijze convergentie van de $d$ -dimensionale karakteristieke functies naar $\eu^{-t^{\mathsf T}\Sigma t/2}$ , de karakteristieke functie van $\mathcal N(0, \Sigma)$ (Definitie 23.10). Wat we niet opnieuw bewezen hebben is de continuïteitsstelling van Lévy in $\R^d$ : de selectie van Helly en de spanningsafschatting generaliseren routineus (per coördinaat), en deze Cramér–Wold-reductie wordt eerlijk uitgevoerd in elke mastercursus kansrekening; niets buiten de methoden van dit hoofdstuk is nodig.

Methode 23.14

Om een limietwet te identificeren: bereken karakteristieke functies, neem de puntsgewijze limiet, herken haar (Gaussisch $\eu^{-\sigma^2\xi^2/2}$ , Poisson $\eu^{\lambda(\eu^{\iu\xi}-1)}$ , exponentieel $\frac{\lambda}{\lambda - \iu\xi}$ , $\dots$ ) en roep Lévy aan. Het driestappenritueel (onafhankelijkheid $\to$ product; Taylor in $0$ $\to$ exponentiële limiet; Lévy $\to$ convergentie in wet) bewijst de CLT, de Poissonwet van zeldzame gebeurtenissen (Oefening 23.5), en elke klassieke limietstelling van deze cursus. Voor b.z.-uitspraken, ga terug naar de gereedschapskist van Hoofdstuk 22: de twee hoofdstukken beantwoorden verschillende vragen over dezelfde $S_n$ .

23.5 Oefeningen

Oefening 23.1 ★

Bereken de karakteristieke functies: uniform op $\intcc{-1}1$ ; exponentieel $\mathcal E(\lambda)$ ; Poisson $\mathcal P(\lambda)$ ; binomiaal $\mathcal B(n, p)$ . Leid via Stelling 23.3 af dat de som van onafhankelijke Poissonvariabelen ( $\lambda, \mu$ ) Poisson $(\lambda + \mu)$ is.

Oplossing

Oplossing van Oefening 23.1.

Uniform op $\intcc{-1}1$ : $\varphi(\xi) = \frac12\int_{-1}^1\eu^{\iu\xi x}\dd x = \frac{\sin\xi}{\xi}$ (gelijk aan $1$ in $\xi = 0$ ). Exponentieel $\mathcal E(\lambda)$ : $\varphi(\xi) = \lambda\int_0^\infty\eu^{(\iu\xi - \lambda)x}\dd x = \frac{\lambda}{\lambda - \iu\xi}$ (de primitieve verdwijnt in $+\infty$ want $\operatorname{Re}(\iu\xi - \lambda) < 0$ ). Poisson $\mathcal P(\lambda)$ : door de overdrachtsstelling voor discrete wetten,

\varphi(\xi) = \sum_{k\geq0}\eu^{\iu\xi k}\,\eu^{-\lambda}\frac{\lambda^k}{k!} = \eu^{-\lambda}\exp\bigl(\lambda\eu^{\iu\xi}\bigr) = \exp\bigl(\lambda(\eu^{\iu\xi} - 1)\bigr).

Binomiaal $\mathcal B(n, p)$ : een som van $n$ onafhankelijke Bernoullivariabelen, elk met kf $1 - p + p\eu^{\iu\xi}$ , dus $\varphi(\xi) = \bigl(1 - p + p\eu^{\iu\xi}\bigr)^n$ (Propositie 23.2(b)). Poisson-optelbaarheid: als $X \sim \mathcal P(\lambda)$ , $Y \sim \mathcal P(\mu)$ onafhankelijk zijn,

\varphi_{X+Y}(\xi) = \eu^{\lambda(\eu^{\iu\xi}-1)} \eu^{\mu(\eu^{\iu\xi}-1)} = \eu^{(\lambda+\mu)(\eu^{\iu\xi}-1)},

de kf van $\mathcal P(\lambda + \mu)$ ; injectiviteit (Stelling 23.3) identificeert de wet.

Oefening 23.2 ★★

(a) Toon aan dat $\varphi_X$ reëelwaardig is dan en slechts dan als $X$ en $-X$ dezelfde wet hebben (een symmetrische variabele). (b) Stel $\abs{\varphi_X(\xi_0)} = 1$ voor zekere $\xi_0 \neq 0$ . Toon aan dat $X$ bijna zeker gedragen wordt door een rekenkundige rij $a + \frac{2\pi}{\xi_0}\Z$ (schrijf $\varphi_X(\xi_0) = \eu^{\iu\theta}$ en bereken $\E[1 - \cos(\xi_0X - \theta)]$ ). Leid af dat als $X$ een dichtheid heeft, dan $\abs{\varphi_X(\xi)} < 1$ voor alle $\xi \neq 0$ .

Oplossing

Oplossing van Oefening 23.2.

(a) $\overline{\varphi_X(\xi)} = \E\eu^{-\iu\xi X} = \varphi_{-X}(\xi)$ . Dus $\varphi_X$ is reëel dan en slechts dan als $\varphi_X = \varphi_{-X}$ , dan en slechts dan als (injectiviteit, Stelling 23.3) $X$ en $-X$ dezelfde wet hebben. (b) Schrijf $\varphi_X(\xi_0) = \eu^{\iu\theta}$ . Dan

\E\bigl[1 - \cos(\xi_0X - \theta)\bigr] = 1 - \operatorname{Re}\bigl(\eu^{-\iu\theta} \varphi_X(\xi_0)\bigr) = 1 - 1 = 0 .

De integrand is niet-negatief, dus $\cos(\xi_0X - \theta) = 1$ bijna zeker (een niet-negatieve variabele met nul-verwachting verdwijnt b.z.), d.w.z. $\xi_0X - \theta \in 2\pi\Z$ b.z.: $X$ neemt haar waarden in de rekenkundige rij $\frac{\theta}{\xi_0} + \frac{2\pi}{\xi_0}\Z$ bijna zeker. Als $X$ een dichtheid heeft, is deze aftelbare verzameling Lebesgue-null, dus draagt kans $0$ — contradictie; daarom $\abs{\varphi_X(\xi)} < 1$ voor elke $\xi \neq 0$ .

Oefening 23.3 ★★

Zij $X \sim \mathcal N(m_1, \sigma_1^2)$ en $Y \sim \mathcal N(m_2, \sigma_2^2)$ onafhankelijk. Toon $X + Y \sim \mathcal N(m_1 + m_2, \sigma_1^2 + \sigma_2^2)$ , en algemener dat de Gaussische familie stabiel is onder onafhankelijke sommen en affiene afbeeldingen. Contrast: is de som van twee afhankelijke Gaussischen altijd Gaussisch? (Oefening 23.9.)

Oplossing

Oplossing van Oefening 23.3.

Door onafhankelijkheid en Propositie 23.2:

\varphi_{X+Y}(\xi) = \eu^{\iu m_1\xi - \sigma_1^2\xi^2/2}\, \eu^{\iu m_2\xi - \sigma_2^2\xi^2/2} = \eu^{\iu(m_1+m_2)\xi - (\sigma_1^2+\sigma_2^2)\xi^2/2},

de kf van $\mathcal N(m_1 + m_2, \sigma_1^2 + \sigma_2^2)$ ; injectiviteit concludeert. Stabiliteit onder affiene afbeeldingen is de affiene regel ( $aX + b \sim \mathcal N(am_1 + b, a^2\sigma_1^2)$ , met ontaard geval $a = 0$ toegestaan), en stabiliteit onder onafhankelijke sommen volgt door inductie op de berekening hierboven. Voor afhankelijke Gaussischen hoeft de som niet Gaussisch te zijn: in Oefening 23.9 zijn $X$ en $Y = \varepsilon X$ elk standaard-Gaussisch maar $X + Y$ verdwijnt met kans $\frac12$ zonder b.z. nul te zijn, dus is niet Gaussisch.

Oefening 23.4 ★★

(a) Bewijs de equivalentie in Definitie 23.4: als $\E f(X_n) \to \E f(X)$ voor alle begrensde continue $f$ , dan $F_{X_n}(t) \to F_X(t)$ in continuïteitspunten (klem $\mathbf 1_{\intoc{-\infty}t}$ tussen twee continue traphellingen); en omgekeerd (benader een begrensde continue $f$ door sommen van hellingsfuncties, of conditioneer op een fijne rooster van continuïteitspunten) — de omgekeerde mag eerst voor uniform continue $f$ behandeld worden, dan in het algemeen. (b) Toon dat $X_n \Rightarrow c$ (een constante) impliceert $X_n \to c$ in kans.

Oplossing

Oplossing van Oefening 23.4.

(a) Directe implicatie. Zij $t$ een continuïteitspunt van $F_X$ en $\delta > 0$ . Neem de continue hellingen $f^-$ ( $= 1$ op $\intoc{-\infty}{t- \delta}$ , $0$ vanaf $t$ , affien ertussen) en $f^+$ ( $= 1$ op $\intoc{-\infty}t$ , $0$ vanaf $t + \delta$ , affien ertussen); dan $f^- \leq \mathbf 1_{\intoc{-\infty}t} \leq f^+$ , dus

\E f^-(X_n) \leq F_{X_n}(t) \leq \E f^+(X_n),

en de buitenste termen convergeren naar $\E f^\pm(X)$ , zelf geklemd tussen $F_X(t - \delta)$ en $F_X(t + \delta)$ . Laten $n \to \infty$ dan $\delta \to 0$ en gebruik continuïteit van $F_X$ in $t$ : $F_{X_n}(t) \to F_X(t)$ .

Omgekeerde. Zij $f$ begrensd continu, $M = \sup\abs f$ , $\varepsilon > 0$ . De continuïteitspunten van $F_X$ zijn dicht ( $F_X$ heeft hoogstens aftelbaar veel sprongen), dus kies continuïteitspunten $a < b$ met $F_X(a) < \varepsilon$ en $1 - F_X(b) < \varepsilon$ . Op de compacte $\intcc ab$ is $f$ uniform continu: kies continuïteitspunten $a = t_0 < t_1 < \dots < t_m = b$ van $F_X$ met oscillatie van $f$ hoogstens $\varepsilon$ op elke $\intoc{t_{j-1}}{t_j}$ , en zet $g = \sum_j f(t_j)\,\mathbf 1_{\intoc{t_{j-1}}{t_j}}$ . Dan $\abs{f - g} \leq \varepsilon$ op $\intoc ab$ , $\abs g \leq M$ , en voor $T = X_n$ of $X$ :

\bigl|\E f(T) - \E g(T)\bigr| \leq \varepsilon + 2M\bigl(F_T(a) + 1 - F_T(b)\bigr).

Bovendien $\E g(X_n) = \sum_j f(t_j)\bigl(F_{X_n}(t_j) - F_{X_n}(t_{j-1})\bigr) \to \E g(X)$ (eindige som van convergerende termen, alle $t_j$ continuïteitspunten), en $F_{X_n}(a) \to F_X(a) < \varepsilon$ , $1 - F_{X_n}(b) \to 1 - F_X(b) < \varepsilon$ . Samenstellen: $\limsup_n\abs{\E f(X_n) - \E f(X)} \leq 2\varepsilon + 8M\varepsilon$ ; laat $\varepsilon \to 0$ .

(b) De verdelingsfunctie van de constante $c$ is $\mathbf 1_{\intco c\infty}$ , continu behalve in $c$ . Voor $\varepsilon > 0$ zijn de punten $c - \varepsilon$ en $c + \frac\varepsilon2$ continuïteitspunten, dus

\P(\abs{X_n - c} > \varepsilon) \leq F_{X_n}(c - \varepsilon) + 1 - F_{X_n}\Bigl(c + \frac\varepsilon2\Bigr) \longrightarrow 0 + 1 - 1 = 0 .

Oefening 23.5 ★★

(Wet van zeldzame gebeurtenissen) Zij $X_n \sim \mathcal B(n, p_n)$ met $np_n \to \lambda > 0$ . Toon, via karakteristieke functies en Stelling 23.7, dat $X_n \Rightarrow \mathcal P(\lambda)$ . Numerieke sanity-check: vergelijk $\P(X = 0)$ voor $\mathcal B(100, 0{,}02)$ en $\mathcal P(2)$ .

Oplossing

Oplossing van Oefening 23.5.

Zet $z_n = p_n(\eu^{\iu\xi} - 1)$ , dus $\varphi_{X_n}(\xi) = (1 + z_n)^n$ (Oefening 23.1) en $\abs{z_n} \leq 2p_n \to 0$ (merk $p_n = \frac{np_n}n \to 0$ ). Zowel $1 + z_n$ als $\eu^{z_n}$ hebben modulus hoogstens $1$ : $\abs{1 + z_n} = \abs{(1 - p_n) + p_n\eu^{\iu\xi}} \leq 1$ door de driehoeksongelijkheid, en $\abs{\eu^{z_n}} = \eu^{p_n(\cos\xi - 1)} \leq 1$ . De telescoperende ongelijkheid $\abs{a^n - b^n} \leq n\abs{a - b}$ (bewijs van Stelling 23.8) en de machtreeksgrens $\abs{\eu^z - 1 - z} \leq \abs z^2\eu^{\abs z}$ geven

\bigl|(1 + z_n)^n - \eu^{nz_n}\bigr| \leq n\bigl|1 + z_n - \eu^{z_n}\bigr| \leq n\,\abs{z_n}^2\,\eu^{\abs{z_n}} \leq 4\eu^2\,np_n^2 = 4\eu^2\,(np_n)\,p_n \longrightarrow 0 .

Omdat $nz_n = np_n(\eu^{\iu\xi} - 1) \to \lambda(\eu^{\iu\xi} - 1)$ , concluderen we $\varphi_{X_n}(\xi) \to \exp\bigl(\lambda(\eu^{\iu\xi} - 1)\bigr)$ voor elke $\xi$ : de kf van $\mathcal P(\lambda)$ , en Lévy (Stelling 23.7) geeft $X_n \Rightarrow \mathcal P(\lambda)$ . Numeriek: $\P\bigl(\mathcal B(100, 0{,}02) = 0\bigr) = 0{,}98^{100} = \eu^{100\ln 0{,}98} \approx \eu^{-2{,}020} \approx 0{,}1326$ , terwijl $\P\bigl(\mathcal P(2) = 0\bigr) = \eu^{-2} \approx 0{,}1353$ : twee procent uit elkaar al bij deze grove $n$ .

Oefening 23.6 ★★

(a) Een eerlijke dobbelsteen wordt $n = 1000$ keer geworpen; benader de kans dat het totaal $3600$ overschrijdt (gemiddelde $3500$ , variantie per worp $\frac{35}{12}$ ). (b) Voor $S \sim \mathcal B(100, \frac12)$ , benader $\P(45 \leq S \leq 55)$ met de CLT en de continuïteitscorrectie ( $\pm\frac12$ ), en becommentarieer het effect van de correctie.

Oplossing

Oplossing van Oefening 23.6.

(a) Eén worp heeft gemiddelde $\frac72$ en variantie $\frac{35}{12}$ , dus $S$ heeft gemiddelde $3500$ , variantie $\frac{35000}{12} \approx 2916{,}7$ en standaardafwijking $\approx 54{,}0$ . Door de CLT,

\P(S > 3600) = \P\Bigl(\frac{S - 3500}{54{,}0} > 1{,}85\Bigr) \approx 1 - \Phi(1{,}85) \approx 0{,}032 :

ongeveer $3\%$ kans. (b) $S \sim \mathcal B(100, \frac12)$ : gemiddelde $50$ , standaardafwijking $5$ . Met de continuïteitscorrectie,

\P(45 \leq S \leq 55) \approx \Phi\Bigl(\frac{55{,}5 - 50}{5}\Bigr) - \Phi\Bigl(\frac{44{,}5 - 50}{5}\Bigr) = 2\Phi(1{,}1) - 1 \approx 0{,}729,

tegen de exacte waarde $0{,}7287$ ; zonder correctie, $2\Phi(1) - 1 \approx 0{,}683$ , bijna vijf punten ernaast. De correctie telt omdat $S$ een rooster-variabele is: het atoom $\P(S = k)$ wordt goed benaderd door de Gaussische massa van $\intcc{k - \frac12}{k + \frac12}$ , en knippen van het interval bij de gehele $45$ en $55$ gooit een half atoom aan elk eind weg.

Oefening 23.7 ★★

(Monte-Carlo-fout) In de setting van Probleem 22.1, vraag 11, met $g \in L^2(\intcc01^d)$ , zij $\sigma^2 = \V(g(U_1))$ en $I = \int g$ . Toon

\sqrt n\,\Bigl(\frac1n\sum_{k\leq n}g(U_k) - I\Bigr) \Longrightarrow \mathcal N(0, \sigma^2),

en leid de asymptotische $95\%$ -foutbalk $\pm 1{,}96\,\sigma/\sqrt n$ af — onafhankelijk van de dimensie $d$ . Vergelijk met de deterministische middelpuntsregel in dimensie $d$ (fout $\sim n^{-2/d}$ voor $\mathcal C^2$ -integranden): vanaf welke dimensie wint stochastische steekproeftrekking?

Oplossing

Oplossing van Oefening 23.7.

De variabelen $g(U_k)$ zijn i.i.d. (meetbare beelden van i.i.d. variabelen), kwadratisch integreerbaar, met gemiddelde $I$ (overdrachtsstelling, Oefening 11.9) en variantie $\sigma^2$ . Als $\sigma > 0$ , is Stelling 23.8 toegepast op hen precies de gestelde convergentie

\sqrt n\,\Bigl(\frac1n\sum_{k\leq n}g(U_k) - I\Bigr) = \frac{\sum_{k\leq n}\bigl(g(U_k) - I\bigr)}{\sqrt n} \Longrightarrow \mathcal N(0, \sigma^2)

(als $\sigma = 0$ , is $g$ b.z. constant en verdwijnt de linkerkant identiek). Dus $\P\bigl(\abs{\frac1n\sum g(U_k) - I} \leq 1{,}96\,\sigma/\sqrt n\bigr) \to 0{,}95$ : de foutbalk $\pm 1{,}96\,\sigma/\sqrt n$ ziet de dimensie $d$ alleen via de constante $\sigma$ , nooit via de ratio in $n$ . De middelpuntsregel met $n$ knopen in dimensie $d$ heeft mesh $n^{-1/d}$ en fout van orde $n^{-2/d}$ voor $\mathcal C^2$ -integranden. Monte Carlo’s $n^{-1/2}$ daalt sneller dan $n^{-2/d}$ precies als $\frac12 > \frac2d$ , d.w.z. $d > 4$ : vanaf dimensie $5$ wint stochastische steekproeftrekking asymptotisch van het rooster — de vloek van de dimensie spaart probabilistische methoden, vandaar de heerschappij van Monte Carlo in hoogdimensionale integratie.

Oefening 23.8 ★★★

(Slutsky) Stel $X_n \Rightarrow X$ en $Y_n \to c$ in kans ( $c$ constant). Toon $X_n + Y_n \Rightarrow X + c$ en $Y_nX_n \Rightarrow cX$ . (Werk met karakteristieke functies en de grens $\abs{\E\eu^{\iu\xi (X_n+Y_n)} - \eu^{\iu\xi c}\E\eu^{\iu\xi X_n}} \leq \E\abs{\eu^{\iu\xi(Y_n - c)} - 1}$ , splits op $\abs{Y_n - c} \leq \delta$ .) Toepassing: in Voorbeeld 23.9, rechtvaardig het vervangen van de onbekende $\sigma = \sqrt{p(1-p)}$ door $\sqrt{\hat p_n(1 - \hat p_n)}$ .

Oplossing

Oplossing van Oefening 23.8.

Som. Voor vaste $\xi$ :

\bigl|\E\eu^{\iu\xi(X_n+Y_n)} - \eu^{\iu\xi c}\,\E\eu^{\iu\xi X_n}\bigr| = \bigl|\E\bigl[\eu^{\iu\xi X_n}\bigl(\eu^{\iu\xi Y_n} - \eu^{\iu\xi c}\bigr)\bigr]\bigr| \leq \E\bigl|\eu^{\iu\xi(Y_n - c)} - 1\bigr| .

Splits op de gebeurtenis $\{\abs{Y_n - c} \leq \delta\}$ : daar $\abs{\eu^{\iu\xi(Y_n-c)} - 1} \leq \abs\xi\,\delta$ (de koorde is korter dan de boog); het complement draagt hoogstens $2\,\P(\abs{Y_n - c} > \delta) \to 0$ bij. Dus de $\limsup$ is $\leq \abs\xi\,\delta$ voor elke $\delta > 0$ : het verschil gaat naar $0$ . Omdat $\E\eu^{\iu\xi X_n} \to \varphi_X(\xi)$ , krijgen we $\varphi_{X_n+Y_n}(\xi) \to \eu^{\iu\xi c}\varphi_X(\xi) = \varphi_{X+c}(\xi)$ , en Lévy (Stelling 23.7) levert $X_n + Y_n \Rightarrow X + c$ .

Product. Eerst, $cX_n \Rightarrow cX$ : $\varphi_{cX_n}(\xi) = \varphi_{X_n}(c\xi) \to \varphi_X(c\xi) = \varphi_{cX}(\xi)$ . Vervolgens, $(Y_n - c)X_n \to 0$ in kans: de wetten van de $X_n$ zijn gespannen (hun kf’s convergeren naar een kf; zie de spanningsstap van Stelling 23.7), dus gegeven $\varepsilon > 0$ kies $M$ met $\P(\abs{X_n} > M) \leq \varepsilon$ voor alle $n$ ; dan

\P\bigl(\abs{(Y_n - c)X_n} > \varepsilon\bigr) \leq \P(\abs{X_n} > M) + \P\Bigl(\abs{Y_n - c} > \frac{\varepsilon}{M}\Bigr) \leq \varepsilon + o(1) .

Schrijven $Y_nX_n = cX_n + (Y_n - c)X_n$ en toepassen van het somdeel (waarvan het bewijs alleen gebruikte dat $Y_n' := (Y_n - c)X_n \to 0$ in kans, met constante $0$ ): $Y_nX_n \Rightarrow cX$ .

Toepassing. Door de sterke wet van de grote aantallen (Stelling 22.13), $\hat p_n \to p$ b.z., dus door continuïteit $\hat\sigma_n = \sqrt{\hat p_n(1 - \hat p_n)} \to \sigma = \sqrt{p(1 - p)} > 0$ b.z., vandaar $\frac{\sigma}{\hat\sigma_n} \to 1$ in kans. De productregel van Slutsky upgrade $\frac{S_n - np}{\sigma\sqrt n} \Rightarrow \mathcal N(0,1)$ tot $\frac{S_n - np}{\hat\sigma_n\sqrt n} = \frac{\sigma}{\hat\sigma_n}\cdot \frac{S_n - np}{\sigma\sqrt n} \Rightarrow \mathcal N(0,1)$ : het bruikbare betrouwbaarheidsinterval $\hat p_n \pm 1{,}96\,\hat\sigma_n/\sqrt n$ , gebouwd uit de data alleen, houdt haar asymptotisch $95\%$ -niveau.

Oefening 23.9 ★★★

Zij $X \sim \mathcal N(0,1)$ en $\varepsilon$ onafhankelijk met $\P(\varepsilon = \pm1) = \frac12$ ; zet $Y = \varepsilon X$ . (a) Toon $Y \sim \mathcal N(0,1)$ en $\operatorname{Cov}(X, Y) = 0$ . (b) Toon dat $X$ en $Y$ niet onafhankelijk zijn, en dat $(X, Y)$ geen Gaussische vector is (bereken $\P(X + Y = 0)$ ). (c) Moraal: Stelling 23.11(2) eist gezamenlijke Gaussiciteit — “ongecorreleerde Gaussischen” alleen bewijst niets.

Oplossing

Oplossing van Oefening 23.9.

(a) Splitsen van de verwachting over de twee waarden van $\varepsilon$ (onafhankelijkheid): voor Borel $B$ , $\P(Y \in B) = \frac12\P(X \in B) + \frac12\P(-X \in B) = \P(X \in B)$ , want $-X \sim X$ ( $\mathcal N(0,1)$ is symmetrisch): $Y \sim \mathcal N(0,1)$ . En $\operatorname{Cov}(X, Y) = \E[\varepsilon X^2] = \E[\varepsilon]\,\E[X^2] = 0 \cdot 1 = 0$ . (b) $\abs Y = \abs X$ , dus $\P(\abs X \leq 1,\ \abs Y \geq 2) = 0$ terwijl $\P(\abs X \leq 1)\,\P(\abs Y \geq 2) > 0$ : niet onafhankelijk. Als $(X, Y)$ een Gaussische vector ware, zou $X + Y = (1 + \varepsilon)X$ een reële Gaussische variabele zijn (Definitie 23.10 met $t = (1,1)$ ); maar $\P(X + Y = 0) = \P(\varepsilon = -1) = \frac12$ , terwijl een Gaussische variabele een atoom alleen heeft als zij b.z. constant is — en $X + Y$ is gelijk aan $2X \neq 0$ b.z. op $\{\varepsilon = 1\}$ . Contradictie: $(X, Y)$ is niet Gaussisch. (c) Elke marginale is Gaussisch en de covariantie verdwijnt, toch faalt onafhankelijkheid — omdat het paar niet gezamenlijk Gaussisch is. Stelling 23.11(2) kan niet verzwakt worden tot “Gaussische marginalen”.

Oefening 23.10 ★★

De Cauchywet heeft dichtheid $\frac1{\pi(1 + x^2)}$ . (a) Toon dat haar karakteristieke functie $\eu^{-\abs\xi}$ is (Oefening 14.1 en inversie). (b) Toon dat als $X_1, \dots, X_n$ i.i.d. Cauchy zijn, dan is $\frac{S_n}n$ opnieuw Cauchy — dezelfde wet: het gemiddelde concentreert nooit. (c) Verzoen met de wetten van de grote aantallen en de CLT: welke hypothesen falen? (Bereken $\E\abs{X_1}$ .)

Oplossing

Oplossing van Oefening 23.10.

(a) Oefening 14.1 berekent $\widehat{\eu^{-\abs\cdot}}(\xi) = \frac{2}{1 + \xi^2}$ ; beide zijden integreerbaar, Fourier-inversie (Stelling 14.5) keert dit om:

\int_\R\eu^{\iu\xi x}\,\frac{\dd x}{\pi(1 + x^2)} = \eu^{-\abs\xi},

wat precies $\varphi_X(\xi)$ is voor een Cauchy-variabele $X$ . (b) Door onafhankelijkheid, $\varphi_{S_n}(\xi) = \bigl(\eu^{-\abs\xi}\bigr)^n = \eu^{-n\abs\xi}$ , dus $\varphi_{S_n/n}(\xi) = \varphi_{S_n}(\xi/n) = \eu^{-\abs\xi}$ : het empirisch gemiddelde $\frac{S_n}n$ is opnieuw standaard-Cauchy voor elke $n$ (injectiviteit). Het gemiddelde concentreert nooit: haar fluctuaties op tijd $10^6$ zijn die van een enkele observatie. (c) $\E\abs{X_1} = \frac2\pi\int_0^\infty\frac{x\,\dd x}{1 + x^2} = +\infty$ : de Cauchywet is niet integreerbaar, dus past de sterke wet van de grote aantallen (Stelling 22.13) niet toe, en de CLT (die eindige variantie eist) nog minder. Hier falen hun conclusies echt, niet slechts hun bewijzen. Consistentiecheck: $\varphi(\xi) = \eu^{-\abs\xi}$ is niet differentieerbaar in $0$ , zoals Propositie 23.2(c) contrapositief voorspelt voor een niet-integreerbare variabele.

Oefening 23.11 ★★

(Stabiele wetten in kiem) Zij $(X_n)$ i.i.d. standaard Cauchy (Oefening 23.10). (a) Toon dat voor alle $a, b > 0$ , $aX_1 + bX_2$ de wet heeft van $(a + b)X_1$ : de Cauchyfamilie is strikt stabiel van index $1$ . (b) Toon dat de Gaussische familie strikt stabiel is van index $2$ : $aX_1 + bX_2 \sim \sqrt{a^2 + b^2}\,X_1$ voor $X_i$ i.i.d. $\mathcal N(0,1)$ . (c) Leg uit, via karakteristieke functies van de vorm $\eu^{-c\abs\xi^\alpha}$ , waarom index- $\alpha$ -stabiliteit de normalisatie $n^{1/\alpha}$ voor sommen dwingt, en wat dit zegt over de attractiebekkens van de CLT: welke i.i.d. sommen kunnen, na affiene normalisatie, naar een Cauchywet convergeren in plaats van een Gaussische?

Oplossing

Oplossing van Oefening 23.11.

(a) $\varphi_{aX_1 + bX_2}(\xi) = \eu^{-a\abs\xi}\eu^{-b\abs\xi} = \eu^{-(a+b)\abs\xi} = \varphi_{(a+b)X_1}(\xi)$ (onafhankelijkheid en Oefening 23.10); injectiviteit identificeert de wetten.

(b) $\varphi_{aX_1+bX_2}(\xi) = \eu^{-a^2\xi^2/2} \eu^{-b^2\xi^2/2} = \eu^{-(a^2+b^2)\xi^2/2}$ : de wet van $\sqrt{a^2+b^2}\,X_1$ .

(c) Als $\varphi_X(\xi) = \eu^{-c\abs\xi^\alpha}$ , dan heeft $S_n = X_1 + \dots + X_n$ $\varphi_{S_n} = \eu^{-cn\abs\xi^\alpha}$ , en $S_n/n^{1/\alpha}$ heeft $\varphi(\xi) = \eu^{-c\abs\xi^\alpha}$ opnieuw: exacte zelfreproductie onder de $n^{1/\alpha}$ -schaling — $\sqrt n$ voor de Gaussische ( $\alpha = 2$ ), $n$ zelf voor Cauchy ( $\alpha = 1$ , Oefening 23.10(b)). Een som van i.i.d. variabelen kan alleen (na affiene normalisatie) convergeren naar een wet die stabiel is onder zulke convoluties; de CLT zegt dat eindige variantie het Gaussische bekken dwingt, en het Cauchybekken is gereserveerd voor wetten met staarten zo zwaar dat $\E X^2 = \infty$ en zelfs $\E\abs X = \infty$ — bv. sommen van Cauchyvariabelen zelf. Universaliteit heeft meerdere eilanden, geïndexeerd door de staartexponent $\alpha \in \intoc02$ .

Oefening 23.12 ★★

(De empirische verdelingsfunctie) Zij $(X_n)$ i.i.d. met verdelingsfunctie $F$ , en $F_n(t) = \frac1n\#\{k \leq n : X_k \leq t\}$ . (a) Fixeer $t$ . Toon dat $n F_n(t) \sim \mathcal B(n, F(t))$ , dat $F_n(t) \to F(t)$ b.z. (Stelling 22.13), en dat

\sqrt n\,\bigl(F_n(t) - F(t)\bigr) \Longrightarrow \mathcal N\bigl(0,\ F(t)(1 - F(t))\bigr) .

(b) In welk $t$ is de asymptotische variantie maximaal? Interpreteer: de mediaan is waar een empirische verdeling het moeilijkst vast te pinnen is. (c) Voor continue $F$ , toon dat de wet van $\sup_t\abs{F_n(t) - F(t)}$ niet van $F$ afhangt (reduceer tot uniforme variabelen via Oefening 22.1) — het distributievrije wonder achter de Kolmogorov–Smirnov-toets; geen berekening van die wet wordt gevraagd.

Oplossing

Oplossing van Oefening 23.12.

(a) De indicatoren $\mathbf 1_{X_k \leq t}$ zijn i.i.d. Bernoulli van parameter $p = F(t)$ : hun som $nF_n(t)$ is binomiaal $\mathcal B(n, p)$ ; de sterke wet geeft $F_n(t) \to p$ b.z., en de CLT (Stelling 23.8) toegepast op dezelfde indicatoren (variantie $p(1-p)$ ) geeft de gestelde Gaussische limiet.

(b) $p(1 - p)$ is maximaal in $p = \frac12$ , d.w.z. waar $F(t) = \frac12$ : bij de mediaan. Staartkansen schatten is asymptotisch makkelijk (variantie $\to 0$ als $p \to 0, 1$ ); de mediaanregio draagt de grootste statistische ruis — de empirische kromme wiebelt het meest in haar midden.

(c) Voor continue $F$ zijn de variabelen $U_k = F(X_k)$ i.i.d. uniform op $\intoo01$ (Oefening 22.1), en monotonie van $F$ geeft, met $G_n$ de empirische verdelingsfunctie van de $U_k$ :

\sup_{t\in\R}\,\abs{F_n(t) - F(t)} = \sup_{u \in \operatorname{im}F}\,\abs{G_n(u) - u} = \sup_{u\in\intcc01}\abs{G_n(u) - u} :

de eerste gelijkheid omdat $\{X_k \leq t\} = \{U_k \leq F(t)\}$ op null-gebeurtenissen na (monotonie; strikte ongelijkheid kan alleen falen op de platte delen van $F$ , waar beide zijden onveranderd blijven), en de tweede omdat een continue $F$ , lopend van $0$ naar $1$ , elke waarde van $\intoo01$ bereikt (tussenwaardestelling), en de eindpunten niets toevoegen ( $G_n(0) - 0 = 0$ en $G_n(1) - 1 = 0$ ). De rechterkant betrekt alleen uniformen: één wet voor alle $F$ — dus één tabel van kritische waarden (die van de Kolmogorovverdeling) toetst elk continu model tegen data.

23.6 Probleem: het bewijs van Lindeberg van de CLT, met een ratio

Probleem 23.1

Weekendprobleem — de vervangingsmethode

Lindeberg (1922) bewees de centrale limietstelling met een idee van ontwapenende eenvoud: vervang de termen één voor één door Gaussischen en beheers elke wissel met een Taylorontwikkeling. De methode heeft geen Fourieranalyse nodig, produceert een expliciete foutratio, en drijft vandaag de dag universaliteitsbewijzen doorheen de kansrekening. Zij $(X_i)$ i.i.d., gecentreerd, $\V(X_1) = 1$ , met $\beta = \E\abs{X_1}^3 < \infty$ ; zij $(N_i)$ i.i.d. $\mathcal N(0,1)$ , onafhankelijk van de $X_i$ (bestaan: Stelling 22.6). Zet

T_n = \frac{X_1 + \dots + X_n}{\sqrt n}, \qquad G_n = \frac{N_1 + \dots + N_n}{\sqrt n} \sim \mathcal N(0,1).

Deel I — De wisselidentiteit. Fixeer $f \in \mathcal C^3_b(\R)$ (drie begrensde continue afgeleiden; $M_3 = \sup\abs{f'''}$ ). Voor $0 \leq i \leq n$ definieer de hybride sommen

H_i = \frac{X_1 + \dots + X_i + N_{i+1} + \dots + N_n}{\sqrt n},

dus $H_n = T_n$ en $H_0 = G_n$ .

Schrijf $H_i = W_i + \frac{X_i}{\sqrt n}$ en $H_{i-1} = W_i + \frac{N_i}{\sqrt n}$ met $W_i = \frac{1}{\sqrt n}\bigl(\sum_{j<i}X_j + \sum_{j>i}N_j\bigr)$ , en merk op dat $W_i$ onafhankelijk is van het paar $(X_i, N_i)$ . Rechtvaardig.
Taylor met integraal- of Lagrangerest: voor alle reële $w, h$ :

$\Bigl|f(w + h) - f(w) - f'(w)h - \tfrac12f''(w)h^2\Bigr| \leq \frac{M_3\,\abs h^3}{6} .$
Pas vraag 2 tweemaal toe ( $h = \frac{X_i}{\sqrt n}$ en $h = \frac{N_i}{\sqrt n}$ in $w = W_i$ ), neem verwachtingen, en gebruik onafhankelijkheid plus de matching van de eerste twee momenten van $X_i$ en $N_i$ om te tonen

$\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{M_3}{6}\cdot \frac{\beta + \gamma}{n^{3/2}}, \qquad \gamma = \E\abs{N_1}^3 = \frac{2\sqrt2}{\sqrt\pi} .$
Telescopeer over $i$ en concludeer de Lindeberg-grens:

$\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{M_3\,(\beta + \gamma)}{6\,\sqrt n} .$

Deel II — Van gladde $f$ naar de CLT.

Toon dat $\E f(T_n) \to \E f(N)$ voor elke $f \in \mathcal C_b^3$ , en upgrade naar alle begrensde continue $f$ : gegeven zo’n $f$ en $\varepsilon$ , construeer $f_\varepsilon \in \mathcal C^3_b$ met $\norm{f - f_\varepsilon}_\infty \leq \varepsilon$ op een groot interval — bv. convolueer $f$ met een $\mathcal C^\infty$ -bult (Stelling 12.9) — en behandel de staarten met spanning ( $\V(T_n) = 1$ en Chebyshev). Concludeer $T_n \Rightarrow \mathcal N(0, 1)$ : de centrale limietstelling, opnieuw bewezen.
Waar gebruikte het bewijs dat de $X_i$ identiek verdeeld zijn? Toon dat dit amper het geval was: formuleer en bewijs de versie voor onafhankelijke, gecentreerde, niet-identieke $X_i$ met $\sum_i\V(X_i) = s_n^2$ en derde momenten, met fout $\frac{M_3}{6s_n^3}\sum_i\bigl(\E\abs{X_i}^3 + \V(X_i)^{3/2}\gamma\bigr)$ — de ware stelling van Lindeberg in haar Lyapunovvorm.

Deel III — Kwantitatieve dividenden.

(Verdelingsfuncties) Zij $t \in \R$ en benader $\mathbf 1_{\intoc{-\infty}t}$ van boven en onder door $\mathcal C^3_b$ -hellingen van breedte $\delta$ (construeer ze, met $M_3 = O(\delta^{-3})$ ). Combinerend met Deel I, leid de tweetermengrens af

$\sup_{t\in\R}\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \;\leq\; \frac{C_1(\beta + \gamma)}{\delta^3\sqrt n} + C_2\,\delta \qquad (\text{elke } \delta > 0),$

met expliciete constanten (de $C_2\delta$ -term gebruikt dat $\Phi$ een dichtheid begrensd door $\frac1{\sqrt{2\pi}}$ heeft), en optimaliseer $\delta \sim n^{-1/8}$ om een uniforme ratio van orde $n^{-1/8}$ te krijgen. (De optimale $n^{-1/2}$ — Berry–Esseen — eist fijnere tools; het punt is een expliciete ratio uit elementaire wisseling.)
(De Moivre–Laplace, gekwantificeerd) Specialiseer tot $X_i = 2B_i - 1$ (tekens van eerlijke munten): vergelijk de conclusie met de lokale schatting van Probleem 11.1, vraag 7 — wat geeft elke methode wat de andere niet geeft?
(Universaliteit) Leg in een alinea uit waarom de vervangingsmethode meer toont dan de CLT: elke statistiek van de vorm $\E f(\text{som})$ met $f$ glad is, op orde $n^{-1/2}$ , ongevoelig voor de gehele wet van de termen voorbij haar eerste twee momenten — het “invariantiebeginsel” dat moderne universaliteitsresultaten (toevalsmatrices, toevalspolynomen) onderbouwt, waarvan de CLT de eerste instantie is.

Deel IV — Gladmaking, verder: betere ratio’s. Het verlies van $n^{-1/2}$ (gladde $f$ ) naar $n^{-1/8}$ (verdelingsfuncties) kwam van het in sup-norm belasten van $f'''$ . De hybriden kunnen een deel herstellen: zij bevatten Gaussische termen, en Gaussischen gladden.

(Een verborgen Gaussische) Voor $1 \leq i \leq n - 1$ , $h = \frac{X_i}{\sqrt n}$ of $\frac{N_i}{\sqrt n}$ , en $\theta \in \intcc01$ , schrijf $W_i + \theta h = A + Z$ met $Z = \frac{N_{i+1} + \dots + N_n}{\sqrt n}$ . Toon dat $Z \sim \mathcal N\bigl(0, \frac{n-i}n\bigr)$ onafhankelijk is van het paar $(A, h)$ , en leid af, voor elke continue $g \in L^1(\R)$ ,

$\E\bigl[\abs h^3\,\abs{g(W_i + \theta h)}\bigr] \;\leq\; \sqrt{\frac{n}{2\pi(n - i)}}\; \norm{g}_{L^1}\;\E\abs h^3 .$
Combineer vraag 10 met de integraalvorm van de Taylorrest,

$f(w + h) = f(w) + f'(w)h + \tfrac12f''(w)h^2 + \int_0^1\frac{(1 - \theta)^2}2\,f'''(w + \theta h)\,h^3\,\dd\theta,$

om vragen 3–4 opnieuw te doen: voor $f \in \mathcal C^3_b$ met bovendien $f''' \in L^1(\R)$ ,

$\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta + \gamma}{3\sqrt{2\pi}}\cdot \frac{\norm{f'''}_{L^1}}{\sqrt n} + \frac{M_3(\beta + \gamma)}{6\,n^{3/2}}$

(vraag 10 behandelt de wissels $i \leq n - 1$ — gebruik $\sum_{m=1}^{n-1}m^{-1/2} \leq 2\sqrt n$ — en de ruwe grens van vraag 3 behandelt de laatste). Controleer dat de hellingen van vraag 7 voldoen aan $\norm{\psi_\delta'''}_{L^1} = K_1\delta^{-2}$ terwijl $M_3 = K\delta^{-3}$ , voer ze in, en optimaliseer $\delta$ : de uniforme verdelingsfunctieratio verbetert tot $O(n^{-1/6})$ .
(Nog een moment matchen) Neem bovendien aan $\E X_1^3 = 0$ en $\beta_4 = \E X_1^4 < \infty$ . Bereken $\E N_1^3$ en $\E N_1^4$ , ontwikkel tot orde vier, en bewijs langs dezelfde lijnen dat de verdelingsfunctieratio $O(n^{-1/4})$ wordt (nu $\norm{\psi_\delta^{(4)}}_{L^1} = K_2\delta^{-3}$ en $M_4 = K'\delta^{-4}$ ; kies $\delta = n^{-1/4}$ ).
(De obstructie) Stel dat de eerste $k$ momenten van $X_1$ met de Gaussische overeenkomen ( $k = 2$ altijd; $k = 3$ precies als $\E X_1^3 = 0$ ; $k \geq 4$ in wezen nooit, want $\E N_1^4 = 3$ ). Verifieer dat het schema van vragen 10–12 de verdelingsfunctieratio $n^{-(k-1)/(2k+2)}$ levert, door $\delta^{-k}n^{-(k-1)/2}$ tegen $\delta$ te balanceren, en observeer dat de exponent de Berry–Esseen-waarde $\frac12$ alleen nadert als $k \to \infty$ . Leg in enkele zinnen uit waarom de wisselmethode verzadigt: elke wissel wordt in absolute waarde belast, terwijl de Fourierroute (Esseen-gladmakingsongelijkheid) de oscillatie van het verschil van karakteristieke functies uitbuit en $C\beta n^{-1/2}$ met slechts drie momenten bereikt.

Deel V — Twee dimensies: de multidimensionale CLT, door wisselen. Laat nu de $X_i$ i.i.d. gecentreerde stochastische vectoren van $\R^2$ zijn met covariantiematrix $\Sigma$ en $\beta' = \E\norm{X_1}^3 < \infty$ (Euclidische norm).

(Gaussische vectoren, op orde) Diagonaliseer $\Sigma = PDP^{\mathsf T}$ (Oefening 20.8) en zet $C = P\sqrt DP^{\mathsf T}$ . Voor $Z = (Z^1, Z^2)$ een paar onafhankelijke standaard-Gaussischen (Stelling 22.6), toon dat $N = CZ$ een Gaussische vector is (Definitie 23.10) van gemiddelde $0$ , covarianties $\Sigma$ , met $\gamma' = \E\norm N^3 < \infty$ ; en dat $G_n = \frac{N_1 + \dots + N_n}{\sqrt n}$ wet $\mathcal N(0, \Sigma)$ heeft exact voor i.i.d. kopieën $N_i$ .
(Taylor in twee variabelen) Voor $f \colon \R^2 \to \R$ van klasse $\mathcal C^3$ met $M_3 = \max_{\abs\alpha = 3}\sup\abs{\partial^\alpha f} < \infty$ , bewijs

$\Bigl|f(w + h) - f(w) - \langle\nabla f(w), h\rangle - \tfrac12\langle h, D^2f(w)\,h\rangle \Bigr| \leq \frac{M_3}6\,\bigl(\abs{h_1} + \abs{h_2}\bigr)^3 \leq \frac{\sqrt2\,M_3}3\, \norm h^3$

(bestudeer $t \mapsto f(w + th)$ op $\intcc01$ ).
(De CLT in $\R^2$ ) Voer het vervangingsschema uit op de vectorhybriden $H_i$ : toon dat de eerste- en tweede-ordetermen uitvallen (gemiddelden en covarianties matchen), telescopeer, en upgrade zoals in vraag 5 (spanning uit $\E\norm{T_n}^2 = \operatorname{tr}\Sigma$ ; mollificatie nu in $\R^2$ , Stelling 12.9) om te concluderen: voor elke begrensde continue $f \colon \R^2 \to \R$ ,

$\E\,f\Bigl(\frac{X_1 + \dots + X_n}{\sqrt n}\Bigr) \longrightarrow \E\,f(N), \qquad N \sim \mathcal N(0, \Sigma) :$

Stelling 23.12 in dimensie $2$ , met een ratio voor gladde $f$ en zonder Fourieranalyse.
(Cramér–Wold, en een gezamenlijke fluctuatie) Leid af dat $\langle t, \frac{S_n}{\sqrt n}\rangle \Rightarrow \mathcal N(0, t^{\mathsf T}\Sigma t)$ voor elke vaste $t \in \R^2$ . Toepassing: voor i.i.d. reële $(\xi_i)$ , gecentreerd, $\E\xi_1^2 = 1$ , $\E\xi_1^6 < \infty$ (zodat Deel V op $V_i = (\xi_i, \xi_i^2 - 1)$ toepast), toon

$\frac1{\sqrt n}\Bigl(\sum_{i\leq n}\xi_i,\ \sum_{i\leq n}(\xi_i^2 - 1)\Bigr) \Longrightarrow \mathcal N\Bigl(0, \begin{pmatrix} 1 & \E\xi_1^3\\ \E\xi_1^3 & \E\xi_1^4 - 1\end{pmatrix}\Bigr) :$

empirisch gemiddelde en empirisch tweede moment fluctuëren gezamenlijk Gaussisch — onafhankelijk in de limiet dan en slechts dan als $\E\xi_1^3 = 0$ (Stelling 23.11).

Deel VI — De deltamethode.

Zij $(\hat\theta_n)$ stochastische variabelen met $\sqrt n(\hat\theta_n - \theta) \Rightarrow \mathcal N(0, \sigma^2)$ voor een reële parameter $\theta$ , en zij $g$ differentieerbaar in $\theta$ . Bewijs de deltamethode:

$\sqrt n\bigl(g(\hat\theta_n) - g(\theta)\bigr) \Longrightarrow \mathcal N\bigl(0, g'(\theta)^2\sigma^2\bigr)$

(schrijf $g(x) - g(\theta) = (g'(\theta) + \eta(x))(x - \theta)$ met $\eta \to 0$ in $\theta$ ; toon $\hat\theta_n \to \theta$ , dan $\eta(\hat\theta_n) \to 0$ , in kans; sluit af met Slutsky, Oefening 23.8, en Oefening 23.4(b)).
Toepassingen. (a) Voor i.i.d. reële $(\xi_i)$ met gemiddelde $\mu$ en variantie $\sigma^2$ , en $\bar X_n = \frac1n\sum_{i\leq n}\xi_i$ : toon $\sqrt n(\bar X_n^2 - \mu^2) \Rightarrow \mathcal N(0, 4\mu^2\sigma^2)$ als $\mu \neq 0$ , en dat voor $\mu = 0$ de juiste uitspraak op een andere schaal leeft: $n\bar X_n^2 \Rightarrow \sigma^2N^2$ met $N \sim \mathcal N(0,1)$ (identificeer de verdelingsfunctie van de limiet). (b) (Variantstabilisatie) Voor $\hat p_n$ de succesfrequentie van een $\mathcal B(1, p)$ -sample, $p \in \intoo01$ : toon dat $g(p) = \arcsin\sqrt p$ voldoet aan

$\sqrt n\,\bigl(g(\hat p_n) - g(p)\bigr) \Longrightarrow \mathcal N\Bigl(0, \frac14\Bigr)$

ongeacht $p$ — een asymptotische foutbalk vrij van de onbekende parameter; vergelijk met Voorbeeld 23.9.

Deel VII — Poisson, met dezelfde methode: de stelling van Le Cam. Vervanging kent een tweede universaliteitsklasse: sommen van veel onafhankelijke zeldzame gebeurtenissen. Voor wetten op $\N$ is de juiste afstand de totale variatie,

d_{\mathrm{TV}}(\mu, \nu) = \sup_{A\subseteq\N}\, \abs{\mu(A) - \nu(A)} .

Toon dat $d_{\mathrm{TV}}(\mu, \nu) = \frac12\sum_{k\geq0}\abs{\mu(\{k\}) - \nu(\{k\})}$ , en bewijs de koppelingsgrens: voor elk paar $(X, Y)$ van stochastische variabelen met wetten $\mu$ en $\nu$ op dezelfde ruimte, $d_{\mathrm{TV}}(\mu, \nu) \leq \P(X \neq Y)$ .
Bereken exact, voor $p \in \intoo01$ :

$d_{\mathrm{TV}}\bigl(\mathcal B(1, p), \mathcal P(p)\bigr) = p\bigl(1 - \eu^{-p}\bigr) \leq p^2 .$
(Le Cam, door wisselen) Zij $X_i \sim \mathcal B(1, p_i)$ en $Y_i \sim \mathcal P(p_i)$ , de $2n$ variabelen onafhankelijk; $S = X_1 + \dots + X_n$ , en herinner $Y_1 + \dots + Y_n \sim \mathcal P(\lambda)$ met $\lambda = \sum_ip_i$ (Oefening 23.1). Wissel één coördinaat tegelijk in de gehele hybriden $H_i = Y_1 + \dots + Y_i + X_{i+1} + \dots + X_n$ : toon, voor elke $A \subseteq \N$ ,

$\abs{\P(H_{i-1} \in A) - \P(H_i \in A)} \leq d_{\mathrm{TV}}\bigl(\mathcal B(1, p_i), \mathcal P(p_i)\bigr),$

en concludeer de ongelijkheid van Le Cam:

$d_{\mathrm{TV}}\bigl(\text{wet van } S,\ \mathcal P(\lambda)\bigr) \leq \sum_{i=1}^np_i^2 .$
Dividenden. (a) Voor $p_i = \frac\lambda n$ : de grens is $\frac{\lambda^2}n$ — de wet van zeldzame gebeurtenissen (Oefening 23.5) opgewaardeerd tot een expliciete ratio, uniform over alle gebeurtenissen, en ook geldig voor ongelijke $p_i$ . (b) $500$ brieven worden bezorgd, elk verdwaalt onafhankelijk met kans $\frac1{500}$ : begrens de fout van het Poissonmodel van parameter $1$ , en schat de kans dat geen brief verdwaalt. (c) Sluit het probleem: vergelijk de twee universaliteitsklassen hier ontmoet — Gaussisch (veel kleine uitgespreide bijdragen; twee momenten gematcht; Taylor) en Poisson (veel zeldzame bijdragen; één gemiddelde gematcht; een exacte totale-variatiekoppeling) — en de ene vervangingsmethode achter beide.
(Relatieve fout en de logtransformatie) Zij $(X_n)$ i.i.d., positief, gemiddelde $\mu > 0$ , variantie $\sigma^2$ , en $\bar X_n$ het empirisch gemiddelde. Toon met de deltamethode dat

$\sqrt n\,\bigl(\ln\bar X_n - \ln\mu\bigr) \Longrightarrow \mathcal N\Bigl(0,\ \frac{\sigma^2}{\mu^2}\Bigr) :$

de asymptotische parameter van $\ln\bar X_n$ is de variatiecoëfficiënt $\sigma/\mu$ — relatieve, schaalvrije fout. Leid een $95\%$ -betrouwbaarheidsinterval voor $\mu$ af van de multiplicatieve vorm $\bar X_n\cdot\eu^{\pm1{,}96\,\sigma/(\mu\sqrt n)}$ , en leg uit wanneer het de voorkeur heeft boven het additieve.
(Het derde moment stuurt de fout) Voor $X \sim$ Bernoulli( $p$ ) gecentreerd, bereken $\E\bigl[(X - p)^3\bigr] = p(1-p)(1-2p)$ . Met de analyse van Deel IV (de wisselfout wordt gestuurd door derde momenten), leg uit waarom de normale benadering van $\mathcal B(n, p)$ asymmetrisch is voor $p \neq \frac12$ — overshoot aan de ene kant, undershoot aan de andere — en waarom $p = \frac12$ geniet van de snellere gematchte-momentenratio. Verifieer het teken van de scheefheid numeriek op $\mathcal B(20, 0{,}1)$ tegen $\mathcal N(2, 1{,}8)$ : vergelijk $\P(S = 0) = 0{,}9^{20}$ met de Gaussische massa van $\intoo{-\infty}{0{,}5}$ .

Oplossing

Oplossing van Probleem 23.1.

1. De familie $(X_1, \dots, X_n, N_1, \dots, N_n)$ is onafhankelijk: de twee blokken zijn onderling onafhankelijk door constructie en elk blok is i.i.d. $W_i$ is een meetbare functie van de variabelen $(X_j)_{j<i}$ en $(N_j)_{j>i}$ alleen, alle distinct van $X_i$ en $N_i$ : door het coalitiebeginsel (Stelling 22.5) is $W_i$ onafhankelijk van het paar $(X_i, N_i)$ . De decomposities $H_i = W_i + \frac{X_i}{\sqrt n}$ en $H_{i-1} = W_i + \frac{N_i}{\sqrt n}$ volgen onmiddellijk uit de definities: van $H_i$ naar $H_{i-1}$ wisselt de enige term $X_i$ voor $N_i$ .

2. Taylor–Lagrange van orde $3$ : er is $c$ tussen $w$ en $w + h$ met $f(w + h) = f(w) + f'(w)h + \frac12f''(w)h^2 + \frac16f'''(c)h^3$ , en $\abs{f'''(c)} \leq M_3$ geeft de grens.

3. Aftrekken van de twee ontwikkelingen in het gemeenschappelijke basispunt $w = W_i$ :

f(H_i) - f(H_{i-1}) = f'(W_i)\,\frac{X_i - N_i}{\sqrt n} + \frac{f''(W_i)}{2}\,\frac{X_i^2 - N_i^2}{n} + R_i, \qquad \abs{R_i} \leq \frac{M_3}{6}\cdot \frac{\abs{X_i}^3 + \abs{N_i}^3}{n^{3/2}} .

Neem verwachtingen. Door vraag 1 zijn $f'(W_i)$ en $f''(W_i)$ onafhankelijk van $(X_i, N_i)$ , dus de gemengde verwachtingen factoriseren:

\begin{align*} \E\Bigl[f'(W_i)\,\frac{X_i - N_i}{\sqrt n}\Bigr] &= \E\bigl[f'(W_i)\bigr]\,\frac{\E X_i - \E N_i}{\sqrt n} = 0, \\ \E\Bigl[f''(W_i)\,\frac{X_i^2 - N_i^2}{n}\Bigr] &= \E\bigl[f''(W_i)\bigr]\,\frac{1 - 1}{n} = 0 : \end{align*}

de eerste twee momenten van $X_i$ en $N_i$ matchen, en alleen de rest overleeft:

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \E\abs{R_i} \leq \frac{M_3}{6}\cdot\frac{\beta + \gamma}{n^{3/2}} .

Het Gaussische derde moment: $\gamma = \E\abs{N_1}^3 = 2\int_0^\infty x^3\,\frac{\eu^{-x^2/2}}{\sqrt{2\pi}}\,\dd x = \frac{2}{\sqrt{2\pi}}\int_0^\infty 2u\,\eu^{-u}\dd u = \frac{4}{\sqrt{2\pi}} = \frac{2\sqrt2}{\sqrt\pi}$ (substitutie $u = x^2/2$ , dan $\Gamma(2) = 1$ ).

4. Telescoperen $\E f(T_n) - \E f(G_n) = \sum_{i=1}^n\bigl(\E f(H_i) - \E f(H_{i-1})\bigr)$ en vraag 3 toepassen op elk van de $n$ termen:

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq n \cdot \frac{M_3(\beta + \gamma)}{6\,n^{3/2}} = \frac{M_3\,(\beta + \gamma)}{6\,\sqrt n} .

5. $G_n$ is $\mathcal N(0,1)$ exact voor elke $n$ (een genormaliseerde som van onafhankelijke standaard-Gaussischen, Oefening 23.3), dus $\E f(G_n) = \E f(N)$ en vraag 4 leest $\abs{\E f(T_n) - \E f(N)} \leq \frac{M_3(\beta+\gamma)}{6\sqrt n} \to 0$ voor $f \in \mathcal C^3_b$ . Upgrade. Zij $f$ begrensd continu, $M = \sup\abs f$ , $\varepsilon > 0$ . Kies $A \geq 1$ met $\frac1{A^2} \leq \varepsilon$ : Chebyshev met $\V(T_n) = 1$ geeft $\P(\abs{T_n} > A) \leq \varepsilon$ voor alle $n$ , en evenzo $\P(\abs N > A) \leq \varepsilon$ . Zij $\chi$ $\mathcal C^\infty$ met $\mathbf 1_{\intcc{-A}A} \leq \chi \leq \mathbf 1_{\intcc{-A-1}{A+1}}$ (een glad plateau, gebouwd door mollificatie van $\mathbf 1_{\intcc{-A-\frac12}{A+\frac12}}$ , Stelling 12.9); $g = f\chi$ is continu met compacte drager, dus uniform continu, zodat haar mollificatie $g_\eta = g * \rho_\eta$ $\mathcal C^\infty$ is met begrensde afgeleiden van alle ordes en $\norm{g - g_\eta}_\infty \leq \varepsilon$ voor $\eta$ klein genoeg. Voor $T = T_n$ of $N$ , omdat $f = g$ op $\intcc{-A}A$ en $\abs{f - g} \leq 2M$ overal:

\bigl|\E f(T) - \E g_\eta(T)\bigr| \leq \E\abs{(f - g)(T)} + \norm{g - g_\eta}_\infty \leq 2M\,\P(\abs T > A) + \varepsilon \leq (2M + 1)\,\varepsilon .

Combinerend met $\E g_\eta(T_n) \to \E g_\eta(N)$ (vraag 4 past toe: $g_\eta \in \mathcal C^3_b$ ):

\limsup_n\;\bigl|\E f(T_n) - \E f(N)\bigr| \leq 2(2M + 1)\,\varepsilon ,

en $\varepsilon$ was willekeurig: $\E f(T_n) \to \E f(N)$ voor elke begrensde continue $f$ , d.w.z. $T_n \Rightarrow \mathcal N(0,1)$ .

6. Identieke verdeling trad alleen op via één zin: “ $X_i$ en $N_i$ hebben dezelfde eerste twee momenten”. Laat dus $X_1, \dots, X_n$ onafhankelijk, gecentreerd, met varianties $\sigma_i^2$ en eindige derde momenten, $s_n^2 = \sum_i\sigma_i^2 > 0$ , en neem $N_i \sim \mathcal N(0, \sigma_i^2)$ onafhankelijk van alles. Definieer de hybriden met normalisatie $s_n$ : $H_i = \frac1{s_n}(\sum_{j\leq i}X_j + \sum_{j>i}N_j)$ . In de $i$ -de wissel doden $\E X_i = \E N_i = 0$ en $\E X_i^2 = \E N_i^2 = \sigma_i^2$ opnieuw de $f'$ - en $f''$ -termen, en de rest geeft (met $\E\abs{N_i}^3 = \sigma_i^3\gamma$ door schaling):

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{M_3}{6\,s_n^3}\bigl(\E\abs{X_i}^3 + \sigma_i^3\gamma\bigr) .

Telescoperen:

\Bigl|\E f\Bigl(\frac{X_1 + \dots + X_n}{s_n}\Bigr) - \E f(N)\Bigr| \leq \frac{M_3}{6\,s_n^3}\sum_{i=1}^n \Bigl(\E\abs{X_i}^3 + \V(X_i)^{3/2}\,\gamma\Bigr) .

Omdat $\sigma_i^3 = (\E X_i^2)^{3/2} \leq \E\abs{X_i}^3$ (de power–mean-ongelijkheid, d.w.z. Jensen voor $t \mapsto t^{3/2}$ toegepast op $X_i^2$ ), is de rechterkant hoogstens $\frac{M_3(1 + \gamma)}{6}\cdot \frac{\sum_i\E\abs{X_i}^3}{s_n^3}$ : onder de Lyapunovvoorwaarde $\frac1{s_n^3}\sum_i\E\abs{X_i}^3 \to 0$ convergeren de genormaliseerde sommen in wet naar $\mathcal N(0,1)$ — de CLT zonder identieke verdeling.

7. Zij $\rho \in \mathcal C^\infty_c(\intoo01)$ met $\int\rho = 1$ en zet $\psi(x) = \int_x^1\rho(s)\dd s$ : $\psi$ is $\mathcal C^\infty$ , niet-stijgend, $\psi = 1$ op $\R_-$ , $\psi = 0$ op $\intco1\infty$ ; zij $K = \norm{\psi'''}_\infty$ . Voor $t \in \R$ en $\delta > 0$ definieer $\psi_\delta(x) = \psi\bigl(\frac{x - t}\delta\bigr)$ en $\tilde\psi_\delta(x) = \psi\bigl(\frac{x - t}\delta + 1\bigr)$ : deze zijn $\mathcal C^3_b$ met derde afgeleide begrensd door $K/\delta^3$ , en

\mathbf 1_{\intoc{-\infty}{t-\delta}} \leq \tilde\psi_\delta \leq \mathbf 1_{\intoc{-\infty}t} \leq \psi_\delta \leq \mathbf 1_{\intoc{-\infty}{t+\delta}} .

Bovengrens: door vraag 4 toegepast op $\psi_\delta$ (met $M_3 = K/\delta^3$ ),

\P(T_n \leq t) \leq \E\psi_\delta(T_n) \leq \E\psi_\delta(N) + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n} \leq \Phi(t + \delta) + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n} \leq \Phi(t) + \frac{\delta}{\sqrt{2\pi}} + \frac{K(\beta + \gamma)}{6\,\delta^3\sqrt n},

omdat $\Phi$ Lipschitz is met constante $\frac1{\sqrt{2\pi}}$ (haar dichtheid is begrensd door $\frac1{\sqrt{2\pi}}$ ). De symmetrische ondergrens via $\tilde\psi_\delta$ geeft de tweetermenschatting

\sup_{t\in\R}\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \leq \frac{K(\beta + \gamma)}{6}\cdot\frac{1}{\delta^3\sqrt n} + \frac{\delta}{\sqrt{2\pi}} \qquad(\delta > 0\ \text{willekeurig}).

De twee termen balanceren als $\delta^{-3}n^{-1/2} \asymp \delta$ , d.w.z. $\delta = n^{-1/8}$ : beide zijn dan $O(n^{-1/8})$ , een expliciete uniforme ratio geldig voor elke $n$ . (De optimale Berry–Esseen-ratio $C\beta/\sqrt n$ eist de Fourier-gladmakingsongelijkheid; wisselen ruilt scherpte voor volledige elementariteit.)

8. Voor $X_i = 2B_i - 1$ (eerlijke tekens): gecentreerd, variantie $1$ , en $\abs{X_i} = 1$ dus $\beta = 1$ . Vraag 7 begrenst dan $\sup_t\abs{\P(\frac{S_n}{\sqrt n} \leq t) - \Phi(t)}$ expliciet en uniform voor elke eindige $n$ — een globale, niet-asymptotische uitspraak over de verdelingsfunctie. De lokale schatting van Probleem 11.1, vraag 7, geeft in plaats daarvan de exacte asymptotiek van een individueel atoom, $\P(S_{2n} = 2k) \sim \frac{\eu^{-k^2/n}}{\sqrt{\pi n}}$ : zij lost kansen van grootte $n^{-1/2}$ op, ver onder de $n^{-1/8}$ -resolutie van vraag 7, maar is puntsgewijs, asymptotisch (geen expliciete fout bij vaste $n$ ) en gebonden aan deze specifieke roosterwet. Lokale precisie versus globale uniformiteit: de twee methoden zijn complementair, en sommeren van de lokale schatting over $k \in \intint{a\sqrt n}{b\sqrt n}$ herwint De Moivre–Laplace op intervallen — met een scherpere ratio, maar alleen voor deze wet.

9. Het wisselargument gebruikte niets over de wet van de $X_i$ buiten $\E X_i = 0$ , $\E X_i^2 = 1$ en de eindigheid van $\E\abs{X_i}^3$ : hadden we de Gaussischen $N_i$ vervangen door een andere i.i.d. familie met dezelfde eerste twee momenten en eindig derde moment, zou dezelfde telescopering $\abs{\E f(\text{som}_X) - \E f(\text{som}_Y)}$ begrensd hebben door $O(n^{-1/2})$ voor elke gladde $f$ . Gladde statistieken van grote onafhankelijke sommen zijn daarom universeel: tot op een gekwantificeerde fout hangen zij van de wet van de termen alleen af via twee getallen. Dit is het invariantiebeginsel: bewijs een limietstelling voor de meest berekenbare wet (de Gaussische, waar alles exact is), dan transfer haar naar alle wetten door wisselen. Hetzelfde schema — met sommen vervangen door meer uitgewerkte functionalen — drijft de halfcirkelwet van Wigner voor toevalsmatrices, de universaliteit van wortels van toevalspolynomen, en veel van de moderne kansrekening; de centrale limietstelling is haar eerste en eenvoudigste instantie.

10. $Z$ is een Borelfunctie van $(N_{i+1}, \dots, N_n)$ alleen, terwijl $A = W_i + \theta h - Z$ en $h$ functies zijn van de overige variabelen van de onafhankelijke familie $(X_1, \dots, X_n, N_1, \dots, N_n)$ : door het coalitiebeginsel (Stelling 22.5) is $Z$ onafhankelijk van $(A, h)$ . Als som van de onafhankelijke $N_j/\sqrt n \sim \mathcal N(0, \frac1n)$ is $Z \sim \mathcal N(0, s^2)$ met $s^2 = \frac{n-i}n$ (Oefening 23.3), met dichtheid begrensd door $\frac1{s\sqrt{2\pi}}$ . De wet van $((A, h), Z)$ is het product van de twee marginalen, dus Tonelli (overdracht) bevriest het eerste blok: met $G(a) = \E\abs{g(a + Z)} = \int\abs{g(a + z)}\,\varphi_s(z)\,\dd z \leq \frac{\norm g_{L^1}}{s\sqrt{2\pi}}$ voor elke $a$ ,

\E\bigl[\abs h^3\abs{g(A + Z)}\bigr] = \E\bigl[\abs h^3\,G(A)\bigr] \leq \frac{\norm g_{L^1}}{s\sqrt{2\pi}}\,\E\abs h^3 = \sqrt{\frac{n}{2\pi(n-i)}}\,\norm g_{L^1}\,\E\abs h^3 .

11. De integraalvorm van de formule van Taylor volgt door tweemaal partieel integreren in $\theta$ van $f(w + h) - f(w) = h\int_0^1f'(w + \theta h)\,\dd\theta$ . Verwachtingen nemen in de $i$ -de wissel: ordes $0, 1, 2$ vallen exact uit zoals in vraag 3, en de twee resten (voor $h = X_i/\sqrt n$ en $N_i/\sqrt n$ ) zijn begrensd, voor $i \leq n - 1$ , door vraag 10 met $g = f'''$ :

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \int_0^1\frac{(1-\theta)^2}2\,\dd\theta\; \sqrt{\frac{n}{2\pi(n-i)}}\,\norm{f'''}_{L^1} \frac{\beta + \gamma}{n^{3/2}} = \frac{\beta + \gamma}{6\,n^{3/2}} \sqrt{\frac{n}{2\pi(n-i)}}\,\norm{f'''}_{L^1} .

Sommeren, met $\sum_{i=1}^{n-1}\sqrt{\frac n{n-i}} = \sqrt n\sum_{m=1}^{n-1}m^{-1/2} \leq 2n$ , en de grens van vraag 3 voor de laatste wissel ( $i = n$ , geen Gaussisch meer):

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta + \gamma}{3\sqrt{2\pi}}\cdot \frac{\norm{f'''}_{L^1}}{\sqrt n} + \frac{M_3(\beta + \gamma)}{6\,n^{3/2}} .

Hellingen: $\psi_\delta'''(x) = \delta^{-3}\psi'''\bigl(\frac{x - t}\delta\bigr)$ , dus $M_3 = K\delta^{-3}$ met $K = \norm{\psi'''}_\infty$ en $\norm{\psi_\delta'''}_{L^1} = \delta^{-2} \norm{\psi'''}_{L^1} = K_1\delta^{-2}$ (substitutie). De sandwich van vraag 7 geeft dan

\sup_t\,\bigl|\P(T_n \leq t) - \Phi(t)\bigr| \leq \frac{K_1(\beta + \gamma)}{3\sqrt{2\pi}}\cdot \frac1{\delta^2\sqrt n} + \frac{K(\beta + \gamma)}{6}\cdot \frac1{\delta^3n^{3/2}} + \frac\delta{\sqrt{2\pi}} .

In $\delta = n^{-1/6}$ zijn de eerste en derde termen $O(n^{-1/6})$ en de middelste $O(n^{-1})$ : een uniforme ratio $O(n^{-1/6})$ , strikt beter dan de $n^{-1/8}$ van vraag 7 — de Gaussische helft van de hybride deed de extra gladmaking.

12. $\E N_1^3 = 0$ (oneven integrand), en partieel integreren geeft $\E N_1^4 = 3\,\E N_1^2 = 3$ ( $\int x^3\cdot x\varphi(x)\dd x = 3\int x^2\varphi$ ). Voor $f$ van klasse $\mathcal C^4$ met begrensde afgeleiden, ontwikkel elke wissel tot orde vier: de derde-ordetermen dragen de factor $\E X_i^3 - \E N_i^3 = 0$ (onafhankelijkheid factoriseert ze zoals in vraag 3), dus alleen de vierde-orde-rest $\int_0^1\frac{(1-\theta)^3}6f^{(4)}(w + \theta h)h^4\dd\theta$ overleeft, met $\int_0^1 \frac{(1-\theta)^3}6\dd\theta = \frac1{24}$ en $\E h^4 = \beta_4n^{-2}$ of $3n^{-2}$ . Vraag 10 (met $g = f^{(4)}$ ) begrenst de wissels $i \leq n - 1$ , en sommeren zoals in vraag 11:

\bigl|\E f(T_n) - \E f(G_n)\bigr| \leq \frac{\beta_4 + 3}{12\sqrt{2\pi}}\cdot \frac{\norm{f^{(4)}}_{L^1}}{n} + \frac{M_4(\beta_4 + 3)}{24\,n^2} .

Met $\norm{\psi_\delta^{(4)}}_{L^1} = K_2\delta^{-3}$ en $M_4 = K'\delta^{-4}$ wordt de verdelingsfunctiegrens $C\delta^{-3}n^{-1} + C'\delta^{-4}n^{-2} + \frac\delta{\sqrt{2\pi}}$ ; in $\delta = n^{-1/4}$ zijn de buitenste termen $O(n^{-1/4})$ en de middelste $O(n^{-1})$ : ratio $O(n^{-1/4})$ .

13. Met $k$ gematchte momenten is de overlevende rest per wissel van orde $\E\abs h^{k+1} \asymp n^{-(k+1)/2}$ ; de verborgen-Gaussische grens belast $\norm{f^{(k+1)}}_{L^1}$ en de som over wissels draagt de factor $2n$ bij, wat $\asymp\norm{f^{(k+1)}}_{L^1}\, n^{-(k-1)/2}$ geeft voor gladde $f$ . Hellingen kosten $\norm{\psi_\delta^{(k+1)}}_{L^1} \asymp \delta^{-k}$ , dus de verdelingsfunctiefout is $\asymp \delta^{-k}n^{-(k-1)/2} + \delta$ , gebalanceerd in $\delta = n^{-(k-1)/(2k+2)}$ : ratio $n^{-(k-1)/(2k+2)}$ , wat $n^{-1/6}$ is voor $k = 2$ , $n^{-1/4}$ voor $k = 3$ , en slechts naar $n^{-1/2}$ neigt als $k \to \infty$ — maar $k \geq 4$ zou $\E X_1^4 = 3$ en verder forceren, d.w.z. een wet die de Gaussische al imiteert. De verzadiging is structureel: wisselen telt $n$ wisselfouten in absolute waarde op, en doet afstand van alle cancellatie tussen wissels. Het Fourierbewijs vergelijkt karakteristieke functies, waar de fouten met hun oscillerende fasen verschijnen; de gladmakingsongelijkheid van Esseen zet $\abs{\varphi_{T_n} - \varphi_N}$ , geïntegreerd tegen $\frac{\dd\xi}{\abs\xi}$ , om in een verdelingsfunctiegrens tegen slechts logaritmische kost, en levert Berry–Esseen’s $C\beta n^{-1/2}$ uit drie momenten. Vervanging ruilt optimaliteit voor robuustheid — en, zoals Deel VII toont, voor overdraagbaarheid.

14. $\Sigma$ is symmetrisch positief semidefiniet; met $\Sigma = PDP^{\mathsf T}$ ( $P$ orthogonaal, $D \geq 0$ diagonaal, Oefening 20.8) voldoet de symmetrische $C = P\sqrt DP^{\mathsf T}$ aan $C^2 = \Sigma$ . Voor elke $t \in \R^2$ is $\langle t, CZ\rangle = \langle Ct, Z\rangle = (Ct)_1Z^1 + (Ct)_2Z^2$ een lineaire combinatie van onafhankelijke Gaussischen, dus Gaussisch (Oefening 23.3): $N = CZ$ is een Gaussische vector; haar gemiddelde is $0$ en haar covariantie $\E[NN^{\mathsf T}] = C\,\E[ZZ^{\mathsf T}]\,C^{\mathsf T} = CC^{\mathsf T} = \Sigma$ . Momenten: $\norm N^3 \leq (\abs{N_1} + \abs{N_2})^3 \leq 4(\abs{N_1}^3 + \abs{N_2}^3)$ (convexiteit van $x^3$ op $\R_+$ ), en elke coördinaat is een reële Gaussische met momenten van alle ordes (Oefening 11.10): $\gamma' < \infty$ . Ten slotte is elke $\langle t, G_n\rangle = \frac1{\sqrt n}\sum_i\langle t, N_i\rangle$ een genormaliseerde som van i.i.d. $\mathcal N(0, t^{\mathsf T}\Sigma t)$ , dus exact $\mathcal N(0, t^{\mathsf T}\Sigma t)$ : $G_n$ is een Gaussische vector met gemiddelde $0$ en covariantie $\Sigma$ , en haar wet is $\mathcal N(0, \Sigma)$ (Definitie 23.10: de wet wordt door deze data bepaald).

15. Zij $\phi(t) = f(w + th)$ , $t \in \intcc01$ : $\phi$ is $\mathcal C^3$ met

\phi'''(t) = \sum_{j,k,l\in\{1,2\}}\partial_{jkl}f(w + th)\,h_jh_kh_l, \qquad \abs{\phi'''(t)} \leq M_3\Bigl(\sum_j\abs{h_j}\Bigr)^3 = M_3(\abs{h_1} + \abs{h_2})^3 .

Taylor–Lagrange van orde $3$ voor $\phi$ tussen $0$ en $1$ geeft de eerste ongelijkheid; Cauchy–Schwarz geeft $\abs{h_1} + \abs{h_2} \leq \sqrt2\norm h$ , vandaar de constante $\frac{2\sqrt2M_3}6 = \frac{\sqrt2M_3}3$ .

16. Definieer $H_i$ en $W_i$ zoals in vraag 1, nu in $\R^2$ ; het coalitieargument is onveranderd. In de $i$ -de wissel geven de eerste-ordetermen $\sum_j\E[\partial_jf(W_i)]\,(\E X_{i,j} - \E N_{i,j})/ \sqrt n = 0$ en de tweede-ordetermen $\frac1{2n}\sum_{j,k}\E[\partial_{jk}f(W_i)]\,(\Sigma_{jk} - \Sigma_{jk}) = 0$ : gemiddelden en covarianties matchen. Vraag 15 begrenst de twee resten:

\bigl|\E f(H_i) - \E f(H_{i-1})\bigr| \leq \frac{\sqrt2M_3}3\cdot\frac{\E\norm{X_i}^3 + \E\norm{N_i}^3}{n^{3/2}} = \frac{\sqrt2M_3(\beta' + \gamma')}{3\,n^{3/2}},

en telescoperen over de $n$ wissels:

\Bigl|\E f\Bigl(\frac{S_n}{\sqrt n}\Bigr) - \E f(G_n)\Bigr| \leq \frac{\sqrt2\,M_3(\beta' + \gamma')}{3\sqrt n}, \qquad G_n \sim \mathcal N(0, \Sigma)\ \text{exact} .

Upgrade: $\E\norm{T_n}^2 = \E\norm{X_1}^2 = \operatorname{tr}\Sigma$ (kruistermen verdwijnen door onafhankelijkheid en centrering), dus $\P(\norm{T_n} > A) \leq \operatorname{tr}\Sigma/A^2$ , en evenzo voor $N$ : spanning. Gegeven een begrensde continue $f$ en $\varepsilon > 0$ , vermenigvuldig met een glad plateau $\chi$ gelijk aan $1$ op de bal van straal $A$ en ondersteund in straal $A + 1$ (mollificeer een indicator in $\R^2$ , Stelling 12.9); $g = f\chi$ is uniform continu met compacte drager, dus haar tweedimensionale mollificatie $g_\eta$ is $\mathcal C^\infty$ met begrensde afgeleiden van alle ordes en $\norm{g - g_\eta}_\infty \leq \varepsilon$ voor kleine $\eta$ . De drie- $\varepsilon$ -keten van vraag 5 transferreert letterlijk: $\E f(T_n) \to \E f(N)$ voor elke begrensde continue $f \colon \R^2 \to \R$ . Dit is Stelling 23.12 voor $d = 2$ , nu bewezen — wisselen omzeilt de tweedimensionale stelling van Lévy die het hoofdstuk had toegegeven.

17. Voor begrensde continue $g \colon \R \to \R$ is de afbeelding $x \mapsto g(\langle t, x\rangle)$ begrensd continu op $\R^2$ , dus vraag 16 geeft $\E g(\langle t, T_n\rangle) \to \E g(\langle t, N\rangle)$ : elke projectie convergeert in verdeling, en $\langle t, N\rangle \sim \mathcal N(0, t^{\mathsf T}\Sigma t)$ . (Dit is de makkelijke richting van Cramér–Wold: gezamenlijke convergentie impliceert convergentie van alle lineaire beelden.) Toepassing: $V_i = (\xi_i, \xi_i^2 - 1)$ zijn i.i.d. gecentreerde vectoren ( $\E\xi_1^2 = 1$ ), met covariantie-ingangen $\V(\xi_1) = 1$ , $\operatorname{Cov}(\xi_1, \xi_1^2 - 1) = \E\xi_1^3$ en $\V(\xi_1^2 - 1) = \E\xi_1^4 - 1$ ; het derde moment $\E\norm{V_1}^3 \leq 4\bigl(\E\abs{\xi_1}^3 + \E\abs{\xi_1^2 - 1}^3\bigr)$ is eindig als $\xi_1 \in L^6$ . Vraag 16 levert de getoonde gezamenlijke Gaussische limiet, en Stelling 23.11(2): de twee limietcoördinaten zijn onafhankelijk precies als de covariantie $\E\xi_1^3$ verdwijnt — voor symmetrische wetten ontkoppelen empirisch gemiddelde en empirische variantie asymptotisch.

18. Schrijf $g(x) - g(\theta) = (g'(\theta) + \eta(x))(x - \theta)$ waar $\eta(x) = \frac{g(x) - g(\theta)}{x - \theta} - g'(\theta)$ voor $x \neq \theta$ en $\eta(\theta) = 0$ : differentieerbaarheid in $\theta$ betekent precies $\eta(x) \to 0$ als $x \to \theta$ . Stap 1: $\hat\theta_n \to \theta$ in kans: voor $\varepsilon > 0$ en elke $A > 0$ , uiteindelijk $\varepsilon\sqrt n \geq A$ , dus $\P(\abs{\hat\theta_n - \theta} > \varepsilon) \leq \P(\abs{\sqrt n(\hat\theta_n - \theta)} > A) \to \P(\sigma\abs N > A)$ (verdelingsfuncties convergeren in de continuïteitspunten $\pm A$ ), en de rechterkant gaat naar $0$ als $A \to \infty$ . Stap 2: $\eta(\hat\theta_n) \to 0$ in kans: gegeven $\varepsilon' > 0$ , kies $\delta$ met $\abs\eta \leq \varepsilon'$ op $\abs{x - \theta} \leq \delta$ ; dan $\P(\abs{\eta(\hat\theta_n)} > \varepsilon') \leq \P(\abs{\hat\theta_n - \theta} > \delta) \to 0$ . Stap 3:

\sqrt n\bigl(g(\hat\theta_n) - g(\theta)\bigr) = g'(\theta)\,\sqrt n(\hat\theta_n - \theta) + \eta(\hat\theta_n)\cdot\sqrt n(\hat\theta_n - \theta) .

Door de productregel van Slutsky (Oefening 23.8, met de rij $\eta(\hat\theta_n) \to 0$ in kans en de in-wet-convergente $\sqrt n(\hat\theta_n - \theta)$ ) convergeert de tweede term in wet naar $0\cdot\mathcal N(0, \sigma^2) = 0$ , dus naar $0$ in kans (Oefening 23.4(b)); de eerste convergeert in wet naar $g'(\theta)\mathcal N(0, \sigma^2)$ (Slutsky opnieuw, of de affiene regel voor karakteristieke functies); de somregel van Slutsky assembleert ze: de limiet is $\mathcal N(0, g'(\theta)^2\sigma^2)$ .

19. (a) De CLT geeft $\sqrt n(\bar X_n - \mu) \Rightarrow \mathcal N(0, \sigma^2)$ ; de deltamethode met $g(x) = x^2$ , $g'(\mu) = 2\mu$ , geeft $\sqrt n(\bar X_n^2 - \mu^2) \Rightarrow \mathcal N(0, 4\mu^2\sigma^2)$ — ontaard (limiet $0$ ) als $\mu = 0$ . In dat geval leeft de fluctuatie één schaal hoger: $n\bar X_n^2 = (\sqrt n\,\bar X_n)^2$ , en voor $t > 0$

\P\bigl(n\bar X_n^2 \leq t\bigr) = \P\bigl(-\sqrt t \leq \sqrt n\,\bar X_n \leq \sqrt t\bigr) \longrightarrow \Phi\Bigl(\frac{\sqrt t}\sigma\Bigr) - \Phi\Bigl(-\frac{\sqrt t}\sigma\Bigr) = \P(\sigma^2N^2 \leq t) :

$n\bar X_n^2 \Rightarrow \sigma^2N^2$ , het kwadraat van een Gaussische (een “chi-kwadraat”-wet) — als de eerste afgeleide sterft, dicteert de tweede-ordeterm van Taylor een niet-Gaussische limiet. (b) Hier $\sqrt n(\hat p_n - p) \Rightarrow \mathcal N(0, p(1 - p))$ en $g(p) = \arcsin\sqrt p$ heeft $g'(p) = \frac1{2\sqrt{p(1 - p)}}$ , dus $g'(p)^2\,p(1 - p) = \frac14$ : de limiet is $\mathcal N(0, \frac14)$ voor elke $p \in \intoo01$ . Op de $\arcsin$ -schaal is de asymptotische $95\%$ -foutbalk $\pm \frac{0{,}98}{\sqrt n}$ , vooraf bekend — terwijl in Voorbeeld 23.9 de breedte de onbekende $\sigma = \sqrt{p(1-p)}$ betrof, te worst-casen door $\frac12$ of te schatten: de transformatie stabiliseert de variantie.

20. Zij $A^* = \{k : \mu(\{k\}) > \nu(\{k\})\}$ en $\Delta_k = \mu(\{k\}) - \nu(\{k\})$ , dus $\sum_k\Delta_k = 0$ . Voor elke $A \subseteq \N$ : $\mu(A) - \nu(A) = \sum_{k\in A}\Delta_k \leq \sum_{k\in A^*}\Delta_k$ , met gelijkheid in $A = A^*$ ; en omdat de positieve en negatieve delen van $(\Delta_k)$ gelijke totale massa hebben, $\sum_{A^*}\Delta_k = \frac12\sum_k\abs{\Delta_k}$ . $\mu, \nu$ verwisselen behandelt het teken: $d_{\mathrm{TV}}(\mu, \nu) = \frac12\sum_k\abs{\Delta_k}$ . Koppeling: voor elke $A$ ,

\mu(A) - \nu(A) = \E\bigl[\mathbf 1_A(X) - \mathbf 1_A(Y)\bigr] = \E\bigl[(\mathbf 1_A(X) - \mathbf 1_A(Y))\,\mathbf 1_{X\neq Y}\bigr] \leq \P(X \neq Y),

en neem het supremum over $A$ .

21. De twee wetten belasten: $k = 0$ : $1 - p$ versus $\eu^{-p}$ , met $\eu^{-p} > 1 - p$ ; $k = 1$ : $p$ versus $p\,\eu^{-p} < p$ ; $k \geq 2$ : $0$ versus de Poissonrest $1 - \eu^{-p} - p\eu^{-p} \geq 0$ . Dus

d_{\mathrm{TV}} = \tfrac12\bigl[(\eu^{-p} - 1 + p) + (p - p\eu^{-p}) + (1 - \eu^{-p} - p\eu^{-p})\bigr] = \tfrac12\bigl(2p - 2p\eu^{-p}\bigr) = p(1 - \eu^{-p}),

en $1 - \eu^{-p} \leq p$ geeft de grens $p^2$ .

22. Schrijf $H_{i-1} = W_i + X_i$ en $H_i = W_i + Y_i$ met $W_i = \sum_{j<i}Y_j + \sum_{j>i}X_j$ , onafhankelijk van het paar $(X_i, Y_i)$ (coalities). Voor $A \subseteq \N$ , conditioneren op de aftelbaar veel waarden door onafhankelijkheid,

\P(H_{i-1} \in A) = \sum_{k\geq0}\P(X_i = k)\,\P(W_i + k \in A),

en evenzo voor $H_i$ met $Y_i$ . Aftrekken, met $c_k = \P(W_i + k \in A) \in \intcc01$ en $\Delta_k = \P(X_i = k) - \P(Y_i = k)$ van nulsom:

\abs{\P(H_{i-1} \in A) - \P(H_i \in A)} = \Bigl|\sum_k\Delta_k\bigl(c_k - \tfrac12\bigr)\Bigr| \leq \tfrac12\sum_k\abs{\Delta_k} = d_{\mathrm{TV}}\bigl(\mathcal B(1, p_i), \mathcal P(p_i)\bigr) .

Telescoperen van $H_0 = S$ naar $H_n = \sum_iY_i \sim \mathcal P(\lambda)$ (Oefening 23.1, geïtereerd) en vraag 21 gebruiken:

\abs{\P(S \in A) - \P(\mathcal P(\lambda) \in A)} \leq \sum_{i=1}^np_i\bigl(1 - \eu^{-p_i}\bigr) \leq \sum_{i=1}^np_i^2 \qquad\text{voor elke } A :

de ongelijkheid van Le Cam. (De koppelingsgrens van vraag 20 geeft een alternatieve route: koppel elk paar op één uniforme variabele zodat $\P(X_i \neq Y_i) \leq p_i^2$ en begrens $\P(S \neq \sum Y_i)$ ; wisselen heeft helemaal geen constructie nodig.)

23. (a) Met $p_i = \frac\lambda n$ : $d_{\mathrm{TV}}(\text{wet van }S, \mathcal P(\lambda)) \leq \frac{\lambda^2}n$ . Dit verscherpt Oefening 23.5 driemaal: een expliciete fout bij elke eindige $n$ , uniformiteit over alle gebeurtenissen $A$ tegelijk (niet één interval tegelijk), en geen noodzaak voor gelijke $p_i$ — alleen $\sum_ip_i^2$ klein, bv. $\sum p_i^2 \leq \lambda\max_ip_i$ : veel zeldzame gebeurtenissen, geen dominante. (b) Hier $n = 500$ , $p_i = \frac1{500}$ , $\lambda = 1$ : het Poissonmodel faalt met hoogstens $500\cdot\frac1{500^2} = 0{,}002$ op elke gebeurtenis; in het bijzonder, met $A = \{0\}$ ,

\P(\text{geen brief verdwaald}) = \Bigl(1 - \frac1{500}\Bigr)^{500}, \qquad \Bigl|\P(\text{geen brief verdwaald}) - \eu^{-1}\Bigr| \leq 0{,}002,

dus het antwoord is $\eu^{-1} \approx 0{,}368$ tot op een gegarandeerde $0{,}002$ (de ware discrepantie is ongeveer $4\cdot10^{-4}$ ). (c) Het probleem sluit op één methode met twee regimes. Als $n$ vergelijkbare bijdragen elk variantie $\frac1n$ dragen, maakt matchen van twee momenten tegen de Gaussische de wisselfouten $o(\frac1n)$ elk: sommen worden Gaussisch — met Taylor als lokaal vergelijkingsinstrument. Als $n$ bijdragen indicatoren van kans $p_i$ zijn, maakt matchen van het gemiddelde tegen een Poissonatoom elke wissel $p_i^2$ kosten: tellingen van zeldzame gebeurtenissen worden Poisson — met totale variatie als exact lokaal vergelijkingsinstrument. Dezelfde hybriden, dezelfde telescopering, andere lokale schatting: vervanging is een strategie, geen stelling, en de Gaussische en Poissonlimieten zijn haar twee oudste dividenden.

24. De CLT geeft $\sqrt n(\bar X_n - \mu) \Rightarrow \mathcal N(0, \sigma^2)$ , en $g(x) = \ln x$ is differentieerbaar in $\mu > 0$ met $g'(\mu) = \frac1\mu$ : de deltamethode (Deel VI) levert $\sqrt n(\ln\bar X_n - \ln\mu) \Rightarrow \mathcal N(0, \sigma^2/\mu^2)$ . Het interval $\abs{\ln\bar X_n - \ln\mu} \leq \frac{1{,}96\,\sigma}{\mu\sqrt n}$ uitrollen door exponentiëren:

\mu \in \bar X_n\cdot \eu^{\pm1{,}96\,\sigma/(\mu\sqrt n)} \qquad\text{met asymptotische kans } 95\%

(in de praktijk wordt $\sigma/\mu$ door haar empirische versie vervangen, Slutsky zoals in Oefening 23.8). Het multiplicatieve interval is het natuurlijke als de data positief zijn met fouten evenredig aan hun grootte — inkomens, concentraties, halfwaardetijden: grootheden die op een logschaal leven, waar symmetrische additieve intervallen zelfs nul kunnen kruisen.

25. $\E[(X - p)^3] = (1-p)^3p + (-p)^3(1 - p) = p(1-p)\bigl[(1-p)^2 - p^2\bigr] = p(1-p)(1 - 2p)$ . In de wisselanalyse (Deel IV) draagt de leidende foutterm na matchen van twee momenten het getekende derde moment: voor $p < \frac12$ is het positief (de wet helt naar rechts: zeldzame grote uitstapjes boven het gemiddelde), en de normale benadering plaatst systematisch massa verkeerd — onderschat de korte linkerstaart en overschat de rechter — met een fout van orde $n^{-1/2}$ ; in $p = \frac12$ verdwijnt het derde moment, de Bernoulli matcht de Gaussische tot orde drie, en de ratio verbetert (gematchte-momentenvraag van Deel IV). Numeriek: $\P(S = 0) = 0{,}9^{20} = 0{,}1216$ , terwijl de Gaussische $\mathcal N(2, 1{,}8)$ $\Phi\bigl(\frac{0{,}5 - 2}{\sqrt{1{,}8}}\bigr) = \Phi(-1{,}118) \approx 0{,}132$ geeft: de normale kromme, onwetend van de muur bij $0$ en van de rechtse scheefheid, legt te veel massa onderaan — het voorspelde teken van de fout, zichtbaar bij $n = 20$ .