22Probabilités : fondements et loi des grands nombres

Solution de Exercice 22.1.

(a) Pour $u \in \intoo01$ : $\P(F(X) \leq u) = \P(X \leq F^{-1}(u)) = F(F^{-1}(u)) = u$ (continuité et stricte monotonie font de $F$ une bijection sur $\intoo01$ avec $\{F(X) \leq u\} = \{X \leq F^{-1}(u)\}$) : $F(X)$ est uniforme. Réciproquement $\P(G(U) \leq t) = \P(U \leq F(t)) = F(t)$ : pour simuler une loi, appliquer la fonction de répartition inverse à un échantillon uniforme.

(b) $Y = X^2$, $X$ uniforme sur $\intcc{-1}1$ : pour $t \in \intcc01$, $F_Y(t) = \P(-\sqrt t \leq X \leq \sqrt t) = \sqrt t$ : densité $\frac1{2\sqrt t}\mathbf 1_{\intoo01}$. Et $\P\bigl(-\frac1\lambda\ln U \leq t\bigr) = \P(U \geq \eu^{-\lambda t}) = 1 - \eu^{-\lambda t}$ : l’exponentielle $\mathcal E(\lambda)$ — l’inversion en action.

Solution de Exercice 22.2.

(a) Poisson : $\E X = \sum_{k\geq0}k\,\eu^{-\lambda} \frac{\lambda^k}{k!} = \lambda$, $\E[X(X-1)] = \lambda^2$, donc $\V = \lambda^2 + \lambda - \lambda^2 = \lambda$. Géométrique ($\P(X = k) = p(1-p)^{k-1}$) : $\E X = \frac1p$, $\V = \frac{1-p}{p^2}$ (dériver deux fois la série géométrique).

(b) $G(t) = \P(T > t)$ est décroissante avec $G \colon \intco0\infty \to \intoc01$ ; l’absence de mémoire se lit $G(t + s) = G(t)G(s)$. Alors $G(n t) = G(t)^n$ et $G(t/n) = G(t)^{1/n}$ : $G(q) = G(1)^q$ pour $q \geq 0$ rationnel ; en écrivant $G(1) = \eu^{-\lambda}$ ($\in \intoo01$ : $G(1) = 1$ forcerait $G \equiv 1$, impossible pour une variable finie ; $G(1) = 0$ est exclu par hypothèse) et en encadrant un $t$ arbitraire entre des rationnels (monotonie) : $G(t) = \eu^{-\lambda t}$ — la loi exponentielle. La réciproque est un calcul.

Solution de Exercice 22.3.

(a) $\sigma(f_i(X_i)) = f_i(X_i)^{-1}(\mathcal B) \subseteq X_i^{-1}(\mathcal B) = \sigma(X_i)$ ($f_i$ borélienne), et des sous-$\sigma$-algèbres de $\sigma$-algèbres indépendantes sont indépendantes (l’identité définissante vaut a fortiori).

(b) $\sigma(A_i) = \{\varnothing, A_i, A_i^c, \Omega\} = \sigma(A_i^c) = \sigma(\mathbf 1_{A_i})$ : les trois énoncés affirment l’indépendance des mêmes $\sigma$-algèbres. (Que la factorisation sur les $A_i$ se propage aux complémentaires est l’argument de $\lambda$-système dans l’équivalence de la Définition 22.4 — ou l’inclusion-exclusion directe.)

(c) $\P(A) = \P(B) = \P(C) = \frac12$ ; $A\cap B = A\cap C = B\cap C$ par paires : chaque intersection est « deux faces » ou analogue, de probabilité $\frac14$ : deux à deux indépendants. Mais $\P(A\cap B\cap C) = \P(\text{FF}) = \frac14 \neq \frac18$ : non indépendants — $C$ est déterminé par $A$ et $B$.

Solution de Exercice 22.4.

(a) Soit le texte $T$ de longueur $L$ et $q = a^{-L}$ ($a$ la taille de l’alphabet). Les événements $E_k =$ {positions $kL+1, \dots, (k+1)L$ épellent $T$} sont indépendants (blocs disjoints de lettres i.i.d.), chacun de probabilité $q > 0$ : $\sum\P(E_k) = \infty$, et Borel–Cantelli (2) donne infiniment beaucoup d’occurrences p.s.

(b) Haut : $\P\bigl(R_n \geq (1+\varepsilon)\log_2n\bigr) \leq 2^{-(1+\varepsilon)\log_2n} = n^{-(1+\varepsilon)}$, sommable : par Borel–Cantelli (1), p.s. seulement un nombre fini de tels $n$. Bas : empaqueter des blocs disjoints — le $j$-ème de longueur $\ell_j = \lceil\log_2s_j\rceil$ commençant en $s_j = \sum_{i<j}\ell_i$ ; les événements « le bloc $j$ est tout en uns » sont indépendants de probabilité $2^{-\ell_j} \asymp \frac1{s_j} \asymp \frac1{j\log_2 j}$, dont la somme diverge : Borel–Cantelli (2) donne infiniment beaucoup de blocs tout-uns, c’est-à-dire $R_{s_j} \geq \log_2 s_j$ infiniment souvent. Ensemble : la longueur maximale de série dans les $n$ premiers chiffres est $(1 + o(1))\log_2n$ p.s.

Solution de Exercice 22.5.

(a) $R = \bigl(\limsup\abs{X_n}^{1/n}\bigr)^{-1}$ est inchangé si on modifie un nombre fini de $X_n$ : pour tout $N$, $R$ est $\sigma(X_N, X_{N+1}, \dots)$-mesurable, c’est-à-dire mesurable pour la queue. Alors chaque événement $\{R \leq c\}$ a pour probabilité $0$ ou $1$ (Théorème 22.9), donc la fonction de répartition de $R$ ne prend que les valeurs $0, 1$ : elle saute en un seul point $c_0 \in \intcc0{+\infty}$, et $R = c_0$ p.s.

(b) La convergence de $\sum X_n$ et de $\frac{S_n}n$ sont insensibles au changement d’un nombre fini de termes (pour la seconde : les termes modifiés contribuent $O(1/n) \to 0$) : événements de queue ; loi du zéro-un.

(c) $\{X_1 > 0\}$ dépend de $X_1$ : pour des signes i.i.d. ($\P(X_1 = \pm1) = \frac12$), sa probabilité est $\frac12 \notin \{0,1\}$ — pas de contradiction, ce n’est pas un événement de queue.

Solution de Exercice 22.6.

On travaille sur $(\intcc01, \lambda)$. (a) La machine à écrire $\mathbf 1_{I_n}$ (Exercice 12.3) : $\norm{X_n}_p^p = \lambda(I_n) \to 0$ (tous $p < \infty$), donc aussi en probabilité ; en tout $\omega$ les valeurs $0$ et $1$ reviennent toutes deux : pas de convergence point par point nulle part. (b) $X_n = n\mathbf 1_{\intoo0{1/n}} \to 0$ hors de $0$, mais $\norm{X_n}_p \geq n^{1 - 1/p} \geq 1$. (c) $X_n = \sqrt n\,\mathbf 1_{\intoo0{1/n}}$ : $\E\abs{X_n} = n^{-1/2} \to 0$, $\E X_n^2 = 1$. (d) De toute sous-suite extraire (convergence en probabilité) une sous-suite ultérieure convergeant p.s. (Proposition 22.11(c)) ; la convergence dominée donne la convergence $L^1$ le long d’elle, avec la même limite $X$. Ainsi toute sous-suite de la suite numérique $\E\abs{X_n - X}$ a une sous-sous-suite tendant vers $0$ : la suite entière tend vers $0$.

Solution de Exercice 22.7.

(a) $\hat p_n = \frac{S_n}n$ avec $S_n$ binomiale : $\V(\hat p_n) = \frac{p(1-p)}n \leq \frac1{4n}$, et Bienaymé–Tchebychev (Proposition 22.3) donne la borne. (b) Résoudre $\frac1{4n(0.03)^2} \leq 0.05$ : $n \geq \frac{1}{4\cdot0.0009\cdot0.05} \approx 5556$. Le théorème central limite justifiera $n \approx 1070$ pour la même garantie : Bienaymé–Tchebychev paie sa généralité d’un facteur $\approx 5$.

Solution de Exercice 22.8.

(a) Si $S_n \sim \mathcal B(n, x)$, le théorème de transfert donne $\E\bigl[f(\frac{S_n}n)\bigr] = \sum_k\binom nkx^k(1-x)^{n-k}f(\frac kn) = B_nf(x)$.

(b)–(c) Soit $\omega = \omega_f$ le module de continuité ($\abs{f(u) - f(v)} \leq \omega(\abs{u - v})$, et $\omega(c \delta) \leq (1 + c)\,\omega(\delta)$ par enchaînement d’étapes). Alors, pour tout $\delta > 0$,

(si $\abs{u - x} \leq \delta$, clair ; sinon $\omega(\abs{u-x}) \leq (1 + \frac{\abs{u-x}}\delta) \omega(\delta) \leq (1 + \frac{(u-x)^2}{\delta^2}) \omega(\delta)$). Prendre les espérances en $u = \frac{S_n}n$ :

avec $\delta = n^{-1/2}$ : $\norm{B_nf - f}_\infty \leq \frac54\,\omega\bigl(n^{-1/2}\bigr) \leq \frac32\,\omega\bigl(n^{-1/2}\bigr) \to 0$ (continuité uniforme sur le compact) : un théorème de Weierstrass probabiliste, avec un taux explicite et uniforme.

Solution de Exercice 22.9.

(a) Après $k - 1$ types collectés, chaque tirage est nouveau avec probabilité $p_k = \frac{n-k+1}n$ : $\tau_k$ est géométrique $(p_k)$, et les $\tau_k$ sont indépendantes (les tirages le sont). Sommes : $\E T_n = \sum_k\frac n{n-k+1} = nH_n \sim n\ln n$ ; $\V(T_n) = \sum\frac{1 - p_k}{p_k^2} \leq n^2\sum_{j=1}^n\frac1{j^2} \leq \frac{\pi^2}6n^2$.

(b) Bienaymé–Tchebychev : $\P\bigl(\abs{T_n - nH_n} \geq \varepsilon n\ln n\bigr) \leq \frac{\pi^2n^2/6}{\varepsilon^2n^2\ln^2n} \to 0$, et $\frac{nH_n}{n\ln n} \to 1$ : $\frac{T_n}{n\ln n} \to 1$ en probabilité.

(c) Borne d’union : $T_n > t$ signifie qu’un type est non vu après $\lceil t\rceil$ tirages, donc $\P(T_n > t) \leq n(1 - \frac1n)^{t} \leq n\,\eu^{-t/n}$ ; en $t = \beta n\ln n$ : $\leq n^{1 - \beta}$. Pour $\beta > 1$, $\sum_m 2^{m(1-\beta)} < \infty$ : Borel–Cantelli donne, le long de $n = 2^m$, p.s. $T_n \leq \beta n\ln n$ éventuellement — en particulier pour tout $\beta > 2$ comme énoncé (tout $\beta > 1$ fonctionne le long de la sous-suite).

Solution de Exercice 22.10.

(a) Les chiffres d’indices pairs $(b_{2k})_k$ sont des bits équitables i.i.d. (une sous-famille de la famille de chiffres indépendante), donc $U = \sum_kb_{2k}2^{-k}$ donne à tout intervalle dyadique sa bonne probabilité (comme dans le Théorème 22.6) : uniforme ; de même $V$ ; et $(U, V)$ dépendent de blocs de chiffres disjoints : indépendants (factorisation sur les rectangles dyadiques, puis Dynkin).

(b) $\Phi(\omega) = (U(\omega), V(\omega))$ est mesurable avec $\Phi_*\lambda = \lambda\otimes\lambda = \lambda_2$ (accord sur les rectangles dyadiques + unicité). L’entrelacement des chiffres définit un inverse défini hors de l’ensemble (négligeable) des rationnels dyadiques dans chaque facteur : une bijection préservant la mesure entre sous-ensembles de mesure pleine de $\intcc01$ et $\intcc01^2$. Contraste avec Peano (Problème 6.1) : la continuité forçait la surjectivité sans injectivité ; abandonner la continuité pour la seule mesurabilité achète un isomorphisme de mesure — la dimension est invisible à la théorie de la mesure, visible à la topologie.

Solution de Exercice 22.11.

(a) La continuité de la répartition rend les égalités des événements nuls (comme dans les arguments d’ordre du chapitre), et les $n!$ ordres relatifs de $(X_1, \dots, X_n)$ sont échangeables, donc équiprobables. $R_n = 1$ signifie que le maximum siège en dernière position : probabilité $\frac{(n-1)!}{n!} = \frac1n$.

(b) Fixer $n$ et conditionner sur l’ordre relatif de $X_1, \dots, X_{n-1}$ : l’insertion de $X_n$ dans les $n$ créneaux de rang possibles est uniforme et indépendante de cet ordre (échangeabilité du $n$-uplet). Donc $R_n$ (l’événement « $X_n$ prend le créneau du haut ») est indépendant de toute l’histoire des records $(R_1, \dots, R_{n-1})$, qui est une fonction de l’ordre relatif des $n - 1$ premières variables. La récurrence donne l’indépendance totale avec $\P(R_n = 1) = \frac1n$.