Mathématiques du lycée · Grades 10–12

34Sommes de variables aléatoires et loi des grands nombres

Pourquoi les casinos gagnent-ils toujours à la fin, et pourquoi les sondages fonctionnent-ils ? Parce que les moyennes de nombreuses quantités aléatoires indépendantes fluctuent de moins en moins. Ce chapitre le prouve : linéarité de l’espérance, additivité de la variance pour des variables indépendantes, inégalité de Bienaymé–Tchebychev, et loi des grands nombres.

34.1 Sommes de variables aléatoires

Étant données deux variables aléatoires $X, Y$ sur le même univers fini $\Omega$ , la somme $X + Y$ est la variable aléatoire $\omega \mapsto X(\omega) + Y(\omega)$ .

Théorème 34.1 (Linéarité de l’espérance)

Pour toutes variables aléatoires $X, Y$ sur $\Omega$ et $a, b \in \R$ :

\E(X + Y) = \E(X) + \E(Y), \qquad \E(aX + b) = a\E(X) + b .

Aucune hypothèse d’indépendance n’est nécessaire.

Démonstration. Écrire l’espérance comme somme sur les issues : comme $\P(X = x) = \sum_{\omega : X(\omega) = x} \P(\{\omega\})$ , en regroupant les termes on obtient $\E(X) = \sum_{\omega \in \Omega} \P(\{\omega\})\,X(\omega)$ . Alors

\E(X + Y) = \sum_{\omega} \P(\{\omega\})\bigl(X(\omega) + Y(\omega)\bigr) = \sum_{\omega} \P(\{\omega\})X(\omega) + \sum_{\omega} \P(\{\omega\})Y(\omega) = \E(X) + \E(Y). \qedhere

∎

Définition 34.2 (Variables aléatoires indépendantes)

$X$ et $Y$ sont indépendantes si pour toutes valeurs $x, y$ :

\P(X = x \text{ et } Y = y) = \P(X = x)\,\P(Y = y).

Plusieurs variables $X_1, \dots, X_n$ sont indépendantes si cette règle de produit vaut pour tout choix de valeurs de toute sous-famille.

Proposition 34.3

Si $X$ et $Y$ sont indépendantes, $\E(XY) = \E(X)\,\E(Y)$ .

Démonstration.

\begin{aligned} \E(XY) &= \sum_{x, y} xy\;\P(X = x \text{ et } Y = y) = \sum_{x, y} xy\,\P(X=x)\P(Y=y) \\ &= \Bigl(\sum_x x\P(X=x)\Bigr)\Bigl(\sum_y y\P(Y=y)\Bigr). \qedhere \end{aligned}

∎

Théorème 34.4 (Variance d’une somme)

Si $X$ et $Y$ sont indépendantes, alors

\V(X + Y) = \V(X) + \V(Y).

Plus généralement, pour $X_1, \dots, X_n$ indépendantes : $\V(X_1 + \dots + X_n) = \V(X_1) + \dots + \V(X_n)$ .

Démonstration. En utilisant König–Huygens (Proposition 33.3) et la linéarité :

\begin{align*} \V(X + Y) &= \E\bigl((X+Y)^2\bigr) - \bigl(\E X + \E Y\bigr)^2\\ &= \E(X^2) + 2\E(XY) + \E(Y^2) - \E(X)^2 - 2\E(X)\E(Y) - \E(Y)^2\\ &= \V(X) + \V(Y) + 2\bigl(\E(XY) - \E(X)\E(Y)\bigr), \end{align*}

et le dernier crochet s’annule pour des variables indépendantes (Proposition 34.3). Le cas général suit par récurrence. ∎

Exemple 34.5 (Binomiale revisitée)

Une variable binomiale $X \sim \mathcal B(n, p)$ est une somme $X = X_1 + \dots + X_n$ de $n$ variables de Bernoulli indépendantes. D’où, structurellement :

\E(X) = np, \qquad \V(X) = np(1-p),

retrouvant Théorème 33.8 sans aucun calcul.

Proposition 34.6 (Moyenne empirique)

Soient $X_1, \dots, X_n$ indépendantes de même loi que $X$ (espérance $\mu$ , variance $\sigma^2$ ), et soit $M_n = \frac{X_1 + \dots + X_n}{n}$ leur moyenne empirique. Alors

\E(M_n) = \mu, \qquad \V(M_n) = \frac{\sigma^2}{n}, \qquad \sigma(M_n) = \frac{\sigma}{\sqrt n}.

Démonstration. La linéarité donne $\E(M_n) = \frac{n\mu}{n} = \mu$ ; l’indépendance donne $\V(X_1 + \dots + X_n) = n\sigma^2$ , et diviser par $n$ multiplie la variance par $\frac{1}{n^2}$ (Proposition 33.4). ∎

La quantité $\frac{\sigma}{\sqrt n}$ est la loi de la racine carrée fondamentale : pour diviser par deux les fluctuations d’une moyenne, il faut quadrupler la taille de l’échantillon.

La loi de la racine carrée : chaque quadruplement de la taille de l’échantillon ne divise l’écart-type de la moyenne que par deux.

34.2 Inégalités de concentration

Théorème 34.7 (Inégalité de Markov)

Si $X \geq 0$ et $a > 0$ :

\P(X \geq a) \leq \frac{\E(X)}{a}.

Démonstration. Dans $\E(X) = \sum_i p_i x_i$ (tous les termes positifs), ne garder que les termes avec $x_i \geq a$ : chacun vaut au moins $a\,p_i$ , donc $\E(X) \geq a \sum_{x_i \geq a} p_i = a\,\P(X \geq a)$ . ∎

Théorème 34.8 (Inégalité de Bienaymé–Tchebychev)

Pour toute variable aléatoire $X$ et tout $\varepsilon > 0$ :

\P\bigl(\abs{X - \E(X)} \geq \varepsilon\bigr) \leq \frac{\V(X)}{\varepsilon^2}.

Démonstration. Appliquer l’inégalité de Markov à la variable positive $Y = (X - \E(X))^2$ avec $a = \varepsilon^2$ :

\P\bigl(\abs{X - \E(X)} \geq \varepsilon\bigr) = \P(Y \geq \varepsilon^2) \leq \frac{\E(Y)}{\varepsilon^2} = \frac{\V(X)}{\varepsilon^2}. \qedhere

∎

Concentration : Bienaymé–Tchebychev borne la probabilité que X tombe dans les queues (en rouge), à distance au moins de son espérance, par (X)/ 2. — Concentration : Bienaymé–Tchebychev borne la probabilité que $X$ tombe dans les queues (en rouge), à distance au moins $\varepsilon$ de son espérance, par $\V(X)/\varepsilon^2$ .

Théorème 34.9 (Loi des grands nombres)

Soient $X_1, \dots, X_n$ indépendantes de même loi (espérance $\mu$ , variance $\sigma^2$ ) et $M_n$ leur moyenne empirique. Pour tout $\varepsilon > 0$ :

\P\bigl(\abs{M_n - \mu} \geq \varepsilon\bigr) \leq \frac{\sigma^2}{n\,\varepsilon^2} \xrightarrow[n \to +\infty]{} 0 .

La moyenne empirique se concentre autour de l’espérance.

Démonstration. Bienaymé–Tchebychev appliqué à $M_n$ , d’espérance $\mu$ et de variance $\frac{\sigma^2}{n}$ (Proposition 34.6). ∎

Remarque 34.10

Ce théorème est le pont entre théorie des probabilités et statistique : la fréquence d’un événement sur de nombreuses répétitions indépendantes approche sa probabilité (prendre $X_i$ l’indicatrice de l’événement, de sorte que $\mu = p$ ). Il justifie l’estimation d’une probabilité par simulation (méthode de Monte-Carlo) et d’une proportion dans une population par un sondage — quantitativement : voir Chapitre 35.

Méthode 34.11 (Utiliser Bienaymé–Tchebychev)

Pour garantir $\P(\abs{M_n - \mu} \geq \varepsilon) \leq \alpha$ , il suffit que $n \geq \frac{\sigma^2}{\alpha\,\varepsilon^2}$ . La borne est grossière (les fluctuations réelles sont en général bien plus petites) mais parfaitement générale : elle n’exige rien sur la loi au-delà d’une variance finie.

34.3 Exercices

Exercice 34.1 ★

On lance deux dés équilibrés ; soit $S$ la somme. En utilisant la linéarité (pas la loi de $S$ !), calculer $\E(S)$ ; puis calculer $\V(S)$ en utilisant l’indépendance, sachant qu’un dé équilibré a pour variance $\frac{35}{12}$ .

Solution

Solution de Exercice 34.1.

Chaque dé a pour espérance $\frac{1 + 2 + \dots + 6}{6} = \frac{7}{2}$ , donc par linéarité $\E(S) = \frac72 + \frac72 = 7$ . Les dés sont indépendants, donc $\V(S) = \frac{35}{12} + \frac{35}{12} = \frac{35}{6} \approx 5.83$ .

Exercice 34.2 ★

Soit $X \sim \mathcal B(100,\ 0.5)$ . Borner $\P(X \geq 75)$ par l’inégalité de Markov, puis $\P(\abs{X - 50} \geq 25)$ par Bienaymé–Tchebychev. Comparer.

Solution

Solution de Exercice 34.2.

$\E(X) = 50$ et $\V(X) = 100 \times 0.25 = 25$ .

Markov ( $X \geq 0$ ) : $\P(X \geq 75) \leq \frac{50}{75} = \frac23$ .

Bienaymé–Tchebychev : $\P(\abs{X - 50} \geq 25) \leq \frac{25}{25^2} = 0.04$ — et cela borne même l’événement bilatéral, dont $X \geq 75$ est la moitié. Tchebychev est bien plus fin ici car il exploite la variance, pas seulement la moyenne. (La vraie valeur de $\P(X \geq 75)$ est inférieure à $10^{-6}$ : les deux bornes sont grossières.)

Exercice 34.3 ★

On lance une pièce équilibrée $n$ fois et $F_n$ désigne la fréquence de pile. Quelle taille $n$ doit-on prendre pour que, par la borne de Bienaymé–Tchebychev, $\P\bigl(\abs{F_n - 0.5} \geq 0.05\bigr) \leq 0.05$ ?

Solution

Solution de Exercice 34.3.

$F_n$ est la moyenne empirique de $n$ variables de Bernoulli $\left(\frac12\right)$ , de variance $\sigma^2 = \frac14$ . La borne

\P\left(\abs{F_n - 0.5} \geq 0.05\right) \leq \frac{1/4}{n \times 0.05^2} = \frac{100}{n}

est $\leq 0.05$ dès que $n \geq 2000$ .

Exercice 34.4 ★★

Une investisseuse répartit son capital également entre $n$ actifs indépendants, chacun de rendement espéré $\mu = 5\%$ et d’écart-type $\sigma = 20\%$ . Calculer l’espérance et l’écart-type du rendement du portefeuille $M_n$ , et le nombre d’actifs nécessaires pour ramener l’écart-type sous $4\%$ . Quel principe financier cela illustre-t-il ?

Solution

Solution de Exercice 34.4.

Par la Proposition 34.6, $\E(M_n) = 5\%$ (la diversification ne change pas le rendement espéré) et $\sigma(M_n) = \frac{20\%}{\sqrt n}$ . Exiger $\frac{20}{\sqrt n} < 4$ donne $\sqrt n > 5$ , c.-à-d. $n \geq 26$ . C’est le principe de diversification : répartir le capital sur des risques indépendants divise le risque (écart type) par $\sqrt n$ sans réduire le rendement espéré.

Exercice 34.5 ★★

Soient $X$ et $Y$ indépendantes, toutes deux uniformes sur $\{1, 2, 3\}$ .

Donner la loi de $S = X + Y$ et calculer $\E(S)$ , $\V(S)$ directement à partir de celle-ci.
Retrouver les deux valeurs par linéarité et additivité de la variance.

Solution

Solution de Exercice 34.5.

1. En comptant les $9$ couples équiprobables : $S$ prend les valeurs $2, 3, 4, 5, 6$ avec probabilités $\frac19, \frac29, \frac39, \frac29, \frac19$ . D’où $\E(S) = \frac{2 + 6 + 12 + 10 + 6}{9} = 4$ et $\E(S^2) = \frac{4 + 18 + 48 + 50 + 36}{9} = \frac{156}{9} = \frac{52}{3}$ , donc $\V(S) = \frac{52}{3} - 16 = \frac43$ .

2. Une variable : $\E(X) = 2$ , $\E(X^2) = \frac{1 + 4 + 9}{3} = \frac{14}{3}$ , $\V(X) = \frac{14}{3} - 4 = \frac23$ . Puis $\E(S) = 2 + 2 = 4$ et, par indépendance, $\V(S) = \frac23 + \frac23 = \frac43$ . Mêmes valeurs.

Exercice 34.6 ★★

Montrer que l’additivité de la variance peut échouer sans indépendance : calculer $\V(X + Y)$ pour $Y = X$ , et comparer avec $\V(X) + \V(Y)$ . Pour quelles variables $X$ a-t-on $\V(2X) = 2\V(X)$ ?

Solution

Solution de Exercice 34.6.

Avec $Y = X$ : $\V(X + Y) = \V(2X) = 4\V(X)$ , tandis que $\V(X) + \V(Y) = 2\V(X)$ . Les deux coïncident seulement lorsque $\V(X) = 0$ , c.-à-d. lorsque $X$ est constante — donc l’additivité exige vraiment l’indépendance (ici $X$ est maximalement dépendante d’elle-même).

Exercice 34.7 ★★

Un dé est soupçonné d’être pipé. On le lance $1200$ fois et on obtient un six $260$ fois ( $f = 0.2167$ au lieu de $\frac16 \approx 0.1667$ ). Sous l’hypothèse que le dé est équilibré, borner $\P\bigl(\abs{F_n - \frac16} \geq 0.05\bigr)$ par Bienaymé–Tchebychev, et discuter si l’hypothèse d’équité est plausible.

Solution

Solution de Exercice 34.7.

Sous l’hypothèse d’équilibre, $F_n$ est la moyenne de $n = 1200$ variables de Bernoulli avec $p = \frac16$ , $\sigma^2 = \frac16\cdot\frac56 = \frac{5}{36}$ :

\P\left(\abs{F_n - \tfrac16} \geq 0.05\right) \leq \frac{5/36}{1200 \times 0.0025} = \frac{5}{108} \approx 0.046 .

L’écart observé est exactement $0.05$ : un événement qu’un dé équilibré produit avec probabilité au plus $4.6\%$ — et comme Tchebychev est très conservateur, la vraie probabilité est bien plus petite. L’hypothèse d’équilibre n’est pas plausible ; le dé est très probablement pipé.

Exercice 34.8 ★★★

(Une meilleure inégalité pour la pièce.) Soient $X \sim \mathcal B(n,\ p)$ et $F_n = \frac Xn$ .

Montrer que $p(1-p) \leq \frac14$ pour $p \in \intcc{0}{1}$ .
En déduire la borne indépendante de la loi $\P\bigl(\abs{F_n - p} \geq \varepsilon\bigr) \leq \frac{1}{4n\varepsilon^2}$ .
Combien de personnes faut-il interroger pour que la fréquence observée soit à moins de $3$ points de la vraie proportion avec probabilité au moins $95\%$ , en utilisant cette borne ? (Les vrais sondages utilisent des estimations plus fines, mais l’ordre de grandeur est correct.)

Solution

Solution de Exercice 34.8.

1. $p(1-p) = \frac14 - \left(p - \frac12\right)^2 \leq \frac14$ .

2. $F_n$ a pour espérance $p$ et pour variance $\frac{p(1-p)}{n} \leq \frac{1}{4n}$ ; Bienaymé–Tchebychev donne

\P\bigl(\abs{F_n - p} \geq \varepsilon\bigr) \leq \frac{p(1-p)}{n\varepsilon^2} \leq \frac{1}{4n\varepsilon^2},

valable quel que soit le $p$ inconnu.

3. Avec $\varepsilon = 0.03$ et niveau $0.05$ :

\frac{1}{4n(0.03)^2} \leq 0.05 \iff n \geq \frac{1}{4 \times 0.0009 \times 0.05} \approx 5556 .

Environ $5600$ personnes suffisent par cette borne grossière (la réponse classique par approximation normale est plus proche de $1100$ , voir le Chapitre 35).