Loi des grands nombres

1. Opérations sur les variables aléatoires

a) Sommes et produits par un réel

• Définition : Pour une variable aléatoire réelle $X$, et $a,b \in \mathbb{R}$, la variable $Y = aX + b$ est définie par $Y(\omega) = a \times X(\omega) + b$.
• Loi de $Y$ : Pour tout $k \in \mathbb{R}$, $$P(Y = k) = P\left(X = \frac{k - b}{a}\right).$$

b) Variables aléatoires indépendantes

• Définition : Les variables $X_1, X_2, ..., X_n$ sont indépendantes si, pour tous $x_1, ..., x_n$, $$P(X_1 = x_1, ..., X_n = x_n) = \prod_{i=1}^n P(X_i = x_i).$$

c) Somme de deux variables aléatoires

• Pour $Z = X + Y$, $$P(Z = k) = \sum_{i+j=k} P(X = i \cap Y = j).$$
• Si $X$ et $Y$ sont indépendantes, $$P(Z = k) = \sum_{i+j=k} P(X = i) P(Y = j).$$

2. Espérance et variance d’une somme de variables

a) Cas général

• Espérance linéaire : Pour $a,b \in \mathbb{R}$, $$E(aX + b) = a E(X) + b, \quad E(X + Y) = E(X) + E(Y).$$
• Variance (si $X$ et $Y$ indépendantes) : $$V(aX) = a^2 V(X), \quad V(X + Y) = V(X) + V(Y).$$
• En particulier, $$V(X - Y) = V(X) + V(Y).$$

b) Loi binomiale

• Soit $X \sim B(n,p)$, alors $$E(X) = np, \quad V(X) = np(1-p), \quad \sigma(X) = \sqrt{np(1-p)}.$$

3. Concentration et loi des grands nombres

a) Échantillon de variables aléatoires

• Un échantillon $(X_1, ..., X_n)$ est un ensemble de variables indépendantes et de même loi.
• La moyenne est $$M_n = \frac{1}{n} \sum_{i=1}^n X_i.$$
• Espérance et variance de $M_n$ : $$E(M_n) = E(X_1), \quad V(M_n) = \frac{V(X_1)}{n}, \quad \sigma(M_n) = \frac{\sigma(X_1)}{\sqrt{n}}.$$

b) Inégalité de Bienaymé-Tchebychev

• Pour toute variable $X$ et $\delta > 0$, $$P(|X - E(X)| \geq \delta) \leq \frac{V(X)}{\delta^2}.$$
• Cette inégalité mesure la probabilité que $X$ s'écarte de son espérance.

c) Inégalité de concentration

• Pour un échantillon $(X_1, ..., X_n)$ et $M_n$ la moyenne, $$P(|M_n - E(X_1)| \geq \delta) \leq \frac{V(X_1)}{n \delta^2}.$$

d) Loi faible des grands nombres

• Pour tout $\delta > 0$, $$\lim_{n \to +\infty} P(|M_n - E(X_1)| \geq \delta) = 0.$$
• Cela signifie que la moyenne empirique $M_n$ converge en probabilité vers l'espérance $E(X_1)$.

À retenir : La moyenne d’un grand nombre de variables aléatoires indépendantes et identiquement distribuées se rapproche de leur espérance, avec une probabilité qui tend vers 1 quand $n$ augmente.

4. Résumé des formules clés

5. Notions importantes

• Indépendance est essentielle pour additionner les variances.
• La variance d’une moyenne diminue comme $1/n$, ce qui explique la concentration autour de l’espérance.
• L’inégalité de Bienaymé-Tchebychev donne une borne sur la probabilité d’écart à l’espérance.
• La loi faible des grands nombres formalise la convergence en probabilité de la moyenne vers l’espérance.

1. Espérance et variance d'une somme de variables aléatoires

a) Propriétés générales

Soient $X$ et $Y$ deux variables aléatoires réelles.

• Espérance d'une somme :
  $E(X + Y) = E(X) + E(Y)$

• Variance d'une somme :
  Si $X$ et $Y$ sont indépendantes, alors
  $V(X + Y) = V(X) + V(Y)$
  Sinon,
  $V(X + Y) = V(X) + V(Y) + 2 \, \mathrm{Cov}(X,Y)$

• Espérance d'une variable multipliée par un scalaire :
  Pour tout réel $a$,
  $E(aX) = a \, E(X)$

• Variance d'une variable multipliée par un scalaire :
  Pour tout réel $a$,
  $V(aX) = a^2 \, V(X)$

b) Espérance et variance de combinaisons linéaires

Pour $a,b \in \mathbb{R}$ et variables aléatoires indépendantes $X$ et $Y$ :

• Espérance :
  $E(aX + bY) = a \, E(X) + b \, E(Y)$

• Variance :
  $V(aX + bY) = a^2 \, V(X) + b^2 \, V(Y)$

c) Cas d'une somme de plusieurs variables indépendantes identiquement distribuées

Soit $(X_1, X_2, ..., X_n)$ un échantillon de variables aléatoires indépendantes et de même loi que $X$.

• Somme :
  $S_n = X_1 + X_2 + \cdots + X_n$
  $E(S_n) = n \, E(X)$
  $V(S_n) = n \, V(X)$

• Moyenne :
  $M_n = \frac{S_n}{n} = \frac{1}{n} \sum_{i=1}^n X_i$
  $E(M_n) = E(X)$
  $V(M_n) = \frac{V(X)}{n}$

À retenir : La variance de la moyenne diminue quand $n$ augmente, ce qui illustre la concentration des moyennes autour de l'espérance.

2. Exemple d'application

Soient $X$ et $Y$ indépendantes avec :
$E(X) = 3$, $V(X) = 1$, $E(Y) = -5$, $V(Y) = 2$.

• Pour $Z_1 = 2X + 3Y$ :
  $E(Z_1) = 2 \times 3 + 3 \times (-5) = 6 - 15 = -9$
  $V(Z_1) = 2^2 \times 1 + 3^2 \times 2 = 4 + 18 = 22$

• Pour $Z_2 = 4X - 2Y$ :
  $E(Z_2) = 4 \times 3 - 2 \times (-5) = 12 + 10 = 22$
  $V(Z_2) = 4^2 \times 1 + (-2)^2 \times 2 = 16 + 8 = 24$

• Pour $Z_3 = 3Y - 2X + 7$ :
  $E(Z_3) = 3 \times (-5) - 2 \times 3 + 7 = -15 - 6 + 7 = -14$
  $V(Z_3) = 3^2 \times 2 + (-2)^2 \times 1 = 18 + 4 = 22$

3. Variable centrée réduite

Pour toute variable aléatoire $X$ non constante admettant une espérance $E(X)$ et une variance $V(X) = \sigma^2(X)$, la variable
$Y = \frac{X - E(X)}{\sigma(X)}$
est centrée réduite, c’est-à-dire :
$E(Y) = 0 \quad \text{et} \quad V(Y) = 1$

À retenir :

• L'espérance d'une somme est la somme des espérances.
• La variance d'une somme de variables indépendantes est la somme des variances.
• Multiplier une variable par un scalaire multiplie son espérance par ce scalaire et sa variance par le carré de ce scalaire.
• La moyenne d'un échantillon a la même espérance que chaque variable, mais une variance divisée par la taille de l'échantillon.

1. Concentration et loi des grands nombres

a) Inégalité de Bienaymé-Tchebychev

Pour une variable aléatoire $X$ de variance $V(X)$ et espérance $E(X)$, pour tout $\delta > 0$ :

$$P(|X - E(X)| \geq \delta) \leq \frac{V(X)}{\delta^2}$$

Cette inégalité permet de majorer la probabilité que $X$ s'écarte de son espérance d'au moins $\delta$.

À retenir : L'écart à l'espérance est contrôlé par la variance via l'inégalité de Bienaymé-Tchebychev.

b) Application à la concentration autour de l'espérance

• Pour $\delta = k \sigma(X)$, où $\sigma(X) = \sqrt{V(X)}$ est l'écart-type, on a :

$$P(|X - E(X)| \geq k \sigma(X)) \leq \frac{1}{k^2}$$

• En particulier :

| $k$ | Majorant de $P(|X - E(X)| \geq k \sigma(X))$ | Minoration de $P(|X - E(X)| < k \sigma(X))$ | |------|----------------------------------------------|----------------------------------------------| | 2 | $\leq \frac{1}{4} = 0,25$ | $\geq 0,75$ | | 3 | $\leq \frac{1}{9} \approx 0,11$ | $\geq 0,89$ |

c) Loi des grands nombres (L.G.N.)

Soit $(X_i)_{i=1}^n$ une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) de même espérance $E(X_i) = \mu$ et variance $V(X_i) = \sigma^2 < +\infty$.

• La moyenne empirique est :

$$M_n = \frac{1}{n} \sum_{i=1}^n X_i$$

• On a :

$$E(M_n) = \mu, \quad V(M_n) = \frac{\sigma^2}{n}$$

• Par l'inégalité de Bienaymé-Tchebychev, pour tout $\delta > 0$ :

$$P(|M_n - \mu| \geq \delta) \leq \frac{\sigma^2}{n \delta^2}$$

• Conséquence : Plus $n$ est grand, plus $M_n$ est concentrée autour de $\mu$.

À retenir : La moyenne empirique $M_n$ converge en probabilité vers l'espérance $\mu$ quand $n \to +\infty$.

d) Exemple d'application numérique

• Si $X_i$ ont $E(X_i) = 5$ et $V(X_i) = 2$, alors pour $\delta = 0,05$ :

$$P(|M_n - 5| \geq 0,05) \leq \frac{2}{n \times 0,05^2} = \frac{2}{0,0025 n} = \frac{800}{n}$$

• Pour que cette probabilité soit inférieure à 0,01, il faut :

$$\frac{800}{n} \leq 0,01 \implies n \geq 80000$$

e) Interprétation pratique

• La loi des grands nombres garantit que la moyenne des résultats d'un grand nombre d'expériences indépendantes se rapproche de la moyenne théorique.

• L'inégalité de Bienaymé-Tchebychev permet d'estimer la taille minimale de l'échantillon nécessaire pour que la moyenne empirique soit proche de l'espérance avec une probabilité donnée.

f) Résumé des formules clés

À retenir : La loi des grands nombres assure la stabilité des moyennes empiriques, et l'inégalité de Bienaymé-Tchebychev quantifie la concentration autour de l'espérance.