Illustration de la loi des grands nombres

La « loi des grands nombres » est l’un des théorèmes fondamentaux de la théorie des probabilités. Prenons des variables aléatoires réelles indépendantes $X_1,X_2,\ldots$ qui ont toutes la même loi et telles que $\mathbb{E}(|X_1|)$ est fini. Dans sa version la plus forte, la loi des grands nombres affirme que

$$ \mathbb{P}\left(\lim_{n\to\infty} \frac{S_n}{n}=\mathbb{E}(X_1)\right)=1 $$

où $S_n=X_1+\cdots + X_n$.
Concrètement, si on a une réalisation $x_1,\ldots,x_n$ des variables aléatoires $X_1,\ldots, X_n$ alors

$$ \frac{x_1+\cdots+x_n}{n}\approx \mathbb{E}(X_1), $$

l’approximation étant d’autant meilleure que le nombre $n$ de tirages est grand. Autrement dit, la moyenne empirique (qui est aléatoire) fluctue de moins en moins quand $n$ augmente pour tendre vers une constante (c-à-d une quantité non aléatoire). Cette constante est l’espérance des $X_i$, c-à-d $\mathbb{E}(X_1)$. Toutes les réalisations typiques ont la même moyenne asymptotique.

L’expérience numérique interactive qui suit illustre la loi des grands nombres en permettant de varier le nombre de tirages ($n$), le nombre de réalisations, et la loi commune des $X_i$. Elle illustre aussi ce que l’hypothèse que $\mathbb{E}(|X_1|)<\infty$ est nécessaire pour que la convergence ait lieu. On prend pour cela la loi de Cauchy.

Plus de détails.
Lorsqu’on simule une variable aléatoire avec un ordinateur, on obtient une valeur différente, qu’on appelle une réalisation, chaque fois qu’on appelle le générateur pseudo-aléatoire. Pour chaque $n$, on génère une réalisation de $X_1,\ldots,X_n$, donc de $S_n/n$, en appelant $n$ fois le générateur.
La loi de Bernoulli : les $X_i$ prennent soit la valeur $1$ avec probabilité $p$, soit la valeur $0$ avec probabilité $1-p$. On a
$\mathbb{E}(X_1)=p$.
Loi exponentielle : les $X_i$ sont à valeurs dans $\mathbb{R}^+$ et ont pour densité de probabilité la fonction $f(x)=\lambda e^{-\lambda x} \mathbb{1}_{x\geq 0}$ où $\lambda>0$ est un paramètre. On a $\mathbb{E}(X_1)=1/\lambda$. Ici on a prend $\lambda=1$.
Loi de Cauchy : les $X_i$ sont à valeurs dans $\mathbb{R}$ et ont pour densité la fonction $f(x)=\frac{1}{\pi(1+x^2}$.
Dans ce cas on a $\mathbb{E}(|X_1|)=\infty$ ($\mathbb{E}(X_1)$ n’est pas défini).