Loi de probabilité

La théorie des probabilités offre des moyens pour manipuler des probabilités, mais ne dit pas comment associer une probabilité à un événement. Pour ce faire, on utilise une loi de probabilité. Pour faciliter la présentation, on distingue deux cas, pour lesquels nous allons considérer des modèles théoriques et empiriques:

Définition

Une loi de probabilité est un modèle qui permet d'affecter des probabilités aux événements. Elle s'exprime généralement sous la forme d'une densité de probabilité. Si on note f(x) le modèle, il permet d'obtenir directement la valeur des probabilités:

L'intégrale est la limite d'une somme et souvent difficile à calculer. On préfère souvent une forme équivalente du modèle de probabilité qui est plus pratique: la fonction de répartition. C'est une somme (intégrale) de la densité de probabilité jusqu'à la valeur x. La fait qu'elle est nécessairement croissante facilite la génération d'événements en simulation.

Si on note f(x) le modèle de densité de probabilité, on obtient la fonction de répartition r(x) par:

Un fois qu'on dispose de la fonction de répartition r(x), on obtenir directement la valeur des probabilités:

On observe qu'avec la fonction de répartition, la notion d'intégrale est cachée dans sa définition. Notons également qu'en continu, la probabilité que x=a est nulle: r(a)-r(a)=0. C'est intrinsèquement lié à la notion de "continu", qui est un modèle à notre disposition et rien de plus.

Remarque: Nous avons choisit la notation f(), r(), pour les fonctions (modèles) de densité et de répartition. Ce choix n'est pas universel. En outre, les anglophones utilisent les acronymes PDF (probablity density function) et CDF (cumulative density function).

Exemple: dé à 6 faces

On est dans le cas discret. Un modèle possible est donné par:

On constate que r() s'obtient de f() par addition, et inversement f() s'obtient de r() par soustraction.

Cet exemple avec un dé est un cas typique d'une loi théorique classique: la loi uniforme discrète. Elle consiste à affecter la même probabilité à chacune des valeurs: l'inverse de la cardinalité de l'ensemble des valeurs possibles. Bien que ce soit le choix usuel pour un dé, on aurait pu choisir d'utiliser le tableau des fréquences relatives d'un large échantillon de jets du dé ("loi empirique").

Définition mathématique

En théorie des probabilités, une loi de probabilité est une mesure dont la masse totale vaut 1. En particulier, cette mesure vérifie les trois axiomes des probabilités.

Contexte Soit X une variable aléatoire prenant ses valeurs dans un ensemble d'éventualités W et soit A l'ensemble de tous les sous-ensembles de W. Un élément de A est appelé "événement" et le couple (W,A) est appelé un espace mesurable.

Exemple: pour un dé à 4 faces, W = {1,2,3,4}, A = { {}, {1}, {2}, {3}, {4}, {1,2}, {1,3}, {1,4}, {2,3}, {2,4}, {3,4}, {1,2,3}, {1,2,4}, {1,3,4}, {2,3,4}, W }.

Définition Pour (W,A) un espace mesurable, P est une loi de probabilité, mesure de probabilité ou plus simplement probabilité si:

  1. P est une application de A dans [0,1]
  2. P(W) = 1
  3. P est additive, c'est-à-dire que pour tout R, S de A tel que R∩S={}, P(R∪S) = P(R)+P(S)

Loi de probabilité paramétrique versus non-paramétrique

On distingue deux grandes catégories de lois pour associer des probabilités aux événements: paramétrique et non-paramétrique.

Loi paramétrique
Loi donnée sous la forme d'une fonction mathématique dépendant d'un petit nombre de paramètres. Ces derniers sont généralement estimés via des mesures échantillonnales.
Loi non-paramétrique
On ne suppose pas qu'elle peut être déterminée par un nombre fini de paramètres. Elle est obtenue directement d'un échantillon, sans avoir a déterminer a priori la forme de la loi.

L'approche non-paramétrique est dite "empirique", afin de faire ressortir son lien avec l'échantillon. Elle simple et robuste, mais elle nécessite une grande quantité de données (big data). Le disponibilité croissante de grands entrepôts de données rend cette approche de plus en plus attrayante.