Détection des valeurs aberrantes à l'aide du critère de chauvenet

Qu'est-ce qu'une valeur aberrante et pourquoi nous nous en soucions

Les valeurs aberrantes sont des valeurs d'un ensemble de données qui semblent excessivement extrêmes par rapport aux autres valeurs. Naturellement, cette définition est trop vague, mais en réalité, il existe de nombreux points de vue divergents sur la nature des valeurs aberrantes et leur traitement.

Pour l’instant, nous nous en tiendrons à l’idée que les valeurs aberrantes sont souvent le symptôme d’un certain comportement de la population sous-jacente, et la présence de valeurs aberrantes pourrait être une indication que la population sous-jacente n’est pas normalement distribuée.

Comment est calculé le critère de chauvenet ?

De manière informelle, le critère de Chauvenet est basé sur l'idée que si la population sous-jacente est normalement distribuée, il serait raisonnable de trouver toutes ou la plupart des valeurs d'un échantillon dans une certaine « bande » autour de la moyenne de la distribution.

Cet écart est mesuré en termes relatifs, en comptant le nombre d'écarts types par rapport à la moyenne des données de l'échantillon. Autrement dit, nous parlons de scores z

Mathématiquement, en utilisant le critère de Chauvenet, la bande autour de la moyenne où se trouvent les valeurs « raisonnables » est \(P = 1- \frac{1}{2n}\). Ainsi, la zone totale où se trouvent les valeurs aberrantes est \(\frac{1}{4n}\), répartie sur les deux extrémités, où \(n\) est la taille de l'échantillon

Donc, en d’autres termes, nous trouvons une valeur seuil \(D_{max}\) qui satisfait la condition suivante

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

et une valeur \(X\) sera une valeur aberrante si son score Z d'association a une valeur absolue qui dépasse \(D_{max}\), c'est-à-dire \(|Z| > D_{max}\).

Pourquoi les valeurs aberrantes sont-elles si pertinentes ?

Comme nous l’avons mentionné précédemment, les valeurs aberrantes pourraient être un symptôme indiquant un manque de normalité, ce qui indiquerait que différentes procédures statistiques comme les tests z et les tests t donneraient des conclusions peu fiables.

L'utilisation du critère de Chauvenet n'est pas la seule façon de trouver des valeurs aberrantes, car vous pouvez également trouver les valeurs aberrantes en utilisant la règle IQR . Maintenant, la détection des valeurs aberrantes n'est qu'une partie d'un schéma plus vaste, car chaque fois que vous souhaitez exécuter une analyse statistique, vous devez probablement exécuter au préalable une analyse statistique descriptive pour évaluer les propriétés distributionnelles de l’échantillon utilisé.