Détection des impératifs utilisant le critère de Chauvenet

Qu'est-ce qu'une valeur aberrante et pourquoi nous nous soucions d'eux

Les valeurs aberrantes sont des valeurs dans un jeu de données qui semblent être trop extrêmes par rapport aux autres valeurs d'un jeu de données.Naturellement, Cette définition est trop lâche, mais en réalité, il y a beaucoup de points de vue différents sur les valeurs aberrantes Comment traiter avec eux.

Pour l'instant, nous allons coller avec l'idée que les valeurs aberrantes sont souvent un symptôme de certains comportements de la population sous-jacente, Et la présence des valeurs aberrantes pourrait indiquer que la population sous-jacente n'est pas normalement distribuée.

Comment le critère de Chauvenet est-il calculé?

Le critère de Chauvenet est basé sur l'idée que si la population sous-jacente est normalement distribuée. alors il serait raisonnable de trouver tout ou la plupart des valeurs d'un échantillon dans une certaine "bande" autour de la moyenne de la Distribution.

Maintenant, cette écart est mesurée en termes relatifs, comptant le nombre de déviations standard à l'abri des données d'échantillon moyen. En d'autres termes, nous traitons avec z-scores

Mathématiquement, en utilisant le critère de Chauvenet, le groupe autour de la moyenne où les valeurs de données "raisonnables" vivent est \(P = 1- \frac{1}{2n}\).Alors, la zone totale où vivent les valeurs aberrantes est \(\frac{1}{4n}\), allouée sur les deux queues, où \(n\) est la taille de l'échantillon

Donc en d'autres termes, nous trouvons une valeur seuil \(D_{max}\) qui satisfait la condition suivante

\[ \Pr(Z > D_{max} = \displaystyle \frac{1}{4n}\]

et une valeur \(X\) sera une valeur aberrante si son association z-score a une valeur absolue supérieure à \(D_{max}\), c'est \(|Z| > D_{max}\).

Pourquoi les valeurs aberrantes sont-elles si pertinentes?

Comme nous l'avons mentionné précédemment, les valeurs aberrantes pourraient être un symptôme indiquant le manque de normalité, ce qui indiquerait que Différentes procédures statistiques telles que les tests Z et les tests T produiraient des conclusions peu fiables.

Utiliser le critère de Chauvenet n'est pas le seul moyen de trouver des valeurs aberrantes, comme vous pouvez aussi Recherchez des Valeurs Aberrantes à l'Aide de la Règle IQR . Maintenant, la détection des valeurs aberrantes ne fait qu'une partie du programme plus vaste, comme chaque fois que vous souhaitez exécuter une analyse statistique, vous devez probablement avoir auparavant courir un Analyser des descriptives des statistiques Pour évaluer les propriétés de distribution de la échantillon utilisé.