Rilevamento dei valori anomali mediante il criterio di chauvenet

Cos'è un outlier e perché ci interessa

I valori anomali sono valori in un set di dati che sembrano troppo estremi rispetto ad altri valori presenti nello stesso set. Naturalmente, questa definizione è troppo generica, ma in realtà esistono molte opinioni diverse su cosa siano i valori anomali e su come gestirli.

Per ora, ci atterremo all'idea che i valori anomali sono spesso un sintomo di un certo comportamento della popolazione sottostante e la presenza di valori anomali potrebbe essere un'indicazione che la popolazione sottostante non è distribuita normalmente.

Come si calcola il criterio di chauvenet?

In termini informali, il criterio di Chauvenet si basa sull'idea che se la popolazione sottostante è distribuita normalmente, allora sarebbe ragionevole trovare tutti o la maggior parte dei valori di un campione all'interno di una certa "banda" attorno alla media della distribuzione.

Ora, questa deviazione viene misurata in termini relativi, contando quante deviazioni standard si discostano dalla media dei dati campionari. In altre parole, abbiamo a che fare con i punteggi z

Matematicamente, usando il criterio di Chauvenet, la banda attorno alla media in cui risiedono i valori "ragionevoli" è \(P = 1- \frac{1}{2n}\). Quindi, l'area totale in cui risiedono i valori anomali è \(\frac{1}{4n}\), allocata sulle due code, dove \(n\) è la dimensione del campione

Quindi, in altre parole, troviamo un valore soglia \(D_{max}\) che soddisfa la seguente condizione

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

e un valore \(X\) sarà un valore anomalo se il suo punteggio Z di associazione ha un valore assoluto superiore a \(D_{max}\), ovvero \(|Z| > D_{max}\).

Perché i valori anomali sono così rilevanti?

Come abbiamo detto prima, i valori anomali potrebbero essere un sintomo che indica una mancanza di normalità, il che indicherebbe che diverse procedure statistiche come i test z e i test t produrrebbero conclusioni inaffidabili.

L'utilizzo del criterio di Chauvenet non è l'unico modo per trovare valori anomali, poiché è possibile anche trova i valori anomali usando la regola IQR Ora, il rilevamento dei valori anomali è solo una parte di uno schema più ampio, poiché ogni volta che si desidera eseguire un'analisi statistica, probabilmente è necessario eseguire in precedenza un analisi statistica descrittiva per valutare le proprietà distributive del campione utilizzato.