Detecção de outliers usando o critério de chauvenet

O que é um outlier e por que nos importamos com eles

Valores discrepantes são valores em um conjunto de dados que parecem ser extremos demais em comparação com outros valores no conjunto de dados. Naturalmente, essa definição é muito vaga, mas, na realidade, existem muitas visões diferentes sobre o que são discrepantes e como lidar com eles.

Por enquanto, vamos nos ater à ideia de que valores discrepantes são frequentemente um sintoma de certo comportamento da população subjacente, e a presença de valores discrepantes pode ser uma indicação de que a população subjacente não é distribuída normalmente.

Como o critério de chauvenet é calculado?

Informalmente, o critério de Chauvenet é baseado na ideia de que, se a população subjacente for distribuída normalmente, seria razoável encontrar todos ou a maioria dos valores de uma amostra dentro de uma certa "faixa" em torno da média da distribuição.

Agora, esse desvio é medido em termos relativos, contando quantos desvios-padrão estão distantes da média dos dados amostrais. Em outras palavras, estamos lidando com escores z

Matematicamente, usando o critério de Chauvenet, a faixa ao redor da média onde residem os valores de dados "razoáveis" é \(P = 1- \frac{1}{2n}\). Portanto, a área total onde residem os valores discrepantes é \(\frac{1}{4n}\), alocada nas duas caudas, onde \(n\) é o tamanho da amostra

Então, em outras palavras, encontramos um valor limite \(D_{max}\) que satisfaz a seguinte condição

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

e um valor \(X\) será um outlier se seu Z-score de associação tiver um valor absoluto que exceda \(D_{max}\), este é \(|Z| > D_{max}\).

Por que os outliers são tão relevantes

Como mencionamos antes, valores discrepantes podem ser um sintoma de falta de normalidade, o que indicaria que procedimentos estatísticos diferentes, como os testes z e t, produziriam conclusões não confiáveis.

Usar o critério de Chauvenet não é a única maneira de encontrar outliers, pois você também pode encontrar outliers usando a regra do IQR . Agora, detectar outliers é apenas uma parte de um esquema maior, pois sempre que você quiser executar uma análise estatística, provavelmente precisará executar previamente uma análise estatística descritiva para avaliar as propriedades distribucionais da amostra utilizada.