Detecção outlier usando o critério de Chauvenet

O que é um outlier e por que nos preocupamos com eles

Os outliers são valores em um conjunto de dados que parecem ser muito extremos em comparação com outros valores em um conjunto de dados.Naturalmente, essa definição é muito solta, mas na realidade, há muitas visões diferentes sobre o que os outliers são Como lidar com eles.

Por enquanto, vamos ficar com a ideia de que os outliers são muitas vezes um sintoma de certos comportamentos da população subjacente, e a presença de outliers poderia ser uma indicação de que a população subjacente não é normalmente distribuída.

Como o critério de Chauvenet é calculado?

Informalmente, o critério de Chauvenet é baseado na ideia de que, se a população subjacente é normalmente distribuída então seria razoável encontrar todos ou a maioria dos valores de uma amostra dentro de uma certa banda em torno da média do distribuição.

Agora, esse desvio é medido em termos relativos, contando quantos desvios padrão longe dos dados médios da amostra são. Em outras palavras, estamos lidando com os z-escores

Matematicamente, usando o critério de Chauvenet, a banda em torno da média onde os valores de dados "razoáveis" vivem são \(P = 1- \frac{1}{2n}\).Então, a área total onde o Outliers Live é \(\frac{1}{4n}\), alocado nas duas caudas, onde \(n\) é o tamanho da amostra

Então, em outras palavras, encontramos um valor limite \(D_{max}\) que satisfaz a seguinte condição

\[ \Pr(Z > D_{max} = \displaystyle \frac{1}{4n}\]

e um valor \(X\) será um outlower se sua associação z-score tiver um valor absoluto que exceda \(D_{max}\), isso é \(|Z| > D_{max}\).

Por que os outliers são tão relevantes

Como mencionamos antes, outliers poderia ser um sintoma indicando falta de normalidade, o que indicaria que Diferentes procedimentos estatísticos, como os testes Z e os testes T produziriam conclusões não confiáveis.

Usando o critério de Chauvenet não é a única maneira de encontrar outliers, como você também pode Outliers Encontrar USANDO A REGRA IQR . Agora, detectar outliers é apenas uma parte do esquema maior, como sempre que você quiser executar uma análise estatística, provavelmente precisará anteriormente executar A. Análise de estatísticas descritivas Para avaliar as propriedades distributivas do amostra usada.