Detección de valores atípicos mediante el criterio de chauvenet

¿qué es un valor atípico y por qué nos importa?

Los valores atípicos son valores en un conjunto de datos que parecen demasiado extremos en comparación con otros valores del mismo. Naturalmente, esta definición es demasiado imprecisa, pero en realidad existen diversas perspectivas sobre qué son los valores atípicos y cómo abordarlos.

Por ahora, nos quedaremos con la idea de que los valores atípicos son a menudo un síntoma de cierto comportamiento de la población subyacente, y la presencia de valores atípicos podría ser una indicación de que la población subyacente no está distribuida normalmente.

¿cómo se calcula el criterio de chauvenet?

De manera informal, el criterio de Chauvenet se basa en la idea de que si la población subyacente está distribuida normalmente, entonces sería razonable encontrar todos o la mayoría de los valores de una muestra dentro de una cierta "banda" alrededor de la media de la distribución.

Esta desviación se mide en términos relativos, contando cuántas desviaciones estándar se alejan de la media de los datos muestrales. En otras palabras, se trata de puntuaciones z

Matemáticamente, utilizando el criterio de Chauvenet, la banda alrededor de la media donde se encuentran los valores "razonables" de los datos es \(P = 1- \frac{1}{2n}\). Por lo tanto, el área total donde se encuentran los valores atípicos es \(\frac{1}{4n}\), asignada a las dos colas, donde \(n\) es el tamaño de la muestra

En otras palabras, encontramos un valor umbral \(D_{max}\) que satisface la siguiente condición

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

y un valor \(X\) será un valor atípico si su puntuación Z de asociación tiene un valor absoluto que excede \(D_{max}\), esto es \(|Z| > D_{max}\).

¿por qué son tan relevantes los valores atípicos?

Como mencionamos anteriormente, los valores atípicos podrían ser un síntoma que indica falta de normalidad, lo que indicaría que diferentes procedimientos estadísticos como las pruebas z y las pruebas t arrojarían conclusiones poco confiables.

El uso del criterio de Chauvenet no es la única forma de encontrar valores atípicos, ya que también se puede Encuentra valores atípicos usando la regla IQR Ahora bien, detectar valores atípicos es solo una parte de un esquema más amplio, ya que siempre que desee ejecutar un análisis estadístico, probablemente necesite ejecutar previamente un análisis estadístico descriptivo para evaluar las propiedades distribucionales de la muestra utilizada.