Обнаружение выброса с использованием критерия Chauvenet

Что такое выброс и почему мы заботимся о них

Выбросы - это значения в наборе данных, которые, кажется, слишком крайне по сравнению с другими значениями в наборе данных.Естественно, Такое определение слишком свободно, но на самом деле есть много разных взглядов о том, какие выбросы Как с ними разобраться.

На данный момент мы будем придерживаться идее, что выбросы часто являются симптомом определенного поведения базового населения, И присутствие от выбросов может быть признаком того, что базовое население обычно не распространяется.

Как рассчитывается критерий Chauvenet?

Неформально критерий Chauvenet основан на идее, что если основное население обычно распространяется Тогда было бы разумно найти все или большинство значений образца в пределах определенной "полосы" вокруг среднего значения распределение.

Теперь это отклонение измеряется в относительном выражении, подсчитывая, сколько стандартных отклонений вдали от среднего образца данных. Другими словами, мы имеем дело с Z-оценками

Математически, используя критерий Chauvenet, полоса вокруг среднего уровня, где живут "разумные" значения данных \(P = 1- \frac{1}{2n}\).Итак, общая площадь, где живут выбросы, это \(\frac{1}{4n}\), выделенные на двух хвостах, где \(n\) Размер образца

Так что, другими словами, мы находим пороговое значение \(D_{max}\) Это удовлетворяет следующему условию

\[ \Pr(Z > D_{max} = \displaystyle \frac{1}{4n}\]

И значение \(X\) будет выбросом, если его ассоциация Z-оценки имеет абсолютное значение, которое превышает \(D_{max}\), это \(|Z| > D_{max}\).

Почему выбросы настолько актуальны

Как мы упоминали ранее, выбросы могут быть симптомом, указывающим на отсутствие нормальности, что бы указать, что Различные статистические процедуры, такие как Z-тесты и T-тесты, дают ненадежные выводы.

Использование критерия Chauvenet - это не единственный способ найти выбросы, как вы также можете НАЙТИ ВЫБРОСЫ, ИСПОЛЬЗУЯ ПРАВИЛО ИКР Отказ Теперь обнаружение выбросов - это всего лишь часть большей схемы, что и всякий раз, когда вы хотите запустить статистический анализ, вам, вероятно, надо ранее бегать Описательный анализ статистики оценить свойства распределения образец используется.