Ausreißererkennung mit dem chauvenet-kriterium

Was ist ein ausreißer und warum sind sie für uns wichtig?

Ausreißer sind Werte in einem Datensatz, die im Vergleich zu anderen Werten im Datensatz zu extrem erscheinen. Natürlich ist diese Definition zu locker, aber in der Realität gibt es viele unterschiedliche Ansichten darüber, was Ausreißer sind und wie mit ihnen umzugehen ist.

Vorerst bleiben wir bei der Idee, dass Ausreißer oft ein Symptom für ein bestimmtes Verhalten der zugrunde liegenden Population sind und das Vorhandensein von Ausreißern ein Hinweis darauf sein könnte, dass die zugrunde liegende Population nicht normal verteilt ist.

Wie wird das chauvenet-kriterium berechnet?

Informell basiert Chauvenets Kriterium auf der Idee, dass es sinnvoll wäre, alle oder die meisten Werte einer Stichprobe innerhalb eines bestimmten „Bandes“ um den Mittelwert der Verteilung zu finden, wenn die zugrunde liegende Population normal verteilt ist.

Diese Abweichung wird nun relativ gemessen, indem man zählt, wie viele Standardabweichungen vom Mittelwert der Stichprobendaten abweichen. Mit anderen Worten: Es handelt sich um Z-Scores

Mathematisch betrachtet beträgt nach Chauvenets Kriterium der Bereich um den Mittelwert, in dem die „vernünftigen“ Datenwerte liegen, \(P = 1- \frac{1}{2n}\). Der Gesamtbereich, in dem Ausreißer liegen, beträgt also \(\frac{1}{4n}\), verteilt auf die beiden Enden, wobei \(n\) die Stichprobengröße ist

Mit anderen Worten, wir finden einen Schwellenwert \(D_{max}\), der die folgende Bedingung erfüllt

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

und ein Wert \(X\) ist ein Ausreißer, wenn sein Assoziations-Z-Score einen absoluten Wert hat, der \(D_{max}\) überschreitet, also \(|Z| > D_{max}\).

Warum sind ausreißer so relevant

Wie bereits erwähnt, können Ausreißer ein Symptom für eine fehlende Normalität sein, was wiederum darauf schließen lassen würde, dass verschiedene statistische Verfahren wie Z-Tests und T-Tests zu unzuverlässigen Schlussfolgerungen führen würden.

Das Chauvenet-Kriterium ist nicht die einzige Möglichkeit, Ausreißer zu finden. Man kann auch Finden Sie Ausreißer mithilfe der IQR-Regel . Das Erkennen von Ausreißern ist nur ein Teil eines größeren Schemas, denn wenn Sie eine statistische Analyse durchführen möchten, müssen Sie wahrscheinlich vorher eine deskriptive statistische Analyse um die Verteilungseigenschaften der verwendeten Stichprobe zu beurteilen.