使用Chauvenet标准的异常检测

什么是一个异常值以及为什么我们关心他们

异常值是数据集中的值,似乎与数据集中的其他值相比过于极端。自然, 这种定义太松了,但实际上,有很多不同的看法关于异常值 如何处理他们。

现在,我们将坚持认为,异常值通常是底层人口某些行为的症状, 从异常值的存在可能是一个指示底层人口通常不会分发。

Chauvenet的标准如何计算？

非正式地,Chauvenet的标准是基于这样的想法,即如果底层人口通常分布 然后可以合理地找到某个"频段"内的样本的全部或大多数值。 分配。

现在,这种偏差以相对术语测量,计数远离平均样本数据的标准偏差是多少。 换句话说,我们正在处理z分数

在数学上,使用Chauveneet的标准,围绕"合理"数据值的平均围绕的频段 \(P = 1- \frac{1}{2n}\)。所以,异常值直播的总区是\(\frac{1}{4n}\),分配在两条尾巴上,在哪里 \(n\)样本大小

所以换句话说,我们找到了满足以下条件的阈值\(D_{max}\)

\[ \Pr(Z > D_{max} = \displaystyle \frac{1}{4n}\]

如果它的关联z-score具有超过\(D_{max}\)的绝对值,则值\(X\)将是一个异常值,这是 \(|Z| > D_{max}\)。

为什么异常值如此相关

如前所述,异常值可能是表明缺乏正常性的症状,这将表明这一点 不同的统计程序,如Z测试和T检验将产生不可靠的结论。

使用Chauvenet的标准不是发现异常值的唯一方式,就像你一样 使用IQR规则查找异常值 。 现在,检测异常值只是较大方案的一部分,因为只要你想要运行统计分析,您可能需要以前 跑A. 描述性统计分享 评估分配性质 使用样品。