اكتشاف القيم المتطرفة باستخدام معيار شوفينيه

ما هي القيمة الشاذة ولماذا نهتم بها

القيم المتطرفة هي قيم في مجموعة بيانات تبدو متطرفة جدًا مقارنةً بقيم أخرى فيها. بطبيعة الحال, هذا التعريف فضفاض, ولكن في الواقع, هناك وجهات نظر مختلفة حول ماهية القيم المتطرفة وكيفية التعامل معها.

في الوقت الحالي, سوف نلتزم بالفكرة القائلة بأن القيم المتطرفة غالبًا ما تكون بمثابة أعراض لسلوك معين للسكان الأساسيين, وأن وجود القيم المتطرفة قد يكون مؤشرًا على أن السكان الأساسيين لا يتوزعون بشكل طبيعي.

كيف يتم حساب معيار شوفينيه؟

بشكل غير رسمي, يعتمد معيار شوفينيه على فكرة أنه إذا تم توزيع السكان الأساسي بشكل طبيعي, فسيكون من المعقول العثور على كل أو معظم قيم العينة ضمن "نطاق" معين حول متوسط التوزيع.

الآن, يُقاس هذا الانحراف نسبيًا, بحساب عدد الانحرافات المعيارية عن متوسط بيانات العينة. بمعنى آخر, نحن نتعامل مع الدرجات المعيارية

رياضيًا, باستخدام معيار شوفينيه, يكون النطاق حول المتوسط الحسابي حيث توجد قيم البيانات "المعقولة" هو \(P = 1- \frac{1}{2n}\). وبالتالي, فإن المساحة الإجمالية حيث توجد القيم المتطرفة هي \(\frac{1}{4n}\), موزعة على طرفي العينة, حيث \(n\) هو حجم العينة

بمعنى آخر, نجد قيمة عتبة \(D_{max}\) تلبي الشرط التالي

\[ \Pr(Z > D_{max}) = \displaystyle \frac{1}{4n}\]

وستكون القيمة \(X\) قيمة شاذة إذا كانت درجة Z لارتباطها لها قيمة مطلقة تتجاوز \(D_{max}\), وهذا هو \(|Z| > D_{max}\).

لماذا تعتبر القيم المتطرفة ذات أهمية كبيرة؟

كما ذكرنا من قبل, يمكن أن تكون القيم المتطرفة بمثابة أعراض تشير إلى عدم وجود حالة طبيعية, مما يشير إلى أن الإجراءات الإحصائية المختلفة مثل اختبارات z واختبارات t من شأنها أن تؤدي إلى استنتاجات غير موثوقة.

إن استخدام معيار شوفينيه ليس الطريقة الوحيدة للعثور على القيم المتطرفة, حيث يمكنك أيضًا العثور على القيم المتطرفة باستخدام قاعدة IQR الآن, يعد اكتشاف القيم المتطرفة مجرد جزء من مخطط أكبر, لأنه عندما تريد تشغيل تحليل إحصائي, فمن المحتمل أنك تحتاج إلى تشغيل تحليل الإحصاء الوصفي لتقييم الخصائص التوزيعية للعينة المستخدمة.