今回は「外れ値をどう判定するか」という、実践的なテーマです。
要約統計量を眺めていると「これは外れ値では?」と思う値に出会います。
外れ値とは、他の多くのデータから極端に離れた値のことです。
判定にはいくつか流派がありますが、もっとも広く使われるのが1.5×IQRルールです。
判定式はシンプル。「Q1-1.5×IQRより小さい」か「Q3+1.5×IQRより大きい」かです。
イメージで言うと、Q1とQ3の外側にIQRの1.5倍ぶんの「フェンス」を張るということです。
このフェンスを越えた値が、外れ値と判定されるわけです。
これは第2章の箱ひげ図で「ひげの長さ」を決めていたルールと、実は同じものです。
では実際に、9個のデータ「5, 10, 15, 20, 25, 30, 35, 40, 100」で計算してみましょう。
まず5数要約。中央値は5番目の25、Q1は12.5、Q3は37.5でした。
IQR=Q3-Q1=37.5-12.5=25になります。
下限のフェンス:12.5-1.5×25=-25。上限のフェンス:37.5+1.5×25=75。
フェンスの外を探すと、下は該当なし、上は100だけがはみ出しています。
結論:100が外れ値と判定されました。数字でしっかり示せましたね。
さえ「なんとなく外れてる気がする」を、ちゃんと数字で説明できるようになったね!
ちなみに「1.5倍」は、テューキーの経験則。実用上ちょうどよい値とされています。
3倍以上離れると「極端な外れ値」と呼ばれることもあります。
外れ値が見つかっても、即削除が正解とは限りません。理由を考えるのが先です。
測定・入力ミスなら修正か除外。イベントなど例外的な事象なら別扱いで分析します。
本物の特異値(突出した実績など)なら、そのまま保持するのが基本です。
さえ外れ値こそ「なぜこの値だけ違うの?」を問う、データ分析いちばんの醍醐味だよ!
続いて、外れ値があってもブレない指標「頑健な統計量」を見ていきましょう。
外れ値の影響を受けにくい性質を「頑健性(ロバストネス)」と呼びます。
中央値・四分位範囲・最頻値は頑健。平均値・分散・標準偏差・レンジは頑健ではありません。
先ほどの「5,10,15,20,25,30,35,40,100」で、実際に確かめてみましょう。
平均値は100を含むと31.1、除くと22.5。大きく動いてしまいます。
中央値は100を含んでも25、除くと22.5。ほとんど動じません。
レンジは95→35と直撃を受け、四分位範囲は25→20とほぼ揺れません。
データが整っているなら平均・標準偏差、外れ値の懸念があれば中央値・IQRを使います。
実務では両方を併記するのが鉄則。「平均450万円、中央値380万円」で偏りも見えます。
さえ「頑健」は固い漢字だけど、要は「ブレない」ってこと。使い分けが大事だよ!
