統計検定3級|流し読みレッスン 第48話

探索的データ解析法と外れ値 ② 1.5×IQRルールと頑健な統計量

さえちゃん
さえ

今回は外れ値の判定基準「1.5×IQRルール」と、外れ値に強い「頑健な統計量」を学ぶよ。

文字が少しずつ流れてくるから、クリック(タップ)かEnter、→キーで読み進めてね。←キーを押せば、一つ前まで戻れるよ。途中の【記憶タイム】では、紙とペンで用語を書いてみよう! Escキー(または「中断」ボタン)で、いつでも手を止められるよ。

予想学習時間:約3

Enter キーでも開始できます

第48話

探索的データ解析法と外れ値 ② 1.5×IQRルールと頑健な統計量

0 / 34
速さ
統計検定3級|流し読みレッスン 第48話

探索的データ解析法と外れ値 ② 1.5×IQRルールと頑健な統計量

今回は「外れ値をどう判定するか」という、実践的なテーマです。

要約統計量を眺めていると「これは外れ値では?」と思う値に出会います。

外れ値とは、他の多くのデータから極端に離れた値のことです。

【記憶タイム】
外れ値
(はずれち)
他の多くのデータから極端に離れた値
✍ 紙に3回書いてみよう

判定にはいくつか流派がありますが、もっとも広く使われるのが1.5×IQRルールです。

判定式はシンプル。「Q1-1.5×IQRより小さい」か「Q3+1.5×IQRより大きい」かです。

【記憶タイム】
1.5×IQRルール
Q1−1.5×IQR未満、またはQ3+1.5×IQR超で外れ値と判定
✍ 紙に3回書いてみよう

イメージで言うと、Q1とQ3の外側にIQRの1.5倍ぶんの「フェンス」を張るということです。

このフェンスを越えた値が、外れ値と判定されるわけです。

これは第2章の箱ひげ図で「ひげの長さ」を決めていたルールと、実は同じものです。

では実際に、9個のデータ「5, 10, 15, 20, 25, 30, 35, 40, 100」で計算してみましょう。

9個のデータとQ1・Q3、1.5×IQRの上下フェンス(−25と75)を示した数直線。100だけがフェンスの外側にある-40110下限−25Q1 12.5Q3 37.5上限75フェンスの内側(外れ値ではない範囲)(値)

まず5数要約。中央値は5番目の25、Q1は12.5、Q3は37.5でした。

IQR=Q3-Q1=37.5-12.5=25になります。

下限のフェンス:12.5-1.5×25=-25。上限のフェンス:37.5+1.5×25=75。

フェンスの外を探すと、下は該当なし、上は100だけがはみ出しています。

結論:100が外れ値と判定されました。数字でしっかり示せましたね。

さえ

「なんとなく外れてる気がする」を、ちゃんと数字で説明できるようになったね!

ちなみに「1.5倍」は、テューキーの経験則。実用上ちょうどよい値とされています。

3倍以上離れると「極端な外れ値」と呼ばれることもあります。

外れ値が見つかっても、即削除が正解とは限りません。理由を考えるのが先です。

測定・入力ミスなら修正か除外。イベントなど例外的な事象なら別扱いで分析します。

本物の特異値(突出した実績など)なら、そのまま保持するのが基本です。

さえ

外れ値こそ「なぜこの値だけ違うの?」を問う、データ分析いちばんの醍醐味だよ!

続いて、外れ値があってもブレない指標「頑健な統計量」を見ていきましょう。

外れ値の影響を受けにくい性質を「頑健性(ロバストネス)」と呼びます。

【記憶タイム】
頑健(ロバスト)
(がんけん)
外れ値があっても値が動じない性質
✍ 紙に3回書いてみよう

中央値・四分位範囲・最頻値は頑健。平均値・分散・標準偏差・レンジは頑健ではありません。

先ほどの「5,10,15,20,25,30,35,40,100」で、実際に確かめてみましょう。

100を含む場合と除く場合の箱ひげ図の比較。中央値・箱はほぼ同じ位置だが、含む場合だけひげが長く伸びる100を含む100を除く(値)

平均値は100を含むと31.1、除くと22.5。大きく動いてしまいます。

中央値は100を含んでも25、除くと22.5。ほとんど動じません。

レンジは95→35と直撃を受け、四分位範囲は25→20とほぼ揺れません。

データが整っているなら平均・標準偏差、外れ値の懸念があれば中央値・IQRを使います。

実務では両方を併記するのが鉄則。「平均450万円、中央値380万円」で偏りも見えます。

さえ

「頑健」は固い漢字だけど、要は「ブレない」ってこと。使い分けが大事だよ!