探索的データ解析法と外れ値 ① EDAとは、要約統計量で全体像をつかむ

第3章もいよいよ最終シリーズ。今回から3話で「探索的データ解析法と外れ値」を学びます。

統計学者ジョン・テューキーが提唱した「EDA」という考え方から始めましょう。

EDAは「Exploratory Data Analysis」の略で、探索的データ解析と訳されます。

本格的な分析の前に、データの素顔をまず観察する。それがEDAの本質です。

実は、第2章で学んだ箱ひげ図を考案したのも、このテューキーです。

EDAには、大きく5つの目的があります。順番に見ていきましょう。

①分布の形・中心・ばらつきなど、データの全体像をつかむこと。

②分析結果を歪めかねない、外れ値や異常値を発見すること。

③層ごとの違いや時間的な傾向など、パターンを見つけること。

④「ここに違いがありそう」という、仮説を立てる材料を集めること。

⑤データの形に応じて、適切な分析手法を選ぶこと。

EDAをサボると、外れ値や二峰性に気づかず、誤った結論を出しかねません。

では、EDAの第一歩「要約統計量」で、データの全体像をつかんでみましょう。

これまで学んだ指標を、目的別に一度整理しておきます。

中心を知るなら平均値・中央値・最頻値。広がりを知るならレンジやIQRです。

散らばりの大きさは分散・標準偏差。分布の輪郭は5数要約でつかめます。

規模を越えた比較にはzスコアや変動係数。ここまでの第3章の総復習ですね。

例えば、あるクラス40人の身長データから、こんな要約統計量が得られたとします。

平均値165cm、中央値163cm、最頻値162cm。近い値が並んでいます。

標準偏差は7cm、最小150cm・最大185cm、Q1は158cm・Q3は170cmでした。

この数字だけで、実はいくつものことが読み取れます。

平均と中央値が近いので、左右対称に近い分布かもしれません。

標準偏差7cmなので、およそ158〜172cmにデータが集中していそうです。

最大値185cmは平均から3標準偏差近く離れており、外れ値の可能性があります。

IQRは12cm。中央50%の人は、この12cmの幅に収まっています。

たった数個の要約統計量から、これだけのストーリーが見えてくるわけです。