前回は「外れ値」の罠を見ました。今回は2つ目・3つ目の注意点を扱います。
テーマは「山なりの関係には気づけない」ことと、「異質なグループの混在」です。
まずは、相関係数のもう1つの弱点、非線形な関係から見ていきましょう。
相関係数は「直線的な関係の強さ」を測る指標です。直線的でない関係は拾えません。
もっとも有名な例が「山なり」の散布図です。次を見てください。
Xが小さいうちはYも増えていきますが、あるところでピークを迎えます。
ピークを過ぎると、今度はXが増えるほどYが減っていきます。
これだけ明らかな関係があるのに、相関係数を計算するとおよそ0.03。ほぼ0です。
なぜでしょうか。理由は、正の連動と負の連動が同じくらい混ざっているからです。
前半は「Xが増えるとYも増える」正の連動。後半は「Xが増えるとYは減る」負の連動。
この2つが打ち消し合って、相関係数はほぼ0に落ち着いてしまうのです。
「相関係数が0だから関係がない」と判断すると、明らかな関係性を見逃してしまいます。
山なりや谷なりの関係は、気温と電力使用量、勉強時間と成績など身近にたくさんあります。
さえ相関係数が0でも「関係なし」とは限らないから気をつけてね!散布図が頼りだよ。
続いて3つ目の注意点、「異質なグループの混在」を見ていきましょう。
全体では無相関っぽく見えても、グループに分けると強い相関が出ることがあります。
次の散布図を見てください。青とオレンジ、2つのグループが混ざっています。
全体としてまとめて計算すると、相関係数はおよそ0.6。中程度の正の相関です。
ところが、グループA・グループBをそれぞれ単独で計算すると、様子が変わります。
グループAもグループBも、単独ではおよそ0.95。非常に強い正の相関です。
全体だと「中程度」、層別すると「非常に強い」。同じデータでも評価が大きく変わります。
逆に、無関係な2グループがたまたま似た範囲に重なると、全体だけ強く見えることもあります。
いずれのケースも、層別散布図を併用しないと気づけない問題です。
さえ「データの中に違う性質のグループが混ざっていないか」を疑うクセ、本当に大事だよ。
今回のポイントを整理しましょう。
相関係数は直線的な関係しか測れないこと。そして、異質なグループの混在に注意すること。
次回は最終話。相関係数を使うときのチェックリストと、第4章のまとめをお届けします。
