最小二乗法という名前のとおり、ここでは残差を「2乗」します。
なぜ、そのまま足したり、絶対値を使ったりしないのでしょうか？
第3章「散らばりの尺度」で考えた、あの問いがここでも登場します。
良い直線を引くと、プラスの残差とマイナスの残差が打ち消し合い、合計はだいたい0になります。
0からは何も生まれません。「良い直線かどうか」を測れなくなってしまうのです。
そこで、残差を2乗します。2乗すればマイナスもすべてプラスになり、合計が0になりません。
2乗するのは「散らばりを面積として捉える」発想。第3章の分散と、まったく同じです。
例えば、点Aの残差が3点、点Bの残差が10点だったとします。
残差の大きさそのものでは、点Bのほうが少し大きいだけに見えます。
ところが2乗すると、点Aは3の2乗で9、点Bは10の2乗で100になります。
差はなんと11倍。直線から大きく外れた点ほど、ペナルティが強く効くのです。
これにより「みんなにそこそこ近い直線」が自然に選ばれる仕組みになります。
1点だけ大きく外れる直線は、その点の残差の2乗で大きく不利になるので選ばれません。
ここまでの話をひとつにまとめましょう。
最小二乗法とは「全データの残差を2乗して、その合計がいちばん小さくなる直線を選ぶ方法」です。
名前そのまま、「最小」「2乗」「法」。2乗の合計を最小にする方法、それが正体です。
手順は3ステップです。①各点の残差を計算する。
②残差を2乗する。
③2乗した値を全部足して、合計がいちばん小さい直線を選ぶ。
直線の傾きを少しずつ変えると、「残差の2乗の合計」も変わっていきます。
傾きをちょうどよく調整すると、合計がいちばん小さくなる1点が必ず見つかります。
そこを厳密に探すには「微分」という数学の道具を使いますが、3級では計算過程を覚える必要はありません。
さえ難しい数式は置いといて、「残差の2乗の合計を最小にする」ってキーフレーズだけ覚えれば大丈夫！
最小二乗法で回帰式が得られる。試験ではこのキーフレーズを覚えておけば十分です。
さえ2乗のペナルティ、第3章の分散の話とそっくりだったよね。統計は少しずつつながっていくんだよ！
次回は、この最小二乗法をExcelの関数で一発計算する方法を学びます。
