回帰と分類

1. 単回帰分析 ― 1本の直線で関係を説明する

単回帰分析^※1とは、1つの説明変数(x)から、1つの目的変数(y)を予測するモデルです。たとえば「広告費(x)」から「売上金額(y)」を予測するような場面で使われます。単回帰分析では、データの散らばりにもっとも当てはまりの良い直線(y = a + bx)を求めます。

この「もっとも当てはまりの良い直線」を求める方法が最小二乗法^※4です。各データ点と直線との縦方向のズレ(残差)を2乗して合計した値が、最小になるように直線の傾きと切片を決定します。2乗するのは、プラスのズレとマイナスのズレが打ち消し合わないようにするためです。この直線の傾きにあたる係数bを回帰係数と呼び、「xが1単位増えると、yが平均してどれだけ変化するか」を表します。

ただし、求めた回帰係数がどれだけ「確からしい」値なのかも重要です。この確からしさの目安になるのが標準誤差^※8で、回帰係数の推定値がどれだけばらつきうるかを示します。標準誤差が小さいほど、回帰係数の推定は安定していると解釈できます。

さらに、モデル全体の当てはまりの良さを示す指標が決定係数(R²)^※5です。決定係数は0から1の値を取り、1に近いほど「目的変数の変動を、説明変数がよく説明できている」ことを意味します。たとえば決定係数が0.8であれば、「売上のばらつきの80%は、広告費の違いによって説明できる」と解釈します。単回帰分析における最小二乗法、回帰係数、標準誤差、決定係数を理解し、モデルを構築できることは、DS検定の必須スキルチェック項目です。

さえ

回帰係数・標準誤差・決定係数、名前が似てて混乱しやすいよね。「係数=傾き」「標準誤差=係数のブレ」「決定係数=モデル全体の出来栄え」って役割で覚えると整理しやすいよ!

2. 重回帰分析 ― 複数の要因を同時に考慮する

現実のビジネスでは、目的変数に影響する要因が1つだけということはまれです。売上には広告費だけでなく、気温や曜日、競合の状況なども関係します。このように複数の説明変数を同時に使って目的変数を予測するのが重回帰分析^※2です。

重回帰分析では、それぞれの説明変数に対応する係数を偏回帰係数^※6と呼びます。偏回帰係数は「他の説明変数の値を一定に保ったとき、その変数が1単位増えるとyがどれだけ変化するか」を表します。単回帰の回帰係数と違い、他の変数の影響を取り除いた「純粋なその変数の効果」を示す点がポイントです。

ただし、偏回帰係数は説明変数ごとに単位(円、℃、人数など)が異なるため、係数の大きさだけで「どの変数が一番影響力が強いか」を単純比較できません。そこで、各変数を平均0・標準偏差1に標準化してから求めた係数である標準偏回帰係数^※7を使うと、単位に依存しない形で影響力の大きさを比較できます。重回帰分析における偏回帰係数と標準偏回帰係数、重相関係数、自由度調整済み決定係数について説明できることは、DS検定のスキルチェック項目です。

モデル全体の当てはまりを見る指標としては、重相関係数(実際の目的変数の値と、モデルが出した予測値との相関係数)があります。また、決定係数には「説明変数を増やせば増やすほど、それが無意味な変数であっても数値上は上がってしまう」という性質があります。この見かけ上のかさ増しを補正したものが自由度調整済み決定係数で、変数の数が異なる複数のモデルを公平に比較したいときに使われます。

さえ

「とりあえず変数を増やせば決定係数が上がる」って罠、試験でも実務でもすごくひっかかりやすいポイントだよ。自由度調整済み決定係数を見るクセ、絶対つけようね!

3. 線形回帰とロジスティック回帰の使い分け

ここまで扱ってきた単回帰・重回帰分析は、線形回帰分析と呼ばれ、目的変数として連続的な数値(売上金額、気温、来店客数など)を予測します。一方、目的変数が「解約する/しない」「不良品である/ない」のような2値のカテゴリである場合には、線形回帰ではなくロジスティック回帰分析^※3を使います。

ロジスティック回帰は、直接0か1かを予測するのではなく、「1(たとえば解約する)に分類される確率」を0から1の間の値として出力するモデルです。線形回帰の予測値をそのまま使うと、確率の範囲(0〜1)をはみ出したり、境界がはっきりしなかったりする問題が生じます。ロジスティック回帰では、線形回帰の出力をS字カーブ(シグモイド関数)に通すことで、出力を必ず0〜1の確率として扱えるようにしています。

線形回帰分析とロジスティック回帰分析のそれぞれが予測する対象の違いを理解し、適切に使い分けられることは、DS検定のスキルチェック項目です。「予測したい目的変数が、連続的な数値なのか、それともカテゴリ(はい/いいえ)なのか」を最初に確認することが、手法選択の第一歩になります。

まとめ

本ページ(6-3)では、回帰分析の基本を扱いました。最後に振り返っておきましょう。

1. 単回帰分析 ― 最小二乗法で直線を求め、回帰係数・標準誤差・決定係数でモデルを評価する
2. 重回帰分析 ― 偏回帰係数・標準偏回帰係数・重相関係数・自由度調整済み決定係数で複数変数の影響を評価する
3. 線形回帰とロジスティック回帰の使い分け ― 目的変数が連続値かカテゴリかで手法を選ぶ

次のページ(6-4)では、作ったモデルの性能をどう数値で評価するか、ROC曲線・AUC・混同行列・RMSEなどの評価指標をくわしく見ていきます。