単回帰モデル（最小二乗法）

$i$ 番目のデータ $(x_i,\,y_i)$ について、 $$y_i = \alpha + \beta x_i + \varepsilon_i \qquad (i=1,2,\dots,n)$$ $\alpha$ は切片、$\beta$ は傾き（回帰係数）で、これらは真の値が決まっているが未知の定数（母数）です。$\varepsilon_i$ は誤差項と呼ばれ、直線では説明しきれない第 $i$ 点のズレを表します。

$$S(a,\,b) = \sum_{i=1}^{n}\bigl(y_i - a - b x_i\bigr)^2$$ 各点について「観測値 $y_i$ から、直線の予測値 $a + b x_i$ を引いたズレ」を二乗し、$n$ 点ぶん足し合わせた量です。

$$ \begin{aligned} \frac{\partial S}{\partial a} &= \sum_{i=1}^{n} 2\bigl(y_i - a - b x_i\bigr)\cdot(-1) &&\text{(二乗を下ろし、中身を } a \text{ で微分すると } -1\text{)}\\[2pt] &= -2\sum_{i=1}^{n}\bigl(y_i - a - b x_i\bigr) &&\text{(定数 } -2 \text{ を } \textstyle\sum \text{ の外へ)} \end{aligned} $$ これを $0$ とおくと、両辺を $-2$ で割って $$\sum_{i=1}^{n}\bigl(y_i - a - b x_i\bigr) = 0$$

$$ \begin{aligned} \frac{\partial S}{\partial b} &= \sum_{i=1}^{n} 2\bigl(y_i - a - b x_i\bigr)\cdot(-x_i) &&\text{(二乗を下ろし、中身を } b \text{ で微分すると } -x_i\text{)}\\[2pt] &= -2\sum_{i=1}^{n} x_i\bigl(y_i - a - b x_i\bigr) &&\text{(定数 } -2 \text{ を } \textstyle\sum \text{ の外へ)} \end{aligned} $$ これを $0$ とおくと、両辺を $-2$ で割って $$\sum_{i=1}^{n} x_i\bigl(y_i - a - b x_i\bigr) = 0$$

$$ \begin{aligned} \sum_{i=1}^{n}\bigl(y_i - a - b x_i\bigr) &= 0 &&\text{(上で得た式)}\\[2pt] \sum_{i=1}^{n} y_i - \sum_{i=1}^{n} a - b\sum_{i=1}^{n} x_i &= 0 &&\text{(項ごとに } \textstyle\sum \text{ を分ける)}\\[2pt] \sum_{i=1}^{n} y_i - n a - b\sum_{i=1}^{n} x_i &= 0 &&\Bigl(\textstyle\sum_{i=1}^{n} a = n a\Bigr)\\[2pt] \sum_{i=1}^{n} y_i &= n a + b\sum_{i=1}^{n} x_i &&\text{(移項して整理)} \end{aligned} $$

$$ \begin{aligned} \sum_{i=1}^{n} x_i\bigl(y_i - a - b x_i\bigr) &= 0 &&\text{(上で得た式)}\\[2pt] \sum_{i=1}^{n}\bigl(x_i y_i - a x_i - b x_i^2\bigr) &= 0 &&\text{(カッコ内に } x_i \text{ を分配)}\\[2pt] \sum_{i=1}^{n} x_i y_i - a\sum_{i=1}^{n} x_i - b\sum_{i=1}^{n} x_i^2 &= 0 &&\text{(項ごとに } \textstyle\sum \text{ を分け、定数を外へ)}\\[2pt] \sum_{i=1}^{n} x_i y_i &= a\sum_{i=1}^{n} x_i + b\sum_{i=1}^{n} x_i^2 &&\text{(移項して整理)} \end{aligned} $$

正規方程式 $$ \begin{aligned} \sum_{i=1}^{n} y_i &= n\,a + b\sum_{i=1}^{n} x_i \\[4pt] \sum_{i=1}^{n} x_i y_i &= a\sum_{i=1}^{n} x_i + b\sum_{i=1}^{n} x_i^2 \end{aligned} $$ $a,\,b$ についての連立1次方程式です。これを解いた解が、最小二乗推定値 $\hat{\alpha},\,\hat{\beta}$ になります。

1本目 $\;\sum y_i = n a + b\sum x_i\;$ の両辺を $n$ で割ると、 $$ \begin{aligned} \frac{1}{n}\sum_{i=1}^{n} y_i &= a + b\cdot\frac{1}{n}\sum_{i=1}^{n} x_i &&\text{(両辺を } n \text{ で割る)}\\[2pt] \bar{y} &= a + b\,\bar{x} &&\Bigl(\bar{x}=\tfrac{1}{n}\textstyle\sum x_i,\ \bar{y}=\tfrac{1}{n}\textstyle\sum y_i\Bigr) \end{aligned} $$ これを $a$ について解くと、切片の式が得られます。 $$\hat{\alpha} = \bar{y} - \hat{\beta}\,\bar{x}$$

$\bar{y} = \hat{\alpha} + \hat{\beta}\bar{x}$ は、「$x=\bar{x}$ を代入すると $\hat{y}=\bar{y}$」という意味そのもの。つまり回帰直線は必ずデータの重心 $(\bar{x},\,\bar{y})$ を通ります。これは正規方程式の1本目（$a$ での偏微分＝残差の合計が $0$）から自動的に出てくる性質で、1-11 で予告したとおりです。

$$ \begin{aligned} \sum x_i y_i &= a\sum x_i + b\sum x_i^2 &&\text{(正規方程式の2本目)}\\[2pt] \sum x_i y_i &= (\bar{y}-b\bar{x})\sum x_i + b\sum x_i^2 &&\text{(} a=\bar{y}-b\bar{x} \text{ を代入)}\\[2pt] \sum x_i y_i &= \bar{y}\sum x_i - b\,\bar{x}\sum x_i + b\sum x_i^2 &&\text{(カッコを展開)}\\[2pt] \sum x_i y_i - \bar{y}\sum x_i &= b\Bigl(\sum x_i^2 - \bar{x}\sum x_i\Bigr) &&\text{(} b \text{ の項を右に集めてくくる)}\\[2pt] b &= \frac{\sum x_i y_i - \bar{y}\sum x_i}{\sum x_i^2 - \bar{x}\sum x_i} &&\text{(} b \text{ について解く)} \end{aligned} $$ （和の上下限 $\textstyle\sum_{i=1}^{n}$ は紙幅の都合で略記しました。）

分子（$\sum x_i = n\bar{x}$ を使う）： $$\sum_{i=1}^{n} x_i y_i - \bar{y}\sum_{i=1}^{n} x_i = \sum_{i=1}^{n} x_i y_i - n\bar{x}\bar{y} = \sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$$ 分母（同じく $\sum x_i = n\bar{x}$ を使う）： $$\sum_{i=1}^{n} x_i^2 - \bar{x}\sum_{i=1}^{n} x_i = \sum_{i=1}^{n} x_i^2 - n\bar{x}^2 = \sum_{i=1}^{n}(x_i-\bar{x})^2$$

最小二乗推定値 $$\hat{\beta} = \frac{S_{xy}}{S_{xx}} = \frac{\displaystyle\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\displaystyle\sum_{i=1}^{n}(x_i-\bar{x})^2}, \qquad \hat{\alpha} = \bar{y} - \hat{\beta}\,\bar{x}$$ ここで $S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$（偏差積和）、$S_{xx}=\sum(x_i-\bar{x})^2$（$x$ の偏差平方和）です。

1-11 で「結論だけ」示した $b=\dfrac{s_{xy}}{s_x^2}$ と、この $\hat{\beta}=\dfrac{S_{xy}}{S_{xx}}$ は同じものです。共分散 $s_{xy}=\dfrac{S_{xy}}{n-1}$、分散 $s_x^2=\dfrac{S_{xx}}{n-1}$ なので、比をとると $n-1$ が約分で消え、$\dfrac{s_{xy}}{s_x^2}=\dfrac{S_{xy}}{S_{xx}}$。さらに $s_{xy}=r\,s_x s_y$ を使えば $\hat{\beta}=r\dfrac{s_y}{s_x}$ にもなります。$\hat{\beta}$ の符号が相関係数 $r$ と一致するのも、分母 $S_{xx}$ が必ず正だからです。約束どおり、公式を完全に回収できました。