線形回帰と相関：ステップごとの解答つき練習問題

1回帰とは何か

各事例について 2 つの量を測定します。たとえば x = 勉強した時間、y = 試験の点数。各組は散布図の 1 つの点です。

点がおおよそ直線上に並ぶなら、直線でそれを記述し、x から y を予測するのに使えます。これが線形回帰です。

• ŷ（「ワイハット」）は y の予測値です。
• b は傾き：x が 1 増えたとき、ŷ がどれだけ変わるか。
• a は切片：x = 0 での ŷ の値。

2最小二乗直線

すべての点を通る直線はありません。点から直線までの垂直な距離がその点の残差で、e = y − ŷ です。

最小二乗直線は、残差の二乗和が最小になる直線です。その傾きと切片は、平均からの偏差の和から求まります。

直線は常に平均の点 (x̄, ȳ) を通ります。だから a = ȳ − b · x̄ なのです。

和だけが与えられているときは、近道 S_xx = Σx² − (Σx)²/n と S_xy = Σxy − ΣxΣy/n を使います。

3相関係数

ピアソンの相関係数 r は、点が直線にどれだけ近いかを測ります。常に −1 と 1 の間です。

• r が 1 に近い：強い右上がりの傾向。
• r が −1 に近い：車の年式に対する車の価格のような、強い右下がりの傾向。
• r が 0 に近い：直線的な関係がない。

r は傾き b と同じ符号です。その 2 乗 r² は、直線が説明する y の変動の割合です。

強い相関は、x が y の原因であることを証明しません。両方が第三の量に依存しているかもしれません。

4ステップごとの方法

1. 平均 x̄ と ȳ を計算します。
2. x − x̄、y − ȳ、その積、(x − x̄)² の列をもつ表をつくります。r が問われたら (y − ȳ)² を加えます。
3. 列を足して S_xy、S_xx、S_yy を求めます。
4. 傾き b = S_xy/S_xx、次に切片 a = ȳ − b · x̄。
5. 相関 r = S_xy/√(S_xxS_yy)。
6. 予測：x を ŷ = a + bx に入れます。残差：e = y − ŷ。

5例題

すべてのステップをたどりましょう。開く前に次のステップを予想してみましょう。

6よくある間違い

• 残差を y − ŷ ではなく ŷ − y と計算すること。
• 傾きを求めるときに、S_xx の代わりに S_yy で割ること。
• a と b を取り違えること：傾きは x にかかります。
• r が傾きと同じ符号であることを忘れること。
• データの範囲をはるかに超えて予測すること。そこでは直線が成り立たないかもしれません。

7試験問題の例

• やさしい：傾きと切片。表に 5 組が与えられます。最小二乗直線の b または a を求めます。
• ふつう：データ、または与えられた和からの相関係数 r。
• むずかしい：予測。直線を使って新しい x での ŷ を予測する、または新しい観測値の残差を求めます。

手早い確認：b と r の符号は、散布図の向きと一致していなければなりません。