Лінійна регресія та кореляція: задачі з покроковими розв’язками

Інші назви: регресійний аналіз · коефіцієнт кореляції · метод найменших квадратів

Безкоштовні задачі з теми Лінійна регресія та кореляція з рисунками, підказками й повними розв’язками. Щоразу нові значення, трьох рівнів: нахил і вільний член, коефіцієнт кореляції, прогноз.

Безкоштовна задачаЛегка
xy242352445555660760xy2465060

Таблиця містить 6 пар спостережень x = години навчання і y = бал за іспит. Використайте пряму найменших квадратів ŷ = a + b·x. Знайдіть вільний член a.

n = 6
Наступна задача →
Тренуйтеся безкоштовно: Лінійна регресія та кореляціяТренуйтеся зараз: Лінійна регресія та кореляціяБезкоштовних задач щодня: 5. Без картки.

Що ви тренуєте

  1. Легканахил і вільний член
  2. Середнякоефіцієнт кореляції
  3. Складнапрогноз

Основні формули

Суми квадратів
Sxx = Σ(x − x̄)² = Σx² − (Σx)²/n, Sxy = Σxy − ΣxΣy/n
Нахил
b = Sxy/Sxx
Вільний член
a = ȳ − b·x̄
Кореляція
r = Sxy/√(SxxSyy)
Залишок
e = y − ŷ

Вивчайте тему «Лінійна регресія та кореляція» з нуля

Перед цим: Описова статистика

1Що таке регресія

Для кожного випадку ви вимірюєте дві величини, наприклад x = години навчання і y = екзаменаційний бал. Кожна пара — одна точка на діаграмі розсіювання.

xy123456246810

Якщо точки лежать приблизно вздовж прямої, їх можна описати прямою і використати її для прогнозу y за x. Це лінійна регресія.

ŷ = a + b · x
  • ŷ («y з дашком») — це прогнозоване значення y.
  • b — це кутовий коефіцієнт: наскільки змінюється ŷ, коли x зростає на 1.
  • a — це вільний член: значення ŷ за x = 0.
Самоперевірка Лінія регресії ŷ = 40 + 5x, де x — години навчання, а ŷ — прогнозований бал. Що означає 5?
  1. Бал у 5 разів більший за години
  2. Кожна додаткова година додає приблизно 5 балів
  3. Пряма проходить через (5, 40)
  4. Студент, який не вчиться, отримує 5

Відповідь: Кожна додаткова година додає приблизно 5 балів. Кутовий коефіцієнт b — це зміна ŷ на одиницю x. Прогнозований бал за x = 0 — це вільний член a = 40, а не 5.

2Пряма найменших квадратів

Жодна пряма не проходить через усі точки. Вертикальна відстань від точки до прямої — це її залишок, e = y − ŷ.

Пряма найменших квадратів — це пряма з найменшою можливою сумою квадратів залишків. Її кутовий коефіцієнт і вільний член випливають із сум відхилень від середніх:

Sxx = Σ(x − x̄)², Sxy = Σ(x − x̄)(y − ȳ)
b = Sxy / Sxx, a = ȳ − b · x̄

Пряма завжди проходить через точку середніх (x̄, ȳ). Тому a = ȳ − b · x̄.

Якщо задано лише суми, використайте скорочення Sxx = Σx² − (Σx)²/n і Sxy = Σxy − ΣxΣy/n.

Самоперевірка Для набору даних x̄ = 4, ȳ = 10 і b = 2. Чому дорівнює вільний член a?
  1. 10
  2. 18
  3. 2
  4. −2

Відповідь: 2. a = ȳ − b · x̄ = 10 − 2 · 4 = 2. Додавання замість віднімання дає 18, а 10 — це сама ȳ, що забуває кутовий коефіцієнт.

3Коефіцієнт кореляції

Коефіцієнт кореляції Пірсона r вимірює, наскільки близько точки лежать до прямої. Він завжди між −1 і 1.

r = Sxy / √(Sxx · Syy), Syy = Σ(y − ȳ)²
  • r близько до 1: сильна висхідна тенденція.
  • r близько до −1: сильна спадна тенденція, як-от ціна автомобіля залежно від його віку.
  • r близько до 0: лінійного зв’язку немає.

r має той самий знак, що й кутовий коефіцієнт b. Його квадрат r² — це частка варіації y, яку пояснює пряма.

Сильна кореляція не доводить, що x спричиняє y. Обидві можуть залежати від третьої величини.

Самоперевірка Для віку автомобіля x і ціни y маємо r = −0,95. Що це вам говорить?
  1. Розрахунок хибний, бо r від’ємне
  2. Сильний спадний лінійний зв’язок
  3. Слабкий зв’язок
  4. Старіші автомобілі коштують більше

Відповідь: Сильний спадний лінійний зв’язок. r біля −1 означає, що точки лежать близько до спадної прямої: ціна падає зі зростанням віку. Від’ємне r цілком припустиме; неможливі лише значення поза межами від −1 до 1.

4Метод крок за кроком

  1. Обчисліть середні x̄ і ȳ.
  2. Складіть таблицю зі стовпцями x − x̄, y − ȳ, їхній добуток і (x − x̄)². Додайте (y − ȳ)², якщо запитано r.
  3. Додайте стовпці, щоб отримати Sxy, Sxx і Syy.
  4. Кутовий коефіцієнт b = Sxy/Sxx, потім вільний член a = ȳ − b · x̄.
  5. Кореляція r = Sxy/√(SxxSyy).
  6. Прогноз: підставте x у ŷ = a + bx. Залишок: e = y − ŷ.

5Розв’язаний приклад

Простежте кожен крок. Спробуйте передбачити наступний, перш ніж його відкрити.

Розв’язаний приклад

Виміряно п’ять пар: x = 1, 2, 3, 4, 5 і y = 3, 5, 6, 8, 8. Знайдіть пряму найменших квадратів ŷ = a + b·x і спрогнозуйте ŷ для x = 6.

1

Середні

x̄ = 15 / 5 = 3, ȳ = 30 / 5 = 6
2

Відхилення

x − x̄: −2, −1, 0, 1, 2.

y − ȳ: −3, −1, 0, 2, 2.

3

Суми

Перемножте пари: 6, 1, 0, 2, 4. Піднесіть відхилення x до квадрата: 4, 1, 0, 1, 4.

Sxy = 6 + 1 + 0 + 2 + 4 = 13, Sxx = 4 + 1 + 0 + 1 + 4 = 10
4

Кутовий коефіцієнт і вільний член

b = 13 / 10 = 1,3
a = 6 − 1,3 · 3 = 6 − 3,9 = 2,1
xy123456246810ŷ = 2,1 + 1,3x

Пунктирні лінії — це залишки. Вони малі, тож пряма добре підходить.

5

Прогноз

ŷ = 2,1 + 1,3 · 6 = 2,1 + 7,8 = 9,9

Перевірка: пряма проходить через точку середніх, 2,1 + 1,3 · 3 = 6 = ȳ.

Відповідь

ŷ = 2,1 + 1,3x, а прогноз для x = 6 — ŷ = 9,9.

6Типові помилки

  • Обчислювати залишок як ŷ − y замість y − ŷ.
  • Ділити на Syy замість Sxx для кутового коефіцієнта.
  • Плутати a і b: кутовий коефіцієнт множить x.
  • Забувати, що r має той самий знак, що й кутовий коефіцієнт.
  • Прогнозувати далеко за межами діапазону даних. Пряма там може не діяти.
Самоперевірка Пряма ŷ = 2,1 + 1,3x. Виміряно нову точку (6, 8). Який її залишок?
  1. 1,9
  2. 17,9
  3. 9,9
  4. −1,9

Відповідь: −1,9. ŷ = 2,1 + 1,3 · 6 = 9,9, тож e = y − ŷ = 8 − 9,9 = −1,9. Точка лежить нижче за пряму. 1,9 обчислює ŷ − y, навпаки.

7Як виглядають екзаменаційні запитання

  • Легко: кутовий коефіцієнт і вільний член. П’ять пар у таблиці; знайдіть b або a прямої найменших квадратів.
  • Середньо: коефіцієнт кореляції r, за даними або за заданими сумами.
  • Складно: прогноз. Використайте пряму, щоб спрогнозувати ŷ для нового x, або знайдіть залишок нового спостереження.

Швидка перевірка: знак b і r має відповідати напрямку діаграми розсіювання.

Вивчайте крок за кроком у застосункуВивчайте крок за кроком у застосунку

Розв’язані приклади

Приклад 1Легка
xy2441262082210301235xy510102030

Таблиця містить 6 пар спостережень x = навантаження в kN і y = видовження в mm. Використайте пряму найменших квадратів ŷ = a + b·x. Знайдіть вільний член a.

n = 6

Знайти: a

Показати підказки
  1. Спершу знайдіть нахил b = Sxy/Sxx.
  2. x̄ = 7, ȳ = 20,5.
  3. Пряма проходить через (x̄, ȳ), тож a = ȳ − b·x̄.
Показати відповідь і покроковий розв’язок

Регресія методом найменших квадратів: якщо x̄ і ȳ — середні, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² і Sxy = Σ(x − x̄)(y − ȳ), то пряма ŷ = a + b·x має нахил b = Sxy/Sxx і вільний член a = ȳ − b·x̄, тож вона завжди проходить через (x̄, ȳ). Коефіцієнт кореляції Пірсона r = Sxy/√(Sxx·Syy) лежить між −1 і 1; r² — частка варіації y, пояснена прямою.

Середні

x̄ = 42/6 = 7
ȳ = 123/6 = 20,5

Суми квадратів і добутків

Sxx = Σ(x − x̄)² = 70
Sxy = Σ(x − x̄)(y − ȳ) = 211

Нахил

b = 211/70 = 3,014

Вільний член

a = 20,5 − 3,014·7 = −0,6

Відповідь

a = −0,6
Приклад 2Середня
xy1787199921100231242512727146xy2025100120140

Таблиця містить 6 пар спостережень x = температура в °C і y = продано морозива. Задано їхні суми. Знайдіть коефіцієнт кореляції Пірсона r за цими сумами.

n = 6Σx = 132Σy = 683Σx² = 2974Σy² = 80191Σxy = 15429

Знайти: r

Показати підказки
  1. Sxy = Σxy − Σx·Σy/n.
  2. Sxx = Σx² − (Σx)²/n, Syy = Σy² − (Σy)²/n.
  3. r = Sxy/√(Sxx·Syy).
Показати відповідь і покроковий розв’язок

Регресія методом найменших квадратів: якщо x̄ і ȳ — середні, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² і Sxy = Σ(x − x̄)(y − ȳ), то пряма ŷ = a + b·x має нахил b = Sxy/Sxx і вільний член a = ȳ − b·x̄, тож вона завжди проходить через (x̄, ȳ). Коефіцієнт кореляції Пірсона r = Sxy/√(Sxx·Syy) лежить між −1 і 1; r² — частка варіації y, пояснена прямою.

Центровані суми

Sxy = 15429 − 132·683/6 = 403
Sxx = 2974 − 132²/6 = 70
Syy = 80191 − 683²/6 = 2443

Коефіцієнт кореляції

r = 403/√(70·2443) = 0,9746

Відповідь

r = 0,9746
Приклад 3Складна
xy123221318412513xy241520x = 1,5

Таблиця містить 5 пар спостережень x = вік автомобіля в роках і y = ціна в k€. Використайте пряму найменших квадратів ŷ = a + b·x. Спрогнозуйте ŷ для x = 1,5.

n = 5x = 1,5

Знайти: ŷ

Показати підказки
  1. Спершу знайдіть пряму найменших квадратів: b = Sxy/Sxx і a = ȳ − b·x̄.
  2. x̄ = 3, ȳ = 17,4.
  3. ŷ = a + b·1,5.
Показати відповідь і покроковий розв’язок

Регресія методом найменших квадратів: якщо x̄ і ȳ — середні, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² і Sxy = Σ(x − x̄)(y − ȳ), то пряма ŷ = a + b·x має нахил b = Sxy/Sxx і вільний член a = ȳ − b·x̄, тож вона завжди проходить через (x̄, ȳ). Коефіцієнт кореляції Пірсона r = Sxy/√(Sxx·Syy) лежить між −1 і 1; r² — частка варіації y, пояснена прямою.

Середні

x̄ = 15/5 = 3
ȳ = 87/5 = 17,4

Суми квадратів і добутків

Sxx = Σ(x − x̄)² = 10
Sxy = Σ(x − x̄)(y − ȳ) = −29

Лінія регресії

b = −29/10 = −2,9
a = 17,4 − (−2,9)·3 = 26,1
ŷ = 26,1 − 2,9·x

Прогноз

ŷ = 26,1 + (−2,9)·1,5 = 21,75

Відповідь

ŷ = 21,75

Запитання й відповіді

Лінійна регресія та кореляція: що це?

Для кожного випадку ви вимірюєте дві величини, наприклад x = години навчання і y = екзаменаційний бал. Кожна пара — одна точка на діаграмі розсіювання.

Якщо точки лежать приблизно вздовж прямої, їх можна описати прямою і використати її для прогнозу y за x. Це лінійна регресія.

Лінійна регресія та кореляція: як розв’язувати задачі крок за кроком?

Регресія методом найменших квадратів: якщо x̄ і ȳ — середні, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² і Sxy = Σ(x − x̄)(y − ȳ), то пряма ŷ = a + b·x має нахил b = Sxy/Sxx і вільний член a = ȳ − b·x̄, тож вона завжди проходить через (x̄, ȳ). Коефіцієнт кореляції Пірсона r = Sxy/√(Sxx·Syy) лежить між −1 і 1; r² — частка варіації y, пояснена прямою.

Лінійна регресія та кореляція: які помилки найпоширеніші?
  • Вільний член a = ȳ − b·x̄: пряма проходить через (x̄, ȳ).
  • ȳ — це висота прямої при x = x̄, а не при x = 0. Використайте a = ȳ − b·x̄.
  • Використовуйте той самий дільник (n або n − 1) у коваріації й обох стандартних відхиленнях. З Sxy, Sxx і Syy дільники скорочуються.
Лінійна регресія та кореляція: що ви тренуєте?
  • Легка: нахил і вільний член
  • Середня: коефіцієнт кореляції
  • Складна: прогноз

Кожна задача має нові значення, тож ви вивчаєте метод, а не відповідь. Застрягли? Спершу відкрийте невелику підказку, а повне пояснення — лише коли воно знадобиться.

Як проходить тренування

  • Кожна задача має нові значення, тож ви вивчаєте метод, а не відповідь.
  • Застрягли? Спершу відкрийте невелику підказку, а повне пояснення — лише коли воно знадобиться.
  • Ваш прогрес, помилки та збережені задачі зберігаються, тож перед іспитом ви зможете все повторити.

Теми до і після цієї

Спочатку вивчіть

Описова статистика

Калькулятори

Калькулятор лінійної регресіїКалькулятор коефіцієнта кореляції (Пірсон і Спірмен)

Курси з цією темою

Методи досліджень і статистика в психологіїОснови статистикиСтатистика 2: Статистичне висновуванняТренувальні задачі AP StatisticsТренування з кількісних методів і інструментів з фіксованим доходом CFA Level I

Інші теми: Математика і статистика

ГраниціПохідніОптимізаціяІнтегралиПослідовності та рядиДиференціальне числення функцій багатьох зміннихДиференціальні рівнянняКомплексні числаЧисельні методиМатриці та визначникиВектори: скалярний і векторний добуткиЛогіка висловлювань і доведенняМножини, відношення та функціїТеорія графівТеорія чисел і арифметика за модулемІмовірністьОписова статистикаНормальний розподілДовірчі інтервалиПеревірка гіпотез і довірчі інтервалиКритерії хі-квадрат

Робочий аркуш для друку

Робочий аркуш «Лінійна регресія та кореляція» з відповідями
Тренуйтеся безкоштовно: Лінійна регресія та кореляціяТренуйтеся зараз: Лінійна регресія та кореляціяБезкоштовних задач щодня: 5. Без картки.