Линейная регрессия и корреляция: задачи с пошаговыми решениями

Другие названия: регрессионный анализ · коэффициент корреляции · метод наименьших квадратов

Бесплатные задачи по теме Линейная регрессия и корреляция с рисунками, подсказками и подробными решениями. Каждый раз новые значения, трёх уровней: угловой коэффициент и свободный член, коэффициент корреляции, прогноз.

Бесплатная задачаЛёгкая
xy242352445555660760xy2465060

В таблице даны 6 пар наблюдений x = часов подготовки и y = балл за экзамен. Используйте прямую наименьших квадратов ŷ = a + b·x. Найдите свободный член a.

n = 6
Следующая задача →
Занимайтесь бесплатно: Линейная регрессия и корреляцияЗанимайтесь сейчас: Линейная регрессия и корреляцияБесплатных задач каждый день: 5. Без карты.

Что вы отрабатываете

  1. Лёгкаяугловой коэффициент и свободный член
  2. Средняякоэффициент корреляции
  3. Сложнаяпрогноз

Основные формулы

Суммы квадратов
Sxx = Σ(x − x̄)² = Σx² − (Σx)²/n, Sxy = Σxy − ΣxΣy/n
Угловой коэффициент
b = Sxy/Sxx
Свободный член
a = ȳ − b·x̄
Корреляция
r = Sxy/√(SxxSyy)
Остаток
e = y − ŷ

Изучите тему «Линейная регрессия и корреляция» с нуля

Перед этим: Описательная статистика

1Что такое регрессия

Для каждого случая вы измеряете две величины, например x = часы занятий и y = экзаменационный балл. Каждая пара — одна точка на диаграмме рассеяния.

xy123456246810

Если точки лежат примерно вдоль прямой, их можно описать прямой и использовать её для предсказания y по x. Это линейная регрессия.

ŷ = a + b · x
  • ŷ («y с крышкой») — предсказанное значение y.
  • b — угловой коэффициент: на сколько меняется ŷ, когда x растёт на 1.
  • a — свободный член: значение ŷ при x = 0.
Самопроверка Линия регрессии ŷ = 40 + 5x, где x — часы занятий, а ŷ — предсказанный балл. Что означает число 5?
  1. Балл в 5 раз больше числа часов
  2. Каждый дополнительный час добавляет около 5 баллов
  3. Линия проходит через точку (5, 40)
  4. Студент, который не занимается, получает 5

Ответ: Каждый дополнительный час добавляет около 5 баллов. Угловой коэффициент b — это изменение ŷ на единицу x. Предсказанный балл при x = 0 — это свободный член a = 40, а не 5.

2Прямая наименьших квадратов

Ни одна прямая не проходит через все точки. Вертикальное расстояние от точки до прямой — это её остаток, e = y − ŷ.

Прямая наименьших квадратов — это прямая с наименьшей возможной суммой квадратов остатков. Её угловой коэффициент и свободный член следуют из сумм отклонений от средних:

Sxx = Σ(x − x̄)², Sxy = Σ(x − x̄)(y − ȳ)
b = Sxy / Sxx, a = ȳ − b · x̄

Прямая всегда проходит через точку средних (x̄, ȳ). Поэтому a = ȳ − b · x̄.

Если даны только суммы, используйте сокращения Sxx = Σx² − (Σx)²/n и Sxy = Σxy − ΣxΣy/n.

Самопроверка Для набора данных x̄ = 4, ȳ = 10 и b = 2. Чему равен свободный член a?
  1. 10
  2. 18
  3. 2
  4. −2

Ответ: 2. a = ȳ − b · x̄ = 10 − 2 · 4 = 2. Сложение вместо вычитания даёт 18, а 10 — это сам ȳ, что забывает угловой коэффициент.

3Коэффициент корреляции

Коэффициент корреляции Пирсона r измеряет, насколько близко точки лежат к прямой. Он всегда находится между −1 и 1.

r = Sxy / √(Sxx · Syy), Syy = Σ(y − ȳ)²
  • r близко к 1: сильная восходящая тенденция.
  • r близко к −1: сильная нисходящая тенденция, например цена автомобиля против его возраста.
  • r близко к 0: линейной связи нет.

r имеет тот же знак, что и угловой коэффициент b. Его квадрат r² — это доля вариации y, объясняемая прямой.

Сильная корреляция не доказывает, что x вызывает y. Обе величины могут зависеть от третьей.

Самопроверка Для возраста автомобиля x и цены y r = −0,95. О чём это говорит?
  1. Вычисление неверно, потому что r отрицательно
  2. О сильной нисходящей линейной связи
  3. О слабой связи
  4. Старые автомобили стоят дороже

Ответ: О сильной нисходящей линейной связи. r около −1 означает, что точки лежат близко к нисходящей прямой: цена падает с ростом возраста. Отрицательный r вполне допустим; невозможны только значения вне диапазона от −1 до 1.

4Метод по шагам

  1. Вычислите средние x̄ и ȳ.
  2. Составьте таблицу со столбцами x − x̄, y − ȳ, их произведение и (x − x̄)². Добавьте (y − ȳ)², если спрашивается r.
  3. Сложите столбцы, чтобы получить Sxy, Sxx и Syy.
  4. Угловой коэффициент b = Sxy/Sxx, затем свободный член a = ȳ − b · x̄.
  5. Корреляция r = Sxy/√(SxxSyy).
  6. Прогноз: подставьте x в ŷ = a + bx. Остаток: e = y − ŷ.

5Разобранный пример

Пройдите каждый шаг. Попробуйте предсказать следующий, прежде чем открыть его.

Разобранный пример

Измерены пять пар: x = 1, 2, 3, 4, 5 и y = 3, 5, 6, 8, 8. Найдите прямую наименьших квадратов ŷ = a + b·x и предскажите ŷ для x = 6.

1

Средние

x̄ = 15 / 5 = 3, ȳ = 30 / 5 = 6
2

Отклонения

x − x̄: −2, −1, 0, 1, 2.

y − ȳ: −3, −1, 0, 2, 2.

3

Суммы

Перемножьте пары: 6, 1, 0, 2, 4. Возведите в квадрат отклонения x: 4, 1, 0, 1, 4.

Sxy = 6 + 1 + 0 + 2 + 4 = 13, Sxx = 4 + 1 + 0 + 1 + 4 = 10
4

Угловой коэффициент и свободный член

b = 13 / 10 = 1,3
a = 6 − 1,3 · 3 = 6 − 3,9 = 2,1
xy123456246810ŷ = 2,1 + 1,3x

Пунктирные линии — это остатки. Они малы, значит, прямая хорошо подходит.

5

Прогноз

ŷ = 2,1 + 1,3 · 6 = 2,1 + 7,8 = 9,9

Проверка: прямая проходит через точку средних, 2,1 + 1,3 · 3 = 6 = ȳ.

Ответ

ŷ = 2,1 + 1,3x, а прогноз для x = 6 равен ŷ = 9,9.

6Типичные ошибки

  • Вычисление остатка как ŷ − y вместо y − ŷ.
  • Деление на Syy вместо Sxx при вычислении углового коэффициента.
  • Путаница между a и b: угловой коэффициент умножает x.
  • Забытое, что r имеет тот же знак, что и угловой коэффициент.
  • Прогноз далеко за пределами диапазона данных. Там прямая может не выполняться.
Самопроверка Прямая — ŷ = 2,1 + 1,3x. Измерена новая точка (6, 8). Чему равен её остаток?
  1. 1,9
  2. 17,9
  3. 9,9
  4. −1,9

Ответ: −1,9. ŷ = 2,1 + 1,3 · 6 = 9,9, поэтому e = y − ŷ = 8 − 9,9 = −1,9. Точка лежит ниже прямой. 1,9 вычисляет ŷ − y, наоборот.

7Как выглядят экзаменационные задачи

  • Лёгкая: угловой коэффициент и свободный член. Пять пар в таблице; найдите b или a прямой наименьших квадратов.
  • Средняя: коэффициент корреляции r по данным или по заданным суммам.
  • Сложная: прогноз. Используйте прямую для предсказания ŷ при новом x или найдите остаток нового наблюдения.

Быстрая проверка: знак b и r должен соответствовать направлению диаграммы рассеяния.

Изучайте шаг за шагом в приложенииИзучайте шаг за шагом в приложении

Разобранные примеры

Пример 1Лёгкая
xy2441262082210301235xy510102030

В таблице даны 6 пар наблюдений x = нагрузка в kN и y = удлинение в mm. Используйте прямую наименьших квадратов ŷ = a + b·x. Найдите свободный член a.

n = 6

Найти: a

Показать подсказки
  1. Сначала найдите угловой коэффициент b = Sxy/Sxx.
  2. x̄ = 7, ȳ = 20,5.
  3. Прямая проходит через (x̄, ȳ), поэтому a = ȳ − b·x̄.
Показать ответ и пошаговое решение

Метод наименьших квадратов: при средних x̄ и ȳ, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² и Sxy = Σ(x − x̄)(y − ȳ) прямая ŷ = a + b·x имеет угловой коэффициент b = Sxy/Sxx и свободный член a = ȳ − b·x̄, поэтому она всегда проходит через (x̄, ȳ). Коэффициент корреляции Пирсона r = Sxy/√(Sxx·Syy) лежит между −1 и 1; r² — доля вариации y, объяснённая прямой.

Средние

x̄ = 42/6 = 7
ȳ = 123/6 = 20,5

Суммы квадратов и произведений

Sxx = Σ(x − x̄)² = 70
Sxy = Σ(x − x̄)(y − ȳ) = 211

Угловой коэффициент

b = 211/70 = 3,014

Свободный член

a = 20,5 − 3,014·7 = −0,6

Ответ

a = −0,6
Пример 2Средняя
xy1787199921100231242512727146xy2025100120140

В таблице даны 6 пар наблюдений x = температура в °C и y = продано мороженого. Даны их суммы. Найдите по этим суммам коэффициент корреляции Пирсона r.

n = 6Σx = 132Σy = 683Σx² = 2974Σy² = 80191Σxy = 15429

Найти: r

Показать подсказки
  1. Sxy = Σxy − Σx·Σy/n.
  2. Sxx = Σx² − (Σx)²/n, Syy = Σy² − (Σy)²/n.
  3. r = Sxy/√(Sxx·Syy).
Показать ответ и пошаговое решение

Метод наименьших квадратов: при средних x̄ и ȳ, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² и Sxy = Σ(x − x̄)(y − ȳ) прямая ŷ = a + b·x имеет угловой коэффициент b = Sxy/Sxx и свободный член a = ȳ − b·x̄, поэтому она всегда проходит через (x̄, ȳ). Коэффициент корреляции Пирсона r = Sxy/√(Sxx·Syy) лежит между −1 и 1; r² — доля вариации y, объяснённая прямой.

Центрированные суммы

Sxy = 15429 − 132·683/6 = 403
Sxx = 2974 − 132²/6 = 70
Syy = 80191 − 683²/6 = 2443

Коэффициент корреляции

r = 403/√(70·2443) = 0,9746

Ответ

r = 0,9746
Пример 3Сложная
xy123221318412513xy241520x = 1,5

В таблице даны 5 пар наблюдений x = возраст автомобиля в годах и y = цена в k€. Используйте прямую наименьших квадратов ŷ = a + b·x. Спрогнозируйте ŷ при x = 1,5.

n = 5x = 1,5

Найти: ŷ

Показать подсказки
  1. Сначала найдите прямую наименьших квадратов: b = Sxy/Sxx и a = ȳ − b·x̄.
  2. x̄ = 3, ȳ = 17,4.
  3. ŷ = a + b·1,5.
Показать ответ и пошаговое решение

Метод наименьших квадратов: при средних x̄ и ȳ, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² и Sxy = Σ(x − x̄)(y − ȳ) прямая ŷ = a + b·x имеет угловой коэффициент b = Sxy/Sxx и свободный член a = ȳ − b·x̄, поэтому она всегда проходит через (x̄, ȳ). Коэффициент корреляции Пирсона r = Sxy/√(Sxx·Syy) лежит между −1 и 1; r² — доля вариации y, объяснённая прямой.

Средние

x̄ = 15/5 = 3
ȳ = 87/5 = 17,4

Суммы квадратов и произведений

Sxx = Σ(x − x̄)² = 10
Sxy = Σ(x − x̄)(y − ȳ) = −29

Линия регрессии

b = −29/10 = −2,9
a = 17,4 − (−2,9)·3 = 26,1
ŷ = 26,1 − 2,9·x

Прогноз

ŷ = 26,1 + (−2,9)·1,5 = 21,75

Ответ

ŷ = 21,75

Вопросы и ответы

Линейная регрессия и корреляция: что это?

Для каждого случая вы измеряете две величины, например x = часы занятий и y = экзаменационный балл. Каждая пара — одна точка на диаграмме рассеяния.

Если точки лежат примерно вдоль прямой, их можно описать прямой и использовать её для предсказания y по x. Это линейная регрессия.

Линейная регрессия и корреляция: как решать задачи шаг за шагом?

Метод наименьших квадратов: при средних x̄ и ȳ, Sxx = Σ(x − x̄)², Syy = Σ(y − ȳ)² и Sxy = Σ(x − x̄)(y − ȳ) прямая ŷ = a + b·x имеет угловой коэффициент b = Sxy/Sxx и свободный член a = ȳ − b·x̄, поэтому она всегда проходит через (x̄, ȳ). Коэффициент корреляции Пирсона r = Sxy/√(Sxx·Syy) лежит между −1 и 1; r² — доля вариации y, объяснённая прямой.

Линейная регрессия и корреляция: какие ошибки самые частые?
  • Свободный член a = ȳ − b·x̄: прямая проходит через (x̄, ȳ).
  • ȳ — это высота прямой при x = x̄, а не при x = 0. Используйте a = ȳ − b·x̄.
  • Используйте один и тот же делитель (n или n − 1) в ковариации и в обоих стандартных отклонениях. С Sxy, Sxx и Syy делители сокращаются.
Линейная регрессия и корреляция: что вы тренируете?
  • Лёгкая: угловой коэффициент и свободный член
  • Средняя: коэффициент корреляции
  • Сложная: прогноз

В каждой задаче новые значения, поэтому вы учите метод, а не ответ. Застряли? Сначала откройте небольшую подсказку, а полное объяснение — только когда оно понадобится.

Как проходят занятия

  • В каждой задаче новые значения, поэтому вы учите метод, а не ответ.
  • Застряли? Сначала откройте небольшую подсказку, а полное объяснение — только когда оно понадобится.
  • Ваш прогресс, ошибки и сохранённые задачи остаются, поэтому перед экзаменом вы сможете всё повторить.

Темы до и после этой

Сначала изучите

Описательная статистика

Калькуляторы

Калькулятор линейной регрессииКалькулятор коэффициента корреляции (Пирсона и Спирмена)

Курсы с этой темой

Методы исследования и статистика в психологииОсновы статистикиСтатистика 2: Статистический выводЗадачи для подготовки к AP StatisticsCFA Level I: количественные методы и инструменты с фиксированной доходностью

Другие темы: Математика и статистика

ПределыПроизводныеОптимизацияИнтегралыПоследовательности и рядыМатематический анализ функций нескольких переменныхДифференциальные уравненияКомплексные числаЧисленные методыМатрицы и определителиВекторы: скалярное и векторное произведенияЛогика высказываний и доказательстваМножества, отношения и функцииТеория графовТеория чисел и модульная арифметикаВероятностьОписательная статистикаНормальное распределениеДоверительные интервалыПроверка гипотез и доверительные интервалыКритерии хи-квадрат

Лист заданий для печати

Линейная регрессия и корреляция: лист заданий с ответами
Занимайтесь бесплатно: Линейная регрессия и корреляцияЗанимайтесь сейчас: Линейная регрессия и корреляцияБесплатных задач каждый день: 5. Без карты.