Линейная парная регрессия

1. Линейная парная регрессия

1.1. Основные понятия и определения

Корреляционная зависимость может быть представлена в виде

M_x (Y ) = j(x ) (1)

или M_y (X ) = y(у ), где j(x ) ¹const, y(у ) ¹const.

В регрессионном анализе рассматривается односторонняя зависимость случайной переменной Y от одной (или нескольких) неслучайной независимой переменной Х . Такая зависимость Y от X (иногда ее называют регрессионной ) может быть также представлена в виде модельного уравнения регрессии Y от X (1). При этом зависимую переменную Y называют также функцией отклика (объясняемой, выходной, результирующей, эндогенной переменной, результативным признаком), а независимую переменную Х – объясняющей (входной, предсказывающей, предикторной, экзогенной переменной, фактором, регрессором, факторным признаком).

Для точного описания уравнения регрессии необходимо знать условный закон распределения зависимой переменной Y при условии, что переменная Х примет значение х , т.е. Х = х . В статистической практике такую информацию получить, как правило, не удается, так как обычно исследователь располагает лишь выборкой пар значений (x_i , y_i ) ограниченного объема n . В этом случае речь может идти об оценке (приближенном выражении, аппроксимации) по выборке функции регрессии. Такой оценкой является выборочная линия (кривая) регрессии :

= ( x , b ₀ , b ₁ , …, b_p ) (2)

где - условная (групповая) средняя переменной Y при фиксированном значении переменной X = x ; b ₀ , b ₁ , …, b_p – параметры кривой.

Уравнение (2) называется выборочным уравнением регрессии .

В дальнейшем рассмотрим линейную модель и представим ее в виде

= b ₀ + b ₁ x . (3)

Для решения поставленной задачи определим формулы расчета неизвестных параметров уравнения линейной регрессии (b ₀ , b ₁ ).

Согласно методу наименьших квадратов (МНК) неизвестные параметры b ₀ и b ₁ выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значенийy_i от значений , найденных по уравнению регрессии (3), была минимальной:

. (4)

На основании необходимого условия экстремума функции двух переменных S = S (b ₀ , b ₁ ) (4) приравняем к нулю ее частные производные, т.е.

откуда после преобразований получим систему нормальных уравнений для определения параметров линейной регрессии:

(5)

Теперь, разделив обе части уравнений (5) на n , получим систему нормальных уравнений в следующем виде:

(6)

где соответствующие средние определяются по формулам:

; (7) ; (9)

; (8) . (10)

Решая систему (6), найдем

, (11)

где - выборочная дисперсия переменной Х :

, (12)

- выборочный корреляционный момент или выборочная ковариация:

. (13)

Коэффициент b ₁ называется выборочным коэффициентом регрессии Y по X .

Коэффициент регрессии Y по X показывает, на сколько единиц в среднем изменяется переменная Y при увеличении переменной X на одну единицу.

Отметим, что из уравнения регрессии следует, что линия регрессии проходит через точку , т.е. = b ₀ + b _{1 .}

На первый взгляд, подходящим измерителем тесноты связи Y от Х является коэффициент регрессии b ₁ . Однако b ₁ зависит от единиц измерения переменных. Очевидно, что для "исправления" b ₁ как показателя тесноты связи нужна такая стандартная система единиц измерения, в которой данные по различным характеристикам оказались бы сравнимы между собой. Если представить уравнение в эквивалентном виде:

. (14)

В этой системе величина называется выборочный коэффициент корреляции и является показателем тесноты связи.

Если r > 0 (b ₁ > 0), то корреляционная связь между переменными называется прямой, если r < 0 (b ₁ < 0), - обратной.

Учитывая (7)–(13) получим следующие формулы для расчета коэффициента корреляции:

; (15)

. (16)

Выборочный коэффициент корреляции обладает следующими свойствами:

1.Коэффициент корреляции принимает значения на отрезке [-1: 1], т.е. -1 ≤ r ≥ 1.

2.Приr =±1 корреляционная связь представляет линейную функциональную зависимость. При этом все наблюдения располагаются на прямой линии.

3. При r = 0 линейная корреляционная связь отсутствует. При этом линия регрессии параллельна оси ОХ .

В силу воздействия не

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать