Оценка дисперсии случайной ошибки модели регрессии

Ответ

При проведении регрессионного анализа основная трудность заключается в том, что генеральная дисперсия случайной ошибки является неизвестной величиной, что вызывает необходимость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии (или исправленной дисперсией) случайной ошибки линейной модели парной регрессии называется величина, рассчитываемая по формуле п Уе2 G2(f) = S2(^)= ’(1)

п - 2

где п — объем выборочной совокупности;

е,-=л-л =z

Для линейной модели множественной регрессии несмещенная оценка дисперсии случайной ошибки рассчитывается по формуле п

Ss) = '=’ и-?-1

где к — число оцениваемых параметров модели регрессии.

Оценка матрицы ковариаций случайных ошибок Cov(e) будет являться оценочной матрицей ковариаций:

(ЭД = 52«)Ы,(2)

где Ь? — единичная матрица.

Оценка дисперсии случайной ошибки модели регрессии распределена по (хи-квадрат) — закону распределения с (п-к-1) степенями свободы.

Для доказательства несмещенности оценки дисперсии случайной ошибки модели регрессии необходимо доказать справедливость равенства e(s2(z?)) = g2(0.

Доказательство. Примем без доказательства справедливость следующих равенств:

E(S2(?)) = —G2(f). п

Se) = П -S?) и -1

Где <э(б) — генеральная дисперсия случайной ошибки;

Д(г) — выборочная дисперсия случайной ошибки;

S'(f) — выборочная оценка дисперсии случайной ошибки.

Тогда

Е(52(^)) = еГ ” -S2(?)] = "Е(52(?))= ” ?П~1^(?) = аД) и -1 J п-1 «-1 п ’

т.е. E(S2U)) = G2(O , что и требовалось доказать.

Следовательно, выборочная оценка дисперсии случайной ошибки S‘{?) является несмещенной оценкой генеральной дисперсии случайной ошибки модели регрессии о2(е).

При условии извлечения из генеральной совокупности нескольких выборок одинакового объема п и при одинаковых значениях объясняющих переменных х, наблюдаемые значения зависимой переменной у будут случайным образом колебаться за счет случайного характера случайной компоненты ?. Отсюда можно сделать вывод, что будут варьироваться и зависеть от значений переменной у значения оценок коэффициентов регрессии и оценка дисперсии случайной ошибки модели регрессии.

Для иллюстрации этого утверждения докажем зависимость значения МНК-оценки А от величины случайной ошибки е.

МНК-оценка коэффициента Pi модели регрессии определяется по формуле

Cov(x,y)

G2(x) ?

В связи с тем, что переменная у зависит от случайной компоненты е (yi=po+PiXi+?i), ковариация между зависимой переменной у и независимой переменной х может быть представлена следующим образом:

Cov(x,y) = Сот(х,(Д + Ах + f)) = Cov(x, Д) + Cov(x, Дх) + Cov(x,?)

Для дальнейших преобразования используются свойства ковариации:

  • 1) ковариация между переменной х и константой С равна нулю: Cov(x,C)=0, C=const;
  • 2) ковариация переменной х с самой собой равна дисперсии этой переменной: Cov(x,x)=cf (х).

Исходя из указанных свойств ковариации, справедливы следующие равенства:

Cov(x,fto)=0 tf}o=const);

Cov(x, pix)= fh'X-Covfr.x^ fh^o^x).

Следовательно, ковариация между зависимой и независимой переменными Cov(x,y) может быть записана как

Cov(x,y)=р1(Г (x)+Cov(x,s).

В результате МНК-оценка коэффициента Pi модели регрессии примет вид

я A G2 (х) + Cov(x, ?) Cov(x, ?)

А= G=W =А+ G2(x) -<3»

Таким образом, МНК-оценка А может быть представлена как сумма двух компонент:

1) константы Д/, т.е.

истинного значения коэффициента;

2) случайной ошибки Cov(x,e), вызывающей вариацию коэффициента модели регрессии.

Однако на практике подобное разложение МНК-оценки невозможно, потому что истинные значения коэффициентов модели регрессии и значения случайной ошибки являются неизвестными. Теоретически данное разложение можно использовать при изучении статистических свойств МНК-оценок.

Аналогично доказывается, что МНК-оценка Д коэффициента модели регрессии и несмещенная оценка дисперсии случайной ошибки S2(f) могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, зависящей от ошибки модели регрессии ?.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >