Определение оценок параметров уравнения регрессии с помощью

метода наименьших квадратов (МНК)

Для статистической проверки взаимосвязи между зависимой и независимой переменными необходимо найти значения b₀ , b₁ и e в выражении (9). Метод оценивания должен быть таким, чтобы это были наилучшие, линейные, несмещенные оценки (BLUE – Best, Linear, Unbiased Estimator).

Понятие наилучшие относится к требованию для оценок параметров быть наиболее эффективными, т.е., чтобы дисперсии оценок параметров были как можно меньше. Это достигается таким выбором значений b₀ и b₁, которые минимизируют сумму квадратов значений e².

Термин линейные просто повторяет, что связь линейна.

Требование несмещенные означает, что ожидаемые (математическое ожидание) значения оценок параметров модели совпадают с истинными значениями параметров.

Метод, используемый чаще других для нахождения оценок параметров уравнения регрессии и известный как метод наименьших квадратов (МНК), дает наилучшие линейные несмещенные оценки. Он называется так потому, что при расчете коэффициентов прямой линии, которая наиболее соответствует фактическим данным, с помощью этого метода стараются найти линию, минимизирующую сумму квадратов отклонений (расхождений) модельных значений Y (рассчитанных по уравнению прямой) от фактических наблюдений.

Истинные значения параметров b₀ и b₁ вычислить невозможно, поскольку обычно в распоряжении исследователя находится ограниченное число наблюдений, поэтому неизвестные параметры регрессии подлежат оцениванию по определенной процедуре. Оценки параметров будем обозначать через b₀ и b₁ соответственно. Тогда уравнение парной регрессии, по которому можно рассчитать ожидаемое значение Y, может быть представлено так:

(10)

Следовательно, для каждого значения X _i существует фактическое значение Y _i, но при использовании выражения (10) появляется также оценочное значение . Разности между Y _i и – это остатки е_i. Найденная с помощью МНК линия регрессии представляет собой прямую, минимизирующую сумму квадратов е_i, т.е. минимизирует

.

Для обоснованного применения МНК необходимо, чтобы были выполнены следующие требования (основные предпосылки):

1) значение возмущения е_i нормально распределено со средней, равной нулю, и постоянной дисперсией s², что часто записывается как е_i ~ N(0, s²),

2) значения возмущения попарно независимы, т.е. ковариация в парах значений возмущения равна нулю (Cov e_ie_j = 0);

3) независимая (объясняющая) переменная не связана корреляционной зависимостью с возмущением.

Первая предпосылка указывает, что существует только один главный фактор (Х), определяющий величину Y, присутствует также множество второстепенных факторов, некоторые из которых оказывают прямое воздействие на величину Y, а другие – обратное. В случае множества прямых и обратных влияний значение остатка будет нормально распределено. Допущение о постоянной дисперсии значения возмущения означает, что как бы ни была велика или мала величина независимой переменной Х, разброс значений е постоянен. При этом говорят, что значение возмущения обладает свойством гомоскедастичности. Если же дисперсия остатка непостоянна, то возмущения определяются как гетероскедастичные.

Вторая предпосылка (о независимости значений е друг от друга) определяет тот факт, что второстепенные факторы или факторы, которые послужили причиной ошибки для одной из величин Y, не приводят автоматически к ошибкам для всех наблюдений Y. Эта предпосылка приобретает большое значение прежде всего в том случае, когда исходные данные представлены временными рядами. Когда значения е зависимы, говорят об автокоррелированности возмущения.

Третья предпосылка находит свое выражение в том, что переменная Х объясняет изменение переменной Y, но мы не можем утверждать обратное, т.е. переменная Y не объясняет переменную Х. Итак, предполагается односторонняя зависимость Y от Х.

Не нашли, что искали? Воспользуйтесь поиском: