Парный регрессионный анализ

Е. С. Комарова 

ПАРНЫЙ РЕГРЕССИОННЫЙ 
АНАЛИЗ 

Учебное пособие 

Направления подготовки: 
Прикладная математика и информатика, 
 Экономика, 
Фундаментальная информатика 
и информационные технологии 

   Москва
       Берлин 
2019 

Второе издание, стереотипное

УДК 519.24(075) 
ББК 65я7 
        К63 

Рецензент: 
В. Н. Павленко, д.ф.-м.н., профессор кафедры вычислительной математики 
ФГБОУ ВПО «Челябинский государственный университет»  

Составитель: 
Е. С. Комарова, старший преподаватель кафедры математики, экономики и управления 

Комарова, Е. С. 
К63     Парный регрессионный анализ : учебное пособие / 
  Е. С. Комарова. – 2-е изд., стер. – Москва ; Берлин : Директ-Медиа, 
  2019. – 59 с. 

ISBN 978-5-4499-0165-1 

В пособии изложен теоретический и практический материал раздела парный регрессионный анализ. Включает типовые примеры и задачи с 
использованием Microsoft Office Excel и Eviews. Для освоения данного материала 
достаточно 
знания 
базового 
курса 
теории 
вероятностей 
и 
математической статистики. 
Учебное пособие предназначено для преподавателей и студентов. Может 
быть использовано для проведения практических занятий и организации самостоятельной работы студентов. 

УДК 519.24(075) 
ББК 65я7 

ISBN 978-5-4499-0165-1 
© Комарова Е. С., текст, 2019 
© Издательство «Директ-Медиа», оформление, 2019 

1. Эконометрика: основные понятия и определения 

Эконометрика – это наука, изучающая методами математической 
статистики количественные закономерности и связи в экономике, выражаемые в виде математических моделей.  
Целевое назначение эконометрики – эмпирический вывод экономических закономерностей. 
Основные задачи эконометрики состоят в построении моделей, 
выражающих выводимые закономерности, оценка их параметров и 
проверка гипотез о закономерностях изменения и связях экономических показателей. 

Регрессионная модель – это уравнение, в котором объясняемая 
переменная представляется в виде функции от объясняющих переменных (например, модель спроса на некоторый товар в зависимости от 
его цены и дохода покупателей). По виду функции различают линейные и нелинейные регрессионные модели. Наиболее детально 
изучены и потому наиболее часто встречается в эконометрическом 
анализе методы оценки и анализа линейных регрессионных моделей. 

3 

2. Основные задачи эконометрических исследований 

Эконометрическая модель, как правило, основана на теоретическом 
предположении о круге взаимосвязанных переменных и характере связи между ними. При всем стремлении к «наилучшему» описанию 
связей приоритет отдается качественному анализу. Поэтому в качестве 
этапов эконометрического исследования можно указать: 
• постановку проблемы; 
• получение данных, анализ их качества; 
• спецификацию модели; 
• оценку параметров; 
• интерпретацию результатов. 
На начальном этапе решения любой эконометрической задачи 
необходимо сформулировать эконометрическую модель, т. е. представить модель в виде уравнений, характеризующих связи между 
экономическими показателями. Например, уравнение связи между доходами семей ( x ) и сбережениями семей ( y ), которое необходимо 
получить путем обработки результатов опроса нескольких сотен случайно отобранных семей: 

ε
β
α
+
⋅
+
=
x
y
, 
где: 
x  – объясняющая (независимая) переменная (доходы семей); 
y  – объясняемая (зависимая) переменная (сбережения семей); 
ε  – случайная составляющая (ошибка); 
α  и β – параметры уравнения, заранее не известные и подлежащие 
определению в результате эконометрического анализа задачи. 
При решении любой задачи эконометрики необходима проверка 
соответствия полученной модели реальным экономическим данным. 
Если модель соответствует реальным данным, то возникает задача 
определения (оценки) параметров модели. Различают два уровня анализа: теоретический и эмпирический. 

На теоретическом уровне предполагается, что известны все возможные реализации экономических показателей (т. е. имеется вся 
генеральная совокупность в целом). Теоретически параметры модели 
можно оценить, если известны (или предполагаются заданными) статистические свойства генеральной совокупности. Как правило, все 
возможные исходы (т. е. возможные значения показателей) заранее неизвестны; на практике можно наблюдать только выбранные значения 
интересующих показателей, т. е. выборочную совокупность.  

На эмпирическом уровне на основе выборочной совокупности 
нельзя точно определить значения параметров модели, можно лишь 
получить их оценки, являющиеся случайными величинами. Таким об
4 

разом, цель оценивания параметров состоит в получении как можно 
более точных значений неизвестных параметров модели, которые характерны для всей генеральной совокупности. 
Одной из основных задач экономических исследований является 
анализ зависимости между переменными (показателями), которая может 
быть 
функциональной 
(встречается 
очень 
редко) 
или 
статистической (в экономике, как правило, является преобладающей). 

Функциональная зависимость (иначе ее называют детерминированной) задается в виде формулы, которая каждому значению одной 
переменной ставит в соответствие строго определенное значение другой переменной, при этом воздействием случайных факторов 
пренебрегают. 

Статистическая зависимость – это связь переменных, на которую 
накладывается воздействие случайных факторов, при этом изменение 
одной переменной приводит к изменению математического ожидания 
другой переменной. Наиболее распространенной формулой статистической связи между переменными является уравнение регрессии. Если 
эта формула линейная (нелинейная), то регрессию называют линейной 
(нелинейной). Многие нелинейные модели можно преобразовать в линейные. 

 

5 

3. Парная регрессия и корреляция 

Пусть имеется два ряда эмпирических данных X (x1, x2, …, xn) и Y 
(y1, y2, …, yn), соответствующие им точки с координатами (xi, yi), где 
i=1,2,…,n, Тогда, в общем виде теоретическую линейную парную регрессионную модель можно представить в виде: 
Y=
ε
β
β
+
+
X
1
0
 или yi=
i
ix
ε
β
β
+
+
1
0
, i=1,2,…,n; 
где Y – объясняемая (результирующая, зависимая, эндогенная) переменная, 
Х – объясняющая (факторная, независимая, экзогенная) переменная 
или регрессор; 

1
0
β
β
и
 – теоретические параметры (числовые коэффициенты) 
регрессии, подлежащие оцениванию; 
εi – случайное отклонение (возмущение, ошибка). 
Задача линейного регрессионного анализа состоит в том, чтобы по 
имеющимся статистическим данным (xi, yi), i=1,2,…,n, для переменных 
X и Y получить наилучшие оценки неизвестных параметров 

1
0
β
β
и
, т. е. построить так называемое эмпирическое уравнение регрессии 

i
i
x
b
b
y
1
0 +
=


, 

где 
−
iy
оценка объясняемой переменной y; 
−
1
0
b
и
b
оценки неиз
вестных 
параметров 
1
0
β
β
и
, 
называемые 
эмпирическими 
коэффициентами регрессии. В каждом конкретном случае можно записать  

i
i
i
e
x
b
b
y
+
+
=
1
0
, i=1,2,…,n, 
где отклонения еi – ошибки (остатки) модели, которые являются оценками теоретического случайного отклонения εi. 
Различают линейные и нелинейные регрессии. Нелинейные регрессии делят на два класса: регрессии, нелинейные относительно 
включенных объясняющих переменных, но линейных по оцениваемым параметрам, и, регрессии, нелинейные по оцениваемым 
параметрам. 
Линейная: 
( )
x
f
bx
a
bx
a
y
=
+
+
+
=
,
ε
. 

Нелинейные по объясняющим параметрам:  

x
b
a
y

x
b
x
b
x
b
a
y
k
k

+
=

+
+
+
+
+
=
,
2
2
1
ε


 

Регрессии, нелинейные по оцениваемым параметрам:  

 Степенная: 
ε
+
=
b
ax
y
 

 Показательная: 
ε
+
=
x
ab
y
 

6 

 Экспоненциальная: 
ε
+
=
+bx
a
e
y
 
 Логарифмическая: 
ε
+
+
=
x
b
a
y
ln
ln
 
 Полулогарифмическая: 
ε
+
+
=
x
b
a
y
ln
  

 
ε
+
+
=
c
bx
a
y
 

 Обратная: 
ε
+
+
=
bx
a
y
1
  

Если у нас есть набор значений двух переменных 
ix  и 
n
i
yi
,1
, =
 то 
на плоскости XY  эти значения можно отобразить точками, таким образом получаем поле корреляции, которое изображено на рис. 1.  

 
Рис.1. Поле корреляции 
 

ix

iy
}
( )
x
f
от
y
отклонение
i
←

7 

4. Метод наименьших квадратов 

Построение уравнения регрессии сводится к оценке её параметров. 
Для оценки параметров регрессии, линейной по параметрам, будем использовать МНК. Согласно МНК поиск наилучшей аппроксимации 
набора наблюдений линейной функцией сводится к минимизации 
функционала 

(
)
(
)
∑
=
+
−
=

n

i
i
i
bx
a
y
g

1

2 . 

Необходимые условия экстремума: 

               

(
)
(
)

(
)
(
)
∑

∑

=

=

=
+
−
−
=
∂
∂

=
+
−
−
=
∂
∂

n

i
i
i
i

n

i
i
i

x
bx
a
y
b
g

bx
a
y
a
g

1

1

,
0
2

,
0
2

 

или 

(
)

(
)
0

0

1

1

=
−
−

=
−
−

∑

∑

=

=

n

i
i
i
i

n

i
i
i

x
bx
a
y

bx
a
y

 

Введем обозначения:  

∑
=
=

n

i
ix
n
x

1

1
, 
∑
=
=
n

i
iy
n
y
1

1
, 
∑
=
=
n

i
i
i y
x
n
xy
1

1
, 
∑
=
=
n

i
ix
n
x
1

2
2
1
. 

Введем обозначения для: 

2
_
2
2
x
x
x
−
=
σ
 – выборочной дисперсии переменной x; 

                                          

2
_
2
2
y
y
y
−
=
σ
– выборочной дисперсии переменной y; 
                                            
(
)
x
y
yx
y
x
⋅
−
=
,
cov
 – выборочной ковариации. 
В новых обозначениях система определения a  и b  принимает вид: 
 

x
xy
x
b
x
a

y
x
b
a
×





=
+

=
+

2
 

 

8 

Тогда  
 

(
)

2
2
2
_
,
cov

x

y
x

x
x

xy
y
x
b
σ
=
−

−
⋅
=
, 
x
b
y
a
−
=
, 

Замечание 1. Из уравнения для определения параметра a : 

x
b
a
y
+
=
 следует, что уравнение прямой  

bx
a
y
+
=
 проходит через точку (
)
y
x,
[1]. 
Замечание 2. Мы предполагаем здесь, что среди Хt t=1,..,n, не все 

числа одинаковые, т. е 
0
)
var(
≠
X
 и 
(
)

2
2
2
_
,
cov

x

y
x

x
x

xy
y
x
b
σ
=
−

−
⋅
=
имеет 

смысл [1]. 
Определение. Коэффициент b  называется выборочным коэффи
циентом регрессии (или просто коэффициентом регрессии) y  по x . 
Коэффициент регрессии y  по x  показывает, на сколько единиц в 
среднем изменяется переменная y  при увеличении переменной x  на 
одну единицу.  
Предпосылки МНК: 
1. Математическое ожидание случайного отклонения 
iε  равно нулю 

для всех наблюдений: 
n
i
M
i
,
,2,1
,0
)
(

=
=
ε
. 

2. Постоянство 
дисперсии 
отклонений 
(гомоскедастичность): 

2
)
(
)
(
σ
ε
ε
=
=
j
i
D
D
 для любых наблюдений i и j. 

3. Отсутствие автокорреляции: случайные отклонения 
iε  и 
j
ε  яв
ляются независимыми друг от друга для 
j
i ≠
. 

4. Случайное отклонение должно быть независимо от объясняю
щих переменных. 

5. Модель является линейной относительно параметров. 
6. Ошибки 
n
i
i
,
,2,1
,

=
ε
 имеют нормальное распределение. Вы
полнимость данной предпосылки важна для проверки статистических 
гипотез и построения интервальных оценок.  

9 

5. Коэффициент корреляции 

Наряду с построением уравнения регрессии осуществляется оценка 
тесноты связи между переменными. 
Тесноту связи в случае линейной зависимости характеризуют с помощью выборочного коэффициента корреляции 
xy
r . 

(
)
(
)

y
x
y

x

x
y

x
xy
y
x
y
x
b
r
σ
σ
σ
σ
σ
σ
σ
,
cov
,
cov

2
=
⋅
=
=
. 

Для практических расчетов наиболее удобна формула: 

2

1
1

2
2

1
1

2

1
1
1









−
⋅








−

−

=
⋅
−
=

∑
∑
∑
∑

∑
∑
∑

=
=
=
=

=
=
=

n

i
i

n

i
i

n

i
i

n

i
i

n

i
i

n

i
i

n

i
i
i

y
x
y
y
n
x
x
n

y
x
y
x
n
y
x
xy
r
σ
σ
 

т. к. по этой формуле r  находится непосредственно из данных наблюдений, и на значении r  не скажутся округление данных, связанные с 
расчетом средних и отклонений от них. 
Коэффициент корреляции принимает значения от -1 до +1. 
При значении коэффициента корреляции равном ± 1 связь представлена линейной функциональной зависимостью. При этом все 
наблюдаемые значения располагаются на линии регрессии. 
 При rxy=0 корреляционная связь между признаками в линейной 
форме отсутствует. При этом линия регрессии параллельна оси Ох. 
При rxy > 0 – корреляционная связь между переменными называется 
прямой, а при rxy < 0 – обратной. 
 
Для характеристики силы связи можно использовать шкалу Чеддока. 

Показатель

тесноты связи

0,1–0,3
0,3–0,5
0,5–0,7
0,7–0,9
0,9–0,99

Характеристика

силы связи

Слабая
Умеренная
Заметная
Высокая
Весьма
высокая

 

10