Парный регрессионный анализ

 

 

 

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ 
Федеральное государственное бюджетное образовательное  

учреждение высшего образования  

 

«РОССИЙСКИЙ УНИВЕРСИТЕТ ТРАНСПОРТА (МИИТ)» 

–––––––––––––––––––––––––––––––––––––––––––––––––– 

Институт пути, строительства и сооружений 

 

Кафедра «Математический анализ» 

 
 
 

А.П. Иванова  

 
 
 

ПАРНЫЙ РЕГРЕССИОННЫЙ 

АНАЛИЗ 

 
 
 
 
 
 

П Р А К Т И К У М  

 
 
 
 
 

Москва  –  2018 

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ 
Федеральное государственное бюджетное образовательное  

учреждение высшего образования  

 

«РОССИЙСКИЙ УНИВЕРСИТЕТ ТРАНСПОРТА (МИИТ)» 

–––––––––––––––––––––––––––––––––––––––––––––––––– 

Институт пути, строительства и сооружений  

 

Кафедра «Математический анализ» 

 
 
 

А.П. Иванова  

 
 
 

ПАРНЫЙ РЕГРЕССИОННЫЙ 

АНАЛИЗ 

 
 
 
 

Практикум 

 для магистрантов  

института ИПСС 

 
 
 
 
 

Москва  –  2018 

УДК 517 
И 21 
 
Иванова А.П. Парный регрессионный анализ: Практикум для ма-
гистрантов института ИПСС по дисциплине «Специальные раз-
делы высшей математики». – М.: РУТ (МИИТ), 2018. – 70 с. 
 

Настоящий практикум предназначен для магистрантов пер-

вого курса специальностей «Строительство. Управление автомо-
бильными дорогами и теория их формирования» и «Строитель-
ство. Промышленное и гражданское строительство», изучающих 
дисциплину «Специальные разделы высшей математики».  

Практикум разработан в помощь к решению практических 

заданий и выполнению домашних заданий и содержит краткое 
изложение теории и несколько подробно разобранных примеров 
построения регрессионной модели с помощью стандартного па-
кета прикладных программ Mathcad®.  

В практикуме приводится 125 вариантов индивидуального 

задания для самостоятельной работы. 

 
 
 
 
 
 
 
 
 
 
 
 

© РУТ (МИИТ), 2018 

 
 
 
 

ОГЛАВЛЕНИЕ 

 

1. Функциональная, статистическая и 
корреляционная зависимости …………………………….…
4

2. Основные положения регрессионного анализа. Оценка 
параметров парной регрессионной модели. Теорема Гаус-
са-Маркова . …………………………………………………...
17

3. Оценка значимости уравнения регрессии. 
Коэффициент детерминации …………………………………
21

Варианты индивидуального задания ………………………..
33

ПРИЛОЖЕНИЕ 1 ……………………………………………..
52

ПРИЛОЖЕНИЕ 2 ……………………………………………..
56

ПРИЛОЖЕНИЕ 3. Критические точки 

распределения 

2
 ……………………………………………..
60

ПРИЛОЖЕНИЕ 4. Значения 

1
2
;
;
k k
F
-критерия Фишера-

Снедекора ……………………………………………………...
62

ПРИЛОЖЕНИЕ 5. Значения 
,k
t
-критерия Стьюдента ……
64

ПРИЛОЖЕНИЕ 6.  Значения функции 

2

2

0

0

1
( )

2

x
t

x
e
dt








………………………………………..
66

СПИСОК ЛИТЕРАТУРЫ ……………………………………
69

 
 
 

ПАРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ 

В практике экономических исследований имеющие-

ся данные не всегда можно считать выборкой из много-
мерной нормальной совокупности, когда одна из рассмат-
риваемых переменных не является случайной или когда 
линия регрессии явно не прямая и т. п. В этих случаях пы-
таются определить кривую, которая даёт наилучшее (в 
смысле метода наименьших квадратов) приближение к 
исходным данным. Соответствующие методы приближе-
ния получили название регрессионного анализа, занима-
ющие центральное место в математическом аппарате эко-
нометрики.  

Задачами регрессионного анализа являются уста-

новление формы зависимости между переменными, оцен-
ка функции регрессии, оценка неизвестных значений (про-
гноз значений) зависимой переменной. 

 

1. Функциональная, статистическая и  

корреляционная зависимости 

В естественных науках часто речь идет о функцио-

нальной зависимости, когда каждому значению одной 
переменной соответствует вполне определённое значение 
другой.  

В экономике в большинстве случаев между пере-

менными величинами существуют зависимости, когда 
каждому значению одной переменной соответствует не 
какое-то определённое, а множество возможных значений 
другой переменной. Иначе говоря, каждому значению од-
ной переменной соответствует определённое (условное) 
распределение другой переменной. Такая зависимость по-
лучила название статистической. 

Возникновение понятия статистической связи обу-

славливается тем, что зависимая переменная подвержена 

влиянию ряда неконтролируемых или неучтённых факто-
ров, а также тем, что измерение значений переменных 
неизбежно 
сопровождается 
некоторыми 
случайными 

ошибками. Примером статистической связи является за-
висимость урожайности от количества внесённых удобре-
ний, производительности труда на предприятии от его 
энерговооруженности и т.п.  

В силу неоднозначности статистической зависимости 
между Y  и X  для исследователя, в частности, представляет 
интерес усреднённая по  X  схема зависимости, 
т. е. закономерность в измерении условного математического 
ожидания 
( )
x
M Y  в зависимости от x 1.  

Если зависимость между двумя переменными такова, 
что каждому значению одной переменной соответствует 
определённое условное математическое ожидание (
среднее значение) другой, то такая статистическая 
зависимость называется корреляционной.  

Иначе, корреляционной зависимостью между двумя 
переменными называется функциональная зависимость 
между значениями одной из них и условным математическим 
ожиданием другой.  

Корреляционная зависимость может быть представлена 
в виде  

( )
( )
x
M Y
x


                                  (1)  

или  

(
)
( )
y
M
X
y


, 

где ( )
const
x


, ( )
const
y


.  

 

1 
Условное 
математическое 
ожидание 
(обозначается 
( )
x
M Y  
или 

(
/
)
M Y
X
x

) – это математическое ожидание случайной переменной Y , 

вычисленное в предположении, что переменная X  приняла значение x . 

В регрессионном анализе рассматривается односто-

ронняя зависимость случайной переменной Y  от одной 
(или нескольких) неслучайной независимой переменной X . 
Такая зависимость может возникнуть, например, в случае, 
когда при каждом фиксированном значении X  соответствующие 
значения Y  подвержены случайному разбросу 
за счёт действия ряда неконтролируемых факторов. Такая 
зависимость Y  от X  (иногда её называют регрессионной) 
может быть также представлена в виде модельного уравнения 
регрессии Y  по X  (1). При этом зависимую переменную 
Y  называют также функцией отклика, объясняемой, 
выходной, результирующей, эндогенной переменной, 
результативным признаком, а независимую переменную 
X  – объясняющей, входной, предсказывающей, предик-
торной, экзогенной переменной, фактором, регрессором, 
факторным признаком.  

Уравнение (1) называется модельным уравнением 

регрессии (или просто уравнением регрессии), а функция 

( )
x

 – модельной функцией регрессии (или просто функцией 
регрессии), а её график – модельной линией регрессии (
или просто линией регрессии).  

Для точного описания уравнения регрессии необхо-

димо знать условный закон распределения зависимой пе-
ременной Y  при условии, что переменная X  примет зна-
чение x, т. е. X
x

. В статистической практике такую 

информацию получить, как правило, не удаётся, так как 
обычно исследователь располагает лишь выборкой пар 
значений ( ,
)
i
i
x y  ограниченного объёма N . В этом случае 

речь может идти об оценке по выборке функции регрес-
сии. Такой оценкой является выборочная линия (кривая) 
регрессии:  

0
1
ˆ
ˆ
( ,
,
,...,
)
p
y
x b b
b


,                         (2)  

где ˆy  – условная (групповая) средняя переменной Y  при  
фиксированном значении переменной X
x

, 
0
1
,
,...,
p
b b
b  

– параметры кривой регрессии.  

Уравнение (2) называется выборочным уравнением 

регрессии.  

При правильно определённой аппроксимирующей 

функции 
0
1
ˆ( ,
,
,...,
)
p
x b b
b

 с увеличением объёма выборки 

(N  ) она будет сходиться по вероятности2 к функции 
регрессии ( )
x

. 

Рассмотрим пример. Пусть имеются результаты де-

сяти измерений (
10
N 
). 

 
i
1
2
3
4
5
6
7
8
9
10

ix
1
2
4
6
8
11
15
17
20
25

iy
33
23
10
9
8
7
4
4
4
3

 

Изобразим полученную зависимость графически 

точками  с координатами ( ,
)
i
i
x y , для чего воспользуемся 

программой MathCad®, см. рис. 1. Такое изображение ста-
тистической зависимости называется полем корреляции. 

По расположению эмпирических точек не очевидно, 

какая корреляционная (регрессионная) зависимость име-
ется между переменными X  и  Y . Проверим несколько 
гипотез и выберем наиболее подходящую кривую регрес-
сии. 

1) Выбираем гипотезу: зависимость линейная. 
Уравнение регрессии будем искать в виде  

1
2
ˆy
k
k x


.                               (3) 

 

2 Говорят, что величина 
n
X  сходится по вероятности к величине a, если 

при сколь угодно малом 
0
 
 вероятность неравенства |
|
n
X
a



 с уве-

личением n неограниченно приближается к единице. 

Применим метод наименьших квадратов (МНК) 

для оценки параметров линейной регрессии 
1k  и 
2k .  

 

 

Рис. 1 

 

Согласно методу наименьших квадратов неизвест-

ные параметры 
1k  и 
2k  выбираются таким образом, чтобы 

сумма квадратов отклонений эмпирических значений 
iy  

от значений ˆiy , найденных по уравнению регрессии (3), 
была минимальной: 

2
2

1
2

1
1

ˆ
(
)
(
)
min

N
N

i
i
i
i

i
i

y
y
k
k x
y











. 

Применяя необходимое условие экстремума для 

функции двух переменных 
2

1
2
1
2

1

( ,
)
(
)

N

i
i

i

F k k
k
k x
y







, 

приравняем нулю её частные производные, т.е. 

1
2

1
1

1
2

1
2

2
(
)
0,

2
(
)
0,

N

i
i

i

N

i
i
i

i

F
k
k x
y
k

F
k
k x
y x
k












 












 

откуда после преобразований получим систему нормальных 
уравнений для определения параметров линейной регрессии: 


1
2

1
1

2

1
2

1
1
1

.

N
N

i
i

i
i

N
N
N

i
i
i
i

i
i
i

k N
k
x
y

k
x
k
x
x y
























(4)

Теперь, разделив обе части уравнений (4) на N , получим 
систему нормальных уравнений в виде: 

1
2

2

1
2

,

,

k
k x
y

k x
k x
xy








                                (5) 

где соответствующие средние определяются по формулам: 


1

1
N

i

i

x
x
N




;                                   (6) 

1

1
N

i

i

y
y
N




;                                   (7) 

1

1
N

i
i

i

xy
x y
N




;                                 (8) 

2
2

1

1
N

i

i

x
x
N




.                                  (9) 

Подставляя значение 

1
2
k
y
k x


                                 (10) 

из первого уравнения системы (5) в уравнение регрессии 
(3), получим 

2
2
ˆy
y
k x
k x



, 

или 

2
ˆ
(
)
y
y
k
x
x



.                           (11) 

Коэффициент 
2k  называется выборочным коэффициентом 
регрессии Y по X . 

Коэффициент регрессии Y  по X  показывает, на 

сколько единиц в среднем изменяется переменная Y  при 
увеличении переменной X  на одну единицу. 

Решая систему (5), найдём 

2
2
2
2

ˆ
 
Cov(
, )

x

xy
x y
X Y
k
s
x
x







,                 (12) 

где 
2
xs  - выборочная дисперсия переменной X : 

2

2
2
2
2

1
1

1
1
N
N

x
i
i

i
i

s
x
x
x
x
N
N














,          (13)