Введение в регрессионный анализ и планирование регрессионных экспериментов в экономике

ВВЕДЕНИЕ 

В РЕГРЕССИОННЫЙ АНАЛИЗ 

И ПЛАНИРОВАНИЕ 

РЕГРЕССИОННЫХ ЭКСПЕРИМЕНТОВ 

В ЭКОНОМИКЕ

Рекомендовано Учебно-методическим объединением 

по образованию в области экономики и экономической теории 

в качестве учебного пособия для студентов 

высших учебных заведений, обучающихся по направлению 

38.03.01 «Экономика« и экономическим специальностям

Москва

ИНФРА-М 

2022

УЧЕБНОЕ ПОСОБИЕ

Г.А. СОКОЛОВ 
Р.В. САГИТОВ

УДК  519(075.8)
ББК  22.172я73
 
С59

Соколов Г.А.
Введение в регрессионный анализ и планирование 
регрессионных экспериментов в экономике : учебное пособие / Г.А. Соколов, Р.В. Сагитов. — Москва : ИНФРА-М, 
2022. — 202 с. — (Высшее образование: Магистратура).

ISBN 978-5-16-003646-5

Книга посвящена нормальному регрессионному анализу, включая классическую регрессионную модель и ее обобщения на случай коррелированных измерений, моделей неполного ранга, ортогональных и т.д. 
Рассмотрены такие статистические задачи, как оценка параметрических 
функций, построение доверительных интервалов и проверка гипотез.
Изложены также алгоритмы построения оптимальных и рациональных 
планов измерений в различных ситуациях и по различным критериям.
Для студентов, аспирантов и научных работников экономических и 
экономико-математических специальностей.

УДК 519(075.8)
ББК 22.172я73

ISBN 978-5-16-003646-5 
© Г.А. Соколов, Р.В. Сагитов, 2010

С59

ФЗ 
№ 436-ФЗ
Издание не подлежит маркировке 
в соответствии с п. 1 ч. 4 ст. 11

ПРЕДИСЛОВИЕ

Данное учебное пособие представляет значительное расширение курса теории вероятностей и математической статистики в части регрессионного анализа, который читается студентам 
экономико-математического факультета РЭА им. Г.В. Плеханова 
с 1988 г. В этом смысле оно является продолжением учебников 
[21], [22].
При чтении лекций, проведении семинаров и написании книги широко использовались материалы пособий и монографий, 
указанные в списке литературы, более того, заимствованы некоторые схемы рассуждений, доказательства, примеры и задачи.
Книга включает пять глав. Первые четыре посвящены регрессионному анализу и его приложению в основном к экономическим процессам. В пятой кратко рассматриваются вопросы 
планирования регрессионных экспериментов. В целом объем 
книги соответствует чтению данного курса в течение семестра 
при четырех часах в неделю.
В первой главе рассматривается  k-факторная регрессионная 
модель в предположении, что:
а)  n  измерений независимы и нормально распределены с неизвестной априори дисперсией;
б)  план измерений является детерминированным и формируется исследователем.
Методом максимального правдоподобия вычисляются 
оценки всех параметров и параметрической функции, дается 
обоснование таких свойств, как состоятельность, (асимптотические) несмещенность, оптимальность и нормальность. 
В заключение кратко излагаются некоторые вычислительные 
процедуры.
Во второй главе результаты, полученные в первой, используются для решения таких задач математической статистики, как 
построение доверительных интервалов (областей) и двойственных им критериев проверки параметрических гипотез. При этом 
дается анализ одной регрессионной модели, а также совместный 
анализ двух регрессионных моделей.

Третья глава посвящена ряду обобщений классической регрессионной модели, в частности, рассматриваются особенности 
построения оценок в случае зависимых и повторных измерений. 
Значительное внимание уделяется регрессионным моделям, 
построенным на базе ортогональных полиномов Чебышева.
Первые пять параграфов четвертой главы содержат примеры, 
каждый из которых обладает своими специфическими особенностями, наиболее часто встречающимися в практике экономических исследований. Задачи, приведенныe в шестом параграфе, 
дополняют перечень задач в § 8.7 [21].
Первые четыре главы содержат также необходимые сведения 
для изучения вопросов планирования регрессионных экспериментов, которым посвящена последняя глава. В этой главе планирование подчинено трем целям: построению оптимальных 
оценок параметров и параметрических функций регрессионных 
моделей; оптимальному прогнозу функций регрессии, наконец, 
поиску значений факторов, максимизирующих функцию регрессии, искаженную помехами.
Все вспомогательные сведения из теории вероятностей, математической статистики, линейной алгебры вынесены в приложения.

СПИСОК СОКРАЩЕНИЙ 
И ОСНОВНЫХ ОБОЗНАЧЕНИЙ

а, А 
— стандартные обозначения произвольных 
 
 
величин (a^ — вектор, A^ — матрицa)

ГС  
—  генерирующее соотношение

ДИ  
—  доверительный интервал

ДНП 
— дискретный нормированный план

ДО 
— доверительная область

ДР 
— дробная реплика

ДУП 
— двухуровневый план

ДФП 
— дробный факторный план

ЛМИ 
— линейная модель измерений

МП-оценка  
—  оценка, полученная методом максимального 
 
 
правдоподобия

МПИ 
— матрица плана измерений

МПФ 
— матрица переменных функции регрессии

НД 
— нормированная дисперсия функции регрессии

НК(МНК)-оценка  —  оценка, полученная методом наименьших 
 
 
квадратов

ННП 
— непрерывный нормированный план

ОС 
— определяющее соотношение

ПФП 
— полный факторный план

РМ 
— регрессионная модель

РМИ 
— регрессионная модель измерений

СВ 
— случайная величина

ФРег 
— функция регрессии

ВВЕДЕНИЕ

Рассмотрим две случайные величины  ξ  и  η,  связанные соотношением

η = m(xˆ|aˆ) + ξ, 
(В.1)

где xˆ = (x1, x2, …, xs)′ — вектор основных факторов (регрессо 
ров, независимых переменных), влияющих на слу 
чайную величину η;
 
m(xˆ|aˆ) — условное математическое ожидание, или функция
 
регрессии (ФРег), которая предполагается известной
 
с точностью до параметров  aˆ = (a1, a2, …, ak);
 
ξ —  случайная величина (СВ) с  Mξ = 0  и  Dξ > 0,  кото 
рая может интерпретироваться или как суммарное
 
влияние на  η  множества малосущественных по срав 
нению с  xˆ  факторов, или как ошибка измерения
 
случайной величины  η.

Соотношение (В.1) называется регрессионной моделью (РМ). 
В настоящей книге предполагается, что  ξ  подчиняется нормальному закону распределения. В экономических исследованиях 
РМ используется в тех случаях, когда эффективность экономической операции (η) зависит от неслучайных факторов (х), например размер урожая — от количества вносимых удобрений и 
числа солнечных дней, производительность труда — от параметров технологического процесса, количество выплавленного за 
год чугуна — от «номера» года и т.п.
В общем случае функция регрессии  m(xˆ|aˆ)  нелинейна как 
по факторам, так и по параметрам, например:

m x a
a x
a
x
x
a x
(ˆ | ˆ)
.
=
+
+
1

1 1

3

3
4
2
2
e

Частными случаями ФРег общего вида являются:
• ФРег, нелинейные по факторам и линейные по параметрам

m
x a
m
x a
j
j
j

k

η(ˆ | ˆ)
(ˆ)
,
=

=∑
1

где, например,  m1(xˆ) = x1,  m2(xˆ) = x2,  m3(xˆ) = x1
2,  m4(xˆ) = x2
2, 
m5(xˆ) = x1x2,  m6(xˆ) = x1
2x2
2   или  mj(xˆ) = x j ,   j = 1, …, k;

• ФРег, линейные как по факторам, так и по параметрам

m
x a
a x
j
j
j

k

η(ˆ | ˆ)
.
=

=∑
1

 
(B.2)

Заметим, что в некоторых случаях более удобна нумерация 
индекса  j  от 0  до  k.  При этом полагают обычно  m0(xˆ) ≡ 1  или 
x0 ≡ 1.
Задача регрессионного анализа состоит в определении оценок параметров регрессионной модели, Dξ, параметрических 
функций π(cˆ) = cˆ′aˆ, где  cˆ = (с1, с2, …, сk)′ — вектор заданных 
констант, с последующим решением ряда задач математической статистики (построение доверительных интервалов и доверительных областей, проверка статистических параметрических 
гипотез и т.п.). Решение этих задач осуществляется по измерениям случайной величины  η:  η1, η2, …, ηn,  проведенным в 
точках  x1, x2, …, xn,  заданных исследователем. В результате получаем так называемую регрессионную модель измерений (РМИ)

η i = m(xˆi|aˆ) + ξi,     i = 1, 2, ..., n,      n > k, 
(В.3)

в частности,

η
ξ
i
j
j
j
i
j

k
m
x
a
=
+

=∑
(ˆ )
,

1

 
(В.4)

η
ξ
i
ij
j
i
j

k
x a
=
+

=∑
1
,  
(В.5)

где вектор ошибок измерений  ξˆ = (ξ1, ξ2, …, ξn)′  с некоррелированными компонентами подчинен нормальному закону распределения:

ξˆ = (ξ1, ξ2, …, ξn)′ ∈ N(0, σ2In),  
(В.6)

где In =

⎛

⎝

⎜
⎜
⎜
⎜

⎞

⎠

⎟
⎟
⎟
⎟

1
1

1
— единичная (n × n)-матрица;

 
σ2 — остаточная дисперсия.

В этом случае  n-вектор  измерений также нормален:

(
,
, ...,
)
(ˆ | ˆ),
(ˆ | ˆ), ...,
(
η
η
η
1
2
1
2
n
N m x a
m x
a
m
′ ∈
ˆ | ˆ),
,
x
a
I
n
n
σ2
(
)  (B.7)

где xˆi = (xi1, xi2, …, xis),   i = 1, 2, …, n.

Регрессионная модель измерений (В.5), (В.6) называется 
классической.
В качестве обобщений РМИ (В.3)–(В.5) рассматриваются 
варианты:
• с многомерной функцией регрессии;
• с коррелированными ошибками измерений (ξ1, ξ2, …, ξn)′ ∈

∈ Nn(0, Kˆ), где ковариационная матрица  Kˆ = σ2Wˆ  (Wˆ – заданная положительно определенная симметричная матрица);
• с ограничениями на вектор  aˆ,  например:  Aˆaˆ ≤ bˆ,  где  Aˆ  —
(m × k)-матрица,  bˆ — m-вектор;
• с повторными измерениями в каждой точке xˆi,  i = 1, 2, …, n;
• неполного ранга, когда так называемый план измерений  Xˆ 
имеет ранг  r  меньше  s: 

ˆX

x
x
x
x
x
x

x
x
x

s

s

n
n
ns

=

⎛

⎝

⎜
⎜
⎜
⎜

11
12
1

21
22
2

1
2

⎞

⎠

⎟
⎟
⎟
⎟

;

• с ортогональной матрицей  Xˆ  и т.д.
Большинство из перечисленных обобщений сводится к 
к л а с с и ч е с к о й  РМ, поэтому именно она требует детального 
изучения.

 
Пример В.1
Пусть известны данные, характеризующие деловую активность акционерных обществ закрытого типа — прибыль  η  и 
затраты на 1 руб. произведенной продукции  x  (табл. В.1).

Т а б л и ц а   В.1

Прибыль η
1070
1001
789
779
606
221

Затраты на 1 руб. x
77
79
81
82
89
96

На рис. В.1 представлены результаты измерений и график 
оценки функции регрессии  mη
*(x|aˆ).

79      81      83       85      87      89      91       93      95       97      99

1200
1100
1000
900
800
700
600
500
400
300
200

х

m(х|a^)

Рис. В.1

Если  m(x|aˆ) = a0 + a1x1,  то оценка  mη
* (x|aˆ) ≅ 415,4 − 41x 
(см. задачу 4.22).  Вопросы вводного характера, относящиеся к планированию 
регрессионных экспериментов, рассмотрены в § 5.1.

Глава 1. КЛАССИЧЕСКАЯ 
РЕГРЕССИОННАЯ МОДЕЛЬ

§ 1.1. ПОСТРОЕНИЕ ОЦЕНОК 
ПАРАМЕТРИЧЕСКОЙ ФУНКЦИИ И ПАРАМЕТРОВ

Рассмотрим регрессионную модель измерений

η i = m(xˆi|aˆ) + ξi,     i = 1, 2, ..., n, 
(1.1.1)

где aˆ = (a1, a2, …, ak)′ — вектор параметров функции регрессии;

 
ˆX

x
x
x
x
x
x

x
x
x

s

s

n
n
ns

=

⎛

⎝

⎜
⎜
⎜
⎜

11
12
1

21
22
2

1
2

⎞

⎠

⎟
⎟
⎟
⎟

 — план измерений;

 
xˆi = (xi1, xi2, …, xis) — i-я строка плана измерений;

 
ξˆ = (ξ1, ξ2, …, ξn)′ ∈ N(0, σ2In) — вектор ошибок измерений.

Так как  ηi ∈ N(m(xˆi|aˆ), σ2), т.е. плотность распределения равна

p
a
i

i
i

i

m x a

η

η

σ
η
σ
σ
π
(
| ˆ,
)

( ˆ | ˆ)

2
2
1

2

2

2
=
−
−
(
)
e
 
(1.1.2)

и измерения некоррелированны, то функция правдоподобия случайного вектора  ηˆ = (η1, η2, …, ηn)′ и ее логарифм имеют вид

L
a
m x a
n
i
i
(ˆ | ˆ,
)

(
)

exp
(ˆ | ˆ)
η
σ

πσ
σ
η
2

2 2
2
1

2

1

2
=
−
−
(
)
2

1

2
2
2
2

i

n

L
a
n
n

=∑
⎧
⎨⎪

⎩⎪

⎫
⎬⎪

⎭⎪

= −
−

,

ln
(ˆ | ˆ,
)
ln
l
η
σ
π
n
(ˆ),
σ
σ

2
2
1

2
−
Q a

 
(1.1.3)

где

Q a
m x a
i
i
i

n
(ˆ)
(ˆ | ˆ)
=
−
(
)
=∑ η
2

1

 
(1.1.4)

есть функция невязок (остатков), т.е. сумма квадратов отклонений измеренных значений  ηi  от истинных, но неизвестных 
m(xˆi|aˆ).