Марковские процессы и простейшие модели теории массового обслуживания

 
 
 
 
 
 
 
С.Н. Дворяткина, О.Н. Прокуратова 
 
 
МАРКОВСКИЕ ПРОЦЕССЫ И ПРОСТЕЙШИЕ 
МОДЕЛИ ТЕОРИИ  
МАССОВОГО ОБСЛУЖИВАНИЯ  
 
Учебное пособие  
 
 
 
2-е издание, стереотипное 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Москва 
Издательство «ФЛИНТА» 
2022 
 

УДК 519.21 
ББК  22.171 
         Д24 
Рецензенты: 

Масина О.Н., доктор физико-математических наук, заведующий  
кафедрой математического моделирования и компьютерных технологий 
Елецкого государственного университета им. И.А. Бунина; 

Розанова С.А., доктор педагогических наук, профессор  
кафедры высшей математики  

Российского технологического университета (МИРЭА) 

          
 
 
Дворяткина С.Н. 
Д24         Марковские процессы и простейшие модели теории массового 
обслуживания: учебное пособие / С.Н. Дворяткина, О.Н. Прокуратова. – 2-е изд., стер. – Москва : ФЛИНТА, 2022. – 80 с. – ISBN 978-59765-4828-2. – Текст : электронный. 
 

В учебном пособии рассмотрены основы современной теории 

марковских процессов – важного самостоятельного раздела теории 
случайных процессов, который используется при построении моделей функционирования систем массового обслуживания. В книге 
приводятся общие сведения по теории случайных процессов и теории массового обслуживания, более подробно изложен материал по 
теории марковских процессов с дискретным временем (цепи Маркова) и непрерывным временем.  В пособии предложены задачи для 
самостоятельного решения и теоретические вопросы для проверки 
качества усвоения материала по каждой из тем. 

Пособие рассчитано на подготовку будущих бакалавров направлений подготовки «Прикладная математика и информатика», «Информационная безопасность», «Информатика и вычислительная техника», «Радиотехника» и др. Оно также может быть полезно магистрантам и аспирантам. 

   УДК 519.21    
   ББК  22.171 
 
 
ISBN 978-5-9765-4828-2            © Дворяткина С.Н., Прокуратова О.Н., 2022 
                                     © Издательство «ФЛИНТА», 2022 
 

ВВЕДЕНИЕ 

Теория случайных процессов является обширной областью современной математики, которую невозможно охватить даже несколькими годовыми курсами. Поэтому целью данного пособия было познакомить студентов только с некоторыми ключевыми аспектами данной теории, представляющих продолжение и развитие теории вероятностей. С формальной точки зрения теория случайных процессов выделяется из теории вероятностей 
более сложной структурой множества значений, которые принимают случайные величины, и разнообразием способов задания вероятностной меры. 
В тоже время теория случайных процессов изучает закономерности случайных явлений в динамике их развития, изменяющихся во времени, пространстве или ином процессе. Выбор содержания курса был определен, 
прежде всего, его продолжительностью и интересами авторов. Тем не менее, нет никаких сомнений в том, что идеи, факты, методы, представленные в пособии, будут полезны для дальнейшего освоения других важнейших разделов теории случайных процессов. Теория случайных процессов 
имеет многочисленные приложения в экономике, физике, информатике, 
финансах, химии, биологии, медицине, кибернетике, метеорологии, теории 
связи и других науках. Случайные процессы являются основой для построения математических моделей динамических систем любой природы и моделей массового обслуживания.  

Основными целями изучения курса являются приобретение теоретических знаний по теории случайных процессов и практических навыков по 
применению ее методов для исследования и моделирования случайных явлений в динамике их развития. Главные задачи освоения курса состоят в 
том, чтобы ознакомить студентов с основными типами случайных процессов, марковскими процессами с дискретным пространством состояний и 
дискретным (и непрерывным) временем, вероятностными характеристиками марковского случайного процесса, возможными его приложениями в 
теории 
массового 
обслуживания 
и 
основными 
практикоориентированными задачами. 
Изучение дисциплины «Теория случайных процессов» имеет большое 
значение для подготовки специалистов по многим техническим и экономическим специальностям, а также в области информатики, информационной безопасности и управления. Освоение дисциплины способствует раз
3

витию у студента профессиональных компетенций, готовит к творческой и 
инновационной деятельности в выбранной профессиональной области. 
В условиях современных ФГОС третьего поколения значимое число 
часов выделяется на самостоятельную работу студента. Современный исследователь должен уметь самостоятельно разрабатывать алгоритмы для 
решения научно-исследовательских задач, вычислительные и имитационные модели реальных явлений, интерпретировать полученные результаты. 
Самостоятельная работа должна включать использование математических 
пакетов для решения различных практических задач теории случайных 
процессов и ее приложений. В пособии авторы представили конкретные 
примеры реализации обозначенных положений, неоднократно апробированных в учебном процессе высшей школы. 
Библиография содержит некоторые источники, которые авторы используют при чтении лекций, а также могут быть рекомендованы в качестве дополнительной литературы для более детального и глубокого изучения теории случайных процессов. 
Авторы выражают искреннюю благодарность своим оппонентам ― 
профессорам Ольге Николаевне Масиной и Светлане Алексеевне Розановой за полезные предложения и рекомендации.  

Тема 1.  ВВЕДЕНИЕ В ТЕОРИЮ СЛУЧАЙНЫХ ПРОЦЕССОВ 
 
1.1.  Необходимость создания теории случайных процессов 
Следуя исторической концепции, с тем чтобы объяснить возникновение и развитие основных положений новой научной теории, дадим краткое 
обоснование появлению теории случайных процессов. В результате изучения реальных процессов во времени многие ученые, в том числе физики, 
биологи, инженеры и другие, подошли к важной проблеме. Теория вероятностей предлагала им в качестве математического аппарата лишь средства, 
изучавшие стационарные состояния. Необходима же была теория, которая 
изучала случайные величины, зависящие от одного или нескольких непрерывно изменяющихся параметров. В XX веке проблема достигла своей 
зрелости, вызвав эвристическое направление в поисках ее решения. 
Начало общей теории случайных процессов было положено работами 
советских математиков А.Н. Колмогоровым (1903–1987), А.Я. Хинчиным 
(1894–1959), Е.Е. Слуцким (1880–1948), Н. Винером (1894–1965), Дж. Дуба 

(1910-2004), П. Леви (1886-1971). Однако у них были предшественники – 

П. Лаплас, Л. Башелье, Ж. Пуанкаре, А.А. Марков. А.Н. Колмогоровым 
было дано систематическое и строгое построение основ теории стохастических процессов без последействий (процессов марковского типа). В работах А.Я. Хинчина была создана теория стационарных процессов. 
Н. Винер в середине двадцатых годов при изучении броуновского движения ввел в рассмотрение процесс, получивший название винеровского 
процесса. Работы Е.Е. Слуцкого (1880–1948) посвящены изучению теории 
случайных функций. В наши дни теория случайных процессов занимает 
центральное место не только в теории вероятностей, но также в естествознании, в инженерном деле, в экономике, в организации производства, в 
теории связи, в теории массового обслуживания и др. 
Прежде чем перейти к изучению основных элементов теории случайных процессов, рассмотрим некоторые задачи, которые явились исходным 
пунктом новой теории. 

Изучение процесса диффузии 

Рассмотрим поведение какой-нибудь молекулы газа или жидкости. 
Эта молекула в случайные моменты сталкивается с другими молекулами, 
меняет при этом направление движения и скорость. Состояние молекулы, 
таким образом, подвержено случайным изменениям и представляет собой 

ничто иное, как случайный процесс, который определяется шестью параметрами – тремя координатами и тремя компонентами скорости. Как быстро протекает процесс диффузии, по каким законам, когда образующая 
смесь становится однородной? На все эти вопросы дает ответ статистическая теория диффузии1, в основе которой лежит теория случайных процессов. Подобные задачи возникают в химии при изучении химических реакций. Теория случайных процессов дает ответы на следующие вопросы: какая часть молекул уже вступила в реакцию, какова особенность протекания реакции во времени и др.? 

Изучение явлений, протекающих по принципу радиоактивного 
распада 

Многочисленные наблюдения показывают, что распад от дельных 
атомов происходит в случайно взятые моменты времени и расположение 
этих моментов, если количество распадающегося вещества не превосходит 
некоторого определенного критического предела, не зависит друг от друга. 
Для изучения процесса радиоактивного распада важно определить вероятность того, что за определенный промежуток времени распадается то или 
иное число атомов. Аналогично происходят многие другие процессы:  
- процесс броуновского движения, который определяет число частиц, 
оказавшихся в данный момент в определенной области пространства. Изучением таких процессов занимается статистическая теория броуновского 
движения. Напомним, что в 1827 году шотландский ботаник Р. Броун 
(1773-1858) обнаружил под микроскопом хаотическое движение частиц 
цветочной пыльцы в воде. Для описания процессов такого рода требуются 
вероятностно-статистические подходы2;  

 

1 Попытка изучения средствами теории вероятностей явления диффузии была предпринята в 1914 г. двумя известными физиками ― М. Планком (1858–1847) и А. Фоккером 
(1887–1972). 

2 Теория броуновского движения, исходящая из теоретико-вероятностных предпосылок, 
была разработана в 1905 г. двумя известными физиками М. Смолуховским (1872–1917) 
и А. Эйнштейном (1879–1955). Основные положения их трудов использовались неоднократно как при изучении физических явлений, так и в различных инженерных задачах. В частности, именно с этих работ, а также с работ Эрланга, проявился широкий 
интерес к процессу Пуассона. Впрочем, сам Пуассон ввел в рассмотрение только распределение Пуассона, но он заслужил, чтобы его имя произносилось и при изучении 
случайных процессов, связанных с его распределением. 
 

Рис. 1. Броуновское движение 
 
- различные процессы массового обслуживания. Например, число вызовов от абонентов, поступающих на телефонную станцию, количество обращений в банкоматы, терминалы оплаты сотовой связи и др., базовой основой которых является также теория случайных процессов; 
- исследование различных флуктуаций на бирже ценных бумаг3. 

Исследования, связанные с фондовой биржей 

Одним из способов ограничения массы денег, обращающихся в 
стране, является использование различных векселей, расписок и других 
ценных бумаг, которые монопольно выпускаются государством. Известно, 
что акции ликвидны, то есть могут быть проданы на рынке ― превращены 
в ту или иную валюту. Как правильно выбрать стратегию биржевой игры 
на основе прошлых данных о ценах закрытия, как проследить динамику 
цен акций за какой-то период, как удачно выбрать момент покупки и продажи акций? На эти вопросы также дает ответ теория случайных процессов. 
 
1.2.  Понятие случайного процесса 
В курсе теории вероятностей основой аксиоматики является понятие 
вероятностного пространства (
)
,
,
U P
Ω

 

3 В диссертации Л. Башелье (1870-1946), написанной в 1900 году под руководством А. Пуанкаре (1854-1912), "La Th´eorie de la Sp´eculation"(1900) впервые, на несколько лет раньше физиков, была предложена модель для описания флуктуаций на бирже курсов ценных бумаг, которая содержала математическую теорию броуновского движения. 

:
X
B
Ω →
, измеримая относительно U. Обычно за множество B принимают B
Z
=
, или 
1
B
R
=
, или 

n
B
R
=
 (в случае векторных случайных величин или геометрических веро
ятностей). В теории случайных процессов используется та же конструкция 
и практически та же терминология, определенная для случайных величин4.  
Введем понятие случайного процесса, базирующегося на аксиоматике 
теории вероятностей. 

Определение 1.2.1. Случайным процессом 
(
)
{
}
,
X t ω
 называют после
довательность или совокупность случайных величин, заданных на вероятностном пространстве (
)
,
,
U P
Ω
 и зависящих от параметра t, t
T
∈
 (t ин
терпретируется как время). 
Определение 1.2.2. Реализацией (траекторией) случайного процесса 

называется неслучайная функция 
)
;
(
0 t
w
X
, полученная при фиксирован
ном 
0
ω ∈Ω. Совокупность всех возможных реализаций называют ансам
блем реализаций данного случайного процесса. 
Определение 1.1.3. Сечением случайного процесса называется случайная величина 
(
)
0,
X t ω , полученная при фиксированном 0t
T
∈
. 

Пример 1.1.1. Разработан реактивный двигатель новой конструкции, 
где p(t) ― функция времени, t∈ T=[0; t0], описывающая теоретический закон изменения давления в камере сгорания (t=0 – момент запуска двигателя). В связи с тем, что невозможно изготовить два идентичных двигателя, 
то изменение давления в камере сгорания – случайный процесс X{t; ω}, 
где ω – вектор конструктивно-технологических характеристик двигателя.  
 

 
Рис. 2. Сечения и реализации случайного процесса 

 

4 Только в качестве множества B выбирается множество более сложной структуры. 

Например, если 
z
B
Z
=
 или 
z
B
R
=
, то случайная величина X принимает значения в 
пространстве целочисленных или действительных последовательностей, и говорят, что 
X – случайный процесс с дискретным временем 

Таким образом, случайный процесс можно рассматривать либо как 
совокупность случайных величин 
( )
X t , зависящих от параметра t, либо 

как совокупность реализаций процесса 
)
;
(
0 t
w
X
. При этом для определе
ния случайного процесса необходимо задавать вероятностную меру в пространстве реализаций процесса. 
 
1.3. Типы случайных процессов 
Основные признаки, по которым различаются случайные процессы, 
касаются природы пространства состояний, обозначаемого через E, временного параметра T и отношений зависимости между случайными величинами. 

Определение 1.3.1. Пространство состояний – это пространство, 

которому принадлежат все возможные значения, принимаемые всеми 
случайными величинами 
( )
X t  или Xt. Если E совпадает с R, то процесс 

( )
{
}
X t
 называется действительным случайным процессом. Если E – ев
клидово k-мерное пространство, то процесс 
( )
{
}
X t
 является k-мерным. 

Определение 1.3.2. Если 
{
}
0,1,2
T =
 , то 
( )
{
}
X t
 является процессом 

с дискретным временем. Если 
[
)
0;
T =
∞ , то 
( )
{
}
X t
 – процесс с непрерыв
ным временем. 
Пример 1.3.1. Любой выборочный контроль продукции будет относиться к случайным процессам с дискретными состояниями (e1 – годная, e2 
– негодная продукция) и дискретным временем (t1, t2 – время проверки). С 
другой стороны, случай отказа любой машины можно отнести к случайным процессам с дискретными состояниями, но непрерывным временем. 
Регистрацию температуры воздуха в определенные моменты времени 
можно отнести к случайному процессу с непрерывным состоянием и дискретным временем, в свою очередь случайный процесс изменения напряжения в электросети питания ЭВМ является примером случайного процесса с непрерывным состоянием и временем. 

Важной чертой случайного процесса 
( )
{
}
X t

( )
X t

( )
1
X t
, 
( )
2
X t
,…. В теории случайных процессов выделяют 

различные широкие классы случайных процессов, которые могут и пересекаться. Опишем некоторые классические типы случайных процессов, характеризующиеся различными видами зависимости между 
( )
X t , t
T
∈
. 

1. Марковские процессы 

Являются самым крупным направлением в теории случайных процессов. 

Определение 1.3.2. Случайный процесс 
( )
{
}
X t
 называется марков
ским, если выполняется условие Маркова: для любых упорядоченных моментов времени 
1
2
n
t
t
t
∀ <
<
<

 справедливо соотношение: 

(
)
( )
(
)
(
)
{
}

(
)
(
)
{
}

1
1
2
2
1
1

1
1

/
,
,
,

/
,

n
n
n
n

n
n
n
n

P X t
e
X t
e X t
e
X t
e

P X t
e
X t
e

−
−

−
−

=
=
=
=
=

=
=
=



 

где 1
2
,
,
, n
e e
e
E
∈

. 

Для 3-х моментов времени i
j
k
t
t
t
<
<
 условие Маркова примет вид: 

(
)
( )
( )
{
}
(
)
( )
{
}
/
,
/
.
k
k
j
j
i
i
k
k
j
j
P X t
e
X t
e
X t
e
P X t
e
X t
e
=
=
=
=
=
=
 

Таким образом, будущее состояние системы зависит от прошлого 
только через настоящее. Марковские процессы являются естественным 
обобщением детерминированных процессов, рассматриваемых в классической физике. В детерминированных процессах состояние системы в момент времени t0 однозначно определяет ход процесса в будущем; в марковских процессах состояние системы в момент времени t0 однозначно определяет распределение вероятностей хода процесса при 
0
t
t
>
, причем ника
кие сведения о ходе процесса до момента времени t не изменяют это распределение.  Любые случайные блуждания по целым числам ― числовой 
линии (известная как «прогулка пьяницы») и проблемы разорения игрока 
представляют собой классические примеры марковских процессов с дискретным временем. Двумя важными примерами марковских процессов с 
непрерывным временем являются винеровский процесс, известный как 
процесс броуновского движения, и процесс Пуассона. Марковские процессы получили широкое применение в качестве статистических моделей реальных явлений ― в теории массового обслуживания (например, в исследовании очередей клиентов), при изучении систем круиз-контроля в автомобилях, систем хранения, обменных курсов валют и др. Алгоритм