Методы и средства адаптивного динамического распределения емкости телекоммуникационных каналов для обеспечения качества доступа к приоритетным ресурсам распределенных ведомственных сетей

министерство образования и науки 
российской Федерации

Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
«ЮЖнЫй ФедераЛЬнЫй университет» 
«ЮЖно-российский реГионаЛЬнЫй центр инФорматизации ЮФу»

А. А. БукАтов, о. в. ШАройко

МЕтоДЫ И СрЕДСтвА  
АДАПтИвНоГо ДИНАМИЧЕСкоГо 
рАСПрЕДЕЛЕНИЯ ЕМкоСтИ 
тЕЛЕкоММуНИкАЦИоННЫХ кАНАЛов 
ДЛЯ оБЕСПЕЧЕНИЯ кАЧЕСтвА 
ДоСтуПА к ПрИорИтЕтНЫМ рЕСурСАМ 
рАСПрЕДЕЛЕННЫХ вЕДоМСтвЕННЫХ 
СЕтЕй 

ростов-на-дону
издательство Южного федерального университета
2010

удк 004.7: 681.3
ббк  32.973.202 
б 90

Печатается по решению редакционно-издательского совета 
Южного федерального университета

рецензенты:
проректор по нир и ид Гоу вПо  
«донской государственный технический университет»,  
доктор технических наук, профессор Богуславский И.В.;
заместитель руководителя по информатике тти ЮФу,  
доктор технических наук, профессор Целых А.Н.;
заместитель директора ркси по информатизации,  
доктор физико-математических наук Кравченко В.Ф.;
доцент кафедры иивк мехмата ЮФу,  
кандидат технических наук Нестеренко В.А.

Монография подготовлена и издана в рамках национального проекта  
«Образование» по «Программе развития федерального государственного  
образовательного учреждения высшего профессионального образования  
«Южный федеральный университет» на 2007–2010 гг.»

Букатов А. А., Шаройко о. в.

б 90 
 
методы и средства адаптивного динамического распределения емкости телекоммуникационных каналов для обеспечения качества доступа к приоритетным 
ресурсам распределенных ведомственных сетей: монография / а. а. букатов,  
о. в. Шаройко. – ростов н/д: изд-во ЮФу, 2009. – 142 с. 
 
ISBN 978-5-9275-0608-8
монография посвящена актуальной проблеме повышения качества целевого использования распределенных научно-образовательных сетей за счет динамического 
резервирования емкости телекоммуникационных каналов с ограниченной полосой пропускания для доступа пользователей сети к приоритетным научно-образовательным ресурсам. на основе анализа известных методов учета уровня загрузки и распределения 
емкости каналов предлагаются методы и комплекс программных средств, обеспечивающий динамическое распределение и резервирование емкости, требуемой информационным потокам доступа к приоритетным научно-образовательным вычислительным и 
информационным ресурсам. 
Предназначена для специалистов в области построения ведомственных и отраслевых распределенных телекоммуникационных сетей, а также для студентов и аспирантов соответствующих специальностей.
 
уДк 004.7: 681.3
ISBN 978-5-9275-0608-8 
ББк 32.973.202 

© букатов а. а., Шаройко о. в., 2010
©  оформление. макет. издательство  
Южного федерального университета, 2010

СоДЕрЖАНИЕ

введение ........................................................................................................................ 6

1.  анаЛиз задаЧ и известнЫХ методов уЧета заГруЖенности  
и уПравЛения расПредеЛением теЛекоммуникационнЫХ 
ресурсов реГионаЛЬной науЧно-образоватеЛЬной сети ............. 9

 
1.1. типовая архитектура построения региональной научно-образовательной 
телекоммуникационной сети ...................................................................................... 9

 
1.2. анализ задач учета загруженности и управления распределением телекоммуникационных ресурсов региональнойнаучно-образовательной сети ........ 13

 
1.3. анализ и сравнение существующих средств учета телекоммуникационных 
ресурсов ...................................................................................................................... 20

 
1.4. анализ и сравнение существующих средств управления распределением 
телекоммуникационных ресурсов ............................................................................ 25

 
1.5. выводы по результатам анализа методов учета загруженности и распределения телекоммуникационных ресурсов ..................................................................... 42

2. разработка методов орГанизации уЧета и адаПтивноГо 
уПравЛения 
расПредеЛением 
теЛекоммуникационнЫХ 
 
ресурсов ................................................................................................................. 44

 
2.1. традиционная схема построения средств учета в IP-сетях ............................ 44

 
2.2. разработанный метод учета загрузки телекоммуникационных ресурсов 
научно-образовательных сетей ................................................................................. 50

 
2.4. методы адаптивного динамического распределения емкости телекоммуникационного канала  ................................................................................................ 61

 
2.5. выводы по результатам разработки методов учета и управления распределением телекоммуникационных ресурсов .............................................................. 67

3.   арХитектура и реаЛизация системЫ уЧета траФика .................... 69

 
3.1. архитектура системы учета трафика ................................................................ 69

 
3.2. назначение и организация подсистемы сбора первичной информации ....... 71

 
3.3. назначение подсистемы обработки информации ............................................ 78

 
3.4. открытая архитектура мультиконвейерной обработки потока информации, основанная на графе обработки информации ................................................ 79

 
3.5. технология применения открытой архитектуры мультиконвейерной обработки потока информации на основе графа обработки информации ............... 81

 
3.6. сравнение с реализациями других подходов к мультиконвейерной обработке потока информации ......................................................................................... 87

 
3.7. организация подсистемы обработки информации .......................................... 88

 
3.8. назначение и организация базы данных учетной информации ..................... 95

 
3.9. Программные интерфейсы доступа к учетной информации .......................... 97

3.10. выводы по результатам разработки системы учета трафика ....................... 99

4.  арХитектура и реаЛизация системЫ уПравЛения расПредеЛением теЛекоммуникационнЫХ ресурсов сети ....................... 100

 
4.1. архитектура системы управления распределением телекоммуникационных ресурсов сети .................................................................................................... 100

 
4.2. Применение механизма списков доступа для определения классов информационных потоков ................................................................................................. 101

 
4.3. назначение и организация конфигурационного файла ................................. 103

 
4.4. назначение и организация модуля мониторинга текущего распределения 
телекоммуникационных ресурсов .......................................................................... 104

 
4.5. назначение и организация модулей мониторинга микропотоков ................ 104

 
4.6. назначение и организация внутренней базы данных ................................... 108

 
4.7. назначение и организация модуля вычисления ограничений ...................... 109

 
4.8. назначение и организация модулей управления маршрутизаторами ...........118

 
4.9. возможности системы управления распределением по формированию политик распределения пропускной способности ................................................... 120

 
4.10. анализ функционирования системы управления распределением телекоммуникационных ресурсов сети ......................................................................... 121

 
4.11. выводы по результатам разработки системы распределения емкости 
телекоммуникационных каналов............................................................................ 125

закЛЮЧение .............................................................................................................. 126

Литература ................................................................................................................. 128

ПриЛоЖение  ............................................................................................................. 139

Список используемых сокращений

иП – информационный поток
ир – информационные ресурсы
киП – класс информационных потоков
кП – коллективное пользование
модуль всо – модуль взаимодействия с сетевым оборудованием
нотс – научно-образовательная телекоммуникационная сеть
ои – обработка информации
сФ – субъект федерации
тмс – территориальная магистральная сеть
уи – учетная информация
Фо – федеральный округ 
цвв – центр высокопроизводительных вычислений
цкП – центр коллективного пользования 
цр – целевые ресурсы
Эб – электронная библиотека
Эр – экспериментальные ресурсы
QoS – Quality of Service, качество предоставляемых услуг

ввЕДЕНИЕ

в течение последнего десятилетия телекоммуникационные сети стремительно внедрились во все сферы человеческой деятельности, коренным 
образом изменив характер и эффективность этой деятельности. в первую 
очередь это относится к научно-образовательной деятельности. темпы развития науки и качество подготовки специалистов в естественнонаучных областях знаний во многом определяются возможностью применения методов 
вычислительного эксперимента для математического моделирования исследуемых объектов, а также возможностью доступа к уникальному экспериментальному оборудованию для проведения натурных экспериментов. и 
безусловно, проведение любых научных исследований и подготовка высококвалифицированных специалистов во всех областях знаний требует возможности оперативного доступа к самым свежим отечественным и зарубежным 
публикациям (сразу же после их выхода в печать), имеющим отношение к 
исследуемой научной проблеме или изучаемой области знаний. Первая и 
вторая возможности могут быть обеспечены путем удаленного телекоммуникационного доступа к центрам высокопроизводительных вычислений (цвв) 
коллективного пользования (кП) и к центрам коллективного пользования 
(цкП) уникальными экспериментальными ресурсами (Эр). реализацию третьей возможности обеспечивает удаленный телекоммуникационный доступ 
к электронным библиотекам (Эб) полнотекстовых документов, созданных в 
библиотеках ведущих университетов мира и в ведущих издательствах научной литературы, и к специализированным образовательным порталам. таким образом, в качестве единого средства доступа к цвв кП и к цкП Эр, а 
также к Эб полнотекстовых трудов (журнальных публикаций и монографий) 
и к образовательным порталам по различным отраслям современной науки 
может использоваться всемирная телекоммуникационная сеть интернет, 
частью которой являются научно-образовательные телекоммуникационные 
сети (нотс) россии и ее регионов. 
следует, однако, отметить, что нотс используются их абонентами для 
доступа не только к указанным видам входящих в состав этих сетей вычислительных, экспериментальных и информационных ресурсов, которые мы 
далее будем называть целевыми ресурсами (цр) нотс, но и для доступа 
к информационным ресурсам (ир) произвольной содержательной ориентации. При этом, как правило, объем телекоммуникационных ресурсов нотс 
(доля емкости каналов передачи данных), используемых для до ступа к нецелевым ир, суще ственно преобладает над объемом доступа к цр нотс. 
к тому же зачастую суммарный объем потребностей доступа к разнообразным ресурсам интернета превышает доступные технические возможности 
(емкости каналов передачи данных, производительность активных сетевых 

устройств) существующих телеком муникационных сетей. от этого значительно ухудшается качество предоставляемых услуг (Quality of Service – 
QoS) в периоды пиковой загрузки телекоммуникационных сетей. снижение 
качества может проявиться как в значительном падении скорости доступа ко 
всем ресурсам интернета (включая цр нотс), так и в возможных разрывах 
сетевых соединений с серверами, предоставляющими эти ресурсы. Поэтому 
для нотс естественным образом возникает вопрос о необходимости приоритетного обслуживания сетевых соединений абонентов нотс с серверами, 
предоставляющими непосредственный доступ к цр нотс, по сравнению 
с доступом к произвольным ир интернета. 
наиболее явно ухудшается QoS интерактивных соединений (например, 
терминальных соединений с вычислительными ресурсами цвв) или сетевых соединений аудио- и видеоприложений. Чтобы QoS таких соединений 
оставалось на приемлемом уровне, недостаточно обеспечить просто приоритетную их обработку по сравнению с другими соединениями. необходимо 
резервировать для них полосу пропускания каналов, гарантирующую требуемое QoS. однако известные методы резервирования емкости каналов для 
индивидуальных соединений или макропотоков (механизм формирования 
заданной формы трафика – TrafficShaper, архитектура Integrated Services 
и протокол RSVP, механизмы управления распределением телекоммуникационных ресурсов технологии MPLS и др.) обеспечивают возможность лишь 
статического (не зависящего от уровня текущей загрузки каналов) резервирования. Это означает, что в периоды, когда зарезервированная емкость не 
будет загружена, ее неиспользуемая часть не может быть выделена для нужд 
прочих сетевых соединений для повышения их QoS. известные же механизмы приоритетного обслуживания, такие как архитектура Differentiated Services, хотя и обеспечива ют динамический характер распределения емкости 
каналов, не предоставляют никаких возможностей резервирования полосы 
пропускания каналов для каких бы то ни было сетевых соединений. 
настоящая монография посвящена разработанным ее авторами методам 
и средствам динамического распределения емкости телекоммуникационных 
каналов для обеспечения качественного доступа к приоритетным ресурсам 
распределенных сетей [1–19]. Эти методы и средства основаны на динамическом, зависящем от текущего уровня загрузки внешних (пограничных) сетевых каналов резервировании полосы пропускания для информационных 
потоков (иП) индивидуальных сетевых соединений или для агрегированных 
иП. При этом обеспечивается «справедливое» динамическое распределение 
свободной емкости внешних каналов между подсетями нотс в соответствии с некоторой политикой распределения, задаваемой сетевым администратором. 

указанные методы и средства базируются на специально разработанных 
программных средствах учета уровня загрузки внешних каналов трафиком 
подключенных к нотс подсетей и индивидуальных компьютеров. Эти средства учета могут быть использованы (и используются) также в качестве источника данных о сетевой активности компьютеров нотс для построения 
средств автоматизации расчетов с абонентами сети и средств обнаружения 
источников аномальной сетевой активности.  
монография имеет следующую структуру. в первой главе рассматривается типовая архитектура региональной нотс и формулируются задача учета 
режима загрузки телекоммуникационных ресурсов (каналов) трафиком подсетей и компьютеров нотс и задача распределения телекоммуникационных 
ресурсов в нотс. в свете поставленных задач выполняется детальный анализ существующих средств учета режима загрузки телекоммуникационных 
ресурсов и средств управления распределением этих ресурсов с точки зрения их применимости для решения поставленных задач.
вторая глава посвящена рассмотрению предложенных авторами методов 
организации учета режима загрузки телекоммуникационных каналов и методов распределения емкости этих каналов, обеспечивающих адаптивное динамическое резервирование и распределение емкости телекомму никационных 
каналов нотс.  
в третьей главе рассматривается архитектура и реализация программных средств учета загрузки внешних каналов распределенной телекоммуникационной сети трафиком различных компьютеров сети. следует отметить, что разработанные при создании системы учета открытая архитектура 
и подсистема мультиконвейерной обработки потока информации, основанная на графе обработки информации (ои), представляют самостоятельный 
интерес и могут быть использованы при создании других систем мультиконвейерной ои.
и наконец, в четвертой главе рассматриваются архитектура и реализация 
программных средств адаптивного динамического управления распределением емкости телекоммуникационных каналов между сетевыми соединениями с обеспечением приоритетного доступа к цр нотс и «справедливого» 
динамического распределения свободной емкости внешних каналов между 
подсетями нотс в соответствии с некоторой политикой приоритетности 
распределения телекоммуникационных ресурсов.
авторы надеются, что содержание настоящей монографии будет интересным и полезным достаточно широкому кругу специалистов, работающих 
в области создания и эксплуатации научно-образовательных и иных корпоративных и ведомственных распределенных телекоммуникационных сетей. 

1. АНАЛИЗ ЗАДАЧ И ИЗвЕСтНЫХ 
МЕтоДов уЧЕтА ЗАГруЖЕННоСтИ 
И уПрАвЛЕНИЯ рАСПрЕДЕЛЕНИЕМ 
тЕЛЕкоММуНИкАЦИоННЫХ рЕСурСов 
рЕГИоНАЛЬНой НАуЧНо-оБрАЗовАтЕЛЬНой 
СЕтИ

1.1. типовая архитектура построения региональной научнообразовательной телекоммуникационной сети

основная задача региональной нотс – объединение компьютерных сетей учебных заведений, научных институтов и центров, а также ряда других некоммерческих организаций в единое информационное пространство. 
региональная нотс, как правило, объединяет сети организаций, расположенных на территории нескольких субъектов федерации (сФ), входящих в 
один федеральный округ (Фо). обычно региональная нотс строится по 
иерархической схеме в силу того, что интенсивность иП «центр Фо – сФ» 
существенно выше, чем интенсивность потоков «сФ – сФ». в тех городах, 
где расположены организации, подключающиеся к региональной нотс, 
формируются территориальные магистральные сети (тмс). в зависимости 
от количества подключений к нотс в том или ином городе тмс может быть 
как небольшой, состо ящей всего из одного узла с несколькими подключениями, так и весьма крупной, территориально распределенной высокоскоростной сетью с множеством подключений. тмс обычно строится на базе 
сети какой-либо организации из числа подключаемых к нотс в некотором 
городе, обладающей наиболее развитой телекоммуникационной сетью в 
этом городе.
все тмс одного сФ объединяются в нотс сФ. ввиду преобладания 
интенсивности иП «центр сФ – район» над потоками типа «район 1 – район 2», объединение тмс в нотс сФ, как правило, производится по схеме 
«звезда». При этом среди всех тмс сФ выбирается наиболее развитая тмс, 
обычно находящаяся в центральном городе сФ, и остальные тмс подключаются к узлам этой центральной тмс междугородними каналами, которые 
арендуются у различных коммерческих операторов связи. Пропускная способность арендуемых каналов варьируется в зависимости от размеров подключаемой тмс и, как правило, изменяется в пределах от 512 кбит/с до 

2 мбит/с, хотя могут применяться и каналы с иными значениями пропускной способности.
аналогично тому, как несколько тмс объединяются в нотс сФ, нотс 
нескольких сФ объединяются в региональную нотс. При этом среди всех 
нотс сФ выбирается наиболее развитая нотс и остальные нотс подключаются к ней по схеме «звезда». типовая схема построения региональной 
нотс приведена на рис. 1.1. 

Òåððèòî ðèàëüí àÿ 
ì àãèñòðàëüí àÿ ñåòü (ÒÌ Ñ)

Ï î äêëþ ÷åí í û å î ðãàí èçàöèè

Ì àãèñòðàëü 
ÒÌ Ñ

Í Î ÒÑ ñóáúåêòà ô åäåðàöèè

Âí åø í èå ï î äêëþ ÷åí èÿ

рис. 1.1. схема построения региональной нотс

для создания связи между нотс двух сФ арендуется канал, связывающий центральные тмс этих нотс. Пропускная способность таких арендованных каналов, как правило, выше, чем пропускная способность каналов, 
связывающих тмс в пределах одного сФ, и составляет обычно не менее 2 
мбит/с.

Территориальная 
магистральная сеть (ТМС)

Внешние подключения

Подключенные организации

НОТС субъекта федерации

Магистраль ТМС

как упоминалось ранее, тмс могут быть достаточно крупными и состоять из нескольких узлов, формирующих высокоскоростное ядро сети. 
в этом случае объединение узлов выполняется обычно с использованием технологий семейства Ethernet (Ethernet, FastEthernet, GigabitEthernet, 
10GigabitEthernet,). для построения внутренних каналов тмс наиболее часто применяются следующие среды передачи данных: оптоволоконные кабели, выделенные медные провода и радиоканалы. кроме того, при построении внутренних каналов тмс могут использоваться также и арендованные 
высокоскоростные каналы.
Подключение к региональной нотс конечных абонентов (корпоративных сетей научно-образовательных учреждений) в случае небольших тмс, 
как правило, осуществляется по выделенным каналам с фиксированной пропускной способностью.
в случае же относительно крупных тмс для подключения абонентов 
обычно используется широкополосный доступ, основанный на технологии 
ADSL, а также может применяться технология RadioEthernet. следует отметить, что для подключения наиболее крупных абонентов в любом случае 
могут организовываться выделенные каналы с гарантированной пропускной 
способностью.
технология, применяемая для организации междугородних каналов, 
полностью зависит от того, какой тип интерфейсов поддерживается на оборудовании оператора связи, предоставляющего канал в аренду. в настоящее 
время практически всегда такие каналы предоставляются в рамках операторской сети SDH, что обуславливает использование протоколов G.703 или 
G.704. Поверх таких каналов обычно организуется либо работа высокоскоростных последовательных соединений по протоколу V.35, либо передача 
пакетов Ethernet.
в качестве межсетевого протокола в региональной нотс используется 
самый распространенный на данный момент в мире протокол IP-стека протоколов TCP/IP. данный протокол обладает хорошей масштабируемостью и 
позволяет легко объединять сети отдельных организаций в единую инфраструктуру, сохраняя при этом необходимый уровень самоуправления. кроме 
того, применение протокола IP позволяет без лишних сложностей организовать подключение региональной нотс к различным ведомственным сетям, 
таким как RUNNet, RBNet, RASNet и некоторым другим. Подключение сетей 
различных организаций к этим сетям и доступ через эти сети во всемирную 
сеть интернет также является одной из задач региональной нотс.
Подключение региональной нотс к различным ведомственным (отраслевым) сетям, как правило, осуществляется путем подключения центральной тмс к этим сетям. обычно такие подключения организуются либо по 

высокоскоростным последовательным каналам, либо по каналам Ethernet, 
либо путем организации виртуальных соединений с одной из таких сетей 
поверх реального транзитного соединения с другой.
организация, на базе сети которой строится тмс, как правило, берет на 
себя решение задач, связанных с обеспечением работы этой тмс. та организация, на базе сети которой строится центральная тмс, обычно обеспечивает работу всей региональной нотс и координирует работу организаций, 
эксплуатирующих тмс. обеспечение работы сети на надлежащем уровне 
требует финансовых затрат, и зачастую весьма значительных, поэтому подключение к региональной нотс осуществляется на платной основе. однако, в отличие от коммерческих сетей, цель взимания оплаты за подключение 
к нотс заключается не в получении прибыли, а в том, чтобы попытаться 
окупить те затраты на сопровождение сети, которые несет организация, обеспечивающая работу отдельной тмс или нотс в целом. за подключение 
к нотс, как правило, либо устанавливается фиксированная сумма ежемесячных выплат, либо назначается оплата в зависимости от количества информации, переданной потребителю в течение некоторого отчетного периода. Первый способ обычно применяется в небольших тмс, когда клиенты 
подключены выделенными каналами относительно невысокой пропускной 
способности. второй способ более распространен в крупных тмс при высокоскоростном доступе. возможны также комбинации этих двух принципов 
оплаты за подключение к нотс. на выбор того или иного способа оплаты 
в конкретном случае оказывают влияние различные факторы, например, такие как стоимость аренды внешних и междугородних каналов, стоимость 
аренды помещения или места в специальных помещениях для размещения 
аппаратуры узла, а также некоторые другие факторы. следует отметить, 
что некоторые из этих затрат могут частично или полностью восполняться за счет централизованного финансирования. так, например, обстоит дело 
с подключением целого ряда вузов к сетям RUNNet и RBNet. кроме того, 
в нотс может вводиться некоторая классификация иП и для потоков различных классов могут устанавливаться различные уровни оплаты. так, например, в пределах нотс или в пределах отдельных тмс могут действовать дополнительные соглашения о льготном или даже бесплатном обмене 
информацией в пределах нотс или тмс соответственно.
региональная нотс, как правило, формируется путем объединения уже 
существующих тмс, каждая из которых управляется отдельной организацией. ввиду этого обычно единых стандартов на оборудование, применяемое в региональной нотс, не существует. Приобретение оборудования для 
сети часто выполняется за счет централизованного финансирования, которое 
для разных организаций имеет разные объемы, в результате чего различные