Структурированные кабельные системы для центров обработки данных

СТРУКТУРИРОВАННЫЕ 

КАБЕЛЬНЫЕ СИСТЕМЫ

ДЛЯ ЦЕНТРОВ

ОБРАБОТКИ ДАННЫХ

Москва, 2023

Семенов А. Б.

 2-е издание, электронное

УДК
004.04:621.315.2
ББК
32.97
С30

С30
Семенов, Андрей Борисович.

Структурированные кабельные системы для центров обработки данных / А. Б. Семенов. — 
2-е изд., эл. — 1 файл pdf : 233 с. — Москва : ДМК Пресс, 2023. — Систем. требования: 
Adobe Reader XI либо Adobe Digital Editions 4.5 ; экран 10". — Текст : электронный.

ISBN 978-5-89818-413-1

Рассматриваются основные подходы к построению центров обработки данных, в том числе 
те аспекты архитектурного исполнения, которые имеют важное значение с точки зрения реализации 
в нем структурированной кабельной системы. Выполнен обзор схем построения телекоммуникационной 
инфраструктуры этого технического объекта. Обсуждаются требования к информационной 
кабельной системе ЦОД, и приведены варианты их реализации. Подробно описаны 
принципы построения медножильной и оптической подсистем СКС. Приведены основные особенности 
и отличия электропроводной и волоконно-оптической элементной базы с анализом 
фокусных областей их использования. Представлена классификация по уровням эксплуатационной 
надежности, и описаны мероприятия по достижению требуемой величины этого параметра в 
части, относящейся к СКС. Отдельно затронуты вопросы тестирования и эксплуатационного обслуживания 
информационной кабельной системы.
Для специалистов системных интеграторов и инсталляционных компаний, сотрудников проектных 
организаций и эксплуатационного персонала ЦОД.

УДК 004.04:621.315.2 
ББК 32.97

Электронное издание на основе печатного издания: Структурированные кабельные системы для центров 
обработки данных / А. Б. Семенов. — Москва : ДМК Пресс, 2014. — 232 с. — ISBN 978-5-97060-120-4. — Текст : 
непосредственный.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы 
то ни было средствами без  письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических ошибок все 
равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В 
связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских 
прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации.

ISBN 978-5-89818-413-1
© Семенов А. Б., 2014
© Компания Стинс Коман, 2014
© Оформление, ДМК Пресс, 2014

СОДЕРЖАНИЕ

Использованные сокращения ..............................................................................................8

От автора...............................................................................................................................9

Введение .............................................................................................................................10

Глава 1. Элементы телекоммуникационной и информационной 
инфраструктуры ЦОД .........................................................................................................18

1.1. Построение телекоммуникационной инфраструктуры .......................................................................18
1.1.1. Уровни и подуровни аппаратурной части ....................................................................................18
1.1.2. Сетевые протоколы и основные виды сетей в ЦОД ....................................................................21
1.1.3. Концепции Fibre Channel over Ethernet иi SCSI .............................................................................24
1.2. Специальные варианты классической архитектуры ЛВС .....................................................................26
1.2.1. Предварительные замечания .........................................................................................................26
1.2.2. Архитектура на основе сосредоточенных групп коммутаторов ................................................27
1.2.3. Архитектура Top of Rack ..................................................................................................................28
1.2.4. Влияние концепций End of Row и Top of Rack на архитектуру кабельной системы ................28
1.3. Архитектура ЛВС в ЦОД с низким уровнем задержки .........................................................................29
1.3.1. Предварительные замечания .........................................................................................................29
1.3.2. Схема плоского дерева ...................................................................................................................30
1.3.3. Полносвязанная структура коммутаторных фабрик ....................................................................31
1.3.4. Расширенная структура с использованием интерконнекта ........................................................32
1.3.5. Централизованная структура коммутаторных фабрик ................................................................33
1.3.6. Коммутаторная фабрика на основе виртуального коммутатора ...............................................34
1.4. Сетевые интерфейсы Ethernet на скорость 40 и 100 Гбит/с ...............................................................35
1.4.1. Необходимость внедрения новых типов интерфейсов и их технические особенности .........35
1.4.2. Выбор количества каналов передачи и канальной скорости ....................................................39
1.4.3. Многомодовые оптические интерфейсы малой дальности действия ......................................40
1.4.4. Линии связи большой протяженности ..........................................................................................42
1.4.5. Передача по симметричным кабелям...........................................................................................42
1.5. Основные разновидности обобщенных топологий телекоммуникационной инфраструктуры .....43
1.5.1. Базовая топология ...........................................................................................................................43
1.5.2. Упрощенная топология....................................................................................................................43
1.5.3. Распределенная топология .............................................................................................................45

Глава 2. Архитектурные объекты телекоммуникационной инфраструктуры .................47

2.1. Архитектурная компоновка ЦОД ............................................................................................................47
2.1.1. Необходимость применения иерархического подхода ..............................................................47
2.1.2. Помещения, области и зоны телекоммуникационной инфраструктуры ..................................48
2.1.3. Требование компактности ЦОД .....................................................................................................50
2.2. Кабельный ввод и входной кросс ..........................................................................................................51
2.2.1. Особенности конструкции кабельного ввода ..............................................................................51
2.2.2. Назначение помещения входного кросса.....................................................................................52
2.2.3. Архитектурные особенности реализации входного кросса .......................................................53
2.3. Аппаратный зал и его структурные компоненты..................................................................................54
2.3.1. Предварительные замечания .........................................................................................................54
2.3.2. Область главного кросса .................................................................................................................54

Содержание

2.3.3. Область промежуточного кросса ...................................................................................................56
2.3.4. Область горизонтального кросса ...................................................................................................57
2.3.5. Зона точки консолидации ...............................................................................................................58
2.3.6. Зона размещения оконечного оборудования ..............................................................................58
2.4. Офисная зона ............................................................................................................................................59
2.4.1. Необходимость выделения дополнительных помещений .........................................................59
2.4.2. Телекоммуникационное помещение ЦОД ...................................................................................60

Глава 3. Построение информационной кабельной системы ЦОД ...................................62

3.1. Общие вопросы ........................................................................................................................................62
3.1.1. Необходимость создания специальной разновидности СКС .....................................................62
3.1.2. Назначение СКС для ЦОД и основные требования к ней ...........................................................64
3.1.3. Нормативная база ............................................................................................................................66
3.1.4. Принцип унификации с офисными кабельными системами ......................................................68
3.1.5. Соответствие зон кабельной системы и уровней аппаратной части информационной 
инфраструктуры ..........................................................................................................................................69
3.1.6. СКС для ЦОД как самостоятельный продукт ................................................................................70
3.2. Разновидности комплексных линейных объектов ...............................................................................71
3.2.1. Предварительные замечания .........................................................................................................71
3.2.2. Укрупненные функциональные компоненты ................................................................................72
3.2.3. Стационарная линия ........................................................................................................................73
3.2.4. Тракт СКС традиционной структуры ..............................................................................................74
3.2.5. Некоторые особенности структурного построения оптических трактов ..................................76
3.3. Ограничения по длинам отдельных элементов кабельных трактов .................................................77
3.3.1. Ограничения стандарта ANSI/TIA-942 ............................................................................................77
3.3.2. Ограничения по длинам отдельных компонентов симметричных стационарных линий 
и трактов по стандарту ISO/IEC 24764......................................................................................................80
3.4. Коммутация и интерфейсы кабельных линий СКС ...............................................................................83
3.4.1. Предварительные замечания .........................................................................................................83
3.4.2. Коммутация в СКС, схемы и особенности ее реализации ..........................................................84
3.4.3. Интерфейсы СКС ...............................................................................................................................87
3.5. Сопряжение отдельных частей кабельной системы ............................................................................88
3.5.1. Предварительные замечания .........................................................................................................88
3.5.2. Стыковка кабельных систем аппаратного зала и офисной части ЦОД .....................................89
3.5.3. Сопряжение СКС с соединительными линиями операторов связи ...........................................89
3.6. Структурные компоненты информационной кабельной системы ЦОД ............................................91
3.6.1. Главные особенности ......................................................................................................................91
3.6.2. Магистральные подсистемы ...........................................................................................................92
3.6.3. Горизонтальная подсистема ...........................................................................................................93
3.6.4. Точка консолидации ........................................................................................................................95
3.7. Элементная база для построения СКС ...................................................................................................97
3.7.1. Линейные кабели .............................................................................................................................97
3.7.2. Разъемные соединители .................................................................................................................98
3.7.3. Шнуровые изделия ..........................................................................................................................99
3.7.4. Тренд на улучшение массогабаритных характеристик оборудования СКС ............................100
3.8. Коммутационное оборудование ..........................................................................................................102
3.8.1. Назначение коммутационного оборудования и общие требования к нему .........................102
3.8.2. Объемы применения коммутационного оборудования в серверных шкафах ......................103

Содержание

3.8.3. Центральный кросс в аппаратном зале ......................................................................................105
3.9. Модульно-кассетные и претерминированные решения ...................................................................106
3.9.1. Предварительные замечания .......................................................................................................106
3.9.2. Модульно-кассетная техника .......................................................................................................108
3.9.3. Претерминированные решения ...................................................................................................110

Глава 4. Специальные разновидности организации информационной 
кабельной системы ..........................................................................................................111

4.1. Внутрирядная связь ................................................................................................................................111
4.1.1. Предварительные замечания .......................................................................................................111
4.1.2. Выделенные линии ........................................................................................................................111
4.1.3. Активные кабельные сборки ........................................................................................................112
4.2. Централизованная оптическая архитектура ........................................................................................113
4.2.1. Целесообразность внедрения и основные преимущества ......................................................113
4.2.2. Варианты реализации ....................................................................................................................114

Глава 5. Электропроводная подсистема .........................................................................118

5.1. Особенности построения ......................................................................................................................118
5.1.1. Перспективы применения медножильных линий в ЦОД .........................................................118
5.1.2. Принцип соответствия класса и категории в симметричных линиях ......................................119
5.2. Стандартные кабели...............................................................................................................................120
5.2.1. Области применения симметричной техники различных категорий ......................................120
5.2.2. Коаксиальные кабели ....................................................................................................................121
5.2.3. Температурные характеристики линейных горизонтальных кабелей ....................................122
5.3. Экранирование горизонтальных кабелей ...........................................................................................123
5.3.1. Перспективность экранированных решений ..............................................................................123
5.3.2. Полуэкранированные и незаземленные экранированные конструкции ...............................125
5.4. Симметричные кабели малого диаметра............................................................................................127
5.4.1. Необходимость внедрения новой разновидности кабельных изделий .................................127
5.4.2. Категории кабелей .........................................................................................................................129
5.4.3. Шнуры из кабеля уменьшенного диаметра ...............................................................................130
5.4.4. Ограничения по областям применения кабелей малого диаметра........................................130
5.5. Разъемы для симметричных кабелей ..................................................................................................132
5.5.1. Стандартные типы разъемов ........................................................................................................132
5.5.2. Особенности разъемов кабелей малого диаметра ...................................................................134
5.6. Коммутационная техника для медножильных линий .......................................................................135
5.6.1. Особенности коммутационных панелей для ЦОД ....................................................................135
5.6.2. Подавление межэлементной помехи .........................................................................................136
5.6.3. Адаптеры медножильной подсистемы .......................................................................................138
5.7. Конструктивное исполнение панелей .................................................................................................139
5.7.1. Наборные панели ...........................................................................................................................139
5.7.2. Классические угловые панели ......................................................................................................139
5.7.3. Особые разновидности угловых панелей ...................................................................................140
5.7.4. Другие конструктивные решения .................................................................................................142
5.7.5. Решения монтажного типа ............................................................................................................143
5.7.6. Панели с переключателями ..........................................................................................................145
5.7.7. Панели с разъемами рядного типа ..............................................................................................147
5.8. Претерминированная техника медножильной подсистемы ............................................................148

Содержание

5.8.1. Основания для внедрения и основные характеристики ...........................................................148
5.8.2. Модульно-кассетные решения .....................................................................................................149
5.8.3. Претерминированные сборки ......................................................................................................150

Глава 6. Волоконно-оптическая подсистема ...................................................................152

6.1. Волоконно-оптические кабели .............................................................................................................152
6.1.1. Допустимые для применения разновидности волоконных световодов ................................152
6.1.2. Некоторые конструктивные особенности ...................................................................................154
6.2. Коммутационное оборудование ..........................................................................................................154
6.2.1. Общие требования к коммутационной технике оптической подсистемы СКС 
и главные особенности ее исполнения .................................................................................................154
6.2.2. Разъемы для построения волоконно-оптической подсистемы ...............................................155
6.3. Задача перехода к 40- и 100-гигабитным оптическим трактам и методы ее решения ................158
6.3.1. Подключение сетевого оборудования к СКС .............................................................................158
6.3.2. Шнуровые изделия ........................................................................................................................160
6.3.3. Адаптеры оптической подсистемы СКС ......................................................................................160
6.3.4. Стратегия построения оптической подсистемы .........................................................................162
6.3.5. Некоторые особенности конструктивного исполнения ............................................................162
6.4. Решение задачи перехода на скорости передачи 40 и 100 Гбит/с .................................................165
6.4.1. Предварительные замечания .......................................................................................................165
6.4.2. Основные варианты реализации .................................................................................................166
6.5. Полярность оптических трактов в случае использования схемы параллельной передачи ..........167
6.5.1. Предварительные замечания .......................................................................................................167
6.5.2. Терминология стандартов ............................................................................................................168
6.5.3. Основные методы достижения требуемой полярности оптического тракта .........................169
6.5.4. Оригинальные разработки ............................................................................................................172
6.6. Вилки разъемных оптических соединителей с переменной полярностью ....................................173
6.6.1. Истоки возникновения проблемы ...............................................................................................173
6.6.2. Способы изменения полярности .................................................................................................174
6.6.3. Общая характеристика решений ..................................................................................................175
6.6.4. Вилки типа LC..................................................................................................................................175
6.6.5. Вилка типа MTP/MPO .....................................................................................................................176
6.7. Модульно-кассетное оборудование с улучшенными характеристиками по затуханию 
и возвратным потерям ..................................................................................................................................176
6.7.1. Истоки возникновения необходимости внедрения нового класса оборудования ...............176
6.7.2. Требования к затуханию разъемов улучшенного модульно-кассетного оборудования ......178
6.7.3. Требования к возвратным потерям разъемов улучшенного модульно-кассетного 
оборудования с улучшенными параметрами .......................................................................................180

Глава 7. Специальные типы многомодовых световодов ...............................................181

7.1. Изгибностойкое многомодовое волокно ............................................................................................181
7.2. Многосердцевинное кварцевое волокно............................................................................................182
7.2.1. Конструктивная схема ...................................................................................................................182
7.2.2. Разъемные соединители ...............................................................................................................184
7.2.3. Влияние на перечень контролируемых характеристик .............................................................185
7.3. Многомодовое оптическое волокно с компенсацией хроматической дисперсии ........................185
7.3.1. Необходимость внедрения нового типа широкополосных многомодовых световодов ......185
7.3.2. Факторы, ограничивающие предельную дальность связи .......................................................186

Содержание

7.3.3. Дисперсионные составляющие ....................................................................................................189
7.3.4. Особенности лазерных излучателей для схем параллельной передачи ...............................190
7.3.5. Направление улучшения дисперсионных свойств многомодовых волокон ..........................191
7.3.6. Практическая реализация многомодового волокна для лазерной передачи 
с дисперсионной компенсацией ............................................................................................................193
7.3.7. Целесообразность изменения структуры построения 100-гигабитных сетевых 
интерфейсов ..............................................................................................................................................194
7.3.8. Перспективы введения новой категории многомодовых волоконных световодов ..............195

Глава 8. Надежность ЦОД ................................................................................................196

8.1. Общие положения ..................................................................................................................................196
8.1.1. Предварительные замечания .......................................................................................................196
8.1.2. Отказоустойчивость .......................................................................................................................196
8.1.3. Катастрофоустойчивость ...............................................................................................................197
8.1.4. Численные характеристики надежности .....................................................................................198
8.1.5. Резервирование в ЦОД и его основные особенности ..............................................................199
8.2. Уровни надежности ................................................................................................................................201
8.2.1. Необходимость классификации по уровням надежности ........................................................201
8.2.2. Уровни надежности стандарта ANSI/TIA-942 ..............................................................................202
8.2.3. Особенности применения классификации по уровням надежности ......................................205
8.2.4. ЦОД без сертификации по уровням надежности ......................................................................206
8.2.5. Особенности архитектурной части телекоммуникационной инфраструктуры 
с различными уровнями отказоустойчивости ......................................................................................207
8.3. Основные средства достижения требуемого уровня отказоустойчивости .....................................210
8.3.1. Предварительные замечания .......................................................................................................210
8.3.2. Применение качественных решений ..........................................................................................210
8.3.3. Резервирование .............................................................................................................................211
8.3.4. Проектные решения ......................................................................................................................212

Глава 9. Тестирование и эксплуатационное обслуживание СКС для ЦОД ....................213

9.1. Общие положения ..................................................................................................................................213
9.2. Эксплуатационное обслуживание информационной кабельной системы .....................................214
9.3. Необходимые условия быстрого обнаружения и локализации неисправностей 
в линейной части трактов передачи ...........................................................................................................215
9.4. Выявление неисправностей оптической подсистемы .......................................................................216

Глава 10. Система администрирования СКС ...................................................................218

10.1. Общие положения ................................................................................................................................218
10.1.1. Необходимость использования системы администрирования..............................................218
10.1.2. Правила формирования идентификаторов администрируемых компонентов ...................218
10.2. Построение идентификаторов коммутационного оборудования ..................................................220
10.2.1. Штатные компоненты системы администрирования ..............................................................220
10.2.2. Дополнительные компоненты системы администрирования................................................222
10.2.3. Схема маркировки линейных кабелей и коммутационных шнуров .....................................222
10.2.4. Особенности администрирования централизованных оптических архитектур ...................223 
10.2.5. Особенности применения систем интерактивного управления в ЦОД ................................223

Заключение.......................................................................................................................227
Литература ........................................................................................................................229

ИСПОЛЬЗОВАННЫЕ СОКРАЩЕНИЯ

БД 
База данных
ВхК 
Входной кросс
ГлК 
Главный кросс
ГрК 
Групповой кросс
ИБП Источник бесперебойного питания
ИВС Информационно-вычислительная система
ИР 
Информационная розетка
ЛВС Локальная вычислительная сеть
ПО 
Программное обеспечение
СКС Структурированная кабельная система
ЦОД Центр обработки данных

BER Bit Error Rate 
Вероятность битовой ошибки
C 
Connector 
Коннектор (элемент соединителя)
ENI 
External network interface 
Интерфейс к сети связи общего пользования
EO 
Equipment outlet 
Розетка для подключения оконечного оборудования
EQ 
Equipment 
Активное сетевое оборудование
LDP Local distribuon point 
Локальная распределительная точка/Точка консолидации
MD 
Main distributor  
Главный кросс
ZD 
Zone distributor 
Горизонтальный кросс

ОТ АВТОРА 

Центры обработки данных (ЦОД) стали неотъемлемой частью современной информационно-
телекоммуникационной инфраструктуры организаций различного уровня. Услугами этих технических 
объектов в большей или меньшей степени в настоящее время успешно пользуются как 
малые предприятия, так и крупные структуры уровня системообразующих корпораций и органов 
государственного управления. Не вызывает сомнения факт, что степень охвата нашей динамичной 
жизни услугами ЦОД в ближайшие годы будет увеличиваться стремительными темпами. 
Проектирование, создание и эксплуатация инфраструктуры самого ЦОД как крупного объекта 
и информационной кабельной проводки как одной из ключевых его подсистем естественным 
образом вовлекает в свою орбиту большое количество специалистов. Само собой разумеется, 
что работа с такими сложными объектами требует от ее участников соответствующего профессионального 
уровня.
Монография представляет собой первую русскоязычную публикацию подобного рода и может 
быть рекомендована широкому кругу читателей. Она ориентирована, в первую очередь, на 
сотрудников различных компаний, которые в силу своих должностных обязанностей занимаются 
проектированием, созданием и эксплуатацией информационной кабельной системы ЦОД.
Начинающий специалист найдет в ней базовые сведения по технике высокоскоростных СКС и 
особенностям их построения. Практику с уже имеющимся опытом она будет полезна, в первую 
очередь, как выполненное в едином стиле систематизированное изложение основных подходов 
к реализации информационной проводки аппаратных залов на системном и компонентном 
уровне в том виде, в котором они зафиксированы в действующих редакциях стандартов. Именно 
с учетом потребности этой категории читателей в текст монографии был включен большой 
объем фактического материала и ссылок справочного характера на нормативные документы. 
Для аналитиков и системных архитекторов, работающих в области формирования базовых 
принципов построения сложных информационно-телекоммуникационных систем, ценность 
могут представлять сведения о последних разработках и, самое главное, тенденциях развития 
структурированной кабельной системы, как одного из обязательных компонентов современного 
центра обработки данных. Топ-менеджменту системного интегратора и эксплуатирующей организации 
книга даст понимание принципов построения одной из ключевых подсистем ЦОД, т.е. 
фактически поможет решить немало организационных и управленческих проблем.
Данная книга, надеемся, будет интересна не только состоявшимся специалистам, но и тем, 
кто в той или иной степени соприкоснется с центрами обработки данных уже в ближайшее время: 
студентам тех учебных заведений, которые готовят специалистов в области передачи и обработки 
информации в широком смысле этого понятия. Монография может выполнять функции 
учебного пособия, способствующего лучшему усвоению и закреплению материала в процессе 
прохождения различных учебных курсов, тем или иным образом рассматривающих вопросы 
построения физического уровня современных высокоскоростных информационных систем.
Группа компаний «Стинс Коман» давно и плодотворно занимается вопросами построения 
ЦОД. Накоплен большой опыт реализации технических проектов любого уровня сложности. 
Монография обобщает лишь небольшую часть больших возможностей «Стинс Коман» в данной 
области. Систематизированное изложение этого опыта является одним из обязательных 
этапов эволюционного роста компании, т.к. с определенного момента, идея его оформления в 
печатном издании фактически начинает витать в воздухе. Тем не менее, одного желания все-
таки мало, необходимы еще соответствующие ресурсы. В этой связи выражаю признательность 
руководству «Стинс Коман»: президенту С.Н. Анисимову, вице-президенту Б.В. Грановскому и 
директору В.С. Диденко, а также главе представительства компании «RiT Technologies» в России 
Д. Зайенцу, благодаря кому данная книга вышла в свет. 

ВВЕДЕНИЕ

Современный этап развития народного хозяйства и человеческого общества фактически диктует 
необходимость расширения объемов применения электронных средств автоматизации 
и обеспечения информационной поддержки, а также количества и глубины предоставления 
различных информационно-телекоммуникационных сервисов. Сама модель реализации вычислительных 
процессов начинает испытывать серьезные изменения, которые происходят с очень 
высокими темами. Данным процессам способствует в первую очередь резкое наращивание 
вплоть до планетарного масштаба размеров географической области, на территории которой 
пользователи получают доступ к подобным сервисам, а также взрывной рост объемов хранимой 
и обрабатываемой информации. Одним из внешних проявлений тех качественных изменений, 
которые происходят прямо на наших глазах, стало внедрение процедуры облачных вычислений, 
которые становятся наиболее эффективными при наличии даже одиночного центра обработки 
данных (ЦОД), не говоря уже об их сети.
На ЦОД как технический объект возлагается ряд функций. Они относятся к критически важным 
и очень хорошо востребованным в процессе повседневной деятельности, а также непосредственно 
касаются как конкретного человека в быту и на работе, так и находящихся на 
уровне целой организации. В их длинный перечень входят хранение информации самого разнообразного 
назначения с выполнением процедурного резервного копирования, обработка 
поступающих запросов, предоставление пользователям различных данных (архивных, текущих 
и полученных в результате обработки), а также реализация других аналогичных сервисов.
На первый взгляд, ЦОД может рассматриваться как всего лишь крупная традиционная аппаратная 
информационных систем, реализованная по подходам, основные положения которых 
сформировались еще в 90-х гг. прошлого столетия. Действительно, с этим техническим объектом 
обнаруживается очень широкое сходство, а сам он вполне может рассматриваться в качестве 
прототипа. Основные отличия, обеспечивающие широкое распространение ЦОД в современных 
информационных системах, проявляются в том, что ЦОД по своим функциональным возможностям 
значительно превосходит своего предшественника. Еще более очевидно его преимущество 
над вычислительными центрами 60–80-х гг.
Нельзя забывать также о том, что организация узловых элементов распределенной информационной 
инфраструктуры в форме ЦОД сопровождается значительным увеличением эффективности 
использования технических средств электронной обработки и хранения данных. Этому 
в немалой степени способствует создание для них оптимальных условий функционирования 
и обслуживания. Со стороны потребителей ИТ-услуг рост популярности обращения к услугам 
ЦОД стимулируется массовым внедрением облачных вычислений и широким использованием 
технологий виртуализации, а также перевод ИТ-сервисов на модель аутсорсинга.
Совокупность перечисленных выше факторов приводит к тому, что услуги, предоставляемые 
ЦОД, а также выполняемые им функции находят большой спрос в рамках даже одной сравнительно 
небольшой организации, не говоря уже о корпорациях. При построении так называемого 
коммерческого ЦОД обеспечиваемый им сервис столь же хорошо востребован на открытом 
ИТ-рынке.
Центры обработки данных могут считаться полноправным самостоятельным направлением 
развития информационных технологий. Это подтверждается, в частности, наличием в данной области 
развитой системы стандартизации. Соответственно, различные аспекты проектирования, 
инсталляции и последующей эксплуатации как самого технического объекта в комплексе, так 
и его многочисленных систем и более мелких функциональных единиц оказываются в области 
профессиональных интересов большого количества специалистов.
Одновременно ЦОД представляет собой сложнейший технический объект. Их проектирование, 
создание и обеспечение нормальной работоспособности в процессе текущей эксплуатации 
в обязательном порядке требует от специалистов, занимающихся техническими аспектами этой 

Введение

проблематики на системном уровне и отдельными ее вопросами, соответствующего уровня 
профессиональной подготовки. Необходимые для этого знания могут быть получены по самым 
различным каналам: в системе среднего и высшего профессионального образования, на послевузовских 
курсах повышения квалификации, в процессе обучения в магистратуре и аспирантуре. 
Очень большую популярность получили профессиональные тренинги и семинары, которые 
проводятся производящими компаниями и их локальными партнерами, специализирующимися 
на внедрении выпускаемой ими техники в конкретные проекты. Далеко не последнюю роль 
играет непосредственное общение с коллегами, получение консультаций в службе технической 
поддержки вендоров по телефону и по запросам через Интернет. В последнее время большое 
развитие получила такая форма обмена информацией, как обсуждение профессиональных проблем 
и способов их решения на различных виртуальных форумах и дискуссионных площадках 
в Интернете. Тем не менее при всем разнообразии способов и средств получения профессиональной 
информации одним из наиболее эффективных среди них заслуженно считается обращение 
к технической литературе.
Термин «техническая литература» в его общепринятом понимании обычно обозначает довольно 
широкий круг публикаций в текстовой форме1. В частности, Википедия считает таковой 
литературу, которая относится к области техники и производства. Таким образом, техническая 
литература представлена описаниями продуктов, инструкциями по эксплуатации, обслуживанию 
и ремонту, каталогами различных деталей, элементов и узлов, а также прочих аналогичных 
изделий, заявками на изобретения и прошедшими экспертизу патентами различного уровня и т. 
п. На фоне всего этого разнообразия текстовой продукции особое место занимают монографии, 
которые в наиболее полной степени и в систематизированной форме освещают общие и важнейшие 
частные проблемы вполне определенной области техники или отдельных ее сегментов.
Центр обработки данных как техническая система отличается очень высокой степенью сложности, 
обусловленной разнородным характером образующих его составляющих и наличием 
многочисленных прямых, косвенных и обратных связей между ними. Осознание этого факта 
немедленно приводит к пониманию если не полной невозможности, то, по крайней мере, к 
высокой сложности отражения всех его (даже основных) аспектов в одной публикации.
Попытаемся оценить выдвинутый выше тезис в количественной форме. Опыт литературной 
деятельности автора этих строк свидетельствует, что более или менее полное решение этой 
задачи приводит к необходимости подготовки довольно объемного издания. В качестве прототипа 
в данном случае можно рассматривать любой более или менее подробный профильный 
стандарт, для которого коэффициент увеличения объема достигает величины 7–10 раз. Таким 
образом, если отталкиваться от стандарта ANSI/TIA-942, нормирующего правила реализации 
основных инженерных систем ЦОД,  то объем монографии заметно превысит 1000 страниц. 
Фактически публикация превращается в полноценный многотомник. Написание такой книги 
для одного автора является весьма трудоемким и длительным занятием, в том числе из-за 
чрезвычайно разнопланового характера основных инженерных систем объекта. Сокращение 
времени вполне возможно при обращении к схеме командной работы, но при этом возникает 
дополнительная серьезнейшая проблема формирования работоспособного коллектива творчески 
самостоятельных людей. Дополнительно укажем на факт того, что при проведении представленной 
выше предварительной оценки не привлекался еще более обширный стандарт ANSI/
BICSI-002-2011 (см. [1]). Этот документ следует рассматривать как развитие ANSI/TIA-942 по ряду 

1 В данном случае мы не делаем разницы между бумажной и электронной версиями литературы. В основе 
подобного подхода лежит то простое соображение, что в случае обращения к современным полиграфическим 
системам при наличии электронного оригинала может быть легко получено требуемое количество 
копий материала, оформленных в виде традиционной книги или брошюры в твердом или мягком переплете 
соответственно.

Введение

положений на основе опыта, накопленного за первые пять лет самостоятельного официального 
существования данного технического направления.
В сложившейся ситуации более рациональным становится пойти по пути создания отдельных 
монографий или серии независимых монографических изданий, объединенных общей идеей. 
Каждая из таких публикаций вполне может посвящаться одной из основных инженерных систем 
различного назначения, взаимоувязанная совокупность которых образует ЦОД. Не исключено 
обращение также к более или менее обширной группе идеологически и технически близких 
систем. Основным назначением подобных публикаций становится рассмотрение с единых позиций 
всего многообразия технических задач, возникающих в процессе проектирования, реализации 
и эксплуатации центра. Практическая ценность монографии заметно увеличивается, 
если в ней приводится информация о методах решения подобных задач.
Русскоязычное научно-техническое сообщество частично выполнило указанную работу. В настоящее 
время наилучшим образом дело обстоит в области представления различных аспектов 
тех двух ключевых компонентов инженерного обеспечения функционирования ЦОД как технического 
объекта, которыми являются системы электроснабжения и кондиционирования. Вопросы 
электроснабжения компьютерной техники и прочего оборудования, применяемого при построении 
информационных систем, были подробно рассмотрены в известной монографии [2]. Изложенные 
в ней положения в основной своей части без каких-либо существенных оговорок могут 
быть распространены на новую область применения. Базовые сведения по практически важным 
аспектам использования систем промышленного кондиционирования можно найти в [3].
Столь неплохие для новой техники стартовые условия объясняются тем, что указанные вопросы 
ранее были хорошо отработаны применительно к другим областям техники со схожими 
или аналогичными начальными условиями. Это позволяет заимствовать наработанные ранее 
результаты с минимальным уровнем изменений непринципиального плана, учитывающих особенности 
объектов их установки.
В 2011–2012 гг. увидели свет две книги Михаила Балкарова [4, 5], которые уже целенаправленно 
были посвящены различным вопросам энергоснабжения ЦОД и его кондиционирования. 
Интересно отметить, что они фактически реализуют на практике идею серийного издания, объединенного 
в единое целое общей тематикой, схожим стилем оформления, равным уровнем 
сложности изложения материала и т. д.
Перейдем теперь собственно к теме монографии, которой является структурированная кабельная 
система. Она представляет собой один из ключевых компонентов инженерной инфраструктуры 
ЦОД в широком смысле этого термина и в узком понимании – его телекоммуникационной 
части. По совокупности обеспечиваемых характеристик этот критически важный 
компонент объекта является безальтернативным средством реализации физического уровня 
телекоммуникационной инфраструктуры, по крайней мере в пределах аппаратного зала. Безусловная 
необходимость обращения к иным техническим средствам (системы радиосвязи, передача 
по силовой проводке, оборудование открытой оптической связи и т. д.) возникает крайне 
редко, а их применение ограничено немногочисленными нишевыми областями.
Основная масса технических решений, используемых в информационных кабельных системах 
ЦОД, заимствуется из СКС офисного назначения, которые в результате этого вполне допустимо 
рассматривать в качестве полноправного прототипа. Новых оригинальных разработок, которые 
реально не востребованы в офисе, в момент завершения окончательного формирования концепции 
ЦОД было сравнительно немного. Тем не менее к середине первого десятилетия нового 
века их количество превысило ту критическую массу, которая позволила осуществить выделения 
СКС для ЦОД в отдельное самостоятельное направление кабельной техники.
Сама техника СКС, а также различные аспекты ее построения, устройства и назначения отдельных 
компонентов, проектирования, инсталляции и эксплуатации применительно к объектам 
офисного назначения с достаточной для практики степенью полноты рассмотрены 

Введение

в многочисленных отечественных и зарубежных публикациях. В качестве иллюстрации данного 
утверждения можно сослаться на англоязычные [6, 7] и немецкоязычные [8, 9]) работы, переводные 
издания [10, 11], оригинальные монографии на русском языке П. А. Самарского [12], 
Д. Я. Гальперовича в соавторстве с Ю. В. Яшневым [13, 14] и И. Г. Смирнова [15, 16]. Свой вклад 
в освещение данной тематики внес также автор этих строк. Начиная с 1998 года им преимущественно 
самостоятельно были написаны книги, посвященные общим вопросам и проблемам 
техники СКС [17], проектированию информационных кабельных систем офисного назначения 
[18], их администрированию [19], волоконно-оптической подсистеме [20], а также оборудованию 
интерактивного управления информационной проводкой [21].
СКС в офисе и центре обработки данных (если говорить предельно корректно, то в его основном 
техническом помещении, которым является аппаратный зал), при всем своем очевидно 
прослеживаемом сходстве как на системном, так и на компонентном уровнях, очень сильно 
отличаются друг от друга.
Существование большого количества особенностей приводит к тому, что для решения тех 
многочисленных задач, которые возникают в процессе проектирования, построения и эксплуатации 
СКС в ЦОД, приходится часто привлекать уникальные методы, способы и приемы, а также 
использовать во многом иную элементную базу. В результате при наличии общих характерных 
черт со своим прародителем и прототипом: СКС для офисных зданий – структурированная 
кабельная система в ЦОД в обязательном порядке приобретает ряд значимых отличий. Их наличие 
сначала де-факто выделяло ее в отдельный класс технических объектов с последующим 
подтверждением такого выделения де-юре.
С середины первого десятилетия нового века наличие самостоятельного сегмента техники 
структурированного каблирования зафиксировано официально и выражается в существовании 
самостоятельных профильных стандартов. При этом имеющееся сходство столь же официально 
подчеркивается наличием нормативных ссылок как на стандарты офисных СКС, так и на 
одинаковые с офисными системами компонентные стандарты. Неизбежно присутствующие 
отличия, требующие самостоятельных разработок и оригинальных решений на системном и 
компонентном уровнях, носят объективный характер. Необходимость их обязательного внедрения 
обусловлена стремлением к повышению технико-экономической эффективности кабельной 
системы в целом или отдельных ее частей. Данный аспект техники специально рассматривается 
далее по тексту настоящей работы.
Существенная специфика СКС, которая реализуется в ЦОД, и ее значимое отличие от своего 
офисного прототипа требуют обязательного отдельного систематизированного освещения не 
только в нормативных документах. На уровне профильной технической литературы наилучшим 
образом это достигается в монографии.
Написание такой фундаментальной работы, как монография, представляет собой достаточно 
непростой труд. Некоторые из объективных проблем, сопутствующих его выполнению, 
решаются существенно проще при наличии прототипа. К сожалению, помощи со стороны предшественников 
в этом вопросе ждать не приходится. Хотя бы одно русскоязычное монографическое 
издание, целевым образом посвященное СКС для центров обработки данных, отсутствовало 
на момент начала работы над книгой, которую держит в руках читатель этих строк. По 
аналогичной причине не удавалось решить проблему «меньшей кровью» обращением к трудам 
зарубежных авторов с последующим их переводом на русский язык или же использованием их 
в качестве первоосновы для самостоятельной работы: профильные фундаментальные издания 
на иностранных языках также неизвестны.
Известны издания монографического плана, главной темой которых является структурированная 
кабельная система именно ЦОД. Они не вышли за пределы крайне немногочисленных 
фирменных материалов, рассматривающих вопросы построения этого инфраструктурного 
компонента на оборудовании одного производителя. Пожалуй, наилучшей из доступных пуб-

Введение

ликаций данной разновидности может считаться руководство [22]. В этой работе представлен 
довольно ограниченный круг процедур проектирования и реализации информационной 
кабельной системы ЦОД, в основе которой лежат технические средства волоконной оптики 
производства компании Corning Cable Systems. Документ написан на английском языке, что 
делает его плохо доступным для отечественных специалистов, несмотря на их заметно возросшую 
грамотность в этом вопросе. Кроме того, он носит явно выраженный нишевый характер и 
содержит некоторые дискуссионные положения, которые плохо стыкуются с образовавшейся 
практикой реализации проектов.
Сложившееся положение дел может считаться вполне объективным и объясняется как молодостью 
самого технического направления «Центры обработки данных», так и его очень высокой 
технической сложностью. Однако его нельзя назвать нормальным в связи с большой емкостью 
рынка и его высокой перспективностью.
Справедливости ради необходимо отметить тот факт, что русскоязычный читать не находится 
в состоянии полного информационного вакуума по основному кругу вопросов, относящихся к тематике 
структурированных кабельных систем в центрах обработки данных. Актуальные вопросы 
этого технического направления рассматриваются в различных видах технической литературы. 
В США ежемесячно выходит специализированный журнал Cabling Installaon and Maintenance, 
электронная версия которого доступна в открытом доступе. Его издательство регулярно проводит 
многочисленные профильные вебинары, записи которых можно прослушать и посмотреть 
в удобное для себя время. Часть положений начального уровня обычно в виде выдержек из 
стандартов содержится в каталогах компонентов и различных продуктовых буклетах, которые 
готовятся производящими компаниями в маркетинговых целях и в рамках программы поддержки 
партнеров.
Устойчивый существенный интерес к тематике ЦОД демонстрирует ведущая отечественная 
специализированная пресса, которая начиная со второй половины первого десятилетия нового 
века целевым образом обращается к ней на регулярной основе с частотой, по меньшей мере, 
несколько раз в год. Среди таких русскоязычных периодических изданий наибольшую активность 
проявляют профильные издания, среди которых стоит выделить «LAN/Журнал сетевых 
решений», «Connect! Мир связи», «Вестник связи» и «Информкурьерсвязь (ИКС)», а также выходящий 
на Украине журнал «Сети и бизнес».
Тем не менее, несмотря на имеющиеся достижения, автор этих строк считает, что положение 
дел в области информационной поддержки специалистов по кабельным системам и ЦОД, 
сложившееся в отрасли к середине второго десятилетия XXI века, не соответствует текущим потребностям 
той части ИТ-отрасли, которая занимается построением современных ИВС. Данное 
мнение основано на личном понимании достигнутого уровня техники в сочетании с характером 
выполняемой работы. Не в последнюю очередь оно сформировалось под воздействием многочисленных 
запросов, поступающих со стороны технических специалистов. Осознание подобного 
факта привело к мысли совершения качественного перехода и рассмотрения с единых позиций 
совокупности по крайней мере основной части проблем, возникающих в процессе проектирования, 
построения и эксплуатации СКС для ЦОД, в отдельном монографическом издании. 
Насколько попытка решения этой сложнейшей задачи в виде охвата принципов и подходов 
к построению всего объекта в целом и образующих его отдельных компонентов и функциональных 
блоков, а также глубина проработки изложенного материала оказалась удачной, теперь 
предстоит судить читателю.
Монография состоит из десяти глав.
Первая глава посвящена наиболее существенным проблемам построения информационной и 
телекоммуникационной инфраструктуры ЦОД. При их рассмотрении проанализированы основные 
свойства классических структур локальной сети и ее варианта в виде Fibre Channelover 
Ethernet, а также концепций End/Middle of Row и Topof Rack, затронуты актуальные для объ-

Введение

ектов рассматриваемого класса приемы по уменьшению времени задержки на уровне локальной 
сети за счет применения специальных разновидностей структур коммутаторов. Отдельно 
представлены основные идеи построения перспективных сетевых интерфейсов на скорость 
40 и 100 Гбит/с. Дано представление о канонических разновидностях обобщенных топологий 
телекоммуникационной инфраструктуры. 
Темой второй главы стали архитектурные особенности реализации помещений различного 
функционального назначения в той их части, которая относится к СКС. Обоснованы целесообразность 
разделения основных технических помещений и их аналогов по главному назначению и 
формирование отдельных специализированных зон аппаратного зала.
Общие вопросы построения информационной кабельной системы ЦОД рассмотрены в третьей 
главе. В ней анализируются причины выделения СКС для ЦОД в отдельное самостоятельное 
направление и степень ее близости к классическим кабельным системам офисных зданий, 
основные комплексные объекты и структурные компоненты проводки и их взаимодействие 
с архитектурной инфраструктурой центра. Здесь же рассмотрен вопрос касательно предельных 
длин трактов и линий на горизонтальном и магистральном уровнях кабельной системы, а также 
их отдельных составных частей и компонентов.
Темой четвертой главы стали специальные разновидности организации кабельных систем 
аппаратного зала. Решения первой функционально самостоятельной группы представлено уникальными 
для СКС внутрирядными линиями, которые в общем случае не имеют обязательной 
связи с остальной кабельной системой, а также очень популярными на практике активными кабельными 
сборками. Во втором случае речь идет о централизованной оптической архитектуре, 
имеющей весьма существенные перспективы при построении масштабных ЦОД.
В пятой главе рассмотрена электропроводная подсистема СКС, имеющая массовое применение 
в ЦОД небольших и средних размеров, а также на нижнем уровне масштабных центров. 
Наряду с вопросами системного плана обсуждаются также различные компонентные решения, 
обращение к которым дает возможность заметно увеличить общую технико-экономическую 
эффективность реализуемого проекта.
Различные вопросы системного и компонентного плана, относящиеся к волоконно-оптической 
подсистеме, стали темой шестой главы. Наряду с отдельными кабельными изделиями и 
коммутационным оборудованием в ней разобраны методы решения задачи перехода от двух-
волоконных к многоволоконным трактам, а также приемы обеспечения полярности простых и 
составных трактов. Обоснована необходимость ужесточения норм стандартов по вносимому 
затуханию и возвратным потерям современного оптического многомодового коммутационного 
оборудования.
Седьмая глава посвящена специальным типам многомодовых волоконных световодов, обращение 
к которым дает возможность более эффективно решить ряд практически актуальных 
задач. Это изгибностойкие волокна, многосердцевинные световоды и многомодовое волокно 
с компенсацией хроматической дисперсии.
Темой восьмой главы стали надежность ЦОД и методы, применяемые для достижения требуемой 
величины коэффициента эксплуатационной готовности.
В девятой главе рассмотрены основные вопросы тестирования и эксплуатационного обслуживания 
кабельных систем, инсталлированных в аппаратных залах ЦОД.
Десятая глава посвящена вопросам администрирования СКС в центрах обработки данных. 
В ней обосновываются необходимость реализации системы администрирования на объектах 
рассматриваемой разновидности и  правила построения идентификаторов различных компонентов 
трактов передачи сигналов.
В конце книги приводится список использованной литературы, который при возникновении 
такой потребности позволит читателю расширить свой кругозор, обратившись непосредственно 
к первоисточникам. Заодно объем представленных источников вполне позволяет познакомиться