Организация облачных и GRID вычислений

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ 

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное 

учреждение высшего образования

«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Инженерно-технологическая академия

А. И. КОСТЮК

ОРГАНИЗАЦИЯ ОБЛАЧНЫХ

И GRID-ВЫЧИСЛЕНИЙ

Учебное пособие

Ростов-на-Дону – Таганрог

Издательство Южного федерального университета

2018

УДК 004.65(075)
ББК 32.973-018.2я73

К727

Печатается по решению кафедры вычислительной техники Института 

компьютерных технологий и информационной безопасности Южного 

федерального университета (протокол № 6 от 23 января 2018 г.)

Рецензенты:

доктор технических наук, профессор кафедры систем  автоматического 

управления Института радиотехнических систем и управления

В. И. Финаев

директор ОП «Д-Линк Трейд» в г. Таганроге С. В. Кондратенко

Костюк А. И.

К727
Организация облачных и GRID-вычислений : учебное пособие / 

А. И. Костюк ; Южный федеральный университет. – Ростов-на-Дону ; 
Таганрог : Издательство Южного федерального университета, 2018. –
121 с.

ISBN 978-5-9275-2879-0
В учебном пособии описываются основы организации облачных и GRID
вычислений. Рассматриваются программно-аппаратные аспекты GRID, технологии облачных вычислений, платформа Microsoft Windows Azure.

Предназначено для студентов направления 09.03.01 и 09.04.01 «Информати
ка и вычислительная техника», специальности 09.05.01 «Применение и эксплуатация автоматизированных систем специального назначения» всех форм обучения и слушателей СФПК.

Работа поддержана Минобрнауки России в рамках выполнения проектной 

части госзадания  № 2.3928.2017/4.6 в Южном федеральном университете.

УДК  004.65(075)

ББК  32.973-018.2я73

ISBN 978-5-9275-2879-0

© Южный федеральный университет, 2018
© Костюк А. И., 2018
© Оформление. Макет. Издательство

Южного федерального университета, 2018

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..........................................................................................................4
1. КОНЦЕПЦИЯ GRID .......................................................................................4

1.1. Основные задачи GRID.............................................................................5
1.2. Архитектура GRID ....................................................................................6
1.3. Стандарты GRID........................................................................................8

2. ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ......................................................................10

2.1. Определение облачных вычислений и их особенности......................10
2.2. Модели обслуживания в облачных системах.......................................12

3. ПРИЛОЖЕНИЯ MICROSOFT WINDOWS AZURE..................................16

3.1. Размещение приложений в Azure ..........................................................16
3.2. Виртуальные машины Azure..................................................................18
3.3. Функции Azure (безсерверные)..............................................................18
3.4. Azure Service Fabric.................................................................................19
3.5. Хранилище и доступ к данным..............................................................19
3.6. Поддержка Docker...................................................................................20
3.7. Аутентификация......................................................................................21
3.8. Мониторинг..............................................................................................22
3.9. Интеграция DevOps.................................................................................22
3.10. Регионы Azure........................................................................................23
3.11. Управление приложениями и проектами............................................24

4. СОЗДАНИЕ БАЗЫ ДАННЫХ SQL AZURE НА ПОРТАЛЕ AZURE .....29
5. ПОДКЛЮЧЕНИЕ К БД AZURE SQL И СОЗДАНИЕ ЗАПРОСОВ С 
ПОМОЩЬЮ SQL SERVER MANAGEMENT STUDIO................................37
6. ЗАЩИТА БАЗЫ ДАННЫХ SQL AZURE ..................................................55
7. AZURE CLOUD SHELL................................................................................70

7.1. Работа в Cloud Shell.................................................................................70
7.2. Развертывание с помощью Terraform и Bash в Azure Cloud Shell......75
7.3. PowerShell.................................................................................................79

8. ХРАНИЛИЩА ДАННЫХ AZURE..............................................................91

8.1. Обзор хранилищ данных Azure..............................................................91
8.2. Критерии выбора хранилища данных.................................................100
8.3. Azure для обработки больших данных................................................111

ВВЕДЕНИЕ

Термин «грид (GRID)» впервые был использован Яном Фостером в 

начале 1998 г. в книге «Грид. Новая инфраструктура вычислений»:

«Грид – это система, которая координирует распределенные ресурсы 

посредством стандартных, открытых, универсальных протоколов и интерфейсов для обеспечения нетривиального качества обслуживания».

Хотя в последнее десятилетие базовая идея грид не претерпела суще
ственных изменений, всеобъемлющего определения грид не существует до 
сих пор.

Идея облачных (CLOUD) вычислений впервые была озвучена Джо
зефом Карлом Робнеттом Ликлайдером в 1970 г. В эти годы он был ответственным за создание ARPANET. Его идея заключалась в том, что каждый 
человек на земле будет подключен к сети, из которой он будет получать не 
только данные, но и программы. В тот же период другой ученый, Джон 
Маккарти (1927–2011), высказал идею о том, что вычислительные мощности будут предоставляться пользователям как услуга (сервис).

Таким образом, можно считать, что грид- и облачные вычисления 

дополняют друг друга. Грид-вычисления обеспечивают объединение гетерогенных вычислительных ресурсов в единую вычислительную среду, 
обеспечивая то, с чего начинаются и на чем основываются облачные вычисления. Облачные вычисления обеспечивают более высокий уровень абстракции, предоставляя вычислительные ресурсы конечным пользователям 
(будь то частные клиенты или организации) в виде сервисов.

В данном пособии рассматриваются основные аспекты современных 

информационных технологий, ориентированных на GRID и CLOUD, вопросы организации GRID- и CLOUD-систем, работа с БД SQL на основе 
облачной платформы Microsoft Windows Azure.

1. КОНЦЕПЦИЯ GRID

1.1. Основные задачи GRID

Основная идея, заложенная в концепции грид-вычислений, – цен
трализованное удаленное предоставление ресурсов, необходимых для решения различного рода вычислительных задач [1].

Концепция грид-вычислений в каком-то смысле пересекается с 

концепцией электросети (англ. Power Grid): нам не важно, откуда к нам в 
розетку приходит электричество, независимо от этого мы можем подключить к электросети утюг, компьютер или стиральную машину. Так же и в 
идеологии грид: мы можем запустить любую задачу с любого компьютера 
или мобильного устройств на вычисление, ресурсы же для этого вычисления должны быть автоматически предоставлены на удаленных высокопроизводительных серверах независимо от типа нашей задачи.

Основная задача грид – согласованное распределение ресурсов и 

решение задач в условиях динамических многопрофильных виртуальных 
организаций.

Распределение ресурсов – это не просто обмен файлами, а прямой 

доступ к компьютерам, ПО, данным и другим ресурсам, которые требуются 
для совместного решения задач.

Виртуальной организацией (ВО) называют ряд отдельных людей 

или учреждений, объединенных едиными правилами коллективного доступа к распределенным вычислительным ресурсам.

Для организации работы в рамках ВО необходимы:
гибкие механизмы разделения ресурсов;

развитая система контроля используемых ресурсов;

распределенный доступ к различным ресурсам, начиная от про
грамм, файлов и данных и заканчивая компьютерами, сенсорами и сетями;

различные модели использования ресурсов (от однопользователь
ских до многопользовательских, от высокопроизводительных до малозатратных), включающие в себя регулирование качества предоставляемого 
обслуживания, планирование, перераспределение и ведение учета ресурсов.

Применение технологий построения распределенных вычислитель
ных систем (РВС), существовавших на тот момент, не позволяло в полной 

1. Концепция GRID

6

мере достичь исполнения всех указанных требований. Поэтому была предложена альтернативная архитектура грид.

Исследования и разработки в сообществе грид привели к разработке 

протоколов, сервисов и инструментария, направленного именно на те проблемы, которые возникают при попытке создания масштабируемых ВО. 

Эти технологии включают в себя:
- решения по безопасности, поддерживающие управление серти
фикацией и политиками безопасности, когда вычисления производятся несколькими организациями;

- протоколы управления ресурсами и сервисами, поддерживающие 

безопасный удаленный доступ к вычислительным ресурсам и ресурсам 
данных, а также перераспределение различныхресурсов;

- протоколы запроса информации и сервисы, обеспечивающие 

настройку и мониторинг состояния ресурсов, организаций и сервисов;

- сервисы обработки данных, обеспечивающие поиск и передачу 

наборов данных между системами хранения данных и приложениями.

1.2. Архитектура GRID

Выделяют следующие уровни архитектуры грид [1]:
1) базовый (Fabric), который содержит различные ресурсы, такие, 

как компьютеры, устройства хранения, сети, сенсоры и др.;

2) связывающий (Connectivity), определяющий коммуникационные 

протоколы и протоколы аутентификации;

3) ресурсный (Resource), который реализует протоколы взаимодей
ствия с ресурсами РВС и их управления;

4) коллективный (Collective), на котором осуществляются управле
ние каталогами ресурсов, диагностика, мониторинг;

5) прикладной (Applications), где находятся инструментарий для ра
боты с грид и пользовательские приложения.

На базовом уровне определяются службы, обеспечивающие непо
средственный доступ к ресурсам, использование которых распределено посредством протоколов грид.

1. Вычислительные ресурсы предоставляют процессорные мощно
сти пользователю грид-системы. Вычислительными ресурсами могут быть 
как кластеры, так и отдельные рабочие станции. Любая вычислительная си

1.2. Архитектура GRID

7

стема может рассматриваться как потенциальный вычислительный ресурс 
грид-системы.

2. Ресурсы памяти представляют собой пространство для хранения 

данных. Для доступа к ресурсам памяти используется программное обеспечение промежуточного уровня, реализующее унифицированный интерфейс 
управления и передачи данных. Информационные ресурсы и каталоги являются особым видом ресурсов памяти. Они служат для хранения и предоставления метаданных и информации о других ресурсах грид-системы.

3. Сетевой ресурс является связующим звеном между распределен
ными ресурсами грид-системы. Основной характеристикой сетевого ресурса является скорость передачи данных.

Связывающий уровень определяет коммуникационные протоколы

и протоколы аутентификации, обеспечивая передачу данных между ресурсами базового уровня. Связывающий уровень грид основан на стеке протоколов TCP/IP:

-Интернет (IP, ICMP);
-транспортные протоколы (TCP, UDP);
-прикладные протоколы (DNS, OSRF...).
Ресурсный уровень реализует протоколы, обеспечивающие выпол
нение следующих функций:

-согласование политики безопасности использования ресурса;
-инициация ресурса;
-мониторинг состояния ресурса;
-контроль над ресурсом;
-учет использования ресурса.
Отдельно выделяют два типа протоколов ресурсного уровня:
-информационные протоколы, которые используются для получения 

информации о структуре и состоянии ресурса;

-протоколы управления, которые применяются для согласования до
ступа к разделяемым ресурсам, определения требований и допустимых 
действий по отношению к ресурсу (например, поддержка резервирования, 
возможность создания процессов, доступ к данным).

Коллективный уровень отвечает за глобальную интеграцию раз
личных наборов ресурсов и может включать в себя службы: каталогов; 
совместного выделения, планирования и распределения ресурсов; мониторинга и диагностики ресурсов; репликации данных.

1. Концепция GRID

8

На прикладном уровне располагаются пользовательские приложе
ния, которые исполняются в среде ВО. Они могут использовать ресурсы, 
находящиеся на любых нижних слоях архитектуры грид.

1.3. Стандарты GRID

Ключевым моментом в разработке грид-приложений является стан
дартизация, позволяющая организовать поиск, использование, размещение и мониторинг различных компонентов, составляющих единую виртуальную систему. К началу 2001 г. в различных проектах были представлены разные методы реализации грид-вычислений, но все они сходились в 
том, что наиболее подходящей для гибкого, прозрачного и надежного 
предоставления доступа к вычислительным ресурсам является сервисноориентированная модель [1]. В 2001 г. в качестве базы для создания стандарта архитектуры грид-приложений была выбрана технология вебсервисов. Данный выбор был обусловлен двумя основными преимуществами данной технологии. Во-первых, язык описания интерфейсов вебсервисов WSDL обеспечивает возможность динамического поиска и компоновки сервисов в гетерогенных средах. Во-вторых, широко распространенная адаптация механизмов веб-сервисов означает, что инфраструктура, 
построенная на базе веб-сервисов, может использовать различные утилиты 
и другие существующие сервисы.

Разработанный стандарт архитектуры грид получил название OGSA 

(Open Grid Services Architecture – открытая архитектура грид-сервисов). 
Он основывается на понятии грид-сервиса.

Грид-сервисом называется сервис, поддерживающий предоставле
ние полной информации о текущем состоянии экземпляра сервиса, а также 
возможность надежного и безопасного исполнения, управления временем 
жизни, рассылки уведомлений об изменении состояния экземпляра сервиса, 
управления политикой доступа к ресурсам и сертификатами доступа, виртуализации.

Грид-сервис поддерживает ряд стандартных интерфейсов:
-поиск – грид-приложениям необходимы механизмы для поиска до
ступных сервисов и определения их характеристик;

-динамическое создание сервисов – возможность динамического со
здания сервисов и управления ими (это один из базовых принципов OGSA, 
требующий наличия сервисов создания новых сервисов);

1.3. Стандарты GRID

9

-управление временем жизни – распределенная система должна 

обеспечивать возможность уничтожения экземпляра грид-сервиса;

-уведомление – для обеспечения работы грид-системы приложения и 

наборы грид-сервисов должны иметь возможность асинхронно уведомлять 
друг друга об изменениях их состояния.

Первая реализация модели OGSA, разработанная в 2003 г., называ
лась OGSI (Open Grid Service Infrastructure). В связи с тем, что существовавшие тогда стандарты веб-сервисов (к которым относились WSDL, 
SOAP, UDDI) не могли обеспечить всех требований, предъявляемых разработчиками к функциональным возможностям грид-сервисов, при создании 
OGSI потребовалось модифицировать и расширить соответствующие стандарты. Это привело к тому, что совместное использование веб- и гридсервисов в одной среде стало невозможным из-за несовместимости базовых 
стандартов.

Дальнейшие совместные усилия сообщества грид и организаций по 

разработке стандартов веб-сервисов привело к определению стандартов, 
соответствующих требованиям грид, в частности WSRF, в котором специфицированы универсальные механизмы для определения, просмотра состояния удаленного ресурса и управления им. Сегодня реализация модели 
OGSA посредством стандарта WSRF (и сопутствующих стандартов таких, 
как WS-Notification и WS-Addressing) является наиболее распространенной 
в среде грид.

2. ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ

2.1. Определение облачных вычислений и их особенности

Метафора «облако» уже давно используется специалистами в обла
сти сетевых технологий для изображения на сетевых диаграммах сложной 
вычислительной инфраструктуры (или же Интернета как такового), скрывающей свою внутреннюю организацию за определенным интерфейсом. 
Однако термин «облачные вычисления» появился на свет относительно 
недавно. Согласно результатам анализа поисковой системы Google термин 
«облачные вычисления» («Cloud Computing») стал широко применяться в 
конце 2007 – начале 2008 г., постепенно вытесняя понятие «гридвычисления» («Grid Computing»). Одной из первых компаний, употребивших данный термин, стала компания IBM, развернувшая в начале 2008 
года проект «Blue Cloud» и спонсировавшая Европейский проект «Joint
Research Initiative for Cloud Computing» [2].

Долгое время термин «облачные вычисления» не имел устоявшегося 

стандартного определения, поэтому множество различных корпораций, 
ученых и аналитиков трактовали его по-своему. При этом если в определениях, появлявшихся в коммерческих изданиях, основное внимание уделялось тому, что предоставляется пользователю в рамках концепции облачных вычислений, то в научных определениях оговаривались также и архитектурные особенности предлагаемой технологии [2]. Одно из первых
определений облачных вычислений было дано Яном Фостером [2]:

«Облачные вычисления – это парадигма крупномасштабных рас
пределенных вычислений, основанная на эффекте масштаба, в рамках которой пул абстрактных, виртуализованных, динамически масштабируемых вычислительных ресурсов, ресурсов хранения, платформ и сервисов 
предоставляется по запросу внешним пользователям через Интернет».

В лаборатории Беркли облачным вычислениям дали следующее 

определение [2]:

«Облачные вычисления – это не только приложения, поставляемые 

в качестве услуг через Интернет, но и аппаратные средства и программные системы в центрах обработки данных, которые обеспечивают предоставление этих услуг...».

Одно из наиболее целостных определений было дано инженером
исследователем IV Hewlett-Packard Labs Луисом Вакуэро в 2009 г. [3]: