Введение в облачные вычисления и технологии


Министерство образования и науки Российской Федерации НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ





В.В. ГУБАРЕВ,
С.А. САВУЛЬЧИК, Н.А. ЧИСТЯКОВ


ВВЕДЕНИЕ
В ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ И ТЕХНОЛОГИИ


Утверждено Редакционно-издательским советом университета в качестве учебного пособия










НОВОСИБИРСК

2013

УДК 004.42(075.8)
     Г 93
Выполнено в рамках Программы стратегического развития НГТУ

Рецензенты: канд. техн. наук, доцент АД Гунько канд. техн. наук, доцент С.Н Мамойленко канд. техн. наук, доцент А.А. Малявко

Работа подготовлена на кафедре вычислительной техники по дисциплине «Грид-системы и технологии» для студентов V курса очной формы обучения АВТФ (направления 230100.68 «Информатика и вычислительная техника» и 231000.68 «Программная инженерия»)

      Губарев В.В.
Г 93 Введение в облачные вычисления и технологии: учеб. пособие / В.В. Губарев, С.А. Савульчик, Н.А. Чистяков. - Новосибирск: Изд-во НГТУ, 2013.- 48 с.
         ISBN 978-5-7782-2252-6
         Учебно-методическое пособие содержит теоретический материал, изучаемый студентами V курса очной формы обучения по дисциплине «Грид-системы и технологии» по направлению «Информатика и вычислительная техника».
         Четыре главы пособия направлены на знакомство студентов с программными пакетами Eucalyptus и euca2ools, углубленное изучение euca2ools, контекстуализацию виртуальных машин и разработку программ для облачных технологий.
         Каждая глава содержит необходимый теоретический материал, примеры для лучшего его понимания, задания для самостоятельной работы и дополнительные материалы, помогающие закреплению знаний и получению практических навыков. Завершается пособие вопросами для аттестации полученных компетенций.


ISBN 978-5-7782-2252-6

УДК 004.42(075.8)

                      © Губарев В.В., Савульчик С.А., Чистяков Н.А., 2013
                                              © Новосибирский государственный технический университет, 2013

            ВВЕДЕНИЕ


   Термин облачные (cloud - англ.) впервые был употреблен менее 10 лет назад, в 1993 году, Эриком Шмидтом, главным технологом и членом правления Sun Microsystems, а сейчас уже мощно используется во всех странах мира, переходя от сферы вычислений к другим сферам информационных услуг, постепенно обрастая всеми атрибутами облачных технологий [1,2].
   Под облачными же вычислениями понимается технология обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как интернет-сервис. Облачная обработка данных как концепция включает в себя идею «все (инфраструктура, платформа, ПО, данные, рабочее место и пр.) как услуга» с помощью Интернета и виртуализации. Виртуализация данных - это процесс представления их пользователям посредством интерфейса, скрывающего все технические аспекты хранения данных (способ, местоположение, структуры, язык доступа) [1; 2011, № 5, с. 52]. Суть виртуализации в абстрагировании данных от конкретной формы их хранения, сбора ресурсов в общий пул и их дальнейшее распределение между потребителями.
   В марте 2006 года¹ фирма Amazon вводит в обращение термин Elastic Computer Cloud, а 9 августа того же года уже глава Sun Microsystems Эрик Шмидт впервые публично вводит термин Cloud Computing на международной конференции. С 2006 года начинается эра распределенных центров обработки данных (ЦОД'ов).
   К 2007 году термин облачные вычисления стал ассоциироваться с попыткой превращения вычислительной сети в компьютер с предоставлением выполнения вычислительных операций в виде услуги по

    ¹ В связи с этим март 2006 года считается месяцем рождения облаков. В 2011 году в марте было официальное празднование 5-летнего юбилея термина Cloud Computing.

3

типу предоставления энергии, телефонной и сотовой связи, коммунальных услуг и т. д.
   В 2008 году развиваются идеи сервис-ориентированных архитектур программного обеспечения (ПО) (service oriented architecture, SOA), использования их как средства интеграции бизнес-процессов и осуществляется переход от продажи программного продукта к сервисам (технологии ПО-сервис /Soft a Service/) и ПО как сервиса /Soft-as-a-Service - SaaS/. Осуществляется постепенный переход в сфере SOA к сервисам данных (DaaS), а именно платформ (Data Services Platform -DSP), шин (Data Services Bus - DSB), сервисов данных и сервисов передачи данных (File Transfer Service - FTS) [3]. В том же году создается глобальная вычислительная лаборатория Cloud Computing Test Bed для проведения исследований и разработок в области облачных вычислений (HP, Intel, Yahoo!), фирма Microsoft представляет новую ОС для облачных вычислений - Windows Azure, ранее называемую Project Red Dog, a IBM открывает новые центры облачных вычислений в СанПаулу, Бангалоре, Сеуле и Ханое. На фоне бурных дискуссий о том, являются ли облачные и связанные с ними технологии перспективным направлением, пятой коммерческой услугой после электричества, газа, воды, телефона или всего лишь пеной, шумом, поднятым журналистами, многие фирмы реально начинают работы в области масштабируемых облачных рассеянных вычислений (Cloud computing), свободных (для пользователя) от вычислительного инструментария - сервиса в виде хорошо организованных (по запросу) высоконадежных сетевых инфраструктур, разного рода виртуализированных информационных ресурсов, обеспечивающих требуемое качество обслуживания не только индивидуального пользователя, но и корпоративного с оплатой наподобие коммунальных или потребительских услуг. Начинается зарождение восьмого поколения ЭЦВМ или нового поколения средств ВТ, в котором архитектура не играет явной роли [3].
   А руководитель подразделения Yahoo Reserch Прабхар Рагхаван в момент пика интереса к облачным вычислениям (2008 год) предлагает новую редакцию высказывания Т. Д. Уотсона-старшего [3, с. 124]: «В мире всего пять компьютеров - Google, Yahoo, Microsoft, IBM и Amazon. Есть еще несколько тех, которые могут превращать электричество в вычисления с сопоставимой эффективностью» [3].
   В 2009 году Microsoft меняет идеологию средств управления: вместо управления устройствами вводит управление пользователями и их действиями на множестве устройств. Начинаются развитие грид-систем,

4

ориентированных на виртуальные сервисы (Virtual Serviceoriented Grid -VSG) и постепенный переход от старого подхода синтетической интеграции и интерпретации данных к новому - семантической интеграции, т. е. переход от сбора, обработки и анализа данных к сбору, обработке и анализу информации, содержащейся в данных, как ее носителях. Крупнейшие компьютерные фирмы (IBM, HP, Microsoft, Cisko и др.) создают Совет покупателей корпоративных облачных вычислений (Enterprise Cloud Nuyers Concil), а компания Intel представляет 48-ядерный процессор - облачный компьютер на кристалле.
   Появляются разновидности облачных вычислений: частные облака (private cloud), обслуживающие одну организацию; групповые (community), распределяемые между несколькими организациями; общедоступные (public), предоставляемые организациям и частным лицам на базе инфраструктуры провайдера облаков, и гибридные, совмещающие перечисленные.
   В 2010 году появляется первый серийный суперПК Tyan PSC (Personal Syper Computer) T-600 и принимается «Манифест облачных вычислений» (Open Cloud Manifesto).
   В 2010-2012 годах происходит постепенный перевод, точнее, великое переселение, IT, пока приложений и данных в облака. Оно идет по трем направлениям: централизованный ЦОД в частные облака; из частных в групповые и далее публичные; из публичных - в частные. При переводе ЦОД и частных информационных инфраструктур на технологии облаков начинают проявляться сложности и опасности таких переводов.
   Среди сложностей перехода существующих IT-технологий в частные облака можно отметить, например, следующие (см. [1; 2012, № 1, с. 17]):
   • трудно переводить собственные системы на сервисные принципы;
   •     облако должно быть динамичным, нужен мониторинг инкапсуляции¹ новых компонентов, прежде чем покупать новое оборудование;
   • необходимо заключать соглашения об уровне обслуживания;
   •     отсутствуют полноценные комплексные методики и решения, используя которые, можно собрать инфраструктуру частного облака, обучить, воспитать интеграторов;
   •     нельзя сводить частные облака только к виртуализации и ограничиваться созданием облака всеобщей виртуализации. Виртуализация

    ¹ Инкапсуляция (encapsulation - англ.) - скрытое описание реализации объекта (модуля программы, типа данных ...) от использующих его модулей.

5

ресурсов - это простая совокупность, а не облако как система. Возникают вопросы: какую систему мы хотим породить, как организовать в облаке как системе оркестровку (orchestration), чтобы из отдельных пулов создать среду для выполнения того или иного приложения с минимальным участием человека?
   •     облачные технологии должны предусматривать измерение и взимание оплаты, автоматизированное конфигурирование и автономное снабжение сервисами, динамическое масштабирование миграций (внутрь и вовне - пользователям), безопасность данных и надежность их хранения, наследование приложений ит. д.;
   •     главные требования к информации с точки зрения обеспечения информационной безопасности субъектов информационной деятельности - это требования трех Д: достоверность, достаточность (не надо больше, но нельзя мало), доступность. Всё (или все) что (кто) этому мешает - источник угрозы.
   К перечисленному можно добавить еще проблемы, возникающие при предоставлении сервисов из облака (см., например, [1, 2010, № 10, с. 57]):
   •     необходимость разработки новой бизнес-модели продажи, так как нужно продавать время работы, функции и качество обработанных единиц данных;
   •     необходимо создать показатели и критерии качества и конкретный образец соглашения об уровне обслуживания: описание предоставления сервисов, требования к техническому и программному обеспечению пользователя и провайдера.
   Весьма важным при использовании облачных технологий являются вопросы и понимание информационной безопасности в приложении к облакам [4]. Например, такие как:
   • угрожают не безопасности объекта, а объекту безопасности;
   •     информация, как объект безопасности, индифферентна¹ к угрозам, опасностям, рискам ит.п.;
   •     защищать необходимо не информацию, а субъектов информационных отношений от причинения им вреда посредством определенных действий с информацией;
   •     одни и те же действия с данными и информацией (сбор, модификация, уничтожение, утечка, несанкционированный доступ и т. п.) в

     ¹ От лат. indeferens, indefferentis - безразличный, равнодушный.

6

одних случаях могут содержать угрозу, причинить вред при реализации, в другом - нет, а будут приносить благо;
   •     угрозы разным субъектам информационных отношений будут различны, как и методы и средства противодействия им;
   •     самая опасная угроза информации - ее искажение, а самые опасные источники угроз - те, которые создают (производят) и распоряжаются информацией, они имеют максимальные возможности исказить ее.
   Представление о частном облаке, в котором как-то удалось решить эти проблемы, дает продукт Индии Smart Style Computing [1; 2012, №1]. Это грид из трех типов узлов: вычислительных, хранения и комбинированных.
   Тем не менее облачные вычисления и связанные с ними технологии бурно развиваются в мире. Предсказывается, что к 2014 году доля облачных вычислений в рабочей нагрузке ЦОД достигнет 51 %, а к 2015 году - 76 %. Объем облачного трафика в 2015 году составит 1,6 зетабайт (1,6 • 10²¹ байт; в 2011 году этот объем был 300 Эбайт = = 3 • 10²⁰ байт). Ожидается, что к 2025 году значительная часть обработки данных будет осуществляться на облачной платформе с использованием семантического анализа данных.
   Что касается России, то эффективность российского бизнеса не связана пока напрямую с качеством систем управления. В связи с этим в России наблюдается явное отставание в восприятии новых информационных компьютерных технологий и, что весьма важно, опережающее обучение этим технологиям, приобретение выпускниками вузов компетенций в области соответствующих передовых технологий. Так, на начало 2011 года только 5 % российских компаний были готовы к переходу к облакам [1; 2011, № 3, с. 4] и ожидалось, что через 1,52 года, т. е. к концу 2012 - началу 2013 года, будут готовы 60-70 %.
   В 2012 году Microsoft запускает конкурс облачных проектов в России на базе свободного ПО, фонд «Сколково» инвестирует 24 млн р. в создание облачной платформы с рабочим сервером для малого и среднего бизнеса. В СО РАН прорабатываются варианты подключения его институтов к облаку для трех типов организаций: небольшой институт без собственной IT-инфраструктуры; институт средних размеров, имеющий небольшую IT-инфраструктуру; крупный институт с высокими требованиями к надежности, доступности и безопасности серверов и зрелой инфраструктурой. Интерес СО РАН к облакам обусловлен тем, что в облачных революциях намечается новый этап -проведение фундаментальных научных исследований в области круп

7

номасштабных вычислений, работы с большими данными, применение более сложных вычислений, демократизация исследований.
   Важно также отметить, что три фактора современного развития IT-технологий - облака, большие данные и системная аналитика данных -не могут существовать друг без друга. А это требует от их разработчиков и пользователей владения новым, системным, мышлением. Заметим к тому же, что основными задачами разработчиков систем и алгоритмов, работающих в облаках, являются:
   •  системное проектирование распределенных вычислений;
   •  оптимизация вычислений по памяти и ресурсам локальных дисков;
   •     обеспечение отказоустойчивости при работе с большими объемами данных;
   •  решение вопросов безопасности информации и от информации;
   •  стандартизация;
   •     создание качественно новых хранилищ данных, способных эффективно работать в облаках;
   •     разработка и реализация менее точных, но алгоритмически более простых вычислительных методов;
   •     решение противоречия между стремлением к максимальной экономической эффективности и степенью устойчивости в случае внешних потрясений;
   •     переход от суперпроизводительности к суперполезности, продуктивности.
   Все изложенное свидетельствует о насущной необходимости обучения студентов вуза облачным вычислениям и технологиям, особенно на базе грид-средств и технологий, имеющихся в НГТУ.
   Именно введению в облачные вычисления и технологии, знакомству с простейшими их средствами и получению навыков работы с ними и посвящено настоящее пособие. Оно содержит теоретический материал и методические рекомендации для четырехчасовых аудиторных или самостоятельных, в том числе дистанционных, занятий. Апробация материала была проведена в течение двух лет на примере обучения магистрантов направления «Информатика и вычислительная техника» как раздела дисциплины «Грид-системы и технологии» (Н.А. Чистяков). В разработке материалов пособия и додисциплинарной апробации их активная роль принадлежит С.А. Савульчику - магистранту профессора В.В. Губарева. Руководство разработкой, написание введения и редактирование пособия выполнено В.В. Губаревым.

Глава 1




                ЗНАКОМСТВО С ПРОГРАММНЫМИ ПАКЕТАМИ EUCALYPTUS И EUCA2OOLS




   Цель занятия. Изучить основы облачных вычислений в форме laaS, а также их реализацию в системе Eucalyptus. Приобрести навыки работы с Eucalyptus и пакетом программ euca2ools.
   Содержание занятия. В теоретическом материале освещаются следующие аспекты облачных технологий.
   •  Что такое облачные вычисления?
   •  Что такое Infrastructure-as-a-Service?
   •  Веб-сервисы Amazon: EC2, S3 и EBS.
   •  Eucalyptus и Ubuntu Enterprise Cloud.
   •  Архитектура Eucalyptus и основные понятия.
   •  Инструменты взаимодействия с Eucalyptus.
   •     Как пользоваться программами пакета euca2ools для взаимодействия с Eucalyptus?
   На лабораторно-практических занятиях и при самостоятельной работе студенты изучают программы пакета euca2ools. Каждый из них учится выполнять следующие действия:
   •  регистрироваться в системе Eucalyptus;
   •     настраивать рабочее окружение для запуска программ пакета euca2ools;
   •  запрашивать список образов виртуальных машин;
   •  создавать ключи аутентификации;
   •  запускать виртуальные машины из выбранного образа;
   •  запрашивать состояние запущенных виртуальных машин;
   •     создавать правила для межсетевого экрана, чтобы разрешать удаленный доступ к запущенным виртуальным машинам;

9

    •    выполнять подключение к запущенным виртуальным машинам по защищенному протоколу передачи данных;
    • завершать работу виртуальных машин.


            Теоретический материал


    Введение. Как правило, используемый сегодня термин облачные вычисления применим для любых сервисов, которые предоставляются через сеть Интернет. Эти интернет-услуги, также известные как облачные сервисы, можно разделить на три основные категории:
    •    инфраструктура в качестве сервиса (Infrastructure-as-a-Service, laaS);
    • платформа в качестве сервиса (Platform-as-a-Service, PaaS);
    •    программное обеспечение в качестве сервиса (Soft-as-a-Service, SaaS).
    Это три кита, на которых строится понимание принципов работы облаков, по сути замещающих для пользователей их собственную информационную инфраструктуру, конкретную программно-аппаратную платформу или программное обеспечение. Сам англоязычный термин Cloud Computing был впервые использован еще в 1993 году Эриком Шмидтом (на тот моментом главным технологом и членом правления Sun Microsystems) для обозначения сервисов, дистанционно поддерживающих различные данные и приложения, размещенные на удаленных серверах. Почему именно Cloud, или облако? Графический прообраз термина обязан своим появлением диаграммам и другим иллюстрациям в виде облаков, с помощью которых принято изображать сеть Интернет.
    На сегодня облачный сервис включает три основные характеристики, которые отличают его от обычного сервиса:
    • режимность «ресурсы по запросу»;
    • эластичность¹;
    • независимость от элементов управления инфраструктурой.
    Для демонстрации разницы между обычными и облачными сервисами можно взять услуги, предоставляемые хостинг-провайдером. При традиционном (обычном) подходе провайдер на месячной основе по

    ¹ От лат. elasticus - упругий, способный растягиваться, тянуться и возвращаться в прежнее положение.

10