Интеграция приложений на основе WebSphere MQ

Интеграция приложений на основе WebSphere MQ

2-е издание, исправленное

Макушкин В.А.
Володичев Д.С.

Национальный Открытый Университет “ИНТУИТ”
2016

2

Интеграция приложений на основе WebSphere MQ/ В.А. Макушкин, Д.С. Володичев - М.:
Национальный Открытый Университет “ИНТУИТ”, 2016

Рассматриваются актуальные вопросы интеграция приложений на основе WebSphere MQ, а также
вопросы администрирования и программирования для транспортной системы WebSphere MQ
(MQSeries) фирмы ИБМ, мирового лидера среди продуктов в данном классе.
По завершении обучения по курсу лекций слушатели смогут провести установку и
конфигурирование WebSphere MQ, выполнять настройку соединений между менеджерами очередей,
обеспечить успешное администрирование системы, использовать поставляемую с WebSphere MQ
документацию для углубления полученных знаний.Знакомство с основами программирования для
WebSphere MQ (MQSeries) позволит слушателям разрабатывать приложения, базирующиеся на
WebSphere MQ, понимать особенности разработки приложений для WebSphere MQ, создавать
пользовательские канальные программы (user exit), представлять, как интегрировать приложения на
разных платформах на основе WebSphere MQ и WebSphere Integrator.

(c) ООО “ИНТУИТ.РУ”, 2004-2016
(c) Макушкин В.А., Володичев Д.С., 2004-2016

3

Предисловие

Вычислительная структура большинства современных предприятий характеризуется
фактической изолированностью существующих приложений друг от друга.
Многочисленные приложения основаны на разнородных технологиях, используют
различные протоколы, причем часто не имеют изначально заложенных механизмов
взаимодействия между системами. Физическая разобщенность и логическая
несовместимость распределенных систем при явных требованиях совместной работы
представляют одну из самых актуальных проблем для многих, особенно крупных
предприятий - проблему интеграции приложений.

Одновременно в информационной индустрии наблюдается быстрое развитие новых
вычислительных технологий, представляющих новые функции, и это быстрое развитие
порождает дорогостоящий и рискованный соблазн полной замены существующих
систем и технологий на новые. Разумной и экономически выгодной альтернативой
радикальных подходов является технологическая интеграция существующих и новых
приложений в единую среду обмена информацией и данными.

В основе типичного интеграционного решения лежит транспортная система,
предоставляющая механизм соединения приложений друг с другом. Изолированные и
независимые друг от друга системы в распределенной среде нуждаются прежде всего в
асинхронном взаимодействии. Функциональные свойства системы передачи данных в
виде очередей сообщений с механизмами гарантированной доставки являются базой
для построения интеллектуальной и надежной транспортной инфраструктуры. Поверх
базовой структуры системы очередей сообщений могут быть использованы другие
программные компоненты более высокого уровня для обработки передаваемой
информации и управления сложными бизнес процессами. Интеграционные брокеры и
адаптеры с широкой функциональностью позволяют значительно упростить
разработку и внедрение интеграционных решений на базе очередей сообщений для
связи различных прикладных систем между собой.

Средства интеграции приложений создают многие фирмы и в первую очередь IBM [1],
[2], [3], Microsoft [4], TIBCO, BEA, WebMethods и др. компании. Несомненным
мировым лидером в создании средств интеграции приложений по оценкам
аналитического центра Gartner (ссылка: http://www.gartner.com) является фирма IBM.
Основой для решения задач интеграции и межплатформенной передачи данных
являются следующие группы программных продуктов IBM, представленные на рис.0.1:

1. WebSphere MQ 
 (ранее - IBM MQSeries 
) это ПО промежуточного слоя

(middleware), выполняющее роль связующего звена и предназначенное для
передачи информации в реальном времени между критически важными для
бизнеса процессами на различных платформах;

2. WebSphere Business Integration Message Broker 
, сокращенно WBI Message

Broker или просто WBI Broker (ранее - IBM MQSeries Integrator 
) – группа

продуктов для задач управления и преобразования потоков сообщений;

3. Workflow 
 – группа продуктов для моделирования бизнес процессов и потоков

информации.

4

Рис. 0.1.  Программные продукты IBM для решения интеграционных задач

Программный продукт IBM WebSphere MQ предназначен для обмена сообщениями
между приложениями и обеспечивает гарантированную доставку сообщений.
Основные особенности WebSphere MQ заключаются в следующем.

Высокоскоростной асинхронный обмен данными между более чем 35
платформами. Доставка гарантируется, несмотря на отказы аппаратного и
программного обеспечения. Существует возможность шифрования данных при
необходимости.
Три высокоуровневых интерфейса для разработчиков приложений: MQI, JMS и
AMI на всех платформах.
Возможность публиковать данные и отправлять запросы на подписку в сети
публикация-подписка.
Работа с кластерами менеджеров очередей позволяет упростить
администрирование, распределение нагрузки и отказоустойчивость при
неисправностях в корпоративной сети.

Программный продукт IBM WebSphere Business Integration Message Broker – это
инструмент управления потоками сообщений, дающий возможности преобразования
сообщений инструментальными средствами визуального проектирования с
использованием языковых средств (язык ESQL). Являясь брокером сообщений, WBI
Broker дает возможность подключения к различным типам баз данных с помощью
специальных адаптеров - WBI Adapters.

Группа программных продуктов IBM Workflow, WebSphere BI Modeler и др. предлагает
средства моделирования бизнес процессов, предназначенные для анализа бизнес
потоков и выявления узких мест. Выявлять узкие места на практике – это не лучший
метод, чреватый финансовыми издержками и не позволяющий найти оптимальное
решение возникающих проблем.

Появление электронного бизнеса требует новых высококачественных
инструментальных средств и для этих целей IBM предлагает целую гамму новых

5

программных продуктов и в первую очередь: WebSphere Application Server, WebSphere
Portal Server, WebSphere MQ Everyplace и др. Предлагая WebSphere MQ как базовый
инструмент для решения задач интеграции приложений и инструментальных средств
электронного бизнеса, IBM еще более поднимает роль WebSphere MQ как основы для
построения надежной транспортной инфраструктуры. WebSphere MQ за более чем 10
лет своего развития оторвался от конкурентов: EntireX (SoftWareAG), MSMQ
(Microsoft) и завоевал более 80% мирового рынка. Многие фирмы делают ставку на
WebSphere MQ как на основной инструмент для интеграции приложений. Достаточно
сказать, что WebSphere MQ как базовый инструмент для решения интеграционных
задач используют 68 из 100 крупнейших компаний мира и многие передовые банки
мира и разработчики банковских систем.

В отчете аналитической компании Yankee Group за 2002г. отмечается

“Yankee Group считает, что WebSphere MQ является превосходным продуктом для
среды, в которой необходима высоконадежная асинхронная связь между
приложениями”.

Далее в отчете говорится следующее

“…В общем и целом, принимая во внимание многие комментарии, мы признаем
WebSphere MQ продуктом, который относится к программным средствам
промежуточного уровня (middleware). Нас в целом радует приверженность IBM
развитию сетевой среды и продукту WebSphere MQ. Ожидаемое бурное развитие
сферы управления сообщениями делает такую позицию весьма важной”.

Высказывания аналитической компании подкрепляют различные номинации,
которыми было отмечено ПО WebSphere MQ (MQSeries) за последние годы. Одна из
последних номинаций - приз Королевской Академии Инженеров Великобритании
2004г. за технологические и инженерные новшества.

Замечательная особенность интеграционных продуктов IBM заключается в том, что
демонстрационные версии программного обеспечения доступны для загрузки через
Интернет с сайта IBM. Демонстрационные версии являются полнофункциональными,
ограничен только срок их действия: 60 или 90 дней. Этого вполне достаточно для
опробования этих продуктов или проведения по ним учебных занятий. Наличие
многочисленных учебных примеров в инсталлируемых продуктах и различных сайтов
по поддержке продуктов IBM, а также разнообразные форумы и ответы на часто
встречающиеся вопросы делает работу с интеграционными продуктами IBM
интересной и увлекательной.

В предлагаемых лекциях изложены основы работы с WebSphere MQ версии 5.3 -
системой очередей сообщения фирмы IBM, являющейся наиболее распространенной в
мире системой асинхронного взаимодействия программ, а также технологии IBM
решения интеграционных задач. Курс лекций предназначен для студентов и
аспирантов, изучающих дисциплины “Вычислительные системы”, “Математическое и
программное обеспечение вычислительных систем”, “Прикладная математика”,

6

“Автоматизированные системы обработки информации и управления”, а также для
специалистов в области компьютерных и информационных систем, программистов и
системных интеграторов. Этот курс будет полезен разработчикам корпоративных
информационных систем, сотрудникам IT-служб организаций, а также всем тем, кому
интересны современные технологии создания информационных систем.

Авторы выражают глубокую признательность компании IBM (Россия) за поддержку
идеи создания этого курса. Авторы благодарны своим коллегам из IBM (Россия) и
ОАО “Альфабанк” за практическую помощь при работе с программными продуктами
IBM. Авторы выражают глубокую признательность к.ф.-м.н. Николаю Игнатовичу
(IBM, Россия) за предоставленные материалы по лекциям 1 и 12. Персонально хочется
поблагодарить Сергея Москательникова (ОАО “Альфабанк”) за помощь при работе с
WebSphere MQ на UNIX платформах. Неоценимую помощь при работе с системой
Omegamon оказали ведущий специалист IBM (ранее Candle) Виталий Гринберг и к.ф.-
м.н, генеральный директор Perfomance Technologies (Россия) Михаил Денисов. В
заключение авторы благодарят Поля Кларка и Фила Блейка из лаборатории IBM в
Hursley, Великобритания за помощь при работе с WebSphere MQ.

Авторы выражают огромную благодарность Анатолию Васильевичу Шкреду, главному
редактору “Интернет -Университета Информационных Технологий”, благодаря
которому этот курс появился на свет и нашел своих читателей.

Об авторах

Макушкин Владимир Алексеевич – к.т.н., старший научный сотрудник, ведущий
специалист ОАО “Альфабанк” по WebSphere MQ, на протяжении ряда лет преподавал
на кафедре АСУ Московского Автомобильно-Дорожного Института.

Володичев Дмитрий Сергеевич – работает в ОАО “Альфабанк” 8 лет, системный
администратор WebSphere MQ на протяжении последних трех лет.

7

Системы очередей сообщений

В данной лекции сделан краткий обзор, определяющий место очередей сообщений
среди различных категорий промежуточного программного обеспечения. Далее
изложены основные функции и особенности архитектуры очередей сообщений.
Подробное использование этих функций в системе WebSphere MQ рассказано в
последующих лекциях. Приводится история развития технических функций системы
очередей сообщений в семействе программных продуктов MQSeries-WebSphere MQ.

Интеграция приложений – пути решения

Современные корпоративные системы характеризуются как сверхсложные и
гетерогенные, распределенные по различным платформам. Положение большинства
предприятий в настоящее время во многом определяется тем, что логика интеграции и
взаимодействия систем встроена в отдельные приложения. Технология взаимодействия
приложений ограничена транспортными механизмами для передачи данных.
Потребности бизнеса и набирающего силу электронного бизнеса диктуют
необходимость связи и интеграции этих гетерогенных систем и платформ.
Современным корпорациям требуются надежные и тотально-распределенные
вычислительные инфраструктуры, интегрирующее middleware, решающее задачи
интеграции различных прикладных систем между собой. Появился даже специальный
термин – Enterprise Application Integration (EAI) – Интеграция Приложений.

Общепринятый в мировой практике подход к интеграции заключается в уходе от
создания прямых интерфейсов приложений и в использовании интеграционного
связующего программного обеспечения (ПО), которое способно обеспечить
выполнение всех функций, необходимых крупной корпорации. В результате становятся
возможными централизация и стандартизация подхода к интеграции, что позволит
предприятиям разработать интеграционную среду, которую можно будет
совершенствовать и изменять в соответствии с эволюцией бизнес среды.

Для решения задач интеграции приложений существует так называемое
промежуточное программное обеспечение (middleware), призванное решать проблемы
взаимодействия между распределенными прикладными и системными программными
компонентами. Промежуточное ПО позиционируется как системный слой между
прикладными программами и операционными системами. Использование
промежуточного программного обеспечения становится особенно важным когда идет
речь о физически или логически (может быть даже на одной аппаратной платформе)
распределенной системе.

Среди разнообразного промежуточного ПО принято выделять три базовых категории,
представленных рис.1.1:

Промежуточное ПО для управления базами данных. Примерами из этой
категории являются средства удаленного доступа к базам данным, компоненты
или библиотеки Open Database Connectivity (ODBC) и Java Database Connectivity
(JDBC).

8

Коммуникационное промежуточное ПО обеспечивает программам обращение к
другим удаленным программам, библиотеки удаленного вызова процедур (remote
procedure call -RPC), средства передачи и обмена сообщениями ( message-oriented
middleware - MOM ) и другие подобные технологии.
Платформенное промежуточное ПО помогает взаимодействию компонент в
рамках среды исполнения прикладной логики, такое как сервера приложений,
мониторы транзакций, порталы, брокеры объектных запросов (object request
broker- ORB).

Рис. 1.1.  Базовые категории промежуточного программного обеспечения

Помимо базового промежуточного ПО часто выделяют специализированное
интеграционное промежуточное ПО, куда относятся средства, позволяющие
взаимодействовать программам и системам, принципиально различным друг от друга.

Примерами таких систем могут быть интеграционные брокеры, системы управления
бизнес-процессами, шлюзы и адаптеры к различным системам.

Системы очередей сообщений ( MQ-Message Queuing ) или чуть более общую группу
систем, использующих технологию передачи сообщений ( Messaging Oriented
Middleware - МОМ ), принято относить к категории middleware - промежуточного
программного обеспечения или, более точно, к базовому коммуникационному
программному обеспечению, однако часть функциональных возможностей систем
очередей сообщений позволяют говорить об этом программном обеспечении как об
интеграционном.

Отметим сразу ориентацию на асинхронное взаимодействие программ как на ключевое
отличие систем очередей сообщений от наиболее распространенных в среде
распределенных клиент-серверных решений технологий синхронного удаленного
вызова процедур (RPC). Целый ряд функций, поддерживаемых системами очередей
сообщений наилучшим образом, таких как гарантированная доставка информации,
разнообразные модели взаимодействия программ (один к одному, многие ко многим,
контекстная адресация и обработка) делают эту технологию привлекательной для ряда
задач, в первую очередь интеграционных. Многие аналитики, например Gartner Group,
наблюдающие современные тенденции в компьютерной индустрии, отмечают очень
быстрый рост количества решений, использующих очереди сообщений в силу гибкости
подобной архитектуры. На рынке присутствуют целый ряд систем очередей

9

сообщений, каждая со своими особенностями. При этом система очередей сообщений
фирмы IBM MQSeries - WebSphere MQ является, бесспорно, самой распространенной
системой, занимает более 80 процентов рынка в данной категории и может считаться
неофициальным стандартом и эталоном системы очередей сообщений.

В качестве примеров некоторых других известных систем очередей сообщений можно
назвать: Message Queue (MSMQ) Services компании Microsoft, EntireX компании
SoftWareAG, Advanced Queuing (AQ) компании Oracle, FioranoMQ компании Fiorano,
SonicMQ компании Sonic Software, TIB/Rendezvous компании Tibco Software.

Функции и модели взаимодействия системы очередей сообщений

Система очередей сообщений обеспечивает асинхронный метод взаимодействия для
программ. Метод не требует установления прямой связи между интегрируемыми
программами и позволяет поддерживать обмен данными в виде сообщений, независимо
от аппаратной или операционной системы. При этом гарантируется, что сообщение не
будет потеряно или получено дважды.

Система очередей сообщений предоставляет прикладным программам сервис для
отправки и получения сообщений. Очереди представляют промежуточное место
хранения сообщений, как бы специализированную базу данных со всеми механизмами,
гарантирующими сохранность: журналирование, восстановление после сбоев,
транзакционная обработка. При этом приложения обращаются к очередям при
помощи прикладного программного интерфейса. Сообщение, предназначенное для
другой программы, должно быть доставлено в очередь назначения. Сообщение может
передаваться через распределенную систему серверов - менеджеров очередей. Каждый
раз, получая сообщение, менеджер очередей записывает сообщение в локальную
очередь, затем передает сообщения по сети другому менеджеру очередей. При этом
гарантируется, что сообщение не будет потеряно или получено дважды. Программа-
адресат обращается к целевой очереди и получает доступ к сообщению.

Поддержка асинхронного взаимодействия приложений при использовании очередей
сообщений позволяет гибко интегрировать разнородные прикладные системы, не меняя
внутренней логики их работы. Существование промежуточного звена в виде очередей
сообщений позволяет вставлять промежуточную обработку передаваемой информации
для решения самых различных задач: обеспечение безопасности, трансформации
данных в разных форматах, динамической маршрутизации, анализа содержания
передаваемых данных и так далее. Промежуточное звено позволяет применять
различные топологии вычислительной среды, соединяя потоки данных для
централизованной унифицированной обработки и разделяя их для функционально
разнородной обработки.

Средства МОМ имеют своих предшественников в виде систем для передачи файлов
типа FTP, решений типа экспорта - импорта данных с использование различных
промежуточных хранителей: файлов, буферов памяти, баз данных. Находясь долгое
время в виде вспомогательных и частных средств, класс подобного программного
обеспечения стал бурно развиваться и стандартизироваться в связи с выходом на

10