Суперкомпьютерное моделирование в физике климатической системы

Серия
Суперкомпьютерное 
Образование

Координационный совет
Системы научно-образовательных центров
суперкомпьютерных технологий

Председатель Координационного совета

В. А.  Садовничий,
ректор МГУ имени М. В.  Ломоносова,
академик

Заместители председателя совета

Е. И.  Моисеев,
декан факультета вычислительной математики и кибернетики
МГУ имени М. В.  Ломоносова, 
академик

А. В.  Тихонравов,
директор Научно-исследовательского вычислительного центра
МГУ имени М. В.  Ломоносова, 
профессор

Члены совета

В. Н. Васильев, ректор Санкт-Пе тер  бургского национального исследовательского госу дар ственного университета инфор ма ционных технологий, механики 
и оптики, чл.-корр. РАН, профессор; В. Г. Захаревич, ректор Южного федерального университета, профессор; Н. Н. Кудрявцев, ректор Московского физико-технического института, чл.-корр. РАН, профессор; Г. В. Майер, 
ректор национального исследовательско го Томско го государственного университета, профессор; А. А. Фаткулин, проректор по науке и инновациям 
Дальневосточного федерального университета, профессор; Е. В. Чупрунов, 
ректор националь ного исследовательского Ниже городского го су дарственного 
университета, про фессор; А. Л. Шестаков, ректор национального исследовательского Южно- Уральского государственного университета, профессор; 
В. Н. Чубариков, декан механико-математического факультета МГУ имени 
М. В. Ломоносова, профессор; М. И. Панасюк, директор Научно-ис сле дова тельского института ядерной физики МГУ имени М. В.  Ломоно сова, профессор; Вл. В. Воеводин, заме ститель директора Научно-исследо ва тель ского 
вычислительного центра МГУ имени М. В.  Ломоносова, исполнительный директор 
НОЦ «СКТ-Центр», член-корреспондент РАН.

Суперкомпьютерное 
моделирование 
в физике климатической 
системы

Московский государственный университет 
имени М. В. Ломоносова

Допущено УМО по классическому университетскому образованию 
в качестве учебного пособия для студентов высших учебных заведений, 
обучающихся по направлениям ВПО 
010400  «Прикладная математика и информатика» 
и 010300 «Фундаментальная информатика 
и информационные технологии»

Издательство Московского университета
2012

В. Н. Л, А. В. Г, Д. В. К, 
Е. В. М, В. М. СУДК 007 (075) 
ББК 32.973.2
С89

© Коллектив авторов, 2012 
© Издательство Московского университета, 2012
ISBN 978-5-211-06341-9

Суперкомпьютерное моделирование в физике климатической системы: Учеб. пособие / В. Н. Лыкосов и др. Предисл.: В. А. Садовничий. – 
М.: Издательство Мос ковского университета, 2012. – 408 с., илл. – (Серия «Суперкомпьютерное образование»)
ISBN 978-5-211-06341-9

С89

В книге излагаются базовые основы построения математических моделей при 
решении задач физики климатической системы, приводятся методы их конечномерной аппроксимации и возникающие при этом основные численные алгоритмы, обсуждаются суперкомпьютерные технологии численной реализации моделей. 
В качестве иллюстрации изложенных подходов рассматриваются: задача моделирования течения вязкой несжимаемой жидкости в областях сложной конфигурации, 
проблема вихреразрешающего воспроизведения динамики геофизических пограничных слоев, задача моделирования региональных особенностей атмосферной 
циркуляции, проблема воспроизведения современного климата и оценки его возможных в будущем изменений. 
Книга рассчитана на специалистов в области наук о климатической системе Земли, 
преподавателей, аспирантов и может быть использована в качестве учебного пособия для студентов естественнонаучных специальностей.
Ключевые слова: климатическая система, климат, изменения климата, крупномасштабные процессы, мезомасштабные процессы, геофизическая турбулентность, 
математическое моделирование, вихреразрешающее моделирование, численная модель, параллельные вычисления, параллельное программирование, суперкомпьютерные технологии.
УДК 007 (075) 
ББК 32.973.2

Уважаемый читатель!

Вы держите в руках одну из книг серии «Суперкомпьютерное образование», выпущенную в рамках реализации проекта комиссии 
Президента РФ по модернизации и технологическому развитию экономики России «Со здание системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий и специализированного программного обеспечения». Инициатором издания 
выступил Суперкомпью терный консорциум университетов России.
Серия включает более 20 учебников и учебных пособий, подготовленных ведущими отечественными специалистами в области суперкомпьютерных технологий. В книгах представлен ценный опыт преподавания супер компьютерных технологий в таких авторитетных 
вузах России, как МГУ, ННГУ, ТГУ, ЮУрГУ, СПбГУ ИТМО и многих 
других. При подготовке изданий были учтены рекомендации, сформулированные в Своде знаний и умений в области суперкомпьютерных технологий, подготовленном группой экспертов Суперкомпьютерного консорциума, а также международный опыт.
Современный уровень развития вычислительной техники и методов математического моделирования дает уникальную возможность 
для перевода промышленного производства и научных исследований 
на качественно новый этап. Эффективность такого перехода напрямую зависит от наличия достаточного числа высококвалифицированных специалистов. Данная серия книг предназначена для широкого круга студентов, аспирантов и специалистов, желающих изучить 
и практически использовать параллельные компьютерные системы 
для решения трудоемких вычислительных задач.
Издание серии «Суперкомпьютерное образование» наглядно демон ст рирует тот вклад, который внесли участники Суперкомпьютерного консорциума университетов России в создание национальной 

системы под готовки высококвалифицированных кадров в области 
суперкомпью терных технологий, а также их четкое понимание ответственности за подготовку высококвалифицированных специалистов 
и формирование проч ного научного фундамента, столь необходимого для эффективного использования суперкомпьютерных технологий на практике.

Ректор Московского университета,
Президент Суперкомпьютерного консорциума университетов России,
академик РАН  В. А. Садовничий

Оглавление
Введение..............................................................................................................9
Глава 1 Математическое моделирование как основа исследования климатических процессов....................................................................................21
1.1 Основные компоненты климатической системы и их взаимодействия ... 23
1.2. Базовые принципы построения геофизических моделей .................39
1.3. Основные уравнения гидротермодинамики крупномасштабных процессов............................................................................................................46
1.4. Вертикальные координаты...................................................................54
1.5. Разделение масштабов и региональные модели ................................62
1.6. Вихреразрешающие модели турбулентности ....................................80
Глава 2 Параметризация процессов подсеточных масштабов.............100
2.1. Пограничный слой атмосферы..........................................................101
2.2. Процессы обмена в приземном слое атмосферы............................. 116
2.3. Взаимодействие атмосферы с сушей и криосферой .......................124
2.4. Химия атмосферы и радиационные процессы.................................134
2.5. Облачность и конвекция.....................................................................144
2.6. Гравитационно-волновое сопротивление и ионное трение............157
Глава 3 Вычислительные технологии .....................................................164
3.1. Основные методы дискретизации уравнений математической 
физики ..................................................................................................164
3.2. Некоторые вычислительные аспекты моделирования климатических 
процессов....................................................................................................179
3.3. Пример построения вычислительной технологии для моделирования 
локальной циркуляции ..............................................................................194
3.4. Специфика вычислительной технологии для области со сложной геометрией .......................................................................................................210
Глава 4 Параллельные алгоритмы и программирование ...................217
4.1. Суперкомпьютер как инструмент численного моделирования в физике климатической системы........................................................................218
4.2. Технологии параллельного программирования...............................223
4.3. Реализация моделей на  вычислительных системах с распределенной 
памятью.......................................................................................................239
4.4. Прямые методы решения систем линейных алгебраических уравнений...........................................................................................................245
4.5. Итерационные методы........................................................................256

Оглавление        

4.6. Проблемы масштабируемости на разных вычислительных архитектурах ............................................................................................................281
Глава 5 Примеры использования суперкомпьютерных технологий для 
решения задач физики климатической системы ....................................290
5.1. Численное моделирование течения вязкой несжимаемой жидкости в 
областях сложной конфигурации .............................................................290
5.2. Вихреразрешающее моделирование геофизических пограничных 
слоев ............................................................................................................306
5.3. Мезомасштабные процессы ...............................................................332
5.4. Моделирование климата и его изменений ........................................348
Заключение  ....................................................................................................367
Литература .....................................................................................................370

Введение

Одной из наиболее важных задач, стоящих перед наукой в XXI столетии, является проблема предсказания климатических изменений, вызываемых человеческой деятельностью. В качестве антропогенных воздействий 
на климатическую систему можно рассматривать сжигание ископаемого 
топлива, приводящее к изменению концентрации углекислого газа в атмосфере, изменение концентрации малых газовых примесей, контролирующих 
концентрацию озона в атмосфере, вырубку лесов, приводящую к изменению 
альбедо и процессу опустынивания, и многие другие воздействия. Не менее важной является и естественная изменчивость климата, которая может 
также вносить существенный вклад в общую картину изменений климата. 
К наиболее значимым проявлениям собственной изменчивости климатической системы Земли следует отнести Эль-Ниньо-Южное колебание, СевероАтлантическое колебание, Арктическую осцилляцию. Эти явления оказывают существенное влияние на текущее состояние атмосферы и океана и 
могут изменять свою интенсивность и повторяемость на фоне изменений 
климата, вызванных внешними воздействиями.
Согласно определению Всемирной метеорологической организации 
(WMO, 1975), климатическую систему планеты Земля образуют следующие взаимодействующие между собой компоненты: (i) атмосфера – газовая 
оболочка Земли сложного состава (кислород, азот, углекислый газ, водяной 
пар, озон и т.д.), воздействующая на перенос к поверхности Земли солнечной радиации, поступающей на ее верхнюю границу, и являющаяся наиболее 
изменчивой составляющей рассматриваемой системы; (ii) океан – главный 
водный резервуар в системе, состоящий из соленых вод Мирового океана и 
прилегающих к нему морей, поглощающий основную часть поступающей 
на его поверхность солнечной радиации и представляющий собой, благодаря 
высокой теплоемкости воды, мощный аккумулятор энергии; (iii) суша – поверхность континентов с ее гидрологической системой (внутренние водоемы, 
болота и реки) и почва (в том числе с грунтовыми водами); (iv) криосфера – 
континентальные и морские льды, горные ледники и снежный покров, криолитозона («вечная мерзлота»); (v) биота – растительность на суше и океане, а 
также живые организмы в воздухе, море и на суше, включая человека.
Динамика климатической системы определяется тремя группами факторов (Монин, 1982): (1) внешние (астрономические) факторы: активность 

Введение        

Солнца, движение Земли вокруг Солнца, наклон ее оси вращения к плоскости орбиты и скорость вращения; (2) внешние (по отношению к системе) 
геофизические факторы: размер и масса Земли, скорость ее вращения вокруг 
оси, внутренние термодинамические процессы и связанные с ними геотермический поток тепла и вулканизм; (3) внутренние геофизические факторы (свойства системы): масса и состав атмосферы и океана, особенности 
подстилающей поверхности (географическое распределение континентов и 
океанов, рельеф поверхности суши), рельеф дна океана, структура деятельного слоя суши. Если сопоставить различные части климатической системы, 
то оказывается, что: (i) масса атмосферы равна 5,3·1015 т, ее удельная теплоемкость составляет 103 Дж/(кгК), в то время как полная теплоемкость равна 
5,32·1015 МДж/К; (ii) масса верхнего слоя сезонных колебаний температуры 
в океане (средней толщиной в 240 м) равна 8,7·1016 т, его удельная теплоемкость выражается величиной 4,19·103 Дж/(кгК), а полная теплоемкость равна 36,45·1016 МДж/К; (iii) масса деятельного слоя суши (средней толщиной в 
10 м) равна 3·1015 т, его удельная теплоемкость составляет 0,8·103 Дж/(кгК), 
а полная теплоемкость оценивается как 2,38·1015 МДж/К. Отсюда видно, что 
массы атмосферы, сезонного слоя океана и деятельного слоя суши соотносятся как 1:16,4:0,55, а их теплоемкости – как 1:68,5:0,45. Это означает, что 
в механическом и тепловом отношении океан является наиболее инерционным звеном климатической системы.
Геофизические течения включают широкий диапазон движений: крупномасштабные, формирующие общую циркуляцию атмосферы и океана, 
мезомасштабные, типа рэлеевской конвекции и образования кучевой облачности, волновые, в том числе внутренние, поверхностные и приливные 
волны, формирование и распространение фронтов, опасные явления, такие 
как штормы, смерчи и торнадо, мелкомасштабную турбулентность и др. 
Из класса геофизических течений можно выделить специальный подкласс, 
являющийся объектом геофизической гидродинамики, для описания которого используются особые уравнения дви жения, получаемые из исходной 
системы гидродинамических уравнений путем фильтрации быстрых составляющих (Должанский, 2011). 
Исторически математическое моделирование в приложении к физике 
атмосферы началось с постановки и решения задачи о гидродинамическом 
численном прогнозе погоды. По своей сути, прогноз погоды – это решение 
задачи Коши на конечном промежутке времени T. Можно выделить три категории прогнозов в зависимости от их заблаговременности T (Бенгтсон, 

Введение

1988): краткосрочный (до 3 дней) прогноз, который определяется главным 
образом исходным состоянием атмосферы (начальными условиями); среднесрочный (до двух недель) прогноз, при котором требуется как детальная 
информация об исходных полях метеорологических элементов, так и адекватное описание воздействий внешних факторов («граничных условий»), и 
долгосрочный (до сезона) прогноз, который в большей степени зависит от 
краевых, чем от начальных условий, и включает в себя элементы моделирования климата.
Впервые проблема прогноза погоды как задача математики и механики была сформулирована в опубликованной в 1904 г. статье В. Бьеркнеса 
(Bjerknes, 1904; см. также Монин, 1969), где она рассматривалась как задача 
с начальными условиями для уравнений гидромеханики бароклинной жидкости. В. Бьеркнес писал: «Если, как полагает любой ученый, верно, что последующие состояния атмосферы формируются из предыдущих в соответствии с физическими законами, то очевидны необходимые и достаточные 
условия для рационального решения проблем прогноза: достаточно точное 
знание начального состояния атмосферы и достаточно точное знание законов, согласно которым одно состояние атмосферы развивается из другого». Он понимал, что поскольку проблема прогноза погоды чрезвычайно 
сложна, то для ее решения потребуются гигантские усилия и длительное 
время, но надеялся на успех и позже (Bjerknes, 1914) так сформулировал эту 
надежду: «Я буду более чем счастлив, если смогу продолжать работу до 
тех пор, пока в результате многолетних вычислений не буду в состоянии 
предсказывать погоду с одного дня на другой. Если расчеты окажутся в 
согласии с фактами, это будет означать научную победу. Метеорология 
тогда стала бы точной наукой…».
В начале 20-х годов ХХ столетия Л. Ричардсоном была предложена 
методология численного прогноза погоды (Richardson, 1922). Поскольку в 
качестве начальных условий требуется использовать информацию о реальном состоянии атмосферы во всей ее толще, им были также разработаны 
приборы для атмосферных измерений на высотах, достигающих нескольких километров над подстилающей поверхностью. При построении теории 
численного прогноза погоды Ричардсон внес большой вклад в исследования 
турбулентности пограничного слоя атмосферы, радиационных процессов и 
термодинамики атмосферы. 
Однако попытка практического прогноза на один день (на 20 мая 1910 г. 
для района Нюрнберг – Аугсбург, Германия) численным методом (с помощью 

Введение        

существовавших тогда вычислительных средств типа логарифмических линеек и механических калькуляторов) не удалась: рассчитанное приземное 
давление выросло за 6 часов на 145 гПа, что в 50 раз превысило наблюдавшуюся тенденцию. Это было связано с тем, что: (1) в качестве начальных 
условий были использованы лишь наземные данные небольшой сети метеорологических станций в Европе; (2) использованный Ричардсоном конечноразностный метод оказался вычислительно неустойчивым (критерий Куранта – Фридрихса – Леви для соотношения пространственного и временного 
шагов был установлен позже (Courant et al., 1928)); (3) уравнения гидродинамики атмосферы, использованные в прогностической схеме, наряду с относительно медленными движениями, ответственными за синоптические 
процессы, описывали также всевозможные «шумы» типа акустических и гравитационных волн, фильтрация которых в начальный момент времени также 
не была проведена. 
Ричардсоном была предложена своеобразная «технология» реализации 
численного прогноза: коллектив из 64000 вычислителей производит расчет 
погоды для территории всего Земного шара (2000 узлов конечно-разностной 
сетки по горизонтали и 32 уровня), а главный прогнозист, подобно дирижеру, организует поступление к нему информации от всех остальных участников процесса. Вот как он описывает (Richardson, 1922, ch. 11/2) «фабрику 
прогноза»: «Представьте себе большой зал, похожий на театр, но с галереями и балконами, расположенными по кругу и проходящими через то 
место, где обычно находится сцена. Стены этого зала разрисованы в виде 
карты Земного шара. Потолок представляет собой северные полярные области, Англия расположена на галерее, тропики – там, где балконы верхнего яруса, Австралия – где бельэтаж, а Антарктида – где партер. Громадное количество вычислителей заняты работой: каждый рассчитывает 
погоду для той части Земного шара, где он сидит, отвечая за вычисления 
одного уравнения или даже части уравнения. Работа для каждого региона 
координируется исполнителем более высокого ранга. Многочисленные светящиеся числа показывают мгновенные значения так, что соседние вычислители могут их прочитать. Каждое число высвечивается в трех соприкасающихся зонах, поддерживая тем самым коммуникации с севером и югом. 
Из пола партера на половину высоты зала возвышается столб с кафедрой, 
за которой находится человек, ответственный за весь театр. Он окружен 
несколькими ассистентами и курьерами. Одна из его обязанностей – поддерживать постоянную скорость вычислений в различных частях Земного 

Введение

шара. В этом отношении он похож на дирижера оркестром, в котором 
инструментами являются логарифмические линейки и вычислительные машины. Но вместо того, чтобы размахивать палочкой, он светит розовым 
лучом на области, расчет для которых идет быстрее остальных, а синим 
– на запаздывающие области».
В каком-то смысле уже в то время была предвосхищена идея параллельных вычислений, осуществляемых на современных параллельных вычислительных системах: распределение вычислений между процессорами, обмены данными между ними и их равномерная загрузка.
Одна из причин неудачной попытки Ричардсона, а именно, связанная с 
наличием «шумов» в синоптических движениях, была устранена И.А. Кибелем (1940). Предложенный им фундаментальный принцип упрощения 
уравнений гидродинамики атмосферы (асимптотическое «квазигеострофическое разложение») позволил разработать процедуру фильтрации из решений уравнений несущественных для погоды метеорологических шумов и 
послужил основой для создания гидродинамической теории краткосрочных 
прогнозов погоды (Обухов, 1949; Кибель, 1957). Центральной проблемой теории климата, сформулированной в первой половине ХХ века, стало воспроизведение основных характеристик атмосферной циркуляции с помощью 
математических моделей (Дородницын и др., 1939). В этой работе под математической теорией общей циркуляции атмосферы понималась возможность ее описания с помощью уравнений геофизической гидродинамики.
Появление электронно-вычислительных машин позволило в начале 50-х 
годов ХХ века осуществить (Charney et al., 1950) первый «практический» 
численный прогноз погоды (использована модель, основанная на баротропном уравнении вихря). Это была реализация начального этапа плана метеорологической исследовательской группы в Институте перспективных исследований (Принстон, США) по созданию серии моделей, шаг за шагом все 
лучше и лучше воспроизводящих реальное состояние атмосферы. Одним 
из соавторов цитированной работы был Дж. фон Нейман, который считал 
прогноз погоды одной из тех проблем, которые могут быть решены с помощью компьютеров. Расчеты были проведены на первом программируемом 
компьютере ENIAC (Electronic Numerical Integrator and Computer) с тактовой 
частотой 100 кГц, на десятичной основе, с памятью для 20 чисел (память 
для программы отсутствовала) и производительностью 5000 сложений и 
300 умножений в секунду (Хартрей, 1948). Для прогноза на сутки с шагом 
3 часа по ограниченной территории на сетке из 270 узлов с шагом 736 км