Самоорганизующиеся карты

Самоорганизующиеся 
карты

Self-Organizing
Maps

Third Edition
With 129 Figures and 22 Tables

Teuvo Kohonen

Springer

Самоорганизующиеся
карты

Москва
Лаборатория знаний

 2021 

Т. Кохонен

АДАПТИВНЫЕ    ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

Перевод 3-го английского издания
В. Н. Агеева

под редакцией Ю. В. Тюменцева

4-е издание, электронное

И

УДК 517.11+519.92
ББК 22.18
К75

С е р и я о с н о в а н а в 2005 г.
Кохонен Т.
К75
Самоорганизующиеся карты / Т. Кохонен ; пер. 3-го англ.
изд. — 4-е изд., электрон. — М. : Лаборатория знаний, 2021. —
660 с. — (Адаптивные и интеллектуальные системы). — Сис-
тем. требования: Adobe Reader XI ; экран 10". — Загл. с титул.
экрана. — Текст : электронный.
ISBN 978-5-00101-179-8
Самоорганизующиеся карты вместе с их разновидностями пред-
ставляют собой одну из наиболее популярных нейросетевых архитек-
тур, ориентированных на обучение без учителя. Они широко исполь-
зуются в таких областях, как статистика, обработка сигналов, тео-
рия управления, финансовый анализ, экспериментальная физика,
химия, медицина, для решения сложных, многомерных, нелинейных
задач, связанных с извлечением признаков, обработкой и классифи-
кацией изображений, адаптивным управлением и т. п. В книге дается
детальное изложение математического аппарата и применений для
самоорганизующихся карт.
Для специалистов в области теории и применений нейросетевого
моделирования, а также студентов и аспирантов соответствующих
специальностей.
УДК 517.11+519.92
ББК 22.18

Деривативное издание на основе печатного аналога: Са-
моорганизующиеся карты / Т. Кохонен ; пер. 3-го англ. изд. —
М. : БИНОМ. Лаборатория знаний, 2008. — 655 с. : ил., [2] с. цв.
вкл. — (Адаптивные и интеллектуальные системы).
ISBN 978-5-94774-352-4.

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений,
установленных
техническими
средствами
защиты
авторских
прав,
правообладатель вправе требовать от нарушителя возмещения убытков
или выплаты компенсации

ISBN 978-5-00101-179-8

Translation from the English
language edition: Self-Organizing
Maps by Teuvo Kohonen

© P
Copyright
hysica-Verlag Heidelberg
1995,1997,2001
All rights Reserved

© Перевод, оформление. Лаборатория
знаний, 2015

Предисловие к третьему изданию

Со времени второго издания этой книги в начале 1997 г. количество
научных публикаций по самоорганизующимся картам (Self-Organizing
Map — SOM) возросло примерно от полутора до четырех тысяч. Кроме
того, проблеме SOM были посвящены два специально организованных
семинара, не говоря уже о многочисленных секциях на конференциях
по нейронным сетям. Ввиду возрастающего интереса к проблеме SOM
у меня возникло желание значительно переработать эту книгу. Суть
изменений состоит в следующем.
Тщательнее, чем ранее, обосновывается
статистический
подход
к анализу образов. В разд. 1.1.3 включено более детальное обсуждение
собственных векторов и собственных значений симметричных матриц,
с которыми обычно приходится иметь дело в статистических исследованиях. 
В разд. 1.3.1 обсуждаются новые вероятностные подходы,
такие, как факторный анализ. Добавлен обзор проекционных методов
(разд. 1.3.2), чтобы иметь возможность связать SOM с классическими
парадигмами.
Векторное квантование теперь вынесено в отдельный раздел. Добав-
лен вывод точечной плотности кодирующих векторов на основе вариационного 
исчисления, чтобы познакомить читателя с этим непростым
для понимания альтернативным вариантом статистического анализа.
Представлялось также необходимым подробнее обсудить методологические 
проблемы нейронного моделирования с целью дать более широкую 
перспективу развития основных разделов этой темы. Надеюсь,
что исторический обзор, приведенный в разд. 2.2, а также материалы
общеметодологического характера в разд. 2.3, 2.5 и 2.14 помогут теперь
новичкам лучше и в большей степени сориентироваться в многочисленных 
современных нейронных моделях.
Основная теория самоорганизующихся карт предваряется теперь общим 
введением на качественном уровне в разд. 3.1. К числу абсолютно
новых понятий, обсуждаемых в третьей главе, относятся точечная плотность 
модельных векторов (разд. 3.12), а также интерпретации отображения, 
реализуемого SOM (разд. 3.16).
Четвертая глава претерпела незначительные изменения.

Предисловие к третьему изданию

В числе других новых материалов, в пятой главе (в разд. 5.7) обсуждается 
SOM для символьных строк (и других невекторных объектов), 
а также обобщение SOM на случай эволюционного обучения
(в разд. 5.9).
В шестой главе добавлен пакетный вариант вычислительной схемы
для метода обучающегося векторного квантования (LVQ1).
В седьмой главе основная доработка связана с рассмотрением новой 
версии WEBSOM, представляющей собой SOM для больших текстовых 
файлов, с помощью которой оказалось возможным создать одно
из крупнейших нейросетевых приложений, а именно, самоорганизующуюся 
карту для семи миллионов аннотаций патентов. Количество отображенного 
этим способом текста в двадцать раз больше, чем в Британской
энциклопедии!
Наиболее заметные изменения в третьем издании претерпела восьмая 
глава, в которой говорится о программных средствах; можно надеяться, 
что она будет полезна для практиков.
Обзор приложений SOM лишь незначительно расширен по сравнению 
с тем, что было сделано во втором издании. Новые аппаратные средства 
обсуждаются в конце девятой главы. Что касается десятой главы,
в которой содержится обзор литературы, то она была коренным образом
переработана: разделение по темам и индексирование содержания в ней
теперь более логичны, чем во втором издании.
В предисловии к первому изданию давались советы относительно последовательности 
материалов при первоначальном чтении этой книги.
Так как нумерация разделов изменилась, сейчас для краткого введения
в SOM рекомендуется такая их последовательность: 2.2, 2.9, 2.10, 2.12,
3.1–3.3, 3.4.1, 3.5.1, 3.6, 3.7, 3.13, 3.14, 3.15, 6.1, 6.2 (пропуская обоснования), 
6.4–6.9, 7.1 и 7.2.
Большую помощь в переработке книги я вновь получил от моего секретаря, 
г-жи Лейлы Койвисто (Leila Koivisto), за что я ей очень признателен. 
Часть текста была набрана Микко Катаямаа (Mikko Katajamaa).
Разумеется, очень большую пользу мне принесли исследования, выполнявшиеся 
всеми моими молодыми коллегами в нашем университете.
Д-р Самуэль Каски (Samuel Kaski) любезно позволил мне использовать 
в разд. 1.3.2 собранные им материалы.
После выхода всех трех изданий я вновь хотел бы выразить мою
признательность Академии наук Финляндии за содействие в проведении
исследований, изложенных в данной книге.

Эспо, Финляндия
Тойво Кохонен
Октябрь, 2000 г.

Предисловие ко второму изданию

Второе, доработанное издание данной книги вышло быстрее, чем планировалось. 
Основная причина этого заключалась в том, что совсем недав-
но были получены новые важные результаты.
Адаптивно-подпространственная самоорганизующаяся карта (Adap-
tive-Subspace SOM — ASSOM) представляет собой новую архитектуру,
в которой для организации процесса обучения без учителя использу-
ются детекторы инвариантных свойств. Основная идея этой архитекту-
ры была уже введена в первом издании. Теперь же более основательно
и последовательно рассмотрены предпосылки ее создания и теорети-
ческое обоснование. В разд. 5.9 был добавлен новый материал, а сам
этот раздел полностью переписан. Соответственно, был также расши-
рен и полностью переписан разд. 1.4, в котором идет речь об адаптивно-
подпространственных классификаторах вообще, а также о предпосыл-
ках формирования ASSOM.
Еще одним направлением развития архитектуры SOM является
двухслойная архитектура WEBSOM, предназначенная для организации
очень больших наборов полнотекстовых документов, в частности, пред-
ставленных в Интернете. Эта архитектура была разработана уже после
выхода первого издания. Ее идея и полученные результаты представля-
ются настолько важными, что во второе издание был добавлен соответ-
ствующий новый разд. 7.8.
Добавление в разд. 3.15 касается новых результатов о способе уско-
рения вычислений для очень больших SOM. Существенно расширена
седьмая глава, посвященная приложениям SOM.
Итак, главы 1, 3, 5, 7 и 9 содержат многочисленные добавления и ис-
правления, тогда как главы 2, 4, 6, 8 и 10 практически идентичны со-
ответствующим главам первого издания, в их тексты вносились лишь
небольшие изменения.
При подготовке данного издания очень большую помощь мне оказал
г-н Марко Малмберг (Marko Malmberg).

Эспо, Финляндия
Тойво Кохонен
Сентябрь, 1996 г.

Предисловие к первому изданию

Книга, которую вы держите в руках, является четвертой моногра-
фией, написанной мною для издательства «Шпрингер». Предыдущая
книга под названием «Самоорганизация и ассоциативная память» (Self-
Organization and Associative Memory) вышла в 1984 г. как том 8 в шприн-
геровской серии по информатике. С тех пор самоорганизующиеся ней-
росетевые алгоритмы SOM и LVQ стали очень популярными, как это
можно видеть из девятой главы, в которой приведен обзор многих пуб-
ликаций на данную тему. Новые результаты, полученные за последние
примерно десять лет, послужили основанием для написания новой мо-
нографии. За прошедшие годы мне приходилось отвечать также на мно-
жество вопросов, и они оказали определенное влияние на содержание
данной книги.
Мне представляется, что читателям было бы интересно и полезно
узнать, какие этапы прошли исследования в области самоорганизую-
щихся карт и какими были причины появления каждого из этих этапов.
Ниже эти аспекты рассматриваются, хотя и очень кратко.
Я начал интересоваться нейронными сетями примерно в 1960 г., од-
нако не мог тогда уделять им много внимания, поскольку был занят
подготовкой диссертации по физике. В 1965 г. я был назначен профес-
сором электроники, и несколько лет ушло на разработку в универси-
тете соответствующих учебных курсов. В течение 1968–1969 гг. я на-
ходился в Вашингтонском университете. Как раз в это время Д. Габор
(D. Gabor) опубликовал свою корреляционно-конволюционную модель
автоассоциативной памяти. Я тут же увидел слабые стороны этой моде-
ли: емкость памяти была слишком мала, а свойственные ей шумы и пере-
крестные помехи — недопустимо большими. Поэтому в 1970 г., одновре-
менно с Дж. А. Андерсоном (J. A. Anderson) и К. Накано (K. Nakano),
мною была предложена автоассоциативная корреляционная матричная
модель памяти.
Первые попытки применения корреляционной матричной памяти
для решения практических задач распознавания образов (изображе-
ний и речи) были довольно обескураживающими. Тогда, примерно

Предисловие к первому изданию
9

в 1972–1973 гг., я пытался обратить задачу: если мы имеем набор
входных-выходных пар образов, каким должен быть оптимальный пре-
образующий матричный оператор в смысле получения с его помощью
наименьших невязок? В качестве математического результата решения
этой задачи было получено оптимальное ассоциативное отображение,
которое включало в качестве множителя псевдообращение Мура—Пе-
нроуза входной матрицы наблюдений. Как ассоциативная память это
отображение имеет втрое б´ольшую емкость по сравнению с сетями, рас-
сматривавшимися Дж. Хопфильдом (J. Hopfield). Точность распознава-
ния для реальных данных, однако, не особенно улучшилась, даже когда
мы использовали нелинейную (полиномиальную) предобработку! Наши
суждения, очевидно, основывались на заблуждении: ведь проблема ас-
социативной памяти и распознавание образов это не одно и то же!
В 1976–1977 гг. у меня сформировалась новая идея. В теории ассоциативной 
памяти, над которой я работал, среди других была проблема 
так называемого фильтра новизны, который является адаптивным 
ортогональным проекционным оператором. Я пытался тогда придумать 
нейрон, который был бы представлением для целого класса образов, 
и уделял много времени идее нейрона, или, скорее, идее достаточно 
небольшого набора взаимодействующих нейронов, характеризуемого
как фильтр новизны. Если бы это работало, то произвольную линейную 
комбинацию сохраненных эталонных образов можно было бы автоматически 
отнести к одному и тому же классу (или многообразию).
Тогда получалось, что так называемый формализм линейного подпространства, 
известный в теории распознавания образов, был математически 
эквивалентен моей идее. Затем я сделал следующий шаг: поскольку 
в соответствии с нашими же экспериментами имеющийся основной
подпространственный метод был все еще недостаточно точен для классификации, 
почему бы не попытаться использовать «обучение с учителем»
 для подпространств или их базисных векторов? Вскоре я приду-
мал первый алгоритм соревновательного обучения с учителем, полу-
чивший наименование «обучающийся метод подпространств» (Learning
Subspace Method — LSM), и он работал почти в три раза точнее, чем
предыдущие! Недостатком его была невысокая скорость, но мы разра-
ботали быструю сопроцессорную плату расширения, чтобы справляться
с «нейросетевыми» вычислениями, необходимыми для реализации LSM,
в режиме реального времени. Этот алгоритм использовался в течение
ряда лет, на его идее была основана наша первая аппаратная система
распознавания речи. По этой системе в нашей лаборатории было подго-
товлено с полдюжины докторских диссертаций.

Предисловие к первому изданию

Наши исследования в области самоорганизующихся карт (Self-Orga-
nizing Map — SOM) не начинались вплоть до 1981 г., хотя я кратко на-
бросал основную идею данного метода уже в 1976 г. Мне хотелось со-
здать алгоритм, который мог бы эффективно отображать сходные об-
разы (векторы которых близки друг к другу в пространстве входных
сигналов) в смежные элементы выходного пространства. Первоначаль-
ные результаты в этой области были получены фон-дер-Малсбургом
(von der Malsburg) еще в 1973 г., но я хотел обобщить и в то же са-
мое время существенно упростить описание его системы. Мы построили
многочисленные диаграммы подобия (кластеризации), включая карту
фонем, с помощью моего упрощенного, но в то же время весьма устой-
чиво работающего SOM-алгоритма. В наших начальных попытках при-
менить SOM для распознавания речи в 1983 г., мы в первое время не по-
лучали никакого улучшения по сравнению с результатами, уже достиг-
нутыми с помощью LSM. Затем, в 1984 г., я вновь вспомнил об обучении
с учителем, после чего проблема была решена путем создания Supervised
SOM, т. е. самоорганизующейся карты, обучаемой с учителем. Она опи-
сана в разд. 5.8 данной книги. Мы получили алгоритм, который до сих
пор является лучшим по своим характеристикам.
В течение 1985–1987 гг. наша лаборатория выполняла проект по рас-
познаванию речи совместно с Asahi Chemical Co., Ltd, крупнейшей
химической компанией в Японии. На начальном этапе проекта я раз-
работал два новых алгоритма (основанных на исследованиях, начатых
за пару лет до этого): обучающееся векторное квантование (Learning
Vector Quantization — LVQ), представляющее собой вариант SOM с учителем, 
применимый, в частности, для статистического распознавания
образов, а также динамически расширяющийся контекст (Dynamically
Expanding Context — DEC). Оба этих алгоритма описываются в книге.
Впоследствии многие годы они являлись основой для построения наших
систем распознавания речи.
В течение ряда лет мы работали над многими другими практическими 
приложениями SOM, эти проекты можно найти по приведенным
в тексте ссылкам на литературу.
Настоящая монография содержит описание совершенно нового,
не
публиковавшегося
ранее
результата, — адаптивно-подпространственной 
самоорганизующейся карты (Adaptive-Subspace Self-Organizing
Map — ASSOM). Данный подход сочетает старый обучающийся метод 
подпространств (LSM) и метод самоорганизующихся карт (SOM).
Он позволяет добиваться большего, чем значительная часть нейросете-
вых алгоритмов: появляется возможность обнаруживать инвариантные