Нейронные сети в экономике и финансах
Покупка
Издательство:
Дело (РАНХиГС)
Автор:
Косарев Владимир Сергеевич
Год издания: 2021
Кол-во страниц: 118
Дополнительно
Вид издания:
Материалы конференций
Уровень образования:
ВО - Магистратура
ISBN: 978-5-85006-382-5
Артикул: 798344.01.99
Доступ онлайн
В корзину
Искусственные нейронные сети в настоящее время находят широкое применение в экономике и финансах. Прежде всего они являются альтернативой эконометрических методов оценки, направленных на построение прогнозов, и решают широкий спектр прикладных задач, связанных с предобработкой данных для исследования. Современному экономисту может быть полезно иметь данный инструмент в арсенале методов.
Целью предлагаемой работы является популярное объяснение принципа работы данного инструмента, демонстрация некоторых сфер его применения, особенностей разработки и условий, при которых использование рассматриваемого вида машинного обучения может иметь практическую пользу.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Магистратура
- 09.04.03: Прикладная информатика
- 38.04.01: Экономика
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
В.С. Косарев Нейронные сети в экономике и финансах | И ДЕЛО | Москва | 2021
Косарев В.С., научный сотрудник Лаборатории системного анализа отраслевых рынков Института отраслевых рынков и инфраструктуры Косарев, В.С. Нейронные сети в экономике и финансах / В.С. Косарев. — Москва : Издательский дом «Дело» РАНХиГС, . — с. — (Научные докла- ды: экономика). — ISBN ---- Искусственные нейронные сети в настоящее время находят широкое при- менение в экономике и финансах. Прежде всего они являются альтерна- тивой эконометрических методов оценки, направленных на построение прогнозов, и решают широкий спектр прикладных задач, связанных с предобработкой данных для исследования. Современному экономисту может быть полезно иметь данный инструмент в арсенале методов. Це- лью предлагаемой работы является популярное объяснение принципа работы данного инструмента, демонстрация некоторых сфер его приме- нения, особенностей разработки и условий, при которых использование рассматриваемого вида машинного обучения может иметь практическую пользу. ISBN ---- УДК ББК /- © ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», К УДК ББК /- К
Содержание Введение . . . . . . . . . . . . . . . . . . . . . . . 7 1. Практика применения нейронных сетей . . 10 1.1. Прогнозирование экономических и финансовых показателей . . . . . . . . . . 11 1.2. Предобработка данных эмпирического исследования . . . . . . . . . . . . . . . . . . . 28 2. Подходы к интерпретации нейросетевых моделей . . . . . . . . . . . . . . . . . . . . . . . 40 2.1. Анализ чувствительности . . . . . . . . . 41 2.2. Подход на основе интегрированных градиентов . . . . . . . . . . . . . . . . . . . . 44 3. Основные архитектуры нейронных сетей. . 51 3.1. Полносвязные нейросети . . . . . . . . . 51 3.2. Рекуррентные нейросети . . . . . . . . . 65 4. Особенности обучения . . . . . . . . . . . . . 81 4.1. Адаптивные методы градиентного спуска . . . . . . . . . . . . . . . . . . . . . . . 81 4.2. Ландшафт функции потерь . . . . . . . . 85 4.3. Отбор объясняющих факторов . . . . . . 93 Заключение . . . . . . . . . . . . . . . . . . . . .102 Список литературы . . . . . . . . . . . . . . . .106
Список терминов Машинное обучение (МО) – обучение компьютерной программы по мере накопления опыта относительно некоторого класса задач Т и целевой функции Р, если качество решения этих задач (относительно Р) улучшается с получением нового опыта [1] Искусственная нейронная сеть (ИНС) – вид машинного обучения, представляющий собой распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющий их для последующей обработки [2] Архитектура искусственной нейронной сети (топология) – описание структуры ИНС, включающее информацию о количестве слоев, строении соединений между блоками, функциях активаций и других характеристиках Глубокое обучение – ветвь машинного обучения, архитектуры которой принадлежат глубоким ИНС. Термин «глубокий» означает наличие нескольких слоев со сложной структурой ANN (Artifi cial neural networks) – полносвязная нейронная сеть
В. С. К. Н RNN (Recurrent neural network) – рекуррентная нейронная сеть, особенностью которой является возможность связывать предыдущую информацию с текущей LSTM (Long short-term memory) – рекуррентная ячейка нейронной сети с состоянием долгосрочной памяти. Представляет собой особый тип RNN, способный обучаться долгосрочным зависимостям GRU (Gated recurrent units) – рекуррентная ячейка нейронной сети, представляющая собой упрощение LSTM CNN (Convolution Neural Network) – сверточная нейронная сеть, способная учитывать пространственную связь входных данных Эпоха – характеризует этап обучения нейронной сети после задействования в процессе обучения всего множества тестовых данных Батч – набор входных данных искусственной нейронной сети, на множестве которых рассчитывается один шаг градиентного спуска Паттерн – один обучающий набор искуственной нейронной сети Ядро свертки – элемент сверточной нейронной сети, представляющий собой функцию отображения пространства данных в подпространство меньшей размерности
Введение В XXI веке начался интенсивный рост использования алгоритмов машинного обучения, в том числе искусственных нейронных сетей, одновременно во многих сферах [3]. Исключением не стали и прикладные области экономики и финансов [4, 5, 6, 7, 8]. В настоящей работе представлен набор практик применения нейронных сетей в области экономики, показаны базовые принципы их работы, а также обозначен ряд особенностей построения нейросетевых моделей. Стремительный рост популярности нейросетей в последние годы объясняется тремя синхронными тенденциями, давшими в совокупности заметный синергетический эффект. Первая — накопление большого объема цифровых данных человечеством во всех сферах деятельности и исследовательский интерес в отношении их анализа, обусловленный в том числе потенциальной коммерческой выгодой (например, построение рекомендательных систем на основе истории покупок и просмотров пользователей в офлайн- и онлайн-торговле). Вторая — рост производительности вычислительных мощностей. Эмпирическое наблюдение от 1975 года об удвоении каждые два года количества транзисторов, размещаемых на кристалле интегральной схемы, известное как закон Мура [9], продолжает с некоторой погрешностью выполняться и в 2021 году: первый микропроцессор Intel 4004, вышедший
В. С. К. Н в 1971 году, имел всего 2250 транзисторов, в то время как в серверном процессоре 2021 года AMD Epic 7763 их около 48 млрд. Третья — доступные сервисы для проведения ресурсоемких вычислений. Возможность выполнять сложные расчеты и хранить данные на серверах, расположенных в распределенных дата- центрах, при помощи таких платформ, как Google Colab [10], Microsoft Azure [11] и других, существенно облегчила и ускорила работу ученых — исследователей данных. В результате в настоящее время в основе ряда успешно решаемых прикладных задач компьютерного зрения 1, машинной лингвистики, предиктивной аналитики лежат алгоритмы машинного обучения. Ставший широко известным публике успех некоторых решений 2 стал причиной ложного представления об универсальной применимости и почти неограниченных возможностях так называемого искусственного интеллекта. В некоторых материалах по машинному обучению начального уровня, предназначенных для широкой аудитории, подробности работы алгоритмов опускаются и используется обобщающий условный термин — «искусственный интеллект». Однако, как утверждает, например, глава школы глубокого обучения МФТИ Надежда Зуева [12], все, что сейчас принято называть искусственным интеллектом, скорее является интеллектуальными системами. В их основе — методы машинного обучения и в том числе нейросети, которые выполняют отдельные узкие функции. Они используют давно известную математику и в целом статичны: даже если модели дообучаются на новых данных в процессе работы, научиться решать иные задачи без вмешательства человека они не могут. В настоящий момент форма сильного искусственного интеллекта 3 остается областью науч- 1 Область машинного обучения, связанная с анализом изображений и видео. 2 В 2016 году программа AlphaGo, в основе которой лежат алгоритмы машинного обучения, обыграла чемпиона мира по игре в го Ли Седоля, а впоследствии обыгрывала команды из нескольких ведущих профессионалов; в 2014–2016 годах использование нейронных сетей в машинном переводе текстов на другой язык позволило кардинально повысить качество, в результате чего часто перевод, сделанный компьютером, стал неотличим от перевода, сделанного специалистом [3]. 3 Предполагает, что машина обладает когнитивными способностями, то есть умеет мылить и осознает себя.
В ной фантастики. Примечательно, что отец-основатель и теоре- тик искусственных нейронных сетей Йошуа Бенжио полагает, что разработка «разумного» интеллекта для машины требует смены технологической парадигмы, а нейронные сети останут- ся лишь инструментом для решения прикладных задач. Представление о всесильности нейронных сетей в какой-то степени может распространяться и на сферу экономики. Поэто- му данная работа направлена в том числе на то, чтобы показать некоторые определенные области применения в экономике и финансах одного из типов машинного обучения — искус- ственных нейронных сетей и попытаться обозначить условия, при которых их использование является целесообразным. Стоит отметить, что данная работа не претендует на пол- ноту обзора, а касается только некоторых популярных на- правлений применения нейронных сетей в экономической сфере. В первом разделе приведен обзор реальных приме- ров использования нейронных сетей в экономике и финан- сах. Рассматриваемые работы разделены на два блока исходя из целей использования машинного обучения: прогнозирова- ние временного ряда и предобработка данных для исследова- ния. В рамках второго блока рассматриваются два направле- ния: вычленение числовых данных из текстовой информации и снижение размерности исходных данных. Во втором разде- ле приведены примеры методов интерпретации сложных ней- росетевых моделей. Преимущественно раздел касается анали- за чувствительности целевой переменной к факторам модели. В третьей части более глубоко объясняются принципы работы и построения основных архитектур нейронных сетей, исполь- зованных в упомянутых в обзоре исследованиях. В последнем разделе собраны дополнительные особенности обучения, ко- торые могут быть полезны на практике, а также некоторые ре- шения и открытые проблемы из области обучения глубоких нейронных сетей, стоящих на повестке дня. Завершает рабо- ту раздел с основными выводами относительно применимо- сти нейросетевых методов в экономике.
1. Практика применения нейронных сетей Использование нейронных сетей в экономиче- ских задачах началось с попыток улучшить точность наукастинга макроэкономических показателей и прогнозирования показателей финансового рынка еще в конце XX века [13, 14, 15]. Нейронная сеть, как правило, использовалась как альтернатива структурной эконометрической модели или инкорпорировалась в гибридную модель прогнозирования временных рядов ARIMA — ANN 1. Использование гибридной модели или объединение нескольких моделей стало обычной практикой для повышения точности прогнозирования с выходом работы [16] в 1982 году, в которой было продемонстрировано, что комбинация прогнозов из нескольких моделей приводит к повышению эффективности прогнозирования. В статье Клемена [17] представлен обзор большого количества ранних работ в этой области. Основная идея комбинирования моделей в прогнозировании заключалась в использовании возможностей каждой модели захватывать различные особенности поведения в данных. 1 ARIMA (autoregressive integrated moving average) — интегрированная модель авторегрессии скользящего среднего; ANN (artifi cial neural networks) — искусственная нейронная сеть.
1. П В XXI веке направления применения существенно расши- рились. Все чаще ИНС стали использовать как прикладной ин- струмент для предобработки данных — снижения размерно- сти, создания числовых факторов из текстовой информации [18, 19]. Кроме того, возможности машинной обработки тек- стов фактически привели к возникновению новой исследова- тельской области в экономике — построению поисковых и но- востных индексов на основе только текстовой информации, которые стали использовать как самостоятельные индикато- ры экономической активности, так и объясняющие перемен- ные при прогнозировании макроэкономических и финансовых показателей: ВВП, инфляции, безработицы, валютного курса, биржевых индексов [20, 21, 22]. Однако и спектр работ в эко- номике и финансах с прогнозами, построенными нейронны- ми сетями, существенно расширился за последнее десятилетие. Далее подробнее остановимся на эволюции нейросетевых ме- тодов прогнозирования и сфер их применения, а в конце раз- дела вернемся к использованию нейросетей в целях предобра- ботки данных. 1.1. П Большинство задач, решаемых нейронными сетями, — класси- фикация или регрессия с целью получения прогноза: распоз- навание изображений и фрагментов на видео — это, как пра- вило, многоклассовая классификация; генерация текста или звука — регрессия. Успехи в этих сферах, перекрывающие еже- годно достижения предыдущих лет 1, обеспечивались за счет непрерывного усовершенствования архитектур и модерниза- ции механизмов обучения [23, 24]. Учитывая, что экономисты часто сталкиваются с задачами классификации или регрессии, как альтернативу линейным моделям в случае необходимости они могли использовать готовые решения с переднего края 1 К примеру, в соревновании ImageNet Recognition по распознаванию изо- бражений ошибка нейронной сети снижалась практически линейно с 25% в 2011 году до 3,8% в 2018 году.
Доступ онлайн
В корзину