Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python
Покупка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Автор:
Мишра Прадипта
Перевод:
Минц С. В.
Год издания: 2022
Кол-во страниц: 298
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
ВО - Специалитет
ISBN: 978-5-93700-124-5
Артикул: 817215.01.99
В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers.
Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей деятельности.
- Полная коллекция по информатике и вычислительной технике
- Аналитика данных
- ДМК Пресс. Информационные системы и технологии
- ДМК Пресс. ИТ-технологии для профессионалов
- Интермедиатор. Информационные системы и технологии (сводная)
- Интермедиатор. ИТ-технологии для профессионалов (сводная)
- Программирование и алгоритмизация
- Программирование на Python
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
Прадипта Мишра Объяснимые модели искусственного интеллекта на Python Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python
Practical Explainable ИИ Using Python Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks Pradeepta Mishra
Объяснимые модели искусственного интеллекта на Python Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python Прадипта Мишра Москва, 2022
УДК 004.438Python ББК 32.973.22 М71 Прадипта Мишра М71 Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python / пер. с англ. С. В. Минца. – М.: ДМК Пресс, 2022. – 298 с.: ил. ISBN 978-5-93700-124-5 В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers. Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей деятельности. УДК 004.438Python ББК 32.973.22 First published in English under the title Practical Explainable ИИ Using Python This edition has been translated and published under licence from APress Media, LLC, part of Springer Nature. APress Media, LLC, part of Springer Nature takes no responsibility and shall not be made liable for the accuracy of the translation. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright © 2022 by Pradeepta Mishra © Оформление, издание, перевод, ДМК Пресс, 2022 ISBN (анг.) 978-1-4842-7157-5 ISBN (рус.) 978-5-93700-124-5
Я посвящаю эту книгу моему покойному отцу, который всегда вдохновлял меня стремиться к следующему уровню, никогда не останавливаться на достигнутом и продолжать двигаться вперед. Люблю тебя, папа, ты бы гордился этой книгой. Трем женщинам в моей жизни – моей жене Праджне и моим дочерям, Аарии и Аадии, которые всегда поддерживали и любили меня. Завершение этой книги было бы невозможно без их поддержки.
Оглавление Об авторе ........................................................................................... 10 О рецензентах ................................................................................... 11 Благодарности ................................................................................... 12 Введение ............................................................................................ 13 Глава 1. Объяснимость и интерпретируемость модели .............. 15 Создание основ .................................................................................................15 Искусственный интеллект ...............................................................................16 Необходимость XAI ...........................................................................................17 Сравнение объяснимости с интерпретируемостью .......................................20 Типы объяснимости .........................................................................................22 Инструменты для объяснимости моделей ......................................................22 SHAP ..................................................................................................................23 LIME ...................................................................................................................23 ELI5 ....................................................................................................................24 Skater .................................................................................................................25 Skope_rules .........................................................................................................26 Методы XAI для ML ...........................................................................................27 Совместимые с XAI модели .............................................................................28 Объяснимый ИИ удовлетворяет требованиям ответственного ИИ ..............29 Оценка XAI ........................................................................................................31 Заключение .......................................................................................................33 Глава 2. Этика, предвзятость и надежность ИИ ........................... 34 Основы этики ИИ .............................................................................................34 Предвзятость в ИИ ............................................................................................37 Предвзятость данных .......................................................................................37 Алгоритмическая предвзятость ......................................................................37 Процесс снижения предвзятости ....................................................................38 Предвзятость интерпретации ..........................................................................38 Предвзятость при обучении ............................................................................39 Надежность в ИИ ..............................................................................................42 Заключение .......................................................................................................44 ГЛАВА 3. Объяснимость для линейных моделей ......................... 45 Линейные модели .............................................................................................45 Линейная регрессия .........................................................................................45
VIF и проблемы, которые он может породить ................................................53 Окончательная модель .....................................................................................57 Объяснимость модели ......................................................................................57 Доверие к модели ML: SHAP ............................................................................59 Локальное объяснение и индивидуальные прогнозы в модели ML .............62 Глобальное объяснение и общие прогнозы в модели ML ..............................65 Объяснение LIME и модель ML ........................................................................69 Объяснение Skater и модель ML ......................................................................73 Объяснение ELI5 и модель ML .........................................................................75 Логистическая регрессия .................................................................................76 Интерпретация .................................................................................................85 Вывод LIME .......................................................................................................86 Заключение .......................................................................................................92 ГЛАВА 4. Объяснимость для нелинейных моделей .................... 93 Нелинейные модели .........................................................................................93 Объяснение дерева решений ...........................................................................95 Подготовка данных для модели дерева решений ..........................................97 Создание модели ..............................................................................................99 Дерево решений – SHAP .................................................................................106 График частичной зависимости ....................................................................106 PDP с использованием Scikit-Learn ...............................................................115 Объяснение нелинейной модели – LIME ......................................................118 Нелинейное объяснение – Skope-Rules .........................................................121 Заключение .....................................................................................................123 ГЛАВА 5. Объяснимость для ансамблевых моделей ...............124 Ансамблевые модели .....................................................................................124 Типы ансамблевых моделей ..........................................................................125 Почему ансамблевые модели? .......................................................................125 Использование SHAP для ансамблевых моделей .........................................128 Использование интерпретации, объясняющей модель повышения ..........133 Модель классификации ансамблей: SHAP ....................................................139 Использование SHAP для объяснения категориальных моделей повышения.......................................................................................146 Использование многоклассовой категориальной модели повышения SHAP ............................................................................................152 Использование SHAP для объяснения модели легкой GBM ........................154 Заключение .....................................................................................................157 ГЛАВА 6. Объяснимость для моделей временных рядов ........159 Модели временных рядов ..............................................................................159 Выбор подходящей модели ............................................................................161 Стратегия прогнозирования ..........................................................................162 Доверительный интервал прогнозов ............................................................162 Что происходит с доверием? .........................................................................163 Оглавление 7
Временные ряды: LIME ..................................................................................175 Заключение .....................................................................................................178 ГЛАВА 7. Объяснимость для NLP ...................................................179 Задачи обработки естественного языка .......................................................179 Объяснимость для классификации текстов ..................................................180 Набор данных для классификации текста ....................................................180 Объяснение с помощью ELI5 .........................................................................182 Вычисление весов характеристик для локального объяснения ..................183 Локальное объяснение. Пример 1 .................................................................184 Локальное объяснение. Пример 2 .................................................................184 Локальное объяснение. Пример 3 .................................................................185 Объяснение после удаления стоп-слов .........................................................185 Классификация текста на основе N-грамм ...................................................189 Объяснимость многоклассовой классификации текста по меткам ............193 Локальное объяснение. Пример 1 .................................................................198 Локальное объяснение. Пример 2 .................................................................199 Локальное объяснение. Пример 3 .................................................................201 Заключение .....................................................................................................209 ГЛАВА 8. Справедливость модели ИИ, использующей сценарий «что, если» ..........................................210 Что такое WIT? ................................................................................................210 Установка WIT .................................................................................................211 Метрика оценки ..............................................................................................220 Заключение .....................................................................................................221 ГЛАВА 9. Объяснимость для моделей глубокого обучения .....222 Объяснение моделей DL .................................................................................222 Использование SHAP с DL ..............................................................................225 Использование Deep SHAP .............................................................................225 Использование Alibi .......................................................................................225 Объяснитель SHAP для глубокого обучения .................................................229 Еще один пример классификации изображений .........................................231 Использование SHAP ......................................................................................234 Deep Explainer для табличных данных ..........................................................237 Заключение .....................................................................................................239 ГЛАВА 10. Контрфактуальные объяснения для моделей XAI .............................................................................240 Что такое CFE? ................................................................................................240 Применение CFE .............................................................................................240 CFE с помощью Alibi .......................................................................................241 Контрфактуал для задач регрессии ...............................................................248 Заключение .....................................................................................................251 8 Оглавление
ГЛАВА 11. Контрастные объяснения для машинного обучения ..............................................................252 Что такое CE для ML? ......................................................................................252 CEM, использующие Alibi ...............................................................................253 Сравнение оригинального изображения и изображения, сгенерированного автокодировщиком .........................................................258 Объяснения CEM для табличных данных .....................................................262 Заключение .....................................................................................................267 ГЛАВА 12. Модельно независимые объяснения путем определения инвариантности прогноза .....................................268 Что такое независимость от модели? ............................................................268 Что такое якорь? .............................................................................................268 Объяснения якорей с помощью Alibi ............................................................269 Якорь текста для классификации текста .......................................................273 Якорь изображения для классификации изображений ...............................277 Заключение .....................................................................................................280 ГЛАВА 13. Объяснимость модели для экспертных систем, основанных на правилах ...............................................................281 Что такое экспертная система? .....................................................................281 Прямая и обратная цепочки ..........................................................................282 Извлечение правил с помощью Scikit-Learn ................................................283 Потребность в системе, основанной на правилах ........................................289 Проблемы экспертной системы ....................................................................290 Заключение .....................................................................................................290 ГЛАВА 14. Объяснимость моделей для компьютерного зрения ...........................................................291 Почему объяснимость для данных изображений? .......................................291 Якорь изображения с помощью Alibi ............................................................292 Метод интегрированных градиентов ...........................................................292 Заключение .....................................................................................................297 Оглавление 9
Об авторе Прадипта Мишра (Pradeepta Mishra) – руководитель отдела искусственного интеллекта в компании L&T Infotech (LTI), возглавляет группу специалистов по анализу данных, вычислительной лингвистике, машинному и глубокому обучению, участвующих в создании функций искусственного интеллекта для обработки данных. Он был два года подряд (2019, 2020) награжден премией «40 лучших специалистов по обработке данных Индии в возрасте до 40 лет», по версии журнала Analytics India. Как изобретатель, подал пять патентов, которые в настоящее время находятся на рассмотрении в разных странах мира. Является автором четырех книг, опубликованных на разных языках, включая английский, китайский и испанский. Его первая книга была рекомендована центром HSLS при Питтсбургском университете, штат Пенсильвания, США. Последняя его книга «PyTorch. Рецепты» была опубликована издательством Apress. Он выступил с основным докладом на конференции 2018 Global Data Science Conference, Калифорния, США. Выступил с более чем 500 докладами по анализу данных, машинному обучению, глубокому обучению, обработке естественного языка и искусственному интеллекту в различных университетах, на встречах, в технических институтах и на форумах, организованных сообществом. Является приглашенным преподавателем по курсам искусственного интеллекта, машинного обучения и кибербезопасности в магистратуре университета Рева, Бангалор, Индия, а также в других университетах. За последние девять лет обучал более 2 000 специалистов по анализу данных и инженеров по искусственному интеллекту.
О рецензентах Абхишек Виджайваргия (Abhishek Vijayvargia) работает специалистом по данным и прикладным наукам в компании Microsoft. Ранее он работал во многих стартапах, связанных с машинным обучением и интернетом вещей. Разрабатывал алгоритмы искусственного интеллекта для решения различных проблем в области кибербезопас- ности, интернета вещей, производства, оптимизации перевозок и логистики. Он также является экспертом и активным исследователем в области объяснимого искусственного интеллекта и проектирования систем машинного обучения. Является автором работ по анализу данных, автором и рецензентом научных статей, представил свои идеи на многих конференциях по искусственному интеллекту. Бхаратх (Bharath) имеет более чем десятилет- ний опыт работы, в настоящее время он старший инженер-консультант по науке о данных в компании Verizon, Бенгалуру. Имеет диплом аспиранта по анализу данных от бизнес-школы Praxis и степень магистра наук о жизни от Университета штата Миссисипи, США. Работал исследователем данных в университете Джорджии, Университете Эмо- ри и компании Eurofins LLC. В компании Happiest Minds он работал над продуктами цифрового маркетинга на основе искусственного интеллекта и решениями на основе обработки естественного языка в сфере образования. Наряду с повседневными обязанностями является наставником и активным исследователем. Его особенно интересуют архитектуры самостоятельного, полусамостоятельного и эффективного глубокого обучения в обработке естественного языка и компьютерном зрении.
Благодарности Эта книга основана на исследовании объяснимости моделей искусственного интеллекта на основе «черного ящика» и преобразовании решений, принимаемых моделями искусственного интеллекта, в прозрачные. Я благодарен моим друзьям и семье за то, что они побудили меня начать эту работу, упорно продолжать ее и дойти до последнего шага – опубликовать ее. Я благодарю свою жену Праджну (Prajna) за ее постоянное ободрение и поддержку в завершении работы над книгой, помощь в расстановке приоритетов между книгой и отпуском, заботу о детях и за то, что давала мне достаточно времени для завершения книги. Я благодарю моего редактора Дивию (Divya), которая оказывала мне постоянную поддержку на протяжении всей работы над книгой, проявляя гибкость в отношении сроков и давая мне достаточно времени, чтобы завершить начатое. Я благодарю редакционную коллегию и Суреша (Suresh) за веру в то, что смогу написать о сложной теме объяснимости моделей, и предоставление возможности написать на эту тему. Наконец, я благодарю своих дочерей Аарью (Aarya) и Аадию (Aadya) за то, что они любят меня и поддерживали в завершении работы над этой книгой.
Введение Объяснимый искусственный интеллект (explainable artificial intelligent – XAI) является актуальной потребностью, поскольку все больше и больше моделей искусственного интеллекта (ИИ) используется для выработки бизнес-решений. Таким образом, эти решения также воздействуют на многих пользователей. При этом каждый пользователь может получить благоприятное или неблагоприятное воздействие. Поэтому важно знать ключевые особенности, приводящие к принятию этих решений. Часто утверждают, что модели ИИ являются по своей природе «черным ящиком», поскольку решения модели невозможно объяснить. Поэтому в промышленности они внедряются довольно медленно. Эта книга представляет собой попытку раскрыть так называемые модели «черного ящика», чтобы повысить адаптивность, интерпретируемость и объяснимость решений, принимаемых алгоритмами ИИ с использованием таких фреймворков, как библиотеки Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием декораторов Python (Python Wrappers). Цель этой книги – объяснить модели ИИ на простом языке с использованием вышеупомянутых фреймворков. Интерпретируемость и объяснимость модели – ключевые моменты этой книги. Существуют математические формулы и методы, которые обычно используются для объяснения решения, принятого моделью ИИ. Вам будут предоставлены методы, классы, фреймворки и функции программных библиотек, а также их использование для объяснения модели, прозрачности, надежности, этики, предвзятости и интерпретируемости. Если человек может понять причины решения, принятого моделью ИИ, это даст пользователю гораздо больше возможностей для внесения поправок и рекомендаций. Существует два различных типа пользователей – бизнес-пользователи и практикующие специалисты. Бизнес-пользователь хочет получить объяснение на простом языке без каких-либо статистических или математических терминов. Практик хочет знать объяснимость с точки зрения вычислений. Эта книга – попытка сбалансировать обе потребности при создании объяснений. Эта книга начинается с введения в основы объяснимости и интерпретиру- емости модели, этических соображений при применении ИИ и предвзятости прогнозов, генерируемых моделями ИИ. Затем вы узнаете о надежности моделей искусственного интеллекта при создании прогнозов в различных случаях использования, изучите методы и системы интерпретации линейных моделей, нелинейных моделей и моделей временных рядов, используемых в ИИ. Далее узнаете о наиболее сложных ансамблевых моделях, объяснимости и интерпре- тируемости с использованием таких фреймворков, как Lime, SHAP, Skater, ELI5 и Alibi. Затем вы узнаете об объяснимости моделей для неструктурированных данных и обработки естественного языка, связанной с задачами классификации текстов. Изучение справедливости моделей также требует моделирова-
ния сценариев «что, если» с использованием результатов прогнозирования. Об этом вы узнаете далее. Затем вы прочитаете о контрфактных и контрастных объяснениях для моделей ИИ. Вы изучите объяснимость моделей для глубокого обучения, экспертных систем на основе правил, а также объяснения, не зависящие от модели, для инвариантности предсказаний и для задач компьютерного зрения, использующих различные фреймворки XAI. Сегодня у нас есть инженеры по ИИ и специалисты по анализу данных, которые обучают или создают эти модели; разработчики программного обеспечения, которые вводят эти модели в производство и в эксплуатацию; бизнес- пользователи, которые потребляют конечный результат или результат, созданный с помощью моделей; и лица, принимающие решения, которые обдумывают решения, принятые с помощью моделей. Руководители, занимающиеся продвижением проектов/продуктов ИИ, думают: «Есть ли способ добиться ясности вокруг моделей и разработчиков прогнозирующих моделей?» Био-статистики, конечно, думают, как объяснить предсказания модели и т. д. Ожидается, что будет разработана система объяснения, которая отвечает потребностям всех заинтересованных сторон, вовлеченных в процесс внедрения ИИ в реальную жизнь. В этой книге соблюден баланс между несколькими заинтересованными сторонами. Предпочтение предоставляется специалистам по анализу данных (data scientists), поскольку, если они убеждены в объяснимо- сти моделей, то смогут разъяснить далее заинтересованным сторонам бизнеса. Чтобы сделать модели ИИ понятными для бизнес-пользователей на простом, доступном языке, потребуется некоторое время. Возможно, для решения этой задачи появится новая система. На данный момент проблема заключается в том, что специалист по анализу данных, построивший модель, не имеет полной ясности о поведении модели, и не хватает ясности в ее объяснении. Новоиспеченные специалисты по анализу данных или выпускники вузов получат огромную пользу от этой книги. Аналогичным образом эта книга будет полезна и другим инженерам по ИИ. Это развивающаяся область, объяснения в данной книге были актуальны на июль 2021 года. 14 Введение