Цифровые технологии анализа данных в сельском хозяйстве

МИНИСТЕРСТВО СЕЛЬСКОГО ХОЗЯЙСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ФГБОУ ВО РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ АГРАРНЫЙ УНИВЕРСИТЕТ - МСХА ИМЕНИ К.А. ТИМИРЯЗЕВА



                               Посвящается 100-летнему юбилею Института экономики и управления АПК Российского государственного аграрного университета — МСХА имени К.А. Тимирязева




Зинченко А.П., Уколова А.В., Демичев В.В., Тихонова А.В., Романцева Ю.Н., Харитонова А.Е., Быков Д.В., Ульянкин А.Е., Невзоров А.С., Сидоров А.И., Титов А.Д.





                ЦИФРОВЫЕ ТЕХНОЛОГИИ АНАЛИЗА ДАННЫХ В СЕЛЬСКОМ ХОЗЯЙСТВЕ





Монография













Москва Издательство «Научный консультант» 2022

УДК 004:311
ББК 65.05, 65.32
     Ц75
Рецензенты:
профессор кафедры прикладной информатики Федерального государственного бюджетного образовательного учреждения высшего образования «Российский государственный аграрный университет - МСХА имени К. А. Тимирязева», доктор экономических наук Худякова Е.В.

ведущий научный сотрудник Всероссийского института аграрных проблем и нформатики имени А. А. Никонова, кандидат физико-математических наук
Сальников С.Г.



              Цифровые технологии анализа данных в сельском ц 75 хозяйстве:     монография / А.П.         Зинченко,   А.В. Уколова,
        В.В. Демичев, А.В. Тихонова, Ю.Н. Романцева, А.Е. Харитонова, Д.В. Быков, А.Е. Ульянкин, А.С. Невзоров, А.И. Сидоров, А.Д. Титов. - М.: Издательство «Научный консультант». - 2022. -260 с.

              ISBN 978-5-907477-96-4

              В монографии представлены исследования преподавателей, аспирантов и магистров кафедры статистики и кибернетики ФГБОУ ВО РГАУ-МСХА имени К.А. Тимирязева в области цифровых технологий анализа агроэкономических данных.
              Монография может представлять интерес для преподавателей, научных работников и сотрудников органов управления агропромышленным комплексом, специалистов сельского хозяйства, аспирантов и студентов, обучающихся по направлению «Информационные системы и технологии».


УДК 004:311
ББК 65.05, 65.32



ISBN 978-5-907477-96-4

                    ©Зинченко А.П., 2022
                    © Уколова А.В., 2022 © Демичев В.В., 2022
                                             © Тихонова А.В., 2022
                                             ©Романцева Ю.Н., 2022
                                             © Харитонова А.Е., 2022 © Быков Д.В., 2022
                                             © Ульянкин А.Е., 2022 © Невзоров А.С., 2022
                                             © Сидоров А.И., 2022 Титов А.Д., © 2022
                                             © ФГБОУ ВО РГАУ-МСХА
                                              имени К.А. Тимирязева, 2022
                                             © Оформление. Издательство «Научный консультант», 2022

СОДЕРЖАНИЕ


Предисловие...............................................6
Глава 1 Методический подход к автоматизации и разработке модулей статистического анализа средствами языка программирования Python...................................9
  1.1 Изучение предметной области.........................9
  1.2 Алгоритм автоматизации статистического анализа.....14
  1.3 Реализации модулей статистического анализа средствами языка программирования Python..........................20
  Библиографический список к главе 1.....................33
Глава 2 Разработка методики типизации сельскохозяйственных организаций на основе результатов сельскохозяйственных переписей с использованием языка программирования R......36
  2.1 Особенности проведения и сводки итогов сельскохозяйственных переписей в России, США и Европе по типам предприятий...................................36
  2.2 Разработка типологии сельскохозяйственных организации на основе результатов ВСХП-2016 в Липецкой области......43
  2.3 Разработка информационной системы для автоматизации процесса типизации сельскохозяйственных организаций.....48
  Библиографический список к главе 2......................56
Глава 3 Разработка информационной системы учета и обработки данных с поддержкой проведения статистического анализа на C++...........................................61

3

  3.1 Теоретические основы проведения корреляционно-регрессионного анализа...................61
  3.2 Теоретические основы построения искусственных нейронных сетей........................................66
  3.3 Разработка информационной системы..................75
  3.4 Разработка модуля взаимодействия с базами данных...79
  3.5 Разработка модуля проведения корреляционно-регрессионного анализа...................86
  3.6 Разработка модуля построения нейронных сетей.......96
  3.7 Демонстрация работы модуля проведения корреляционно-регрессионного анализа..................113
  3.8 Демонстрация работы модуля построения нейронных сетей.................................................120
  Библиографический список к главе 3....................125
Глава 4 Разработка мобильного приложения для сканирования молочной продукции.........................128
  4.1 Технология разработки мобильного приложения.......128
  4.2 Исследование стоимости разработки мобильного приложения в России...................................139
  4.3 Разработка мобильного приложения «Торру»..........148
  Библиографический список к главе 4....................176
Глава 5 Системный подход к анализу больших данных АПК
с использованием методов Data Science...................179
  5.1 Data Science как современный тренд развития IT в АПК.179
  5.2 Применение Data Science в агропромышленном комплексе .... 185

4

  5.3 Обоснование выбора технических средств авторской информационной системы для АПК......................191
  5.4 Описание и архитектура информационной системы..199
  Библиографический список к главе 5..................209
Глава 6 Разработка модуля информационной системы распознавания образов................................211
  6.1 Построение нейронных сетей для работы с изображениями ... 212
  6.2 Функциональные модели разрабатываемой системы..219
  6.3 Инфологическое проектирование системы..........221
  6.4 Разработка модуля информационной системы распознавания образов..............................224
  6.6 Разработка инструкции пользования информационной системой...........................................232
  Библиографический список к главе 6.................238
  Приложения.........................................242

5

        ПРЕДИСЛОВИЕ


     Цифровая трансформация ключевых отраслей экономики и повышение эффективности труда входят в перечень национальных целей развития России до 2030 года, определенных Указом Президента Российской Федерации № 474 от 21 июля 2020 г., ранее - Указом от 7 мая 2018 г. № 204, в рамках исполнения которых Правительством Российской Федерации сформирована и реализуется национальная программа «Цифровая экономика Российской Федерации». Цифровая трансформация с учетом текущих внешнеполитических и экономических рисков является одной из целей «Стратегии развития агропромышленного и рыбохозяйственного комплексов Российской Федерации на период до 2030 года», утвержденной Правительством Российской Федерации от 8 сентября 2022 г. № 2567-р.
     Цифровизация сельского хозяйства базируется на современных способах производства сельскохозяйственной продукции и продовольствия с использованием цифровых технологий (интернет вещей, робототехника, искусственный интеллект, анализ больших данных, электронная коммерция и др.), обеспечивающих рост производительности труда и снижение затрат производства.
     Подход к цифровой трансформации сельского хозяйства представлен в ведомственном проекте «Цифровое сельское хозяйство» в 2019 году, завершение которого планируется к 2024 году. В нем ставится ряд задач, который необходимо выполнить за данный период, например:
     -      создание и внедрение национальной платформы цифрового государственного управления сельским хозяйством «Цифровое сельское хозяйство» (ЦСХ). Все данные об объектах сельскохозяйственных ресурсов (земли сельскохозяйственного назначения, рабочий и продуктивный скот, сельскохозяйственная техника), сельскохозяйственном сырье и готовой продукции оцифрованы и включены в цифровую платформу ЦСХ;
     -      разработка системы сбора, хранения и обработки данных об объектах сельскохозяйственных                    ресурсов,
сельскохозяйственном сырье и готовой продукции;

6

     -       разработка системы интеллектуального анализа данных и прогнозирования ЦСХ на основе технологий Advancedanalytics, DataDiscovery, DataMining, MachineLearning и искусственного интеллекта и др.
     Цифровизация - это               социально-экономическая
трансформация, которую вызовет массовое внедрение и усвоение новых технологий создания, обработки, анализа и передачи информации. Сельское хозяйство становится одним из основных потребителей цифровых технологий. Генерация большого объема данных разнообразными датчиками в теплицах, полях, фермах и других производственных площадках особенно актуализирует применение цифровых технологий анализа агроэкономических данных. Широкое применение инструментов и методов Data Science, машинного обучения, нейронных сетей в конечном счете позволит существенно повысить эффективность принимаемых управленческих решений в АПК.
     В монографии представлены результаты исследований по разработке информационных систем для автоматизации анализа агроэкономических данных, проводимых в рамках научноисследовательской работы и подготовки выпускных квалификационных работ магистров по направлению «Информационные системы и технологии» в соответствии с программой развития Федерального государственного бюджетного образовательного учреждения высшего образования «Российский государственный аграрный университет - МСХА имени К. А. Тимирязева» на 2021-2030 годы.
     Глава 1 «Методический подход к автоматизации и разработке модулей статистического анализа средствами языка программирования Python» написана член-корреспондентом РАН, доктором экономических наук Зинченко А.П. и кандидатом экономически наук, доцентом В.В. Демичевым.
     Глава 2          «Разработка методики типизации
сельскохозяйственных организаций на основе результатов сельскохозяйственных переписей с использованием языка программирования R» подготовлена кандидатом экономических наук, доцентом А. В. Уколовой и асситентом кафедры статистики и кибернетики А.Е. Ульянкиным при финансовой поддержке внутриуниверситетского конкурса «Аспирантский научный

7

контракт» в рамках программы развития Университета в соответствии с программой стратегического академического лидерства «Приоритет-2030».
     Третья глава «Разработка информационной системы учета и обработки данных с поддержкой проведения статистического анализа на C++» написана кандидатом экономических наук, доцентом А.В. Уколовой и асситентом кафедры статистики и кибернетики Д.В. Быковым.
     Над четвертой главой «Разработка мобильного приложения для сканирования молочной продукции» работали кандидат экономических наук, доцент Ю.Н. Романцева и асситент кафедры статистики и кибернетики А.С. Невзоров.
     Пятую главу «Системный подход к анализу больших данных АПК с использованием методов Data Science» подготовили кандидат экономических наук, доцент А.В. Тихонова и магистрант А.И. Сидоров.
     Шестая глава «Разработка модуля информационной системы распознавания лиц» написана кандидатом экономических наук, доцентом А.Е. Харитоновой и магистрантом 2022 года выпуска А.Д. Титовым.
     Монография может представлять интерес для преподавателей, научных работников и сотрудников органов управления агропромышленным комплексом, специалистов сельского хозяйства, аспирантов и студентов.

8

Глава 1 Методический подход к автоматизации и разработке модулей статистического анализа средствами языка программирования Python

     Автоматизация статистического анализа может быть условно разделена на три основных направления. Первое предполагает тщательную проработку предметной области исследования, которая, в свою очередь, включает в себя изучение понятия, системы показателей, методов и инструментов реализации автоматизации статистического анализа данного явления или процесса. Второе направление включает в себя планирование процесса автоматизации на основе соответствующего алгоритма автоматизации статистического анализа. Третье направление заключается в реализации выбранными инструментами модулей статистического анализа. В настоящей главе методический подход к автоматизации будет рассмотрен на примере статистического анализа эффективности сельского хозяйства.

        1.1 Изучение предметной области

     После конкретного определения изучаемого понятия, например, эффективности сельского хозяйства, следует представить систему статистических показателей, всесторонне отражающих исследуемое явление. В настоящей главе автоматизация статистического анализа проводиться на основе следующей системы абсолютных и относительных показателей условий функционирования и эффективности сельского хозяйства:
     1)     Площадь пашни, используемая предприятиями, организациями и гражданами, занимающимися сельскохозяйственным производством (тыс. га);
     2)     Площадь сельскохозяйственных угодий, используемых предприятиями, организациями и гражданами, занимающимися сельскохозяйственным производством (тыс. га);
     3)     Посевные площади всех сельскохозяйственных культур (тыс. га);
     4)     Продукция сельского хозяйства (млн. руб.);
     5)     Продукция животноводства и растениеводства (млн. руб.);
     6)     Численность занятых в сельском хозяйстве (чел.);
     7)     Объем субсидий (млн. руб.);


9

     8)      Инвестиции в основной капитал АПК (без учета лесного хозяйства) (млн. руб.);
     9)      Капитальные вложения за счет федерального бюджета и бюджетов субъектов РФ (без учета лесного хозяйства) (млн. руб.);
     10)    Удельный вес убыточных организаций (%);
     11)    Средний балл продуктивности климата;
     12)      Рентабельность производства с учетом и без учета субсидий (%);
     13)      Прибыль до налогообложения по всей деятельности сельскохозяйственных организаций, включая субсидии из бюджетов (млн. руб.);
     14)      Урожайность зерновых и зернобобовых, в весе после доработки (ц/га убранной площади);
     15)      Надой молока в расчете на 1 корову в сельскохозяйственных организациях (кг);
     16)      Внесение минеральных удобрений на один гектар посева сельскохозяйственных культур в сельскохозяйственных организациях (кг);
     17)      Расход кормов в расчете на одну условную голову КРС в сельскохозяйственных организациях (ц кормовых единиц);
     18)      Энергетические мощности в СХО, в расчете на 1 работника (л. с.);
     19)      Отношение субсидий в регионе к среднему по совокупности регионов;
     20)      Средний объем субсидий на 1 руб. стоимости продукции сельского хозяйства (руб.);
     21)      Удельный вес федерального бюджета в общем объеме инвестиций (%);
     22)      Удельный вес животноводства в производстве продукции сельского хозяйства (%);
     23)      Средняя рентабельность производства без учета субсидий (%);
     24)      Средняя рентабельность производства с учетом субсидий (%);
     25)    Рентабельность субсидий (%);
     Следующим важным шагом изучения предметной области является описание автоматизируемых методов статистического анализа. В случае с эффективностью сельского хозяйства, согласно


10

изученной предметной области (или в соответствии с техническом заданием), статистический анализ должен включать анализ динамический рядов показателей эффективности сельского хозяйства, кластерный анализ, а также факторный анализ на основе регрессии (Рисунок 1.1).


Рисунок 1.1 - Содержание статистического анализа эффективности сельского хозяйства

     В нашем исследовании при апробации модуля прогнозирования будет использована автокорреляция одномерных временных рядов, то есть использована одна количественная переменная Yt - урожайность зерновых. При реализации модулей кластерного и регрессионного анализа будет применена система показателей эффективности сельского хозяйства, которая будет указана далее.
     При изучении и обосновании выбора инструментов реализации следует подробно рассмотреть наиболее популярные и эффективные платформы, пакеты и языки программирования для статистического анализа.
     В автоматизации статистического анализа ключевую роль играет создание базы данных необходимой для статистического анализа. Для реализации базы данных могут быть использованы такие системы как SQL Server Manager Studio, PostgreSQL, MySQL и другие. Представленные СУБД являются одними из самых популярных систем управления базами данных.
     На следующем шаге изучения предметной области необходимо рассмотреть возможные языки программирования для реализации модулей автоматизации и отображения результатов статистического анализа. Наиболее популярными и удобными языками программирования для анализа данных являются Python и R. Оба языка используются по-разному. У Python более широкая

11

область применения. R - это язык, разработанный для наукоемких задач и анализа данных. Ранее R использовался прежде всего в научных исследованиях, однако сейчас он быстро распространяется на корпоративный рынок ввиду растущей популярности Big Data. Оба языка программирования имеют широкий спектр библиотек для реализации статистического анализа.
    R - это язык программирования и программная среда для статистического анализа, отчетности для представления графики. Основным преимуществом использования R является то, что его можно использовать для реализации статистических концепций, таких как линейное и нелинейное моделирование, анализ временных рядов и кластеризации [3].
    R - это интерпретируемый язык, поэтому каждая строка читается интерпретатором одна за другой. Это язык программирования высокого уровня. В нём имеется интерпретатор командной строки, и программист может напрямую вводить команды в командной строке. RStudio является общей интегрированной средой разработки (IDE), облегчающая программирование на R [2, 3].
    В свою очередь особенности языка программирования Python заключаются в следующем:
    1)      Python легкий для обучения: относительно мало ключевых слов, простая структура и четко определенных синтаксис.
    2)      Python легко читаемый: блоки кода выделяются при помощи отступов, что совместно с ключевыми словами, взятыми из английского языка, значительно облегчают чтение кода.
    3)      Python легкий в обслуживании: простота обслуживания кода, написанного на этом языке.
    4)      Python имеет широкую кросс-платформенную стандартную библиотеку.
    5)      Есть возможность "на лету" тестировать нужные участки кода благодаря наличию интерактивного режима.
    6)      Python без проблем запускается на разных платформах, при этом сохраняет одинаковый интерфейс, независимо от того на каком компьютере работает пользователь, что характеризует его портативность.
    7)      При необходимости в Python можно внедрять низкоуровневые модули написанные на иных языках 12

программирования для наиболее гибкого решения поставленных задач.
    8)      Python имеет возможность работать с базами данных. В стандартной библиотеке можно найти модули для работы с большинством коммерческих баз данных.
    9)      На Python возможно создание GUI (Графического интерфейса пользователя) приложений, которые будут работать независимо от типа операционной системы.
    Конечно, Python также имеет ряд свои недостатков. Одним из главных недостатков является его относительно низкая скорость выполнения [16]. Python является языком с полной динамической типизацией, автоматическим управлением памятью. Если на первый взгляд это может казаться преимуществом, то при разработке программ с повышенным требованием к эффективности, Python может значительно проигрывать по скорости своим статическим братьям (C/C++, Java, Go).
    Второй недостаток Python связан с ростом кодовой базы. Следить за типом передаваемых друг другу данных бывает очень сложно, отсюда появляются проблемы. Для решения такого рода проблем динамические языки используют type annotations, проектов mypy по статическому анализу кода и так далее. Это же в свою очередь накладывает негативный оттенок на эстетическую сторону кода.
    У R и Python много общего, так, например оба языка поддерживают объектно-ориентированное, императивное и процедурное проектирование. Также они оба являются интерпретируемыми языками. Могут быть использованы в разработке алгоритмов и являются языками программирования высокого уровня. Оба являются бесплатными и с открытым исходным кодом. Могут быть интегрированы с базами данных, такими как SQL [21], MySQL и Oracle [7]. Оба поддерживают разные файлы, такие как файлы CSV, Excel, XML JSON. И Python, и R просты в использование и изучение.
    При этом различия в деталях определяют специфику каждого языка. R - это язык программирования и программная среда для статистических вычислений, графического представления и отчетности. Python - это интерпретируемый язык программирования общего назначения высокого уровня [17]. R

13