Современные технологии сбора информации

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ 

УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«РОССИЙСКИЙ УНИВЕРСИТЕТ ТРАНСПОРТА»

ИНСТИТУТ ТРАНСПОРТНОЙ ТЕХНИКИ И СИСТЕМ УПРАВЛЕНИЯ 

(ИТТСУ)

Кафедра «Управление и защита информации»

Д.М. Кирюхин, Е.П. Ляпина, Д.А. Меркулов, В.Г. Сидоренко

Современные технологии сбора информации

Учебное пособие

Москва – 2023

МИНИСТЕРСТВО ТРАНСПОРТА РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ 

УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

«РОССИЙСКИЙ УНИВЕРСИТЕТ ТРАНСПОРТА»

ИНСТИТУТ ТРАНСПОРТНОЙ ТЕХНИКИ И СИСТЕМ УПРАВЛЕНИЯ 

(ИТТСУ)

Кафедра «Управление и защита информации»

Д.М. Кирюхин, Е.П. Ляпина, Д.А. Меркулов, В.Г. Сидоренко

Современные технологии сбора информации

Учебное пособие

для обучающихся 

специальности 10.05.01 «Компьютерная безопасность»,

направлений подготовки 27.03.04 «Управление в технических 

системах», 27.04.04 «Управление в технических системах»

Москва – 2023

УДК 004.91

С 56

В учебном пособии приведены индивидуальные Современные технологии сбора 

информации: Учебное пособие. / Кирюхин Д.М., Ляпина Е.П., Меркулов Д.А., Сидоренко 

В.Г. – М.: РУТ (МИИТ). 2023. – 56 с.

В учебном пособии излагаются способы и методы разработки средств 

автоматизации, повышающих производительность труда специалистов по защите 

информации, решающих задачи автоматического поиска уязвимостей, связанных с 

разглашением чувствительных данных, и законного сбора информации с открытых веб-

источников.

задания. Учебное пособие предназначено для обучающихся по специальности 

10.05.01 «Компьютерная безопасность», направлений подготовки 27.03.04 «Управление в 

технических системах», 27.04.04 «Управление в технических системах» и других 

направлениях, связанных с информационными технологиями.

Рецензенты:

Заместитель начальника отдела разработки технологических информационных систем 

АО «ВНИИЖТ» М.А. Кулагин

Заведующий кафедрой 
«Вычислительные системы, 
сети и информационная 

безопасность» РУТ (МИИТ) Б.В. Желенков.

© РУТ (МИИТ), 2023

ОГЛАВЛЕНИЕ

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ......................................................7

ВВЕДЕНИЕ.............................................................................................................................8

1. Использование регулярных выражений......................................................................10

1.1
Анализ понятия чувствительных данных...............................................................10

1.2
Словарь регулярных выражений программного модуля .......................................16

1.3
Пример некорректного распознавания чувствительной   информации ...............19

1.4
Способы применения регулярных выражений.......................................................21

1.5
Индивидуальные задания .........................................................................................26

2. Автоматизация сбора информации с открытых веб-источников..............................27

2.1
Анализ нормативно-правовой базы.........................................................................27

2.2
Анализ целей и задач автоматизированного сбора информации..........................29

2.3
Анализ инструментов автоматизированного сбора информации.........................33

2.4
Проблемы 
обеспечения 
безопасности 
от 
автоматизированного 
сбора 

информации ...............................................................................................................................34

2.5
Пример стандартного парсинга ...............................................................................36

2.6
Пример RPA парсинга...............................................................................................41

2.7
Технология многопоточности разработанного RPA робота..................................44

ЗАКЛЮЧЕНИЕ.....................................................................................................................48

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ.................................................................49

Приложение А ....................................................................................................................51

Приложение Б.....................................................................................................................55

Приложение В.....................................................................................................................56

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

В учебном пособии используются следующие термины, обозначения и сокращения:

ИБ – информационная безопасность;

ИС – информационная система;

ПД – персональные данные;

ПО – программное обеспечение.

ВВЕДЕНИЕ

В настоящее время наблюдается развитие технологий цифровизации во всем мире. 

Согласно концепции развития Российской Федерации, в период с 2019 по 2024 г., были 

приняты ряд национальных проектов, один из которых − «Цифровая экономика». 

Огромные объемы информации, которые обрабатывались в ручном режиме, теперь 

проходят через различные информационные системы. Вне зависимости от способа 

хранения информации, она представляет собой определенную ценность, а ее незаконное 

распространение может повлечь за собой финансовый и репутационный ущерб. 

В условиях повсеместной цифровизации возникает вопрос защиты данных 

пользователей. Несмотря на широкое освоение простых и базовых ИТ, не все компании 

смогли выстроить бизнес-процессы, связанные с защитой обрабатываемой информации.

В современном киберпространстве присутствует много различных веб-приложений, 

через 
которые 
проходят 
различные 
данные 
пользователей. 
Такие 
приложения 

используются как в государственном секторе, так и в частных организациях.

Например, в транспортной отрасли создаются и используются различные сетевые 

ресурсы, такие как платформы по продаже и бронированию билетов на все виды 

транспорта, будь то самолет, поезд или плавающее средство. Данные сервисы облегчают 

жизнь рядовым гражданам, а также расширяют возможности сотрудников, используя 

средства автоматизации и цифровых технологий. 

Информационные системы, обрабатывающие чувствительные данные пользователей, 

должны иметь высокий уровень защиты информации. Чувствительные данные – это 

классифицированная информация, которая должна быть защищена и не доступна лицам 

без соответствующего разрешения. Утечка данных в государственной структуре может 

раскрыть секреты для иностранных держав. То же самое можно применить к данным 

физических лиц или компаний, которые могут представлять серьезные риски, такие как 

корпоративный шпионаж, киберугрозы или нарушение конфиденциальности ваших 

клиентов и/или ваших сотрудников. Как правило, существует три основных типа 

конфиденциальных данных, которыми пользуются хакеры (включая инсайдеров), а 

именно: личная информация, деловая информация и секретная информация. Если какие-

либо из этих данных попадут в чужие руки, это может нанести серьезный удар 

заинтересованным сторонам, независимо от того, кем они являются, физическими лицами, 

компаниями или государственными учреждениями.

При обширной цифровизации закономерно появляются новые риски ИБ и могут 

увеличиваться 
уже 
существующие. 
Поэтому 
служба 
ИБ 
организации 
должна 

своевременно реагировать на возникающие инциденты ИБ. Одним из средств решения 

данной проблемы может стать внедрение и использование программных средств 

автоматического 
сканирования 
уязвимостей 
веб-приложений. 
При 
разработке 

собственного программного модуля можно учесть особенности используемых веб-

приложений и избежать проблем несовместимости, либо отказа работы с некоторыми 

сервисами.

Внедрение 
разработанного 
программного 
расширения 
увеличит 
скорость 

реагирования службы ИБ на возникающие угрозы.

Целью учебного пособия является предоставление методических материалов, 

необходимых для формирования у обучающихся навыков автоматизированного сбора 

информации и анализа ее на наличие чувствительных данных.

Для достижения этой цели в учебное пособие включены следующие материалы:

− обзор нормативно-правовой базы Российской Федерации связанной с раскрытием 

информации в области ИБ;

− анализ критичных угроз безопасности веб-приложений;

− алгоритмы, позволяющие автоматизировать выявление раскрытия чувствительной 

информации;

− сравнительная характеристика наиболее популярных методов автоматизированного 

сбора информации;

− алгоритма автоматизированного сбора информации из открытых веб-источников;

− примеры реализации ПО на основе разработанных алгоритмов.

1. Использование регулярных выражений

1.1 Анализ понятия чувствительных данных

Информация, обрабатываемая веб-приложениями и хранящаяся на серверах, должна 

быть защищена, если она несет какую-либо ценность. Однако не все данные подлежат 

защите.

Классификация данных имеет важное значение. Она определяет то, как правила 

предоставления доступа к информации, так как раскрытие защищаемой информации 

может привести к огромным потерям: например, испортить репутацию, раскрыть 

конфиденциальность пользователя, привести к потере преимущества.

В зависимости от категории доступа информация подразделяется на общедоступную и 

информацию ограниченного доступа [1]. Наглядная схема представлена на рисунке 1.1. В 

зависимости от категории информации, используются различные методы ее обработки и 

защиты

Рисунок 1.1 – Классификация вида информации в РФ

Информацию, 
которую 
требуется 
защищать, 
часто 
называют 
важной 
или 

чувствительной информацией (sensitive information).

Определение чувствительной информации отсутствует в российском законодательстве 

и иных документах, регулирующих сферу ИБ, но на примере международных нормативно-

правовых актов и законах других стран можно сделать заключение о том, какая 

информация относится к важной.

Например, в США закон о компьютерной безопасности от 1987 года говорит о том, 

что под термином «важная информация» может подразумеваться любая информация, 

потеря, некорректное использование, несанкционированный доступ которой могут 

неблагоприятно влиять на национальные интересы или на частную жизнь граждан, и 

которая (информация) не отнесена приказом президента или актом конгресса к секретной 

[2].

Несмотря на то, что данный закон работает в Соединенных Штатах, где его целью 

является защита интересов конкретной страны, вышеуказанное определение может 

являться общеприменимым, подходящим для любой страны или компании.

Чувствительная информация –
информация, которую необходимо сохранять 

конфиденциальной, и которая должна защищаться от несанкционированного доступа и 

разглашения. 
Помимо 
базовых 
мер 
защиты 
требуется 
использовать 
средства, 

препятствующие удалению и изменению таких данных.

Классификация данных имеет очень важную цель. Она определяет то, как необходимо 

закрывать информацию, а также определяет то, какую следует открывать. Существуют 

данные, которые не надо защищать ввиду ее публичного содержания, а с другой стороны, 

есть информация, которая должна быть защищена очень хорошо, поскольку ее раскрытие 

может привести к огромным потерям: например, испортить репутацию, раскрыть 

конфиденциальность пользователя, привести к потере преимущества в конкурентной 

борьбе, а иногда и смерти людей. 

В зависимости от того в каком секторе обрабатывается информация, если это 

государственное учреждение, то они часто имеют дело с важной персональной 

информацией, а различные частные компании имеют в обороте информацию 

коммерческого характера, используются различные методы классификации и категории.

В международном правовом поле документами по защите данных являются:

− общий регламент по защите данных (General Data Protection Regutation – GDPR);

− стандарт безопасности данных индустрии платежных карт (Payment Card Industry 

Data Security Standard - PCI DSS);

− международный стандарт ISO/IEC 17799:2005 «Информационные технологии. 

Технологии 
безопасности. 
Практические 
правила 
менеджмента 
информационной 

безопасности».

Общий регламент по защите данных позволяет гражданам контролировать 

собственные персональные данные и упрощает нормативную базу для международных 

экономических отношений в ЕС.

GDPR
имеет экстерриториальный формат воздействия, это значит, что он 

распространяется на все компании, которые обрабатывают ПД резидентов и граждан 

Евросоюза, независимо от географического местонахождения самой компании. По такому 

положению, филиалы и представительства российских организаций на территории ЕС 

должны подчиняться этим нормам. Также нельзя забывать о том, что компании, которые 

базируются на территории РФ и предоставляют услуги и товары пользователям по всему 

миру, и, в частности, пользователям из ЕС, также должны соблюдать GDPR.

Например, ОАО «РЖД» обрабатывает персональные данные граждан ЕС при онлайн-

продаже товаров и услуг, а значит попадает под действие данного регламента и обязана 

соблюдать европейские правила обработки и защиты ПД.

Согласно GDRP персональные данные, это:

− идентифицирующая пользователя информация – имя, фамилия, номер телефона, 

данные о местоположении, IP адрес и т.д.;

− псевдонимные данные или информация, которая не позволяет напрямую 

идентифицировать пользователя, но позволяет определить индивидуальное поведение 

(например, для таргетированной рекламы).

Данный регламент устанавливает четкое различие между идентифицирующей 

информацией и псевдонимными данными. Он также поощряет 
использование 

псевдонимной информации и говорит о том, что применение псевдонимизации к 

персональным данным может снизить риски для соответствующих субъектов данных и 

помочь контролерам и обработчикам данных выполнить свои обязательства по защите 

данных [3].

Конфиденциальные данные определяются как любые данные, раскрывающие:

− расовое или этническое происхождение;

− политические взгляды;

− религиозные или философские убеждения;

− финансовый достаток;

− генетические данные;

− биометрические данные с целью однозначной идентификации физического лица;

− данные о здоровье или сексуальной жизни и/или сексуальной ориентации 

физического лица.

GPDR содержит обширный список требований, но основными являются следующие 

пункты:

− уведомление обо всех происходящих инцидентах;

− наличие в компании сотрудника с должностью специалиста по защите данных 

(Data Protection Officer – DPO);

− запрет на сбор информации от клиентов без их согласия;

− анонимизация данных, которые обрабатываются по соображениям безопасности.

Стандарт 
безопасности данных индустрии платежных 
карт 
поддерживается 

международными платежными системами, такими как МИР, Visa, MasterCard и другими. 

PCI DSS является совокупность 12 требований по обеспечению безопасности данных, 

связанных с держателями карт, которые обрабатываются в ИС организаций. Принятие мер 

на соответствие требованиям данного стандарта подразумевает наличие комплексного 

подхода к обеспечению ИБ данных платежных карт [4]. Требования данного стандарта 

указаны в таблице 1.1.

Международный стандарт ISO/IEC 17799:2005 или же ГОСТ Р ИСО.МЭК 17799-2005 

«Информационные технологии. Технологии безопасности. Практические правила 

менеджмента информационной безопасности» регулирует то, что основные три категории 

ИБ: конфиденциальность, целостность и доступность – способствуют обеспечению 

конкурентоспособности, 
соответствию 
законодательству 
и 
деловой 
репутации 

организации [5]. Данный стандарт регламентирует вопрос ИБ и с экономической точки 

зрения.

Описываются группы факторов, которые должны быть предусмотрены при 

формировании требований в области ИБ. Ими являются:

− оценка 
рисков 
организации, 
которые 
осуществляются 
с 
использованием 

совокупной оценки риска. Оценка складывается из оценивания уязвимости данных, 

вероятности возникновения угрозы, а также оценки вероятных последствий;

− законодательные и договорные условия, чьим требованиям организация должна 

удовлетворять;