Основы машинного зрения в среде LabVIEW

Основы машинного зрения 
в среде LabVIEW.  
Учебный курс

Москва, 2017

Л. Г. Белиовская, Н. А. Белиовский

УДК 373.167.1:004.932LabVIEW+004.932LabVIEW(075.3)
ББК 32.972.13я721.6

Б43

Белиовская Л. Г. , Белиовский Н. А.

Б43
Основы машинного зрения в среде LabVIEW: учебный курс. – М.: 
ДМК Пресс, 2017. – 88 с.

ISBN 978-5-97060-533-2

Данная книга представляет собой краткий учебный курс для школьников и сту
дентов по машинному зрению и цифровой обработки изображений в среде визуального программирования LabVIEW с использованием библиотеки IMAQ Vision. 
Рассматриваются основные аспекты получения, хранения, обработки и анализа 
цифровых изображений, а также автоматического выделения и распознавания на 
изображениях различного рода объектов.

Приводятся многочисленные примеры практических приложений машинного 

и компьютерного зрения в таких областях, как автоматизация измерений и технический контроль, видеонаблюдение, биометрия, обработка документов, медицинские 
приложения.

УДК 373.167.1:004.932LabVIEW+004.932LabVIEW(075.3)
ББК 32.972.13я721.6

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 

бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.

Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность 

технических ошибок все равно существует, издательство не может гарантировать абсолютную 
точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

© Белиовская Л. Г., Белиовский Н. А., 2017

ISBN 978-5-97060-533-2
© Оформление, издание, ДМК Пресс, 2017

Содержание

 Урок 1

Компьютерное зрение. Введение ............................................................................5
А. Компьютерное зрение пришло в школу  .......................................................................5
B. Задачи машинного зрения ..............................................................................................6
С. Модульная парадигма Д. Марра обработки изображений ..........................................7
D. Предисловие  ...................................................................................................................8

 Урок 2

Регистрация цветного изображения с USB-камеры ........................................10
A. Доступные для программирования камеры  ...............................................................10
B. Захват изображения ....................................................................................................... 11
C. Отображение изображения на лицевой панели  ........................................................15
D. Запись и чтение изображения из файла  ......................................................................17
E. Оцениваем время захвата изображения .....................................................................18

 Урок 3

Обработка цветных изображений..........................................................................21
A. Цветные изображения. Цветовая модель RGB.............................................................21
B. Распознавание цвета пикселя RGB-изображения  .......................................................23
C. Программа автоматического распознавания цвета пикселя  
RGB-изображения  .........................................................................................................26

D. Распознавание цвета пикселя HSL-изображения  .......................................................27

 Урок 4

Обработка изображений градаций серого и бинарных  
изображений ...................................................................................................................32
A. Изображения в градациях серого ................................................................................32
B. Бинаризация изображений ...........................................................................................34
C. Выделение объекта на бинарном изображении .........................................................36

Содержание

 Урок 5

Распознавание объектов на сцене .........................................................................39
A. Распознавание кругов на сцене ...................................................................................39
B. Создание шаблонов для распознавания объектов .....................................................41
C. Поиск на сцене объекта по заданному шаблону ........................................................44

 Урок 6

Гистограммная обработка изображений .............................................................47
A. Гистограмма. Построение гистограмм  .......................................................................47
B. Адаптивное линейное преобразование ......................................................................50
C. Эквализация изображения .............................................................................................53
D. Гистограммная обработка цветного изображения .....................................................55

 Урок 7

Обработка QR-кодов ...................................................................................................58
A. QR-код. Типы QR-кодов  ................................................................................................58
B. Распознавание QR-кодов ..............................................................................................59

 Урок 8

Наши проекты .................................................................................................................63
A. Автономный мобильный сельскохозяйственный робот с машинным зрением  
для точечного уничтожения вредителей на сельскохозяйственных полях ................64

B. Робот с машинным зрением для сортировки металлических объектов ...................68
C. BiosBox автоматизированная система для проведения экспериментов  
с растениями ..................................................................................................................70

D. Программно-аппаратный комплекс с машинным зрением «Антитеррор»  
для автоматического слежения за объектом ...............................................................73

E. Программно-аппаратный комплекс с машинным зрением  
для автоматического слежения за объектом ...............................................................75

F. Автоматическая кормушка с машинным зрением для домашних животных .............76
G. Система с распределенным интеллектом, использующая машинное зрение, 
для транспортировки мусора в современном городе  .............................................79

H. Робот-казначей с машинным зрением  ........................................................................84

Список литературы .......................................................................................................87

Компьютерное зрение пришло в школу  5

1

УРОК

В этом уроке изложены вопросы:
A. Компьютерное зрение пришло в школу
B. Задачи машинного зрения
C. Модульная парадигма Д. Марра обработки изображений
D. Предисловие

А. Компьютерное зрение пришло в школу 

Компьютерное зрение стало популярным еще в 1960-х годах, но сейчас оно 
находится в особой точке своего развития. Компьютерное зрение пришло 
в школу. Сейчас появилась возможность создания полезных программ обработки изображений для проведения исследований в школе. 
Реализация компьютерного зрения столь привлекательна для исследователей по той причине, что аппаратные возможности в данной области 
достигли такого уровня, что они уже во многом приближаются к «техническим характеристикам» зрения человека. Разрешение многих сенсоров для 
получения видеоинформации практически соответствует числу клеток 
сетчатки глаза человека, а возможности компьютеров и специальных процессоров близки к характеристикам «вычислительных мощностей» мозга. 
Процесс снятия изображения недеструктивен, достаточно прост и недорог 
на сегодняшний момент. И становится уже реально в школе не визуально, 
«на глазок» оценивать развитие исследуемого процесса, а дать более точную его оценку по цифровым изображениям.
У информационного содержания цифрового изображения нет какойлибо «причинной» или динамической модели формирования, оно не подвластно только каким-либо общим физическим законам и сложным математическим уравнениям. Оно представляет из себя бесконечное разнообразие 
яркостно-геометрических структур [1]. И на первый взгляд может показаться, что обработка таких «несложных объектов» не требует особых знаний 
и умений. Следует учесть, что компьютерное зрение – это пограничная область знаний. Для извлечения полезной информации надо уметь применять 
статистические методы, использовать модели, построенные с помощью 
геометрии, физики и теории обучения. В этой области знаний нет непререкаемых авторитетов, на которые можно сослаться, многие полезные идеи 
не имеют под собой теоретической основы, а некоторые теории бесполезны 

Компьютерное зрение. 
Введение

Компьютерное зрение. Введение

на практике [2]. Пока нет единого математического формализма и единой 
общепризнанной методики разработки алгоритмов анализа изображений. 
Переживая период бурного роста, наука об обработке изображений все 
еще находится на одной из начальных стадий своего развития. Разработка 
и использование моделей, пригодных для эффективного решения задачи 
обнаружения соответст вующих объектов на изображении, в значительной 
степени остается на грани науки и искусства и зачастую основывается на 
многолетнем опыте исследований частных задач [1].
Приведем предложенную в [1] классификацию понятий «зрение роботов» (robot vision), «компьютерное зрение» (computer vision), «обработка 
изображений» (image processing), «понимание изображений» (image understanding). 
Компьютерное зрение представляет собой научную дисциплину, изучающую теорию и базовые алгоритмы анализа изображений и сцен. 
Машинное зрение следует рассматривать как более комплексную и технологическую область научных и инженерных знаний, охватывающую все 
проблемы разработки практических систем: выбор схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии 
расположения, вопросы калибровки и ориентирования, выбор или разработка оборудования для оцифровки и процессорной обработки, разработка собственно алгоритмов и их компьютерная реализация – то есть весь 
круг сопутствующих задач. 
Зрение роботов предлагаем трактовать как более узкую область технологий машинного зрения, а именно ту их часть, которая обеспечивает 
функционирование систем машинного зрения в условиях жестких временных ограничений. К этому понятию, безусловно, относятся проблемы 
разработки основанных на изображениях информационных систем, входящих в состав систем управления сложными динамическими объектами 
(самолет, автомобиль, системы контроля технических и технологических 
процессов на производстве), так как необходимость формирования обратных связей по результатам обработки входных изображений в системах 
управления, очевидно, требует их быстрого анализа в режиме реального 
времени. 

B. Задачи машинного зрения

Машинное зрение имеет огромное число потенциальных областей применения, таких как промышленная инспекция и контроль качест ва, робототехника, навигация и транспортировка, дистанционное зондирование, медицина и биомеханика, инженерный труд, автоматизация проектирования, 
новые технологии обработки документов, биометрия и множество других. 
Мы будем использовать его для организации зрительной обратной связи 

Модульная парадигма Д. Марра обработки изображений 7

при работе управляемых устройств, манипуляторов или мобильных роботов в изменчивой среде.
Основные задачи машинного зрения могут быть сформулированы следующим образом: 
1) обнаружение объектов и изменений в сцене наблюдения;
2) описание сцены и идентификация объектов;
3) слежение за объектами;
4) калибровка сенсоров, самоориентация и самопозиционирование;
5)  реконструкция поверхностей и обнаружение трехмерных структур;
6) высокоточные измерения элементов сцены;
7)  организация зрительной обратной связи при работе управляе мых 
устройств, манипуляторов или мобильных роботов в изменчивой 
среде.
В данной книге мы рассмотрим только первую задачу. Но и даже ее решение позволит нам реализовать многие интересные проекты. 

С.  Модульная парадигма Д. Марра 
обработки изображений

В алгоритмическом аспекте последовательность действий по обработке 
изображения принято рассматривать в согласии с так называе мой модульной парадигмой, информационной теорией зрения Дэйвида Марра (он работал в Лаборатории искусственного интеллекта Массачусетского технологического института, США), получившей в настоящее время широкую 
известность [3]. Суть теории Д. Марра состоит в том, что в основе зрительного восприятия лежат процессы сбора, представления, обработки и рас

Компьютерное зрение. Введение

познавания информации, отражающей свойства наблюдаемого человеком 
реального мира. Зрение – это процесс определения по изображениям, что 
именно присутствует в окружающем мире и где именно оно находится, т. е. 
зрение сводится к решению задач обработки информации. Обработка изображений должна опираться на несколько последовательных уровней: от 
представления объектов (растровое изображение, неструктурированная 
информация) к их символическому представлению (данные в структурированной форме). Исходя из этого, в области машинного зрения принято 
выделять следующие основные этапы обработки данных:
 •
предобработка изображений;
 •
сегментация;
 •
выделение геометрической структуры;
 •
определение относительной структуры и семантики.
Мы будем применять модульную парадигму Д. Марра в обработке изображений.
Традиционный термин «обработка изображений» чаще употребляется 
в последние годы для обозначения обработки нижнего уровня, когда результатом обработки изображения снова является изображение. В то же 
время термин «понимание изображений» употребляется для обработки 
верхнего уровня, часто в контексте применения методов искусственного 
интеллекта. Методы обработки высокого уровня, относящиеся собственно 
к «пониманию изображений», по-прежнему представляют собой «вызов» 
для сообщества исследователей в области компьютерного зрения и искусственного интеллекта. Безусловно, перспектива создания будущих поколений «интеллектуальных машин» в основном зависит от дальнейшей 
разработки именно этого круга алгоритмов.
Сегодня теории обработки изображений во многом превратились в технологии, мы гораздо более скромно говорим о технической дисциплине 
под названием «машинное зрение». Это не означает, что в области обработки и анализа изображений не осталось открытых проблем, их огромное 
количество. Но признаком несомненной зрелости прикладной науки является то, что теперь эти вопросы всегда ставятся в практической плоскости, 
с учетом обязательных и близких перспектив технического внедрения.

D. Предисловие 

В данной книге описан один из понятных и самых простых путей обработки изображений. Этот путь может освоить любой из школьников. Рассматривается подробно процесс захвата и обработки изобра жений в соответствии с модульной парадигмой Д. Марра. Учитель сможет найти в книге 
уроки с подробным описанием обработки изображений в инженерной графической среде программирования LabVIEW. Подробного описания ос

Предисловие  9

нов программирования в LabVIEW в этой книге нет. Тем, кто незнаком 
с программированием в этой среде, рекомендую прочитать книгу «Узнайте, как программировать на LabVIEW». В ней уроки для 5–6-го классов, 
все предельно лаконично и понятно. 
В этой новой книге, как обычно в наших работах, подробно приведены 
пути поиска пиктограмм функций и схемы итоговых программ. У вас все 
получится! Не сомневайтесь. В разделе «Наши проекты» приведены темы 
и краткие описания проектов, которые выполнены нами в школе с ребятами 5–11-х классов.. 
На сайте издательства размещена демоверсия библиотеки средств 
обработки и анализа изображений IMAQ Vision блока Vision and 
Motion в среде LabVIEW. 
Особую благодарность выражаю  Михееву Павлу Михайловичу .
Михеев П. М., кандидат физико-математических наук, был доцентом 
физического факультета МГУ имени М. В. Ломоносова, организатором 
и руководителем одного из старейших и лучших академических центров 
Natio nal Instruments в России, в настоящее время – «Центр измерительных технологий и промышленной автоматизации» на базе Лазерного 
центра МГУ. Именно он открыл для меня около 10 лет назад интересный, 
сложный и такой, с помощью LabVIEW, простой в работе мир цифровой 
обработки изображений [4].
А теперь попробуйте и вы. И у вас все обязательно получится.

Регистрация цветного  изображения  с USB-камеры

В этом уроке рассказывается о том, как осуществить захват цветного 
изображения с USB-камеры. Рассмотрим необходимые этапы программирования захвата изображения. Познакомимся со способами отображения захваченного изображения на лицевой панели. Научимся записывать и читать 
графические файлы и оценим время подготовки к захвату изображения 
и длительность регистрации изображения. 

В этом уроке изложены вопросы:
E. Доступные для программирования камеры
F. Захват изображения
G. Отображение изображения на лицевой панели
H. Запись и чтение изображения из файла
I. Оцениваем время захвата изображения

A. Доступные для программирования камеры 

Для программирования USB-камеры надо указать имя камеры. Перечень 
допустимых камер можно получить с помощью функции IMAQ USB Enumerate Cameras. 
Выходной параметр этой функции – строковый массив с именами и характеристиками доступных камер.
Путь к функции выдачи списка доступных камер: Vision and Motion  
NI-IMAQ dx  IMAQ  Enumerate Cameras.

Наводим мышку на правую верхнюю контактную площадку Ca mera 
Information Array (она розового цвета) и после щелчка правой кнопкой 
выбираем в контекстном меню Create  Indicator.
Получим программу lesson2_1.vi:

2

УРОК
Регистрация цветного  
изображения  
с USB-камеры

Захват изображения 11

На лицевой панели возникнет индикатор для отображения информации. Это массив строковых кластеров с характеристиками доступных камер (см. рисунок ниже). После запуска программы виртуального прибора 
можно анализировать информацию. Для программирования, чтобы снимать изображения с нужной камеры, надо точно выбрать имя этой камеры 
из предложенного списка камер в той или иной используемой функции 
обработки изображений. В примере в массиве строковых кластеров отображены две камеры, подключенные в данный момент к компьютеру.

1 – cam0, имя камеры для программирования; 2 – Lenovo,  
встроенная камера; 3 – cam1, имя камеры для программирования;  
4 – iLook 310, модель подключенной веб-камеры

B. Захват изображения

Процесс захвата изображения – сохранение характеристик изображения 
в памяти компьютера. Пока не будем рассматривать, какие характеристики изображения мы сохраняем в памяти РС. Об этом поговорим позже. 

Регистрация цветного изображения с USB-камеры  

Процесс захвата состоит из нескольких этапов:
1) инициализация камеры;
2) подготовка буфера для изображения;
3) запуск сессии захвата;
4) непосредственно захват изображения;
5) закрытие сессии захвата изображения.
Рассмотрим эти этапы подробнее.

1. Инициализация камеры

Путь к функции инициализации камеры: Vision and Motion  
NI-IMAQ dx  Open.
Из списка доступных видеокамер выберем одну, например с именем 
cam5. Для этого на левой верхней контактной площадке (она сиреневого 
цвета) щелкнем правой кнопкой мыши и из контекстного меню выберем 
Create  Constant. Далее из списка констант выберем имя cam5.

При инициализации камеры происходит открытие ее для работы, созда-
ется уникальная ссылка для этой камеры для использования этой ссылки 
при программировании.
Эту функцию в программе надо выполнять один раз для данной камеры.

2. Подготовка буфера для изображения

Буфер изображения – ссылка на область памяти, где планируется хранить изображение. Для резервирования определенным образом устроенной области памяти надо указать прежде всего имя этой области (параметр 
Image Name) и принцип организации хранения изобра жения, – т. е. формат изображения (параметр Image Type).
Vision and Motion  Vision Utilities  Image Management  IMAQ 
Create.

Аналогично задаем параметры Image Name и Image Type функции подготовки буфера  изображения IMAQ Create. Чтобы осуществить эту опе