Сенсоры технического зрения

Москва

Горячая линия – Телеком

2019

Рекомендовано Научно-методическим советом
ФГБОУ ВО «Рязанский государственный радиотехнический 
университет» в качестве учебного пособия для студентов высших 
учебных заведений, обучающихся по направлениям подготовки 
09.03.01 – «Информатика и вычислительная техника», 
11.03.01 – «Радиотехника» (квалификация – «бакалавр») 
и по специальности 11.05.01 – «Радиоэлектронные системы и 
комплексы» (квалификация – «инженер»)

УДК 681.5:004.93 
ББК 32.965 
 С31 

Р е ц е н з е н т ы: доктор техн. наук, профессор, зав. кафедрой электронных вычислительных машин ФГБОУ ВО «Рязанский государственный радиотехнический университет» Б. В. Костров; канд. техн. наук, доцент, директор научноконструкторского центра видеокомпьютерных технологий АО «Государственный Рязанский приборный завод»  Л. Н. Костяшкин  

А в т о р ы :  Е. Р. Муратов, С. А. Юкин, А. И. Ефимов, М. Б. Никифоров 

С31   Сенсоры технического зрения. Учебное пособие / Е. Р. Муратов, 

С. А. Юкин, А. И. Ефимов и др. – М.: Горячая линия – Телеком, 
2019. – 74 с.: ил. 
ISBN 978-5-9912-0741-6. 
Рассмотрены основные типы сенсоров, применяемые в многоспектральных системах технического зрения. Поясняется конструкция оптических сенсоров. Приведено описание параметров элементов сенсора и влияние их значений на получаемое изображение. Отмечены сильные и слабые 
стороны применения сенсоров в зависимости от целей системы технического зрения и условий, в которых система технического зрения выполняет поставленную задачу. Также рассмотрены принцип функционирования  
и основные особенности работы лазерной локационной системы (лидара) 
и радиолокационной станции. 
Для студентов, обучающихся по направлениям 09.03.01 – «Информатика и вычислительная техника», 11.03.01 – «Радиотехника» и по специальности 11.05.01 – «Радиоэлектронные системы и комплексы». 
ББК 32.965 
Адрес издательства в Интернет WWW.TECHBOOK.RU 

Учебное издание 

Муратов Евгений Рашитович, Юкин Сергей Александрович, 
Ефимов Алексей Игоревич, Никифоров Михаил Борисович 

СЕНСОРЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ 
Учебное пособие для вузов 

Компьютерная верстка  И. А. Благодаровой 
Обложка художника  В. В. Казюлина 

Подписано в печать  15.02.2018.  Печать цифровая. Формат 6088/16. Уч. изд. л. 4,63.  
Тираж 500 экз. Изд. №180741 
ООО «Научно-техническое издательство «Горячая линия – Телеком» 
ISBN 978-5-9912-0741-6   
      © Е. Р. Муратов, С. А. Юкин, 
     А. И. Ефимов, М. Б. Никифоров, 2018, 2019
© Издательство «Горячая линия – Телеком», 2018 

Список сокращений и аббревиатур

CPU – central processing unit
ISO – international organization for standardization
LWIR – long wave infrared
MWIR – medium wave infrared
SWIR – short wave infrared
БЛА – беспилотный летательный аппарат
ВКМС 
–
вычислительный 
комплекс 
многоспектральной 

системы
ДНА – диаграмма направленности антенны
ЛА – летательный аппарат
ЛД – лазерный дальномер
ЛЛС – локатор лазерный сканирующий
ЛЧМ – линейная частотная модуляция
МСТЗ – многоспектральная система технического зрения
ОМС – оптико-механическое сканирование
ОЭС – оптико-электронная система
РЛИ – радиолокационное изображение
РЛС – радиолокационная система 
СТЗ – система технического зрения
ТВ – телевизионный
ТПВ – тепловизионный
ФПУ – фотоприемное устройство

Введение

Сенсоры в системе технического зрения (СТЗ) предназначены 

для получения информации о состоянии внешней среды, в которой 
находится система технического зрения, и состоянии других 
объектов, с которыми система взаимодействует. Состояние внешней среды характеризуется, прежде всего, формой, положением и 
ориентацией в пространстве объектов, свойствами внешней среды 
и параметрами возмущений, влияющими на выполнение системой 
различных операции.

В большинстве случаев СТЗ ассоциируется с системой зрения 

человека, поэтому большой класс задач, решаемый такими системами, сводится к обработке изображений (как первичных данных 
от сенсоров) и получению из них необходимой информации.

Данные, полученные от сенсоров технического зрения, ис
пользуются для решения следующих задач:

– обнаружение и распознавание объектов в кадре; 
– измерение геометрических параметров объектов; 
– восстановление формы; 
– поиск характерных изображений; 
– определение взаимного расположения объектов; 
– определение движения; 
– слежение за характерным изображением и др.
Современные СТЗ имеют цифровые сенсоры (реже аналого
вые), которые фиксирует поток энергии (волны) излучения в видимом или невидимом глазом диапазоне излучения. Сенсоры делятся 
на два класса: пассивные и активные.

Пассивные принимают исходящее или отраженное излучение 

от объектов и формируют на основе этой информации выходной 
сигнал (при этом пассивные сенсоры ничего сами не излучают). К 
пассивным сенсорам относятся камеры оптического диапазона, 
ближнего инфракрасного (ИК) и теплового диапазонов. 

Активные – излучают сигнал на определенной длины волны, 

затем принимают отраженный сигнал от объектов, на основании 
характеристик принятого сигнала формируют выходной сигнал. 
Активные – это радары, лазерные локаторы и дальномеры, ультразвуковые датчики, индуктивные петли и т.п. 

Существуют сенсоры, которые можно отнести к обоим клас
сам, например времяпролетные камеры. Такая камера работает как 

Введение
5

оптический сенсор и одновременно имеет встроенный излучатель и 
приемники ИК диапазона для измерения дальности.

Наиболее сложной и многофункциональной является система 

технического зрения подвижных объектов, таких как роботы различного применения, роботизированная автотракторная техника, 
различные летательные аппараты, включая беспилотные, вертолеты и самолеты.

В данном учебном пособии
подробно рассмотрены СТЗ 

авиационного применения.

Т е м а 1

ОПТИЧЕСКИЕ СЕНСОРЫ

Оптические сенсоры – небольшие по размерам электронные 

устройства, способные под воздействием электромагнитного излучения в видимом, инфракрасном и ультрафиолетовом диапазонах 
подавать единичный или совокупность сигналов на вход регистрирующей или управляющей системы. Оптические сенсоры регистрируют непрозрачные и полупрозрачные предметы, водяной пар, 
дым, аэрозоли. Сенсоры, представляющие изображения окружающей местности в оптическом диапазоне называют видеокамерами 
или просто камерами. Задача оптического сенсора состоит в формировании видео потока данных, в котором каждый кадр представляет собой изображение окружающей местности аналогичное 
изображению формируемому глазом человека. Оптический сенсор 
состоит из следующих элементов (рис. 1.1):

– фотоприемная матрица;
– объектив;
– оптический фильтр;
– электронные компоненты для формирования изображения;
– выходной интерфейс;
– корпус.

Рис. 1.1. Конструкция оптического сенсора

Принцип работы сенсора следующий. Излучение оптического 

диапазона фокусируется группой линз объектива на фотоприемную 
матрицу. Матрица состоит из элементов, которые формируют 

Оптические сенсоры
7

сигнал на своем выходе в зависимости от количества фотонов 
света, попавших на элементы. В качестве такого сигнала может 
служить сила заряда, которую накопило устройство под действием 
излучения. Затем выходной сигнал с каждого элемента матрицы 
оцифровывается в блоке оцифровки. Оцифрованное изображение 
называется RAW (с англ. – сырой). RAW изображение может быть 
считано с камеры для последующей обработки на компьютере, но 
чаще всего обработка производится непосредственно на центральном процессоре (CPU – central processing unit) самого сенсора. 
Процессор сенсора формирует конечное изображение (при этом 
часто корректируется контраст, баланс белого, компенсируется 
влияние битых пикселей, поправляется дисторсия и т.п.), также 
процессор может выполнить сжатие изображения, например в 
формат Jpeg. Обработанное процессором изображение помещается 
в буфер обмена. Данные из буфера обмена могут быть прочитаны 
через один из интерфейсов сенсора (некоторые сенсоры имеют 
несколько различных интерфейсов для чтения данных).

Фотоприемная матрица

Основными элементами оптического сенсора являются два сле
дующих элемента – фотоприемная матрица и объектив. Фотоприемная матрица состоит из множества элементов (ячеек), каждая 
из которых является полноценным микросенсором. На рис. 1.2 
представлен внешний вид одной из существующих фотоприемных 
матрицы оптического диапазона.

Рис. 1.2. Внешний вид фотоприемной матрицы

Тема 1

Основу ячеек современных фотоприемных матриц оптического 

диапазона составляют ПЗС (прибор с зарядной связью) или КМОП 
элементы (комплементарная логика на транзисторах металл-оксидполупроводниках). В литературе принято применять сокращения, в 
английском варианте ПЗС – CCD (charge-coupled device) и КМОП –
CMOS (complementary metal-oxide-semiconductor). Независимо от 
типа матрицы, результирующее изображение получается после 
оцифровки накопленного заряда каждого микросенсора.

Преимущество CMOS технологии – это низкое энергопотреб
ление. CMOS сенсоры содержат в себе аналого-цифровые преобразователи и усилители, что делает низким стоимость конечного 
продукта. Преимуществом CCD является низкий уровень шумов, 
высокая наполняемость пикселей (около 100 %) и большой динамический диапазон.

CMOS матрицы имеют возможность произвольного считыва
ния ячеек, а в CCD матрице считывание происходит сразу со всех 
ячеек. Благодаря этому способу считывания, у CMOS матриц отсутствует так называемый эффект «смиринга» (от англ. smearing –
размазывание), который есть у CCD матриц, и проявляется в кадре 
как вертикальные «столбы света» от ярких точечных объектов 
(солнца, прожекторов, фар и ярких лампочек).

Несмотря на плюсы, у CMOS технологии есть и свои недос
татки. Малый размер светочувствительного элемента по сравнению 
с площадью пикселя. Большая часть площади микросенсора занимает электроника, тем самым эффективная площадь светочувствительного элемента уменьшается. Это в свою очередь, снижает 
чувствительность микросенсора, а значит, требует усиление сигнала, что приводит к увеличению шумов на изображении.

В CMOS матрицах кадр считывается строка за строкой. Для 

быстро движущихся объектов в кадре возникает эффект «rolling 
shutter» (бегущий затвор). В частности этот эффект приводит к 
кривизне вертикальных объектов (рис. 1.3).

Это происходит потому, что сначала считываются верхние 

строки матрицы, а потом – нижние, но за это время объект 
переместится, и в результате этого он может казаться уже не 
прямым, а наклонным.

Оптические сенсоры
9

Рис. 1.3. Эффект rolling shutter

CCD матицы имеют более совершенный электронный затвор, 

который очень важен для фиксации быстрых перемещений (движений). Также CCD матрица отличается низким уровнем шума, 
имеет хорошую чувствительность в ближнем ИК–диапазоне, что 
дает приемлемое качество изображения при низкой освещенности. 
У ПЗС сенсоров отсутствует вибрация и rolling shutter эффект, 
присущий КМОП. 

Так как у сенсоров в действительности нет полного перекры
тия фоточувствительной поверхности (это в свою очередь снижает 
светочувствительность сенсора) поверх каждой группы пикселей 
устанавливают «микролинзы», чтобы повысить их способность 
собирать свет. Эти линзы подобно воронкам собирают фотоны, 
которые иначе могли остаться неиспользованными.

Сенсоры имеют ряд важных характеристик и параметров, влия
ющих на качество конечного изображения. Каждый оптический 
сенсор имеет основную характеристику – «уровень черного», показывающее значение сигнала, которое будет оцифровано при отсутствии света на сенсоре. Это значение будет некоторым образом 
флуктуировать, в том числе эта величина будет меняться от одного 
фотодатчика к другому.

Такое явление называется цифровым шумом. Шум мешает пра
вильному восприятию и отображению информации. Для того чтобы изображение хорошо передавало структуру исходного сигнала, 
необходимо, чтобы уровень сигнала превосходил уровень шумов, 

Тема 1

характерных для данного устройства. Эта характеристика называется отношением сигнал-шум [1].

Каждая фотоприемная матрица обладает чувствительностью (в 

соответствии со стандартами обозначается в характеристиках камеры как ISO). Применяя аналоговое усиление сигнала и цифровую 
постобработку можно менять значение чувствительности матрицы 
в широком диапазоне. Как правило, чувствительность соответствует отношению сигнал-шум и равна 2–5 дБ. Более чувствительные 
матрицы позволяют получать изображения с меньшим цифровым 
шумом.

Разрядность – характеристика АЦП, применяемая для оциф
ровки заряда на микросенсоре. Для изображения на экране ЭВМ 
принято использовать изображение с разрядность 8 бит для каждого цветового канала. Оптические сенсоры технического зрения 
могут оцифровывать сигнал с разрядностью в диапазоне 1–14 бит 
(разрядность зависит от применяемого АЦП и решаемой задачи). 
Большая разрядность присуща чувствительным матрицам.

Каждый пиксель изображения формируется сигналами от од
ного (для черно-белой матрицы) или трех-четырех микросенсоров 
для цветной матрицы. В случае с цветной фотоприемной матрицей 
один пиксель может формироваться сигналами от нескольких соседних микросенсоров (зависит от конструктивного решения). Над 
ними устанавливается матричный цветофильтр, который пространственно разделяет световой поток на цветовые компоненты. 
Наиболее известный матричный цветофильтр называется «фильтр 
Байера» (рис. 1.4).

Рис. 1.4. Матричный цветофильтр Байера 

для четырех соседних пикселей

Матрица Байера состоит из чередующихся рядов красно
зелёных и зелено-синих фильтров. Обратите внимание, что в 
матрице Байера содержится вдвое больше зелёных сенсоров, чем