Введение
С каждым годом количество автомобилей в мире возрастает, соответственно возрастает и количество дорожно-транспортных происшествий. В связи с этим все больше внимания уделяется автомобильным системам интеллектуальной обработки информации и принятия решений. Инженерами разных стран мира разработано множество систем активной безопасности для автомобилей таких, как ABS (антиблокировочная система), EBD (система распределения тормозных усилий), ESP (система динамической стабилизации автомобиля) и многие другие. Одной из наиболее современных является система распознавания дорожных знаков и дорожной разметки, функциональные возможности которой заключаются в оповещении водителя о наличии дорожных знаков в поле зрения камеры и предупреждении о приближении к опасным участкам дороги.
Идентификация дорожных знаков относится к актуальной и сложной научно-практической задаче распознавания образов. В настоящее время в этой области ведутся интенсивные исследования. Результатом этих работ стало появление коммерческих интеллектуальных систем, основной особенностью которых является закрытость алгоритма функционирования. Серийные автомобили, оснащенные системой распознавания дорожных знаков и дорожной разметки, появились на рынке в 2010 – 2011 гг. Однако многие системы подобного рода основаны на алгоритмах с высокой ресурсоемкостью, что затрудняет их использование в системах реального времени.
Цель данной работы заключается в разработке алгоритма, осуществляющего распознавание дорожных знаков ограничения скорости, основной особенностью которого является высокая скорость обработки кадров (не менее 10 кадров/с). Достижение этой цели подразумевает решение следующих задач: преобразование цветового пространства; удаление шумов; выделение областей интереса; верификация объектов интереса; идентификация дорожного знака .
Преобразование цветового пространства кадров видеосигнала
Все дорожные знаки ограничения скорости имеют два общих признака – контур красного цвета и круглую форму знака (рис. 1). Поэтому первой стадией обработки кадров видеосигнала является выделение областей красного цвета.
Рис. 1. Дорожные знаки ограничения скорости
Входной видеосигнал состоит из последовательности изображений (кадров), каждое из которых представлено в цветовом пространстве RGB и фактически представляет собой матрицу размерностью M×N×3, состоящую из целых чисел в диапазоне , которые определяют цвет каждого пикселя изображения. В таком цветовом пространстве поиск областей красного цвета предполагает одновременный анализ трех составляющих, при этом изменение составляющей R будет влиять на допустимые значения составляющих G и B. Поэтому целесообразно использование цветового пространства HSV, в котором эффективность выделения красного цвета выше по сравнению с RGB пространством.
HSV (Hue, Saturation, Value - тон, насыщенность, значение) - цветовая модель, в которой координатами цвета являются:
- Hue - цветовой тон , (например, красный , зелёный или сине-голубой). Варьируется в пределах 0-360°, однако иногда приводится к диапазону 0-100 или 0-1.
- Saturation - насыщенность . Варьируется в пределах 0-100 или 0-1. Чем больше этот параметр, тем «чище» цвет, поэтому этот параметр иногда называют чистотой цвета . А чем ближе этот параметр к нулю , тем ближе цвет к нейтральному серому .
- Value (значение цвета). Также задаётся в пределах 0-100 и 0-1.
Цветовая модель HSV наиболее близкая к человеческому восприятию цветов.
Преобразование изображения из цветовой модели RGB в цветовую модель HSV производится по следующим формулам :
Если H < 0, то H = H + 360.
После данных преобразований координаты цвета будут находиться в следующих диапазонах: .
Цвет дорожных знаков меняется в зависимости от освещения. Так пороговые значения цветового тона (Hue) для дорожных знаков с красным контуром в дневное время будут отличаться от пороговых значений цветового тона (Hue) для этих знаков в ночное время. В связи с эффектом отражения света от поверхности дорожных знаков, например, при свете автомобильных фар или уличного освещения в ночное время красный цвет на знаках может восприниматься как оранжевый. Поэтому нами экспериментально были подобраны пороговые значения координат цвета в различных погодных условиях и при различной освещенности (табл. 1).
Таблица 1. Пороговые значения координат цвета, используемые для выделения красного цвета
|
Цветовое пространство |
Ясный день |
Дождь/Влажность |
Вечер |
Ночь |
|
129 0 0 |
129 0 0 |
156 0 0 |
100 0 0 |
|
|
YCbCr |
40 100 140 |
30 100 150 |
60 77 170 |
27 70 156 |
|
30 15 0 |
15 15 0 |
15 15 0 |
15 15 0 |
|
|
300 0.7 0.5 |
300 0.7 0.5 |
300 0.7 0.5 |
22 0.7 0.5 |
Как видно из результатов таблицы 1 цветовое пространство HSV является наиболее подходящим для выделения красного цвета, т.к. пороговые значения координат цвета практически в любых условиях постоянны и только в ночное время пороговые значения цветового тона (Hue) отличны.
Выделение объектов красного цвета на кадрах видеосигнала после их конвертации в цветовое пространство HSV производится следующим образом:
Суммарная матрица изображения размером M×N×3 разделяется на три матрицы размером M×N, которые соответствуют трем компонентам цвета H, S и V.
Над каждой из матриц H, S, V производится пороговое преобразование в соответствии с пороговыми значениями из таблицы 1 такое, что если компонент матрицы попадает в интервал между пороговыми значениями, то яркость данного пикселя равна 1, в противном случае – 0. В результате данной операции получаются три матрицы со значениями компонентов 0 или 1.
Модифицированные матрицы H*, S*, V* объединяются с помощью выполнения над ними операции логического И. В результате получается бинарное изображение, на котором белые области соответствуют объектам красного цвета, а черные – всему остальному.
Рис. 2. Функции пороговой обработки
Рис. 3. Выделение красного цвета на изображении: а – исходное изображение; б – результат порогового преобразования
Удаление шумов с помощью морфологической фильтрации изображения
Морфологическая фильтрация представляет собой применение к, как правило, бинарному изображению следующих операций: расширение, сужение, открытие, закрытие.
Расширение - это свёртка некоторого изображения (или области изображения), которое мы будем называть A, с некоторым ядром, которое мы будем называть B. Ядро имеет точку привязки (якорь) и может быть любых форм и размеров. Чаще всего ядро имеет квадратную форму с точкой привязки в центре. Ядро может рассматриваться как шаблон или маска, и его эффект на расширение зависит от оператора локального максимума. Когда ядро “скользит” над изображением вычисляется максимальное значение пикселя перекрываемого B, и затем значение пикселя лежащего под опорной точкой заменяется этим максимальным значением. Это вызывает появление ярких областей на изображении.
Сужение - обратная операция. Действие оператора сужения заключается в вычислении локального минимума под ядром. Данный оператор создаёт новое изображение на основе исходного по следующему алгоритму: когда ядро “скользит” над изображением вычисляется минимальное значение пикселя перекрываемого B, и затем значение пикселя лежащего под опорной точкой заменяется этим минимальным значением.
Суть операции сужения в том, что вкрапления и шумы размываются, в то время как большие и соответственно более значимые регионы не затрагиваются. А идея операции расширения – найти регионы аналогичного цвета и интенсивности и попытаться их объединить. Полезность расширения возникает, потому что во многих случаях большая область разбита на несколько более мелких, шумами, тенями и т.д. Применение небольшого расширения должно привести к тому, что эти области “сплавятся” в одну.
Операции открытие и закрытие, представляют собой комбинацию операций сужения и расширения. В случае открытия сначала выполняется сужение, а затем расширение. В операторе закрытия наоборот сначала выполняется расширение, а затем сужение. Закрытие может использоваться для устранения нежелательных шумов.
Результаты морфологической фильтрации представлены на рис. 4. Из рисунка следует, что фильтрация эффективно удаляет шумы на изображении и способствует увеличению точности последующей верификации объектов интереса.
Рис. 4. Удаление шумов на изображении с помощью морфологической операции закрытие: а – изображение с шумом; б – изображение после фильтрации
Верификация объектов интереса
Только цветового признака для определения принадлежности объекта из области интереса к классу дорожных знаков ограничения скорости недостаточно, так как помимо дорожных знаков на изображении могут находиться другие объекты красного цвета (например, автомобили, рекламные доски, автомобильные стоп-сигналы). Второй признак, который можно выделить для всех рассматриваемых дорожных знаков, – форма эллипса очень близкого к кругу.
Для определения наличия эллипсов (кругов) в областях интереса целесообразно применять преобразование Хафа. Данный метод предназначен для поиска объектов, принадлежащих определённому классу фигур с использованием процедуры голосования. Процедура голосования применяется к пространству параметров, из которого и получаются объекты определённого класса фигур по локальному максимуму в, так называемом, накопительном пространстве (accumulator space), которое строится при вычислении трансформации Хафа.
Точки окружности можно представить формулой:
,
где (a, b) – координаты центра окружности, а R – ее радиус.
Таким образом, формула, задающая семейство окружностей, имеет вид:
Как видно из формулы, для нахождения окружностей нужно задавать 3 параметра - координаты центра окружности и её радиус. Это приводит к увеличению пространства Хафа на целое измерение, что в итоге сказывается на скорости работы. Поэтому для поиска окружностей применяется т.н. градиентный метод Хафа (Hough gradient method).
Эффективность использования преобразования Хафа резко падает при увеличении размерности фазового пространства, поэтому перед его применением желательно минимизировать каким-либо образом количество параметров кривой. Можно существенно снизить количество кривых, потенциально проходящих через данную точку изображения, если рассматривать только кривые, касательная которой перпендикулярна градиенту яркости изображения в рассматриваемой точке. Таким образом, можно, например, свести задачу выделения окружностей с неизвестным радиусом к двумерному фазовому пространству:
Применить детектор границ Кенни для нахождения границ на изображении .
Определить центры кругов.
Относительно центра определить ненулевые точки, лежащие на одном расстоянии.
Идентификация дорожного знака
Для распознавания дорожных знаков на кадрах видеопоследовательности после определения областей интереса к данным изображениям необходимо применить алгоритмы идентификации объектов на растровом изображении с целью определения смысла дорожного знака.
Прежде всего, изображение дорожного знака из области интереса должно быть приведено к единому размеру. После чего такое изображение подается на вход модуля идентификации. В разработанной системе для распознавания дорожных знаков на изображениях из областей интереса используется нейронная сеть с архитектурой многослойный персептрон.
Исследователями были предложены многие модели нейронных сетей для распознавания дорожных знаков. Простейшая используемая в работах нейронная сеть представляет собой многослойный персептрон с количеством нейронов во входном слое равным количеству пикселей в изображении дорожного знака из области интереса, одним скрытым слоем с экспериментально подобранным числом нейронов и выходным слоем с количеством нейронов равным количеству распознаваемых дорожных знаков. Однако такая нейронная сеть не дает удовлетворительных результатов распознавания, так как является слишком общей и громоздкой.
Для увеличения скорости работы алгоритма необходимо сократить размер входного вектора признаков. В простейшем случае при размере входного изображения 30 × 30 пикселей входной вектор признаков будет состоять из 3 * 30 * 30 = 2700 компонентов – значения пикселей изображения по 3 компонентам цвета (RGB), что неприемлемо для работы системы в реальном времени.
Предлагается сократить количество компонентов входного вектора признаков следующим образом:
где – элементы матрицы A размера 90 × 30, составленной из значений пикселей входного изображения по 3 компонентам цвета (RGB).
- Для изображения в градациях серого рассчитать 30 вертикальных (vh) и 30 горизонтальных параметров (hh) по формулам соответственно:
Преобразовать входное цветное изображение в изображение в градациях серого по формуле:
C = 0.229R + 0.587G + 0.114B
где C – интенсивность серого, R, G, B – красная, зеленая и синяя составляющие соответственно.
где – компоненты матрицы C, T – адаптивный порог, вычисляемый по формуле:
В результате данных преобразований количество компонентов входного вектора признаков сократится с 2700 до 63, что позволит значительно увеличить производительность алгоритма идентификации объектов на растровом изображении.
Архитектура, используемой в системе нейронной сети представлена на рисунке 5.
Рис. 5. Архитектура нейронной сети
Экспериментально было подобрано число нейронов в скрытом слое для классификации знаков ограничения скорости. Число нейронов в скрытом слое N равно 90.
Выходной слой нейронной сети состоит из 8 нейронов, каждый из которых соответствует своему дорожному знаку (таблица 2).
Таблица 2. Соответствие дорожных знаков и выходных нейронов
Результаты экспериментов применения разработанного алгоритма распознавания дорожных знаков ограничения скорости
Исследование точности и быстродействия разработанного алгоритма выполнялось в среде IDE Microsoft Visual Studio 2010 с использованием библиотеки Qt 4.7 на видеоролике участка трассы Саратов – Волгоград протяженностью 50 км. Видеоролик был снят смартфоном Samsung Galaxy S. В качестве аппаратной платформы использовался нетбук HP Mini 210 со следующими техническими характеристиками:
Процессор Intel Atom N455;
ОЗУ 2 Gb DDR2.
Все методы обработки изображений реализованы с использованием хорошо оптимизированной библиотеки OpenCV 2.3.
Результаты исследования алгоритма представлены в таблице 3.
Таблица 3. Результаты исследования точности и быстродействия разработанного алгоритма
|
Параметр |
Результаты |
| Общее количество знаков | |
| Количество правильно определенных знаков | |
| Количество неправильно определенных знаков | |
| Количество пропущенных знаков | |
| Среднее время обработки кадра, мс |
Полученные характеристики точности и быстродействия разработанного алгоритма являются приемлемыми и позволяют использовать данный алгоритм в подобных системах реального времени.
Выводы
Разработан алгоритм распознавания дорожных знаков ограничения скорости. В результате проведения экспериментального исследования в среде IDE Microsoft Visual Studio 2010 с использованием библиотеки Qt 4.7 и библиотеки OpenCV 2.3 установлено, что точность (около 91 %) и быстродействие (20 кадров/с) алгоритма позволяет создавать на его основе интеллектуальные системы технического зрения, способные в режиме реального времени оповещать водителя о наличии дорожных знаков ограничения скорости в поле зрения камеры.
В дальнейшем планируется адаптация данного алгоритма для работы на мобильном устройстве (смартфоне) на базе операционной системы Google Android.
Использованная литература
Гонсалес Р., Вудс Р. Цифровая обработка изображений. – М.: Техносфера – 2005. – 1072 с.
Bradski G., Kaehler A. Learning OpenCV. - Sebastopol: O’Reilly, 2008
. - 555 p.
Brkic K. An overview of traffic sign detection methods.
Canny J. A Computational Approach to Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - November 1986. - V. 8, N. 6. - P. 679 – 697.
Вспомогательные системы автомобиля всегда будут полезными, как пример частые ДТП из-за невнимательности или незнаний знаков дорожного движения. Расскажем как устроена и работает эта система.
Что такое система распознавания знаков движения
Для облегчения водителям на дороге и для исключения варианта незнания знаков, инженеры разработали систему распознавания дорожных знаков. Главным назначением системы является предупреждение водителя о дорожных знаках ограничения скорость, проезда перекрестков или других.
Многие автомобильные производители имеют в своем арсенале подобные системы, в зависимости от производителя, системы именуются по-разному. Чаще всего система встречается под названием TSR (Traffic Sign Recognition). Такое название можно встретить в автомобилях марки Audi, Ford, BMW, Volkswagen и Opel.
В автомобилях производителя Opel, система распознавания дорожных знаков входит в комплекс систем Opel Eye. Это одна из лучших комплексных систем защиты водителя признанная в 2010 году. В этот набор включены системы распознавания пешеходов, распознавания преград, автоматической парковки и подобные системы.
Компания Mercedes-Benz дала название своей системе Speed Limit Assist. В автомобиле этой марки она известна больше как система контроля ограничения скорости. Компания Volvo в своем вооружении называет эту систему RSI - Road Sigh Information, информирование о дорожных знаках.
С прогрессом меняются и названия, система распознавания знаков может быть как самостоятельной системой, так и входить в комплексный набор систем защиты и предупреждения.
С чего состоит система предупреждения
В зависимости от марки и модели автомобиля, система может состоять из разных компонентов. Так же не исключено использование компонентов другой системы, к примеру, датчики, сканеры и камеры. Но как правило система распознавания дорожных знаков состоит из компонентов:
- видеокамера на ветровом стекле;
- блок управления;
- место (зачастую дисплей) для вывода обработанной информации.
Можно выделить два поколения систем предупреждения. Первая только информирует водителя, выводя небольшую часть информации о знаке. Второе же поколение уже намного сложней, особенно если в автомобиле есть центральный дисплей, на него будет выводиться сам знак, информация о знаке и что вы нарушили.
Первое поколение способно распознать знаки:
- ограничение скорости;
- запрет на обгон;
- некоторые знаки дополнительной информации.
- движение без остановки запрещено;
- жилая зона;
- начало/конец населенного пункта;
- конец зоны всех ограничений;
- въезд запрещен;
- преимущество встречного/перед встречным автомобилем.
Принцип распознавания знаков
Так все же, как устроена система и принцип её работы. Как уже говорилось, камера на ветровом стекле это первое с чего начинается работа системы. Камера снимает путь перед автомобилем, как правило, эта зона по сторону переднего пассажира (зависит от направления движения) и вверху над водителем. Эта же камера может быть использована системой обнаружения пешеходов, или помощи движения по полосе.
После полученного изображения, информация передается на блок управления. В первом поколении блок управления простой и сравнивает полученные данные с уже существующими знаками в базе, если же знак распознан, то информация выводится водителю, в ином случае никакого действия не произойдет.
Второе поколение системы куда сложней. Полученные данные система не только перебирает, но и знак на изображении с камеры корректирует и подбирает разные комбинации возможных вариантов. Это говорит о том, что есть больше шансов распознать поврежденный или плохо просматриваемый знак. Так же во втором поколении операционка блока управления накладывает полученную информацию на карты навигации GPS и прорисовывает знаки, чтоб водитель не только слышал, но и видел возможные препятствия.
Стоит учесть, что система способна помнить действие нескольких знаков. Ведь часто бывает один знак еще не закончил зону действия, а второй также назначил свои правила.
Вывод предупреждения может осуществляться как на дисплей на панели приборов, так и на отдельный центральный дисплей вместе с картами навигации. Для примера система сравнит, какая скорость максимально допустима и насколько км/час вы превысили или же начнет информировать, если поехали на знак въезд запрещен.
Поговаривают, что третье поколение будет использовать правила движения по знакам и в случае грубого нарушения давать водителю советы как избежать нарушения и как правильно сделать. Ведь часто бывает, что новички водители без практики попросту нарушают самые простые правила по знакам.
Видео принципа работы системы распознавания дорожных знаков:
По статистике превышение скорости является одной из весьма распространенных причин ДТП, которые могут закончиться тяжелыми последствиями для водителя и пассажиров. Разработанная TSR или система распознавания дорожных знаков (Traffic Sign Recognition) создана с тем, чтобы водитель не забывал придерживаться разрешенной скорости согласно правилам дорожного движения. Устройство считывает и распознает дорожные знаки, регламентирующие скорость, напоминая при этом водителю о максимальной разрешенной скорости на определенном участке дороги, если его автомобиль едет быстрее, чем допустимо.
Устанавливаемая на авто система распознавания дорожных знаков конструктивно состоит из видеокамеры, блока управления и устройства подачи информации.
Видеокамера закреплена на ветровое стекло и находится за зеркалом заднего вида. Камера осуществляет функцию фиксации участка дороги впереди движущегося транспортного средства в местах нахождения дорожных знаков сверху и справа по направлению движения, и посылает данные в электронный блок управления. Видеокамера также применяется и другими системами активной безопасности, таких как система помощи движения по полосе и система выявления пешеходов.
Электронный блок управления предназначен для осуществления следующих функций:
Определение конфигурации дорожного знака круглой формы.
Определение красного цвета знака на белом фоне.
Определение допустимой величины скорости, обозначенной на знаке.
Определение табличек, определяющих время и зону действия знака, а также вид транспортного средства.
Определение реальной скорости авто.
Сопоставление реальной скорости автомобиля с максимально разрешенной указанной на знаке.
Предупреждение водителя звуковым или световым сигналом.
Контурное изображение знака, ограничивающего скорость движения, поступает на экран расположения приборов или на экран системы информации и продолжает быть опознанным до тех пор, пока ограничение не исчезнет или не будет заменено. Если на автомобиле установлен информационный дисплей, то картинка будет отражаться на лобовом стекле.
В некоторых конструкциях система распознавания дорожных знаков согласована с системой навигации, и пользуется данными о знаках, ограничивающих скорость, из карт навигации. Распознавание возможно даже в том случае, когда видеокамера не определит знак – все равно данные о нем поступят на панель приборов.
Однако, возможности системы распознавания дорожных знаков не ограничиваются только определением знаков, ограничивающих скорость, запрета обгона или дополнительных информационных таблиц. Помимо этого, устройство способно передавать водителю информацию о следующих знаках:
Запрещающих въезд.
Пересечения с главной дорогой.
Проезд без остановки запрещен.
Начало и конец населенного пункта.
Начало и конец скоростной магистрали.
Знак, информирующий о въезде в жилую зону.
Окончание зоны ограничения знака.
Водителю при управлении транспортным средством приходится выполнять множество разнообразных действий в зависимости от складывающейся ситуации, и самое главное, она быстро меняется. Изменения обстановки или рельефа дороги зачастую не позволяют своевременно отследить установленные ограничения, и хорошо, если такие ошибки остаются без последствий. Чтобы облегчить весь этот процесс, автопроизводителями в помощь водителю, на некоторые модели авто устанавливается система распознавания дорожных знаков.
Что это такое?
Такая функция как распознавание дорожных знаков используется на автомобилях BMW, Opel, Mercedes-Benz и других. По сути дела, все базируется на работе видеокамеры, расположенной перед зеркалом обзора заднего вида и направленной по ходу движения. Работает такая система распознавания дорожных знаков следующим образом – видеокамера сканирует местность перед собой.
Полученное изображение передается в электронный блок, где распознается, и при его соответствии тем требованиям, которые заложены в устройство, на панели приборов высвечивается нужный символ, что порой сопровождается звуковым сигналом.
Чаще всего предметом анализа является ограничение скорости. При распознавании анализируется:
- форма знака;
- его цвет;
- значение надписи (скорости);
- содержание ограничения (вид ТС, на которое данное ограничение распространяется, время и зона действия);
- фактическая скорость машины.
Система распознавания дорожных знаков непрерывно улучшается и расширяется, в ее базе появляются новые знаки, такие как запрещение обгона и одностороннее движение. Для лучшего восприятия обстановки в сложных метеорологических условиях камера дополняется инфракрасным прожектором.
Чем это хорошо, и что в этом плохого?
То, что подобная система распознавания дорожных знаков может оказаться полезной водителю, не вызывает сомнений. Все, что облегчает его труд, помогает управлению и обеспечивает безопасность, должно оцениваться только положительно. Однако не стоит возлагать на это устройство слишком больших надежд, во всяком случае, пока.
Дело в том, что система зачастую не способна правильно идентифицировать знак.
Когда он завален, криво установлен, или плохо читаем, то устройство его просто не видит. В то же время и скорость движения машины влияет на распознавание изображения. Чем она выше, тем хуже или с большей задержкой начинает работать такое изделие.
Кроме того, не стоит забывать о ложных срабатываниях. Отмечены случаи, когда изображения, нанесенные на другие транспортные средства, движущиеся в попутном направлении (на автобусах, грузовиках), воспринимаются системой как ограничения, и она при этом выдает соответствующее предупреждение.
Такое устройство, как система, распознающая дорожные знаки, несомненно может считаться полезным на автомобиле, но на него не стоит слишком полагаться. В любом случае, ответственность за безопасность движения несет водитель, да и штраф за превышение скорости платить придется именно ему.
