В статье рассматриваются различные подходы к построению автоматизированных систем распознавания и фиксации нарушений правил дорожного движения (ПДД), различные методы и алгоритмы детектирования автомобилей на видеоизображении, а также аппаратное обеспечение таких систем.
Каждый день, смотря телевизор, слушая радио, листая газету или пробегая взглядом по заголовкам новостей в Интернете, мы замечаем: на дорогах гибнут люди. Не десятками и сотнями, а тысячами и десятками тысяч. Ставшие привычными сообщения «машина сбила женщину с коляской», «при проезде на красный свет водитель сбил четверых пешеходов», «в автокатастрофе погиб известный актер (певец, спортсмен, политик и т.д.)» складываются в трагическую картину: «В России в год на дорогах гибнет население целого города». И это в мирное время! А если учесть число «просто» покалеченных людей и машин, объем работы, проводимый сотрудниками ГИБДД и другими службами? Материальный урон в размерах страны огромен.
Неслучайно данная проблема стала волновать высшую законодательную и исполнительную власть России: ужесточаются штрафы за нарушение ПДД, принимаются дополнительные законопроекты о введении ремней безопасности в автобусах дальнего следования. Однако необходим и более тщательный контроль над соблюдением ПДД. Данная обязанность практически полностью ложится на плечи сотрудников ГИБДД: им приходится прятаться в кустах, выставлять затонированные автомобили без опознавательных знаков, в которых установлена камера и радар. Однако особых успехов такая «партизанская» тактика не приносит — увеличивается число автомобилей, увеличивается число нарушений. Какой же выход из данной ситуации можно предложить?
Решением проблемы роста числа нарушений может стать четкий, беспристрастный, круглосуточный контроль над проезжей частью. Необходимо выявлять каждое нарушение и не оставлять его безнаказанным. Именно такая функция возлагается на автоматические системы регистрации нарушений ПДД.
Принципы работы систем
Современный уровень развития технологий анализа видеоизображения позволяет по-новому взглянуть на обеспечение безопасности на автомобильных дорогах. В настоящее время широко применяются автоматические комплексы на основе радиорадара для определения превышения скорости и видеокамеры для фиксации нарушителя и распознавания автомобильного номера. Недостатки таких систем хорошо известны: они детектируются «антирадаром», а также могут выдавать некорректные результаты при проезде участка дороги одновременно несколькими автомобилями.
Для преодоления второго недостатка радар устанавливают над проезжей частью и наклоняют вниз под достаточно большим углом. В результате на полосе движения можно выделить небольшое «пятно», после проезда которого автомобилем радар выдает скорость. В случае превышения скоростного режима производится съемка изображения автомобиля и распознавание его номерного знака. При такой организации системы вероятность ошибки сводится к минимуму. Однако она существует: еще не закончен судебный процесс против ГИБДД, выписавшей штраф водителю, якобы ехавшему на «девятке» со скоростью 277 км/ч. В данном случае необходимо сотрудникам ГИБДД более ответственно отнестись к подписыванию протоколов, выданных системой.
Существуют также системы для определения строго определенных видов нарушений:
- пересечение сплошной и двойной сплошной;
- запрещенный поворот и запрещенный проезд прямо;
- выезд на встречную;
- проезд на запрещающий сигнал светофора;
- стоянка в неположенном месте.
Например, для определения пересечения сплошной разделительной линии на участке проезжей части устанавливается стационарная видеокамера с программным обеспечением для распознавания номера. Камера имеет небольшой угол обзора и направлена на середину разделительной линии таким образом, чтобы в кадр не попадали номера автомобилей, едущих по своей полосе. Таким образом, любой распознанный номер обязательно принадлежит нарушителю. Перечислим недостатки систем данного типа:
- узкая специализация, список определяемых нарушений ограничивается пересечением сплошных, неправильным перестроением, запрещенным обгоном;
- захват очень маленького участка дороги (до 5 м), что достаточно критично для некоторых типов нарушений;
- высокие требования к количеству оборудования: для охвата протяженного участка дороги необходимо устанавливать несколько видеокамер.
Таким образом, данный подход вполне оправдан на небольших участках дороги, на которых часто происходят правонарушения. Что же делать, если необходимо фиксировать нарушения ПДД на более протяженных участках и не устанавливать при этом множество дорогостоящего оборудования?
Решение данной проблемы стало возможным благодаря одновременному прогрессу в области машинного зрения и техники. Современные алгоритмы анализа видеоизображения позволяют в реальном времени выделять из видеопотока автомобили и анализировать их движение. С технической стороны, необходимы видеокамеры, способные круглосуточно и во всех условиях освещенности выдавать четкое и ясное изображение, а также быстрое поворотное устройство для наведения камеры на номер нарушителя для последующего распознавания.
Рассмотрим систему (рис. 1), состоящую из одной стационарной видеокамеры для обнаружения нарушений ПДД, видеокамеры, снабженной поворотным устройством, для наведения на номер нарушителя и его распознавания, а также обычного персонального компьютера, который выполняет анализ дорожной обстановки, распознавание номеров и вычисляет необходимое положение поворотной камеры.
Рис. 1. Структура системы фиксации нарушений ПДД
Анализ дорожной обстановки
Итак, стационарная видеокамера устанавливается над проезжей частью на столбе или здании таким образом, чтобы охватывать интересующий участок дороги. Изображение с данной камеры поступает на компьютер для анализа текущей дорожной обстановки. Анализ происходит в 4 этапа:
- Выделение на каждом кадре участников дорожного движения (объектов интереса): автомобилей и пешеходов.
- Межкадровое сопровождение найденных объектов.
- Анализ поведения участников дорожного движения в соответствии с ограничениями ПДД, действующими на данном участке дороги.
- В случае обнаружения нарушения подача соответствующего сообщения, а также предсказание будущего положения нарушителя на кадре.
Рассмотрим подробнее каждый из этих пунктов.
Для выделения обнаружения автомобилей и пешеходов существует множество методов и алгоритмов:
- методы на основе алгоритма вычитания фона и последующей сегментации и распознавания областей переднего плана (background subtraction and blob tracking);
- алгоритмы на основе непосредственного распознавания объектов, такие как метод усиления слабых классификаторов (boosting), предложенный впервые Виолой и Джонсом, машина опорных векторов (support vector mashine), нейросетевые методы и др.;
- выделение на изображении и последующая сегментация некоторых особых точек (feature points), которые имеют локальные перепады градиента яркости и другие характеристики, способствующие их идентификации на последующих кадрах. Отслеживаются такие точки с помощью различных алгоритмов: анализ оптического потока (optical flow), SIFT, SURF и т.д.;
- контурный анализ, позволяющий искать на изображении границы контрастных областей (например, Canny edge detector) и анализировать их.
Все перечисленные группы методов имеют свои достоинства и недостатки и могут применяться в комплексе. Однако итоговый алгоритм должен удовлетворять следующим требованиям:
- n устойчивая работа в сложных погодных условиях (снег, дождь);
- отсечение теней;
- отсечение света фар в темное время суток;
- инвариантность относительно освещения;
- компенсация дрожания кадра.
В конкретных условиях могут добавляться другие, специфичные требования. Например, способность работы без искусственного освещения в темное время суток или возможность анализировать изображения, поступающие от тепловизора.
Межкадровое связывание в большей степени зависит от выбранного алгоритма обнаружения участников дорожного движения. Это может быть как сравнение на основании размеров, формы, цвета, гистограмм, других характеристик и дескрипторов объектов. Важно отметить необходимость разрешения коллизий при визуальном перекрытии образов объектов. Например, не терять легковой автомобиль, скрывшийся на некоторое время за автобусом.
Отдельно стоит отметить способы сглаживания или постобработки траектории обнаруженных объектов. Основных способов два: линейная фильтрация с помощью фильтра Кальмана (Kalman filter) и нелинейная фильтрация с помощью фрагментного фильтра (particle filter). Фильтр Кальмана более прост, имеет меньшую вычислительную сложность и идеально подходит для обработки траекторий на прямолинейных участках дороги, а также участках с постоянной кривизной. Фильтр Кальмана можно также использовать для контроля над размером сопровождаемого автомобиля.
Нелинейная фильтрация применяется в случае более сложного движения. Например, фрагментный фильтр применяется для автоматического отслеживания футболистов на поле.
Анализ поведения участников дорожного движения осуществляется в соответствии с ограничениями, накладываемыми ПДД на контролируемом участке дороги. Ограничения накладываются администратором системы совместно с сотрудником ГИБДД. Форма задания ограничений от системы к системе, как правило, не различается и включает в себя нанесение на изображении со стационарной камеры:
- границы проезжей части;
- полос движения и направление движения;
- разметки (прерывистая, сплошная, двойная сплошная);
- направлений запрещенного поворота и запрещенного проезда;
- области запрещенной стоянки;
- настройки датчиков, сигнализирующих о смене сигнала светофора.
При анализе траектории движения участников дорожного движения система учитывает введенные ограничения и в случае обнаружения нарушения выдает сообщение о нарушении и его параметры. Параметры (характеристики) нарушения делятся на внешние и внутренние. К внешним параметрам относятся: тип, время обнаружения, место нарушения.
Внутренние характеристики содержат текущее положение объекта на кадре, его тип, скорость, размеры, а также будущие, предсказанные, координаты объекта с учетом характера его движения. Предсказание координат может осуществляться как на основании сведений о нарушении (например, при выезде на встречную автомобиль гарантированно какое-то время будет двигаться прямолинейно и равноускоренно), так и с помощью различных математических методов (регрессионный анализ, анализ временных рядов и т.д.).
Распознавание номера нарушителя
Полученные координаты будущего положения автомобиля необходимы для наведения поворотной камеры на нарушителя и распознавания номерного знака.
Для перевода двумерных координат изображения (строка и столбец, пикселы) в трехмерные координаты поворотной камеры (поворот, наклон, фокусное расстояние) необходимо каким-либо образом установить соответствие между ними. Для нахождения такого соответствия используют внутреннюю и внешнюю калибровки камер, механизм которых известен и подробно описан, практически, во всех учебниках по компьютерному зрению.
Так как автомобиль нарушителя может двигаться с достаточно высокой скоростью, то поворотный механизм камеры должен обеспечивать максимально высокую скорость наведения. На сегодняшний день практически каждое поворотное устройство удовлетворяет данному требованию. Дополнительным условием при выборе поворотного устройства является поддержка получения и задания координат (не пресет-позиций!) для наведения. Такая возможность имеется, например, у устройств, поддерживающих семейство протоколов Fastrax.
Проблемы же возникают с недостаточно быстрой фокусировкой камеры на номере проезжающей с высокой скоростью машины: медленный zoom, огрехи автофокусировки приводят к размытию номера, что значительно снижает вероятность успешного распознавания. В связи с вышесказанным, необходимо отключать в свойствах видеокамеры автофокус и устанавливать его значение программно. Необходимо также правильно настроить скорость сработки электронного затвора камеры, чтобы изображение было одновременно и четким, и не слишком темным. А учитывая необходимость наличия быстрого оптического zoom’а, выбор подходящей камеры становится нетривиальным делом.
И вот, наконец-то, получено долгожданное изображение автомобиля нарушителя. Пора приступать к распознаванию номера. Рассмотрим обобщенную схему данного процесса, элементы которого в той или иной степени присутствуют в любой системе распознавания (рис. 2).
Вкратце рассмотрим каждый элемент приведенной схемы. Применение яркостных и контрастных фильтров, а также фильтров шумоподавления направлено исключительно на повышение вероятности нахождения области с номером на кадре. При этом нормализация яркости и повышение контраста изображения чаще всего строятся на анализе гистограммы. Шумоподавление, как правило, ограничивается исключением белого, гауссова шума. Данные алгоритмы весьма просты и хорошо освещены в литературе.
Для поиска номера на изображении существует гораздо больше вариантов, у каждого из которых есть как достоинства, так и недостатки:
- поиск прямоугольников и/или параллелепипедов определенной пропорции с помощью преобразования Хафа (Hough transform);
- поиск областей по цвету и текстуре;
- крупномасштабный вейвлет-анализ;
- использование классификаторов (Adaboost, SVM и т.д.);
- поиск по маске (размеры государственных номерных знаков известны).
Так как размер номера на кадре неизвестен, также как и расположение плоскости номера относительно фокальной плоскости камеры, необходимо произвести процедуру выравнивания. Так как уже известны четыре координаты положения углов номера и известно идеальное расположение номера для распознавания, то можно по данным соответствиям найти матрицу 3х3 гомографии. С помощью найденной матрицы мы преобразуем каждый пиксел найденного искаженного номера, в результате чего получаем прямоугольный номерной знак, готовый к дальнейшей обработке.
Бинаризация изображения номера необходима для разделения фона и символов. Так как цвет фона и освещенность номера заранее не известна, то для нахождения порога бинаризации следует использовать метод Оцу (Otsu). Операция математической морфологии — открытие с прямоугольным ядром позволит разъединить соприкасающиеся области, принадлежащие отдельным символам.
Для сегментации номера на символы можно использовать как простой итерактивный алгоритм на основе восьмисвязности, метод k-средних, так и любой другой, более сложный. На распознавании символов можно не останавливаться — тема очень широко освещена в литературе, имеется множество открытых библиотек. Ситуацию также облегчает стандартный, унифицированный шрифт по ГОСТу.
 |
 |
| Рис. 2. Общая схема распознавания номера | Рис. 3. Протокол нарушения |
Создание протокола
Все, символы распознаны, номер получен, необходимо выписывать протокол и отправлять нарушителю. Какие же данные для него требуются от нашей системы? Оказывается, это зависит от типа фиксируемого нарушения. Очевидно, что для всех нарушений необходимо знать место и время фиксации, а также распознанный номер. Рассмотрим различные типы нарушений и необходимые данные для каждого из них.
Один из вариантов протокола нарушения для запрещенного поворота показан на рис. 3. Информация о владельце автомобиля берется из базы данных ГИБДД.
1. Пересечение сплошной и двойной сплошной: кадр со стационарной камеры, сделанный в момент нарушения с нанесенной на нем траекторией движения автомобиля; кадр с поворотной камеры, с которого производилось распознавание номера; распознанный номер в текстовом виде; время, дата и место нарушения.
2. Запрещенный поворот и запрещенный проезд прямо: кадр со стационарной камеры, сделанный в момент начала запрещенного маневра с нанесенной на нем траекторией движения автомобиля; кадр со стационарной камеры, сделанный в момент нарушения с нанесенной на нем траекторией движения автомобиля; кадр с поворотной камеры, с которого производилось распознавание номера; распознанный номер в текстовом виде; время, дата и место нарушения.
3. Выезд на встречную и движение задним ходом: кадр со стационарной камеры, сделанный в момент нарушения с нанесенной на нем траекторией движения автомобиля; кадр с поворотной камеры, с которой производилось распознавание номера; распознанный номер в текстовом виде; время, дата и место нарушения.
4. Проезд на запрещающий сигнал светофора: кадр со стационарной камеры, сделанный в момент нарушения с нанесенной на нем траекторией движения автомобиля; кадр с поворотной камеры, с которой производилось распознавание номера; распознанный номер в текстовом виде; время, дата и место нарушения.
5. Стоянка в неположенном месте: кадры со стационарной и поворотной камер, сделанные в момент первоначального обнаружения автомобиля в зоне запрещенной стоянки; кадры со стационарной и поворотной камер, сделанные по истечении 5 минут с момента обнаружения автомобиля; кадр с поворотной камеры, с которой производилось распознавание номера; распознанный номер в текстовом виде; время обнаружения автомобиля, время истечения разрешенной остановки, дата и место нарушения.
Кроме перечисленного, для более весомой доказательной базы можно вести архивную видеозапись с видеокамер в момент обнаружения нарушения. В случае опротестования в суде результатов работы системы такой видеоархив поможет точно установить истину.
Заключение
Построение рассмотренной автоматической системы фиксации нарушений ПДД стало возможным в большей мере благодаря развитию современных методов и алгоритмов компьютерного зрения и роста производительности персональных компьютеров. Собранные воедино математические методы, программный код и технические средства позволяют создать интеллектуальную систему обеспечения контроля над безопасностью дорожного движения. При этом система оказывается невероятно гибкой и расширяемой во многих направлениях:
- с помощью всего двух камер возможно одновременно (!) фиксировать целый ряд нарушений на достаточно протяженном участке дороги;
- при установке только дополнительных стационарных видеокамер можно контролировать дорогу в нескольких направлениях;
- благодаря развитию IP-технологий, компьютер может находиться как в непосредственной близости от камер, так и за несколько километров от них в управлении ГИБДД;
- в темное время суток вместо стационарной видеокамеры на особенно проблемных участках дороги можно использовать тепловизор;
- если допускает дорожная обстановка, можно заменять поворотную камеру на стационарную мегапиксельную.
Удачи на дорогах!
