Logistyka.net.pl

Zastosowanie dwukamerowej akwizycji sekwencji wideo do rozpoznawania numerów tablic rejestracyjnych pojazdów z wykorzystaniem techniki superrozdzielczości

Superrozdzielczość, Inteligentne Systemy Transportowe, Rozpoznawanie tablic rejestracyjnych

Krzysztof OKARMA
Przemysław MAZUREK

ZASTOSOWANIE DWUKAMEROWEJ AKWIZYCJI SEKWENCJI WIDEO DO ROZPOZNAWANIA NUMERÓW TABLIC REJESTRACYJNYCH POJAZDÓW Z WYKORZYSTANIEM TECHNIKI SUPERROZDZIELCZOŚCI
W artykule przedstawiono wyniki eksperymentów związanych z wykorzystaniem techniki superrozdzielczości w celu poprawy jakości obrazu służącego do rozpoznawania numerów tablic rejestracyjnych pojazdów w ruchu. Zaproponowano system akwizycji oparty na dwóch kamerach obróconych względem siebie, dzięki czemu uzyskano poprawę czytelności numerów tablic rejestracyjnych po zastosowaniu algorytmu superrozdzielczości. Uzyskane wyniki zostały porównane z efektami zastosowania tej samej łącznej liczby klatek zarejestrowanych przez pojedynczą kamerę lub dwie kamery bez obrotu wokół osi optycznej. Proponowana metoda może być wykorzystana w Inteligentnych Systemach
Transportowych w celu poprawy wiarygodności identyfikacji pojazdów oddalonych od kamery dokonywanej z wykorzystaniem technik analizy obrazu.

APPLICATION OF THE TWO-CAMERAS VIDEO SEQUENCE ACQUISITION FOR THE VEHICLES’ REGISTER PLATES’ NUMBER RECOGNITION WITH THE USE OF THE SUPERRESOLUTION TECHNOLOGY
In the paper some experimental results are presented, which are related to the use of the superresolution technology for the quality improvement of the image used for further register plates’ numbers recognition of the moving vehicles. Proposed video acquisition system is based on two-cameras rotated relatively to each other, which resulted in the improvement of the improving the readability of plates’ numbers after the application of the superresolution algorithm. Obtained results have been compared with the effects of applying the same total number of frames acquired by a single camera or two cameras with no rotation around the optical axis. The method proposed in the paper can be used in
Intelligent Transportation Systems to improve the reliability of identification of vehicles in long distances from the camera performed using image analysis techniques.
Wyższa Szkoła Techniczno-Ekonomiczna w Szczecinie, Wydział Transportu Samochodowego; 71-244 Szczecin; ul. Klonowica 14. Tel: +48 91 424-08-75, Fax: +48 91 424-08-76 E-mail: okarma@wste.szczecin.pl, mazurek@wste.szczecin.pl

2108

Krzysztof OKARMA, Przemysław MAZUREK

1. WSTĘP
Jednym z najczęściej stosowanych w Inteligentnych Systemach Transportowych [2,12] rozwiązań bazujących na analizie obrazów jest automatyczne rozpoznawanie numerów tablic rejestracyjnych pojazdów. Jest to zadanie, które jest z powodzeniem wykonywane dla obrazów o stosunkowo wysokiej rozdzielczości, często pozwalającej nawet na poprawne rozpoznanie numeru rejestracyjnego na podstawie obrazu naklejki na przedniej szybie pojazdu. Ma to oczywiście duże znaczenie w wypadku częściowo przesłoniętych lub zabrudzonych tablic, a także dla gęstego ruchu miejskiego, w którym tablica może być przesłonięta przez tył poprzedzającego pojazdu o znacznej wysokości w wypadku typowego zamontowania kamery bezpośrednio nad drogą.
W celu poprawnego rozpoznania numeru składającego się z ciągu znaków (liter oraz cyfr) mogą być wykorzystane różne podejścia m.in. bazujące na analizie deskryptorów kształtów, analizie komponentów głównych, czy też wykorzystujące sztuczne sieci neuronowe. Jednakże poprawne rozpoznanie znaków uwarunkowane jest w znacznej mierze jakością obrazu zarejestrowanego przez kamerę, a ściślej jakością fragmentu obrazu reprezentującego tablicę rejestracyjną. W szczególności ma to istotne znaczenie dla rejestracji obrazu ze znacznej odległości od drogi, kiedy tablica rejestracyjna jest reprezentowana przez stosunkowo niewielką liczbę pikseli na obrazie.
Jedną z możliwości poprawy jakości obrazu wykorzystywanego przez algorytmy rozpoznawania znaków jest wykorzystanie techniki superrozdzielczości wymagające jednak rejestracji co najmniej kilku lub kilkunastu klatek sekwencji wideo, na których widoczna jest tablica rejestracyjna pojazdu. W wypadku pojazdu w ruchu liczba klatek możliwych do zarejestrowania jest zależna nie tylko od możliwości kamery (zarówno pod względem możliwej prędkości akwizycji klatek, jak również prędkości ich transmisji bądź zapisu), ale również od prędkości poruszającego się pojazdu w polu widzenia kamery.
2. DWUKAMEROWY SYSTEM AKWIZYCJI DLA ALGORYTMU
SUPERROZDZIELCZOŚCI
Oczywistym, choć często kosztownym, rozwiązaniem pozwalającym na dodatkowe zwiększenie liczby zarejestrowanych obrazów jest montaż dodatkowej kamery. Przy wykorzystaniu podwójnej liczby klatek zawierających dodatkowe informacje dzięki przesunięciom obiektów na obrazach o niecałkowite wielokrotności rozmiarów pikseli możliwe jest efektywne wykorzystanie algorytmu superrozdzielczości. Ze względu na ruch pojazdu względem kamery takiego rodzaju przesunięcia występują również w wypadku akwizycji obrazów przez pojedynczą kamerę, dlatego większy „zysk” stanowią dodatkowe obrazy wejściowe aniżeli fakt, iż obrazy są rejestrowane z innego położenia kamery.
W szczególności dla obrazów rejestrowanych z większej odległości i kamerach zlokalizowanych obok siebie różnice są niewielkie, zwłaszcza dla kamer, które nie są wyzwalane w sposób wzajemnie zsynchronizowany. Biorąc pod uwagę potrzebę zapewnienia wzajemnych przesunięć tablic na poszczególnych obrazach o niecałkowite, najlepiej losowe, wielokrotności rozmiaru piksela, synchronizacja taka nie wydaje się uzasadniona.
Możliwości zastosowania algorytmów superrozdzielczości do poprawy wiarygodności wyników rozpoznawania numerów rejestracyjnych pojazdów w ruchu były rozpatrywane

ZASTOSOWANIE DWUKAMEROWEJ AKWIZYCJI SEKWENCJI WIDEO … we wcześniejszych publikacjach [5-9]. Głównymi zaletami techniki superrozdzielczości są niskie koszty stosowania oraz znaczna poprawa jakości obrazu w szczególności przy obserwacji odległych pojazdów. Technika ta znajduje również zastosowanie w śledzeniu ruchu pojazdów, które są reprezentowane na obrazie przez niewielką liczbę pikseli, co ma miejsce w wypadku rejestracji sekwencji wideo z jeszcze większej odległości od drogi [4].
W niniejszym artykule rozważony został wpływ kąta obrotu wokół osi optycznej kamer przy założeniu obserwacji pojazdów ze znacznej odległości. W tym celu dokonano obrotu zdjęć o stosunkowo wysokiej rozdzielczości wraz z losowymi przesunięciami w celu wygenerowania serii obrazów o zmniejszonej rozdzielczości. Przeanalizowane zostały dwie podstawowe konfiguracje tj. kamery o takim samym kącie obrotu względem drogi oraz obrócone względem siebie o kąt 45 stopni.
3. WERYFIKACJA EKSPERYMENTALNA
Badania eksperymentalne skuteczności techniki superrozdzielczości przeprowadzone zostały dla zestawu zdjęć pojazdów z widocznymi numerami tablic rejestracyjnych, które zostały zmniejszone ro rozmiarów uniemożliwiających poprawny odczyt numeru rejestracyjnego. Zestaw dziesięciu takich obrazów stanowił dane wejściowe do algorytmu superrozdzielczości z wykorzystaniem techniki projekcji wstecznej zaproponowanej przez
Irani i Pelega [1]. Obrazy oryginalne zamieszczone zostały na rysunku 1, natomiast uzyskane obrazy wejściowe o obniżonej rozdzielczości (wtórnie powiększone do celów prezentacji) przedstawiono na rysunku 2.

Rys.1. Przykładowe obrazy oryginalne wykorzystane w badaniach eksperymentalnych

2110

Krzysztof OKARMA, Przemysław MAZUREK

Rys.2. Przykładowe obrazy o obniżonej rozdzielczości wykorzystywane w algorytmie superrozdzielczości (połowa obrazów jest obrócona o kąt 45 stopni)
Analizując obrazy o obniżonej rozdzielczości uzyskane w wyniku obrotu warto zauważyć, iż pomimo tej samej rozdzielczości zawierają one inne informacje niż ich odpowiedniki zarejestrowane pod innym kątem względem tablicy rejestracyjnej pojazdu.
Dla pierwszych trzech pojazdów na obrazach obróconych nie jest widoczna lampa z lewej strony tablicy, natomiast dla obrazów czwartego pojazdu „obcięty” został fragment tablicy rejestracyjnej. Tego rodzaju braki informacji powodują oczywiście problemy z pasowaniem obrazów przez algorytm superrozdzielczości, w związku z czym przy lokalizacji kamer w analizowanym systemie dwukamerowym należy brać pod uwagę aspekt obrazu oraz położenie osi optycznych (decydujących o środku wzajemnego obrotu pozyskanych obrazów). Biorąc pod uwagę wyniki przedstawione we wcześniejszej publikacji [9] otoczenie tablicy rejestracyjnej pojazdu może stanowić istotny element decydujący

ZASTOSOWANIE DWUKAMEROWEJ AKWIZYCJI SEKWENCJI WIDEO … o dokładności pasowania obrazów w algorytmie superrozdzielczości. Tym niemniej w niniejszym artykule przeanalizowano sytuację mniej korzystną, w której część informacji obecnych na obrazach rejestrowanych pod kątem 90 stopni w stosunku do pionowych krawędzi tablicy rejestracyjnej zostaje „obcięta” na obrazach obróconych o kąt 45 stopni.

Rys.3. Wyniki uzyskane na podstawie 10 obrazów zarejestrowanych pod kątem 90 stopni względem pionowej krawędzi tablicy rejestracyjnej

Rys.4. Wyniki uzyskane na podstawie 5 obrazów zarejestrowanych pod kątem 90 stopni względem pionowej krawędzi tablicy rejestracyjnej i 5 obróconych o kąt 45 stopni

2112

Krzysztof OKARMA, Przemysław MAZUREK

Efekty działania algorytmu superrozdzielczości dla obu konfiguracji kamer rozpatrywanych w niniejszym artykule ilustrują rysunki 3 oraz 4. Pomimo wspomnianego braku części informacji wykorzystywanej w procesie pasowania na obrazach obróconych o kąt 45 stopni, obrazy uzyskane przy zastosowaniu wzajemnie obróconych kamer charakteryzują się lepszą czytelnością numerów rejestracyjnych, co niewątpliwie ułatwia ich automatyczne rozpoznawanie. Na niektórych obrazach przedstawionych na rysunku 4 widoczne są efekty zbliżone do zjawiska Moire’a, występujące w centralnych fragmentach obrazów, co jest szczególnie widoczne dla pojazdu z zagraniczną tablicą rejestracyjną.
Efekt ten jest spowodowany niedokładnym dopasowaniem obrazów obróconych względem siebie, co wynika m.in. ze wspomnianego braku części informacji.
4. WNIOSKI
Przedstawione w artykule wyniki potwierdzają wysoką skuteczność techniki superrozdzielczości w zastosowaniach związanych z poprawą jakości obrazów do celów ich automatycznej analizy w Inteligentnych Systemach Transportowych, w szczególności rozpoznawaniu numerów tablic rejestracyjnych na podstawie zarejestrowanej sekwencji wideo. Skuteczność działania tego rodzaju algorytmów uwarunkowana jest szeregiem czynników, z których warto wymienić liczbę obrazów wejściowych, ich rozdzielczość, a przede wszystkim obecność dodatkowych informacji w kolejnych klatkach sekwencji wideo, co jest możliwe wyłącznie przy przesunięciach tablicy rejestracyjnej o ułamkowe części piksela. Taka sytuacja jest jednak typowa dla pojazdu poruszającego się względem kamery, ponieważ zazwyczaj występuje wówczas względna zmiana rozmiaru całej tablicy oraz jej składowych elementów (poszczególnych znaków) na każdym z kolejnych obrazów (jeśli pojazd porusza się w stronę kamery lub oddala od niej), a także przesunięcia tablicy na obrazie wynikające z przemieszczania się pojazdu niezależnie od kierunku jego ruchu.
Na podstawie uprzednio publikowanych wyników [5,9] należy stwierdzić, iż poza wyżej wymienionymi czynnikami istotny wpływ na jakość wynikowego obrazu ma otoczenie tablicy rejestracyjnej, którego obecność na pasowanych obrazach może znacząco wpływać na jego dokładność. Ponadto, istotnym elementem jest kierunek rejestracji obrazu, związany z kątem obrotu kamery wokół jej osi optycznej względem krawędzi tablicy rejestracyjnej (w uproszczeniu względem powierzchni drogi zakładając, iż dolna krawędź tablicy jest do niej równoległa).
Biorąc pod uwagę fakt, iż obrót taki stanowi źródło dodatkowych informacji dla algorytmu superrozdzielczości, na analogicznej zasadzie, jak przesunięcia o ułamkowe części pikseli, pokazano przydatność zastosowania takiego obrotu kamery w systemie dwukamerowej akwizycji sekwencji wideo. Uzyskane wyniki są zadowalające, biorąc pod uwagę niewielką liczbę obrazów wejściowych, której zwiększenie pozwoliłoby na dalszą poprawę jakości uzyskiwanego obrazu. Należy jednak pamiętać, iż w rzeczywistych systemach ITS ze względu na prędkość poruszających się pojazdów, możliwa do akwizycji liczba klatek użytecznych w celu rozpoznania numeru tablicy rejestracyjnej poruszającego się pojazdu jest ograniczona.
W ramach dalszych badań przewiduje się przeanalizowanie wpływu kąta obrotu na uzyskiwane wyniki i podjęcie próby określenia optymalnej jego wartości. W tym celu należy wykorzystać obiektywne wskaźniki oceny jakości obrazu pozwalające na rzetelną ocenę uzyskiwanych wyników względem wzorcowego obrazu o wysokiej rozdzielczości i dobrej czytelności tablicy rejestracyjnej [7]. Wskaźnikami jakości pozwalającymi na

ZASTOSOWANIE DWUKAMEROWEJ AKWIZYCJI SEKWENCJI WIDEO … dokonanie takiej oceny mogą być np. podobieństwo strukturalne [11] lub inne nowoczesne miary jakości obrazów cyfrowych np. oparte na rozkładzie względem wartości szczególnych (dekompozycji SVD) [3,10].
5. BIBLIOGRAFIA
[1] Irani M., Peleg S.: Improving Resolution by Image Registration. Graphical Models and Image Processing, vol. 53, str. 231-239, 1991.
[2] Klein L.A.: Sensor Technologies and Data Requirements for ITS. Norwood, Massachusetts, Artech House ITS library 2001.
[3] Mansouri A., Mahmoudi-Aznaveh A., Torkamani-Azar F., Jahanshahi J.A.: Image quality assessment using the Singular Value Decomposition theorem. Optical Review vol. 16 no. 2, 2009, str. 49-53.
[4] Mazurek P., Okarma K.: Algorytmy superrozdzielczości w Inteligentnych Systemach
Transportowych do śledzenia odległych pojazdów, Logistyka nr 2/2010 str. 255-262 (CD-ROM LogiTrans)
[5] Mazurek P., Okarma K.: Alternatywna technika rejestracji obrazu tablic rejestracyjnych dla algorytmów superrozdzielczości. Logistyka nr 6/2010, str. 21552161 (CD-ROM TransComp)
[6] Okarma K., Mazurek P.: Techniki super rozdzielczości w systemach identyfikacji tablic rejestracyjnych pojazdów. Drogi - lądowe-powietrzne-wodne, no. 4/2009 str.
[7] Okarma K., Mazurek P.: Automatyczna ocena jakości obrazów uzyskiwanych technikami superrozdzielczości do celów rozpoznawania tablic rejestracyjnych, Logistyka nr 2/2010 str. 283-290 (CD-ROM LogiTrans)
[8] Okarma K., Mazurek P.: Improved register plate recognition method using multiple camera's image fusion. Rozdział w monografii “Computer Systems Aided Science and Engineering Work in Transport, Mechanics and Electrical Engineering”, Politechnika Radomska, 2008, str. 453-458
[9] Okarma K., Mazurek P.: Wykorzystanie otoczenia tablicy rejestracyjnej w procesie pasowania obrazów w algorytmach superrozdzielczości. Logistyka nr 6/2010, str.
2521-2528 (CD-ROM TransComp)
[10] Shnayderman A., Gusev A., Eskicioglu A.: An SVD-based gray-scale image quality measure for local and global assessment. IEEE Transactions on Image Processing vol.
15 no. 2, 2006, str. 422-429
[11] Wang, Z., Bovik, A., Sheikh, H., Simoncelli, E.: Image Quality Assessment: From
Error Measurement to Structural Similarity. IEEE Transactions on Image Processing, vol. 13, no. 4, str. 600-612, 2004
[12] Williams B.: Intelligent Transport Systems Standards, Artech House Publishers, 2008
6. PODZIĘKOWANIA
Artykuł powstał dzięki wsparciu w ramach grantu Ministerstwa Nauki i Szkolnictwa
Wyższego nr N509 399136 „Estymacja trajektorii ruchu pojazdów z wykorzystaniem analizy bayesowskiej oraz algorytmów cyfrowego przetwarzania obrazów“.