6. SEGMENTAREA SPAIAL A CADRELOR VIDEO Scopul acestui capitol este familiarizarea cu informaiile de baz referitoare la segmentarea spaial a cadrelor video în zone omogene, obiecte i regiuni semantice. O imagine digital poate fi reprezentat ca o funcie I x, y, z în care parametrii x i y indic poziia pixelului în imagine iar parametrul z indic tipul imaginii (monocromatic sau color). Pentru imagini monocromatice, z 1, funcia ce caracterizeaz imaginea va fi I x, y i fiecare pixel al imaginii va fi caracterizat de o singur valoare. În cazul imaginilor color, z 1 (de obicei z 3 ), fiecare pixel va fi caracterizat de 3 sau mai multe valori. Segmentarea spaial înseamn gruparea pixelilor alturai în grupuri omogene pe baza caracteristicilor determinate din valorile pixelilor imaginii. Rezultatele segmentrii pot fi utilizate în diferite aplicaii precum recunoaterea feelor; identificarea de obiecte; supraveghere video; prelucrarea imaginilor medicale; recunoatere amprente; localizarea obiectelor în imagini din satelit. Datorit multitudinii de aplicai în care este utilizat i a faptului c nu a fost descoperit nici o metod de segmentare universal, au fost dezvoltate numeroase metode de segmentare cu diferite grade de complexitate i diferite modaliti de grupare a pixelilor. În continuarea acestui capitol sunt prezentate în detaliu elementele principale utilizate în operaiile de segmentare i cele mai importante metode de segmentare spaial cu avantaje i dezavantaje. 6.1. Introducere Segmentarea video spaial reprezint partiionarea unei imagini digitale sau a unui cadru video într-un set de zone omogene disjuncte cu proprietatea c reuniunea tuturor zonelor are ca rezultat întreaga imagine/cadru. Aceste regiuni corespund unor arii percepute ca fiind uniforme.
88 Analiza i prelucrarea digital a semnalelor video Scopul segmentrii este de a simplifica i schimba modul de reprezentare a unei imagini într-un mod de reprezentare cu semnificaie pentru utilizatori i într-o form care poate fi mai uor de analizat. Segmentarea video este utilizat de obicei pentru localizarea obiectelor i a limitelor acestora în imagini. Mai precis, segmentarea video este procesul de atribuire a unei etichete fiecrui pixel dintr-o imagine astfel încât pixelii care au aceeai etichet au anumite caracteristici vizuale comune. Operaia de segmentarea a imaginilor are ca rezultat un set de segmente care împreun acoper întreaga imagine sau un set de contururi extrase din imagine, aa cum este cazul deteciei marginilor. Fiecare dintre pixelii unei regiuni sunt similari în raport cu anumite caracteristici sau proprieti, precum culoare, intensitate sau textur. De asemenea, regiunile adiacente sunt diferite în raport cu aceleai caracteristici. Cel mai bun exemplu de segmentare, în care rezultatul este un mod de reprezentare mai simplu, îl constituie cuantizarea valorilor pixelilor dintr-o imagine. De exemplu, dac se lucreaz cu o imagine monocromatic cu valorile intensitii pixelilor reprezentate pe 8 bii, adic între 0 i 255, prin cuantizare pe 4 bii, pixelii care aveau iniial intensitatea într-un anumit interval vor avea aceeai valoare i vor aparine aceleiai regiuni [39]. Operaia de segmentare este necesar atât pentru detectarea obiectelor coninute în imagini sau secvene video, cât i pentru extragerea unor caracteristici sau descriptori de nivel inferior, precum descriptorul culorilor dominante. Majoritatea aplicaiilor care urmresc caracterizarea sau descrierea imaginilor din punct de vedere semantic vor avea inclus o etap de pre-procesare a imaginilor, etap în care segmentare nu va lipsi. Exist numeroase metode de segmentare a imaginilor ca rezultat al faptului c nu s-a gsit o metod general care s asigure rezultate suficient de bune pe toate tipurile de imagini. De aceea s-au dezvoltat foarte multe metode specifice pentru anumite aplicaii. 6.2. Segmentarea imaginilor monocromatice Cele mai simple metode i primele dintre metodele de segmentare sunt cele pentru imaginile cu nivele de gri. Dintre acestea pot fi menionate: segmentarea manual, segmentarea cu detecie de prag, segmentarea pe baza detecie marginilor, segmentarea pe baza texturii, etc. 6.2.1. Segmentarea manual În cazul segmentrii manuale obiectele video semantice sunt selectate direct de utilizator [40]. Aceast metod permite definirea perfect a limitelor obiectelor, îns necesit un interval de timp relativ mare pentru realizare. Cu toate acestea segmentarea manual este preferat pentru aplicaii specifice, precum produciile de film de calitate ridicat. Este folosit, de asemenea, pentru crearea unor segmentri de referin necesare în vederea evalurii tehnicilor de segmentare automate sau semi-automate.
6. Segmentarea spaial a cadrelor video 89 Figura 6.1. Segmentare manual: imaginea original, contururile obinute prin segmentarea manual, imaginea segmentat. 6.2.2. Segmentarea cu prag Segmentarea cu prag este una dintre cele mai utilizate metode de segmentare a unei imagini datorit simplitii sale [41]. Aceast metod de segmentare spaial a imaginilor reprezint transformarea unui semnal de intrare monocrom f într-un semnal de ieire binar, pentru care pixelii g(i,j,t) sunt clasificai ca aparinând prim-planului dac f(i, j,t ) > T sau aparinând fundalului dac f (i, j,t ) <= T, unde T este pragul de comparaie. Este util pentru imaginile monocrome dac obiectele nu se ating i dac nivelele de gri ale obiectelor sunt distincte de cele ale fundalului. Rezultatele segmentrii cu detecie de prag depind de alegerea valorii de prag. Selectarea corect a pragului este esenial în procesul de segmentare. Dac exist informaii cunoscute a priori selectarea pragului pentru segmentare devine mai simpl. Metoda de selectare a pragului numit p-tile folosete informaia a priori referitoare la raportul p dintre aria ocupat de obiecte i aria ocupat de fundal. Folosind histograma imaginii pragul T este selectat ca astfel încât 1/p din cadru va avea valori mai mici decât T, iar restul va avea valori mai mari decât T. Acest tip de informaie cunoscut a priori nu este îns disponibil în multe situaii. Alte metode de selectare a pragului folosesc analiza formei histogramei cadrului. Dac un cadru este format din obiecte care au nivele de gri apropiate i care difer de nivelul de gri al fundalului, atunci histograma cadrului respectiv va fi bi-tonal. Pragul de comparaie va fi determinat ca minimul dintre maximele locale ale histogramei. Metodele de segmentare cu detecie de prag optime aproximeaz histograma folosind o sum ponderat de dou sau mai multe densiti de probabilitate cu distribuie normal. Pragul este selectat ca valoarea nivelului de gri corespunztor probabilitii minime dintre maximele distribuiei normale. În cazurile practice îns imaginile au pixeli cu valori destul de variate, astfel încât detecia unui minim dintre maxime nu este uor de realizat. Ideal ar fi s existe o metod de selecie a pragului care s nu depind de cunoaterea apriori a imaginii i care s funcioneze i pentru imagini cu zgomot.
90 Analiza i prelucrarea digital a semnalelor video a) b) Figura 6.2. Segmentare cu prag determinat prin histograma: a) imaginea original; b) imaginea segmentat. Cea mai simpl modalitate de selecie a valorii de prag este selecia valorii medii sau a valorii mediane, explicaia pentru aceast alegere fiind aceea c dac pixelii obiectelor au valori mai mari decât pixelii fundalului, atunci vor avea valori mai mari i decât valoarea medie. Aceast alegere va conduce la rezultate bune doar pentru imagini fr zgomot i în care atât fundalul, cât i obiectul sunt uniforme din punctul de vedere al culorii pixelilor. 6.2.3. Compararea obiectelor Compararea este folosit pentru localizarea unor obiecte cunoscute într-un cadru al unei secvene video. Scopul este de a identifica obiectele similare cu un obiect cunoscut sau de a determina apariia unui obiect în cadre video succesive. Algoritmii de comparare localizeaz toate obiectele dintr-un cadru care sunt copii ale obiectului cunoscut i folosesc pentru aceasta un criteriu de comparaie pentru a determina similitudinea dintre obiectul cunoscut i regiuni ale cadrului dat. Cel mai simplu criteriu de comparaie este compararea perfect, caz în care se obin obiecte identice cu obiectul cunoscut. De obicei îns, în secvenele video, obiectele sunt afectate de zgomot, distorsiuni geometrice, ocluzii, etc. De aceea este mai util cutarea regiunilor cu grad maxim de identificare. Cei mai simpli algoritmi de comparare a obiectelor nu permit transformri geometrice, adic obiectul cutat trebuie s aib aceeai dimensiune i aceeai orientare cu obiectul cunoscut. O soluie simpl a acestei probleme este scalarea i rotirea obiectului pentru a obine toate dimensiunile i orientrile posibile. Aceast soluie este îns foarte complex. O alternativ mai eficient o reprezint divizarea obiectului în pri conectate între ele cu legturi elastice. Scopul acestei reprezentri este de a identifica parial regiunile obiectului în locaii care cauzeaz for elastic minim în legturi. Acest concept a fost folosit de Umeki i Mizutani i este cunoscut ca Dynamic Link Matching (DLM). Compararea obiectelor este metoda de segmentare cea mai eficient în cazul în care exist un obiect cunoscut. Dezavantajul acestei metode este consumul mare de timp.
6. Segmentarea spaial a cadrelor video 91 6.2.4. Segmentarea bazat pe muchii Segmentarea bazat pe muchii folosete acele muchiile depistate/identificate prin detecia de muchii. Muchiile pot fi combinate în lanuri care corespund marginilor din cadru. Scopul final este gruparea acestora în lanuri de muchii care corespund obiectelor existente în imagine [42]. În cazuri foarte simple identificarea muchiilor prin detecie de prag poate duce la obinerea muchiilor obiectelor fr nici un fel de informaie apriori. Detecia de prag este folosit pentru a elimina muchiile mici rezultate din zgomotul de cuantizare, iregulariti ale luminozitii, etc. De cele mai multe ori pentru secvenele video reale aceast abordare este afectat de sub-segmentare sau supra-segmentare. Se poate aduce o îmbuntire dac se iau în considerare relaiile dintre o muchie i muchiile vecine (de ex.: dac o muchie de valoare mic este poziionat între dou muchii de valori mari, atunci este foarte probabil ca aceea muchie s fie din interiorul unui obiect. Pe de alt parte, dac o muchie nu are alte muchii în apropiere, probabilitatea ca ea s fac parte din marginea unui obiect este mic). În cazurile în care exist informaii apriori referitoare la margini se pot aplica metode generale de detecie, precum: metode bazate pe graf-uri sau programare dinamic. Un graf este o structur format dintr-un set de noduri i valorile ponderate ale arcurilor dintre ele. Problema deteciei de margini este transformat într-o problem de determinare a cii optime între noduri. Scopul acestei metode este identificarea cii optime între punctele cunoscute prin minimizarea unei funcii de cost determinate ca suma ponderilor arcurilor. Programarea dinamic folosete aceeai idee de detecie a cii optime, îns are proprietatea de cutare simultan a cilor pentru cazul în care se cunosc mai multe puncte de start i de stop. Aceast abordare conduce la rezultate mai bune în cazurile în care localizarea nodurilor nu este cunoscut precis. Transformata Hough ofer o soluie bun în detectarea obiectelor în cazul ocluziilor pariale [43]. Aceasta permite identificarea formelor dintr-o imagine prin recunoaterea formelor locale într-un spaiu transformat. Dei a fost definit iniial pentru detecia liniilor drepte i a curbelor folosind ecuaii analitice ale marginilor obiectului, transformata Hough generalizat poate fi utilizat pentru a detecta obiecte chiar i în cazurile în care nu se cunosc expresiile analitice ale marginilor. În concluzie metodele de segmentare bazate pe detecia muchiilor ofer contururi precise ale obiectelor dac exist informaie apriori. Dezavantajul acestor metode cost în sensibilitatea ridicat la zgomot. Datorit necesitii existenei informaiei apriori i faptului c este necesar intervenia utilizatorului pentru iniializare algoritmilor (definirea manual a contururilor aproximative, a unor puncte ale contururilor, etc.), aceste metode pot fi numite metode semi-automate. 6.2.5. Segmentarea bazat pe regiuni Metodele de segmentare bazate pe regiuni sunt folosite pentru detecia direct a regiunilor ocupate de obiecte. Ideea de baz a acestor metode este împrirea imaginii în zone cu omogenitate maxim i apoi selectarea zonelor care corespund unor obiecte. Criteriul de omogenitate se refer la nivele de gri, culoare, textur, form, informaie semantic, etc.
92 Analiza i prelucrarea digital a semnalelor video În general metodele bazate pe regiuni pot fi clasificate în dou mari categorii: region growing ( creterea de regiuni ) i split-and-merge ( împrire i reunire ). În algoritmii de tipul region growing exist unul sau mai muli pixeli de start i prin aplicarea diferitelor strategii sunt create regiuni omogene pornind de la fiecare pixel dat. Mecanismul de baz al tuturor metodelor de tipul region growing este urmtorul: se pornete de la un pixel iniial i se cresc regiunile prin adugare de pixeli pan se parcurge întreaga imagine. Este nevoie de un algoritm de dezvoltare a regiunilor i un criteriu de omogenitate. O regul simpl de dezvoltare consider toi pixelii vecini folosind conectivitate 4 sau conectivitate 8. Alte variante sunt folosirea de blocuri sau ferestre de cutare [44]. În cazul metodelor split-and-merge se pornete de la regiuni neuniforme, se împart aceste regiuni în fragmente uniforme i apoi se aplic diferite strategii de reunire a acestor regiuni pentru a obine obiecte. Structura de tipul quadtree este cea mai utilizat structur în algoritmii split-and-merge datorit simplitii i a eficienei de calcul. Quadtree este un arbore în care fiecare nod are exact patru descendeni. Rdcina arborelui reprezint întreaga imagine i fiecare frunz reprezint o regiune omogen. Împrirea i reunirea regiunilor corespund crerii sau tergerii componentelor arborelui. Reunirea zonelor alturate este permis dac este satisfcut criteriul de omogenitate. Metodele de segmentare bazate pe detecia de regiuni sunt în general utile pentru imaginile cu zgomot în care marginile obiectelor sunt mai greu de detectat. Dar exist cazuri în care datorit selectrii ne optimale a parametrilor algoritmilor se obine sub-segmentare sau supra-segmentare. De aceea este necesar o etap de post-procesare pentru îmbuntirea rezultatelor. 6.2.6. Segmentarea bazat pe micare Metodele de segmentare bazate pe micare detecteaz regiuni corespunztoare obiectelor aflate în micare precum vehicule sau oameni. O abordare important pentru acest tip de segmentare este detecia modificrilor suferite de imagine [45]. Aceast problem are ca scop identificarea unui set de pixeli corespunztori diferenelor dintre dou cadre ale aceleiai scene. Modificrile nesemnificative, precum cele cauzate de variaii ale luminii, zgomot, etc., trebuie eliminate. Procesul de detecie a modificrilor are trei etape: preprocesare, aplicarea unei reguli de decizie i post-procesare. Unele metode folosesc toate trei etapele simultan, în timp ce altele pot s nu realizeze pre-procesarea sau post-procesarea. Un pas important în etapa de pre-procesare este alinierea perechii de imagini în acelai cadru de coordonate. Acest pas are un rol important în special în cazurile în care camera de captur este în micare. Estimarea micrii camerei este, de obicei, urmat de controlul camerei sau de compensarea micrii globale. În unele cazuri cele dou operaii de estimare/compensare a micrii i detecia modificrilor sunt realizate împreun. Primele încercri de definire a unor metode de detecie a modificrilor invariante la luminozitate foloseau intensitatea normat a imaginilor. Intensitatea pixelilor din cea de-a doua imagine era normat pentru a avea aceeai medie i aceeai variana ca intensitatea pixelilor primei imagini.
6. Segmentarea spaial a cadrelor video 93 Regula de decizie a algoritmilor de detecie a modificrilor imaginilor este procesul prin care se decide dac un pixel s-a modificat sau nu. Se poate aplica pentru fiecare pixel în parte sau pentru blocuri de pixeli. A doua abordare este mai robust la zgomot. Cea mai simpl regul de decizie este diferenierea: se determin matricea diferen dintre cele dou imagini, apoi prin compararea matricei diferen cu o valoare de prag se determin masca de modificare binar. Pentru secvenele video color se folosete distana euclidian dintre pixeli. Exist i alte abordri pentru segmentarea pe baza micrii. Segmentarea pe baza fluxului optic este o alt metod de segmentare pe baza micrii i folosete caracteristicile vectorilor de flux în timp pentru a detecta obiecte aflate în micare. Exist i metode bazate pe abordri probabilistice. Segmentarea pe baza micrii este utilizat pentru detecia automat a obiectelor aflate în micare din secvenele video. Cele mai utilizate sunt metodele care folosesc detecia modificrilor deoarece sunt rapide i adecvate pentru aplicaiile în timp real. Dezavantajul acestor metode îl constituie sensibilitatea la variaia luminanei i la zgomot. Dintre toate metodele de segmentare prezentate au fost alese pentru studiu metodele de segmentare bazate pe regiuni. Acestea sunt prezentate în detaliu în continuarea acestui capitol. 6.3. Segmentarea imaginilor color Metodele simple de segmentare definite pentru imaginile cu nivele de gri au fost extinse i pentru imaginile color. Rezultatele depind i în acest caz de particularitile imaginilor i de aplicaiile în care este folosit segmentarea. Figura 6.3. Exemple de segmentare cu detecie de prag: imaginea original, imaginea segmentat cu valoarea medie, imaginea segmentat cu valoarea median
94 Analiza i prelucrarea digital a semnalelor video Un caz particular al segmentrii este segmentarea video bazat pe obiecte. Aceasta este util pentru caracterizarea imaginilor din punct de vedere semantic. Scopul segmentrii video bazat pe obiecte este acela de a împri o imagine sau un cadru al unei secvene video în seciuni care au o legtur strâns cu obiecte sau zone din lumea real. Cele mai utilizate tehnici de segmentare video sunt: segmentarea manual, compararea, segmentarea cu detecie de prag, segmentarea bazat pe detecia de muchii, segmentarea bazat pe detecia de regiuni i segmentarea bazat pe micare. 6.3.1. Spaii de culoare Spaiul de culoare RGB (Red = rou, Green = verde, Blue = albastru) este un model de culori, în care luminile albastre, roii i verzi sunt amestecate în diferite moduri pentru a produce toat gama de culori [46]. Principalul scop al spaiului de culoare RGB este de a reprezenta imagini pe sistemele electronice, cum ar fi televizoarele i computerele, dei a fost folosit i în fotografie. Înainte de era electronic, modelul RGB era mai puin cunoscut, el fiind folosit în principal în biologie pentru percepia uman a culorilor. RGB este o palet de culori dependent de dispozitive: dou monitoare diferite pot reprezenta o anumit valoare RGB diferit, deoarece rspunsul elementului chimic ce provoac culoarea difer de la productor la productor sau chiar la acelai dispozitiv, odat cu trecerea timpului. Astfel o valoare RGB nu definete aceeai culoare pe toate dispozitivele fr un management eficient al culorilor. Dispozitivele de intrare tipice RGB sunt camere de filmat, scanerele i aparatele de fotografiat, iar cele de ieire sunt televizoarele (CRT, LCD, plasme, etc.), monitoare, ecranele telefoanelor mobile, proiectoarele video, displayurile cu LED-uri multicolore. Spaiul de culoare HSV (Hue, Saturation, Value) a fost creat ca un spaiu de culoare perceptual în anul 1978 [47]. Similar spaiului de culoare RGB, modelul HSV este constituit din 3 componente: Hue reprezint nuana (tipul culorii) i are valori între 0 i 360. Saturation reprezint saturaia sau puritatea culorii. Exprim cât de mult alb conine culoarea respectiv i are valori între 0 i 1. Pentru valori mici ale saturaiei culoarea este mai tears, adic are în componen mai mult alb. Value reprezint luminozitatea culorii sau cât de mult negru conine culoarea respectiv. Are valori între 0 i 1. Noiunea de spaiu de culoare perceptual se refer la faptul c spre deosebire de modelul RGB în care culorile sunt combinaii a celor 3 culori primare (rou, verde, albastru), modelul HSV conine trei componente care definesc culorile într-un mod similar cu modul de percepie al culorilor de ctre sistemul vizual uman. Modelul de culoare HSV este reprezentat grafic ca un con. H variaz de la 0 la 360, indicând unghiul, exprimat în grade, din jurul cercului de culoare unde valoarea Hue este localizat. S i V variaz de la 0 la 1, cu 0 fiind cantitatea cea mai mic iar 1 fiind cantitatea
6. Segmentarea spaial a cadrelor video 95 Figura 6.4. Reprezentare spaiu de culoare HSV. cea mai mare, a saturaiei sau a luminozitii. Orice valoare H din afara intervalului [0, 360] poate fi încadrat în acest interval printr-o divizare modulo 360 a lui H (de exemplu, -30 este echivalent cu 330, iar 480 este echivalent cu 120). Trecerea de la modelul RGB la modelul HSV se realizeaz printr-o transformare neliniar [48]. G B 0 60, dac RMAX MAX MIN B R H 2 60, dac G MAX MAX MIN R G 4 60, dac BMAX MAX MIN MAX MIN S (6.2) MAX V MAX (6.3) MAX reprezint valoarea maxim dintre cele trei componente ale culorii R, G i B; MIN reprezint valoarea minim. Pe baza relaiilor de transformare de la RGB la HSV se pot face urmtoarele observaii: Dac MAX MIN componenta de nuan (H) este nedefinit deoarece componenta de saturaie (S) este 0 i culorile vor fi monocromatice. Dac MAX 0 componenta de saturaie (S) este nedefinit deoarece în acest caz componenta de valoare (V) este 0 i culoarea este negru pur. Spaiul de culoare HMMD (Hue, Max, Min, Diff) este cel mai nou spaiu de culoare i este utilizat pentru anumii descriptori de culoare MPEG-7. Modelul de culoare HMMD este format din 5 parametri [49]: Hue nuana, are aceeai semnificaie ca pentru modelul HSV; Max maximul dintre cele trei componente R, G i B; (6.1)
96 Analiza i prelucrarea digital a semnalelor video Min minimul dintre cele trei componente R, G i B; Diff diferena dintre Max i Min; Sum suma dintre Max i Min. Primele trei componente au aceeai semnificaie ca pentru modelul HSV. Componenta Diff exprim cât gri conine o culoare i cât este de apropiat de o culoare pur. Componenta Sum exprim intensitatea luminoas a culorii. Pentru a caracteriza o culoare folosind modelul HMMD este nevoie doar de primele trei componente, celelalte pot fi determinate în funcie de acestea. Spaiul de culoare HMMD este reprezentat grafic ca un con dublu [50]. Trecerea de la RGB la HMMD se realizeaz de asemenea printr-o transformare neliniar [51]. Hue SUM MAX MIN (6.4) DIFF MAX MIN (6.5) G B MAX MIN dac R MAX G B G B MAX MIN dac R MAX G B 2BR MAX MIN60 4BR MAX MIN60 dac G MAX dac G MAX 60 ^ 0 60 360 ^ 0 (6.6) Figura 6.5. a) Spaiul de culoare HMMD; b) Seciune a modelului spaiului de culoare HMMD
6. Segmentarea spaial a cadrelor video 97 6.4. Segmentarea bazat pe regiuni Metodele de segmentare video bazat pe regiuni se împart în dou mari categorii: metode de tip region growing i metode de tip split and merge. Mecanismul aflat la baza tuturor algoritmilor de tipul region growing implic alegerea unor pixeli de start i formarea de regiuni în jurul acestor pixeli pân când toi pixelii imaginii aparin unei regiuni. Formarea de regiuni se face pe baza unui criteriu de omogenitate care este verificat dup fiecare pas al algoritmului. Cele mai simple criterii de omogenitate folosesc media nivelelor de gri ale regiunii, proprietile culorilor regiunii sau proprietile texturii. Deoarece unul din scopurile tezei este extragerea descriptorilor video MPEG-7, compararea imaginilor pe baza acestora i caracterizarea semantic a imaginilor, a fost ales ca i criteriu de omogenitate culoarea. Un algoritm simplu, dar eficient, de obinere a regiunilor prin metode de tip region growing consider ca pixel de start primul pixel al imaginii care nu aparine nici uneia dintre regiunile obinute pân la momentul respectiv. Pentru obinerea primei regiuni se alege ca pixel de start primul pixel al imaginii (pixelul din stânga-sus). Apoi, urmtorul pas este compararea celor 8 pixeli vecini folosind un criteriu de omogenitate. A fost menionat c se va folosi ca i criteriu de omogenitate informaia de culoare, astfel c acesta va fi dat de diferena dintre componentele de culoare ale pixelului curent i cele ale pixelului de start. Un pixel va aparine regiunii curente dac aceast diferena nu va depi valoarea unui prag. Valoarea pragului de comparaie controleaz gradul de segmentare al imaginii [52]. Astfel c, dac se alege o valoare de prag prea mic se obine supra-segmentare, adic se vor obine un numr de regiuni omogen foarte mare, iar dac valoarea de prag este prea mare se obine subsegmentare i în acest caz, dei numrul de regiuni va fi mic, acestea nu vor fi foarte omogene. Exist diverse modaliti de calcul a diferenelor de culoare dintre pixeli. Cea mai utilizat metric de determinare a distanei dintre doi vectori este metrica Minkowsky [53]. Aceast metric este definit astfel: p este dimensiunea vectorilor; x i este elementul numrul i al vectorului x. În cazul imaginilor aceast metric este definit astfel: 1 2 3 i i i 1 p p p dm x, y xi yi, (6.7) i1 1 1 1 a 2 2 b 3 3 c d d i, j C C C C C C, (6.8) M i j i j i j C, C, C reprezint componentele de culoare ale pixelului i ; C, C, C componentele de culoare are pixelului j ; 1 2 3 j j j
98 Analiza i prelucrarea digital a semnalelor video abcd,,, sunt puteri. Componentele de culoare depind de spaiul de culoare în care este reprezentat imaginea. În lucrare este studiat algoritmul de segmentare de tipul region growing folosind metrica Minkowsky pentru dou spaii de culoare: RGB (Red, Gree, Blue) i HSV (Hue, Saturation, Value) [54]. În cazul celor dou spaii de culoare distana Minkowsky dintre doi pixeli va avea expresiile urmtoare: iar criteriile de omogenitate vor fi: 1 a b c d, d i j R R G G B B (6.9) RGB M i j i j i j 1 a b c d HSV d i, j H H S S V V, (6.10) M i j i j i j RGB d i, j T (6.11) M RGB HSV d i, j T, (6.12) M unde T RGB i T HSV reprezint valorile de prag pentru spaiile de culori RGB i HSV. Acest lucru înseamn c un pixel va aparine unei regiuni dac valoarea distanei dintre pixelul respectiv i pixelul de start este mai mic decât valoarea de prag. Avantajul acestei metrici este acela c, alegând corespunztor valorile parametrilor abc,,, se poate atribui o pondere mai mare uneia sau unora dintre componentele de culoare. Valoarea parametrului d este aleas astfel încât s se poat compara rezultatele obinute pentru diferitele valori ale celorlali parametri. Parametrul d se va determina în funcie de ceilali parametri astfel [55]: abc d (6.13) 3 O alt metric utilizat în cazul segmentrii imaginilor color este metrica Canberra. Aceast metric se utilizeaz numai în cazul datelor cu valori pozitive i este definit astfel: d Can x, y HSV x y p i i (6.14) i1 xi yi Ca i în cazul metricii Minkowsky se poate particulariza metrica Canberra pentru imagini color i se obine: d Can i, j C C C C C C C C C C C C 1 1 2 2 2 2 i j i j i j 1 1 2 2 2 2 i j i j i j (6.15) iar în cazul celor dou spaii de culoare alese, RGB i HSV, expresiile distanei Canberra dintre pixelii i i j vor fi:
6. Segmentarea spaial a cadrelor video 99 d d RGB Can HSV Can i, j i, j Ri Rj Gi Gj Bi Bj R R G G B B i j i j i j Hi H j Si Sj Vi Vj H H S S V V i j i j i j (6.16) (6.17) O a treia metric aleas este metrica Cilindric [56]. Aceast metric calculeaz distana dintre proieciile pixelilor pe un plan cromatic. Este definit doar pentru spaiul de culori HSV astfel: unde 1 2 2 2 HSV d i, j d d, (6.18) Cil V C dv Vi Vj (6.19) 1 2 2 2 cos 2 d S S S S (6.20) C i j i j H H (6.21) i Valoarea d C reprezint distana dintre doi vectori bidimensionali corespunztori proieciilor pixelilor i i j în planul cromatic HS. De aceea d C folosete ambele componente de culoare. 6.4.1. Algoritmul de segmentare video de tipul region growing Segmentarea video de tipul region growing implic obinerea de regiuni omogene al imaginilor sau ale cadrelor video. Omogenitatea poate fi definit în funcie de diferite caracteristici ale imaginilor, precum culoare, textura, micare, etc. În implementarea realizat în Matlab este aleas ca trstur de comparaie culoarea pixelilor. Imaginile sunt citite din fiiere de tip JPG, BMP sau TIFF i sunt reprezentate în spaiul de culori RGB. Deoarece algoritmii studiai sunt definii pentru imagini reprezentate în spaiul HSV, se va realiza o conversie a imaginii în acest spaiu. Spaiul HSV este un spaiu de culori mai apropiat de modul de percepie al imaginilor de ctre sistemul vizual uman. Algoritmul de segmentare folosit parcurge aceiai pai indiferent de metrica utilizat. Aceti pai sunt: 1. Se alege un pixel de start ca fiind primul pixel al imaginii care nu aparine nici uneia dintre regiunile gsite pân acum. Parcurgerea imaginii se face de la stânga la dreapta i de sus în jos. Pentru prima regiune se alege ca pixel de start primul pixel al imaginii. 2. Se compar blocuri de 2x2 cu pixelul de start folosind un criteriu de omogenitate definit de distana dintre culorile a doi pixeli. Acest criteriu este ca distana dintre doi pixeli s fie mai mic decât o valoare de prag. Atât distana cât i valoarea pragului depind de metrica aleas. Aceste valori vor fi prezentate pentru fiecare metric în parte. j
100 Analiza i prelucrarea digital a semnalelor video 3. Dac un pixel îndeplinete criteriul de omogenitate atunci în matricea regiunii se va salva valoarea acestuia în poziia corespunztoare. Dac un pixel nu îndeplinete criteriul de omogenitate atunci se va scrie valoarea 0 în matricea regiunii. Atunci când un pixel îndeplinete criteriul de omogenitate în imaginea iniial valoarea lui va fi setat la 0, dup ce este salvat în matricea regiunii. 4. Se trece la urmtorul bloc i se repet paii 2 i 3 pân se parcurge întreaga imagine. Dup parcurgerea întregii imagini se vor obine una sau mai multe regiuni omogene. Pentru fiecare regiune se face o medie a valorilor culorilor pixelilor pentru a obine o singura valoare a culorii, valoare care poate fi folosit ca culoare dominant. 5. Se alege un nou pixel de start i se repet paii 2, 3 i 4. 6. Algoritmul se oprete atunci când toi pixelii imaginii au fost inclui într-una dintre regiunile gsite. Acest lucru se întâmpl atunci când în imaginea original nu mai este nici un pixel diferit de 0. Algoritmul de segmentare este aplicat unui set de 90 de imagini împrite în 6 categorii. Împrirea este realizat în funcie de coninutul imaginii i sunt obinute urmtoarele categorii: Apus, Elefant, Flori, Muni, Plaj, i epci. Au fost alese aceste imagini pentru c sunt destul de diferite din punctul de vedere al coninutului, culorilor dominante, numrului de regiuni sesizabile,.a.m.d. Singura trstur comun a tuturor imaginilor este dimensiunea. În fiecare caz de segmentare se determin numrul de regiuni totale ale imaginii, timpul de simulare, eroarea medie ptratic dintre imaginea original i imaginea segmentat, precum i diferena maxim dintre imaginea original i imaginea segmentat. Pe baza simulrilor s-au comparat rezultatele obinute folosind cei trei algoritmi i cele mai importante concluzii sunt: Din punctul de vedere al spaiului de culori segmentarea de tipul region-growing are performane mai bune în cazul spaiului de culori HSV. Din punctul de vedere al numrului de regiuni detectate cea mai eficient este metrica Minkowsky, urmat de metrica Cilindric i apoi de metrica Canberra. Pe baza valorii medii a timpilor obinui pentru fiecare metric cea mai bun este metrica Minkowsky, apoi metrica Canberra i apoi metrica Cilindric. Din punctul de vedere al erorii medii ptratice dintre imaginea original i imaginea segmentat tot pentru metrica Minkowsky se obin cele mai mici erori. Pentru metrica Cilindric se obin valori comparabile cu metrica Canberra. Din punctul de vedere al diferenei maxime dintre imaginea original i imaginea segmentat este evident c metrica Minkowsky are valorile cele mai mici. Celelalte dou metrici au valori apropiate. Niciuna dintre metrici nu conduce la rezultate bune pentru orice imagine. Procentual, pentru setul de imagini folosit, metrica Minkowsky are rezultatele cele mai bune i de aceea este utilizat în continuare. Chiar dac aceast metric are rezultatele cele mai bune, din punctul de vedere al numrului de regiuni detectate nu este foarte util.