Analiza și Prelucrarea Digitală a Semnalelor Video Conf. dr. ing. Radu Ovidiu Preda radu@comm.pub.ro Ș.l. dr. ing. Cristina Oprea cristina@comm.pub.ro Site disciplină: www.comm.pub.ro/preda/apdsv
Analiza și Prelucrarea Digitală a Semnalelor Video Structura cursului Cap. 1 Noţiuni de bază în prelucrarea numerica a imaginilor și semnalelor video Cap. 2 Transformate pentru semnale multidimensionale Cap. 3 Semnale 3D analogice și numerice Cap. 4 Estimarea calității perceptuale a imaginilor și semnalelor video Cap. 5 Analiza și estimarea mișcării în secvențele video Cap. 6 Segmentarea spaţială a imaginilor și cadrelor video Cap. 7 Standardele de compresie video H.264 și H.265
Noţiuni de bază în prelucrarea numerică a imaginilor şi semnalelor video
Semnale 1D Semnal = funcție de una sau mai multe variabile independente Exemple: s(t), s(x, y), s(x, y, t) Semnal 1D de regulă funcție de t t - continuu sau discret Semnal continuu în timp (CT) s c (t) semnal analogic = semnal CT
Semnale 1D Semnal în timp discret (DT) s d (t) s d (t) secvență de eș. Amplitudine semnal: continuă sau discretă Semnale digitale: t și amplitudinea lui s(t) discrete Eșantionare semnal CT semnal DT Eșantionare semnal CT + cuantizare amplitudine semnal semnal digital
Semnale 2D - Imagini Imagine = reprezentare vizuală sub forma unei funcții 2D I(X,Y) I(X, Y) = amplitudinea imaginii la poziția (X, Y) Amplitude = intensitatea luminii sau culoare Continuitate în amplitudine și spațiu I, X, Y număr infinit de valori posibile Pentru stocare eșantionare și cuantizare
Imagine digitală = eșantionare spațială + cuantizare Eșantionarea spațială = discretizarea domeniului: intervalele de eșantionare pe direcțiile x și y de regulă Semnale 2D - Imagini IXY (, ) = = = = Ix (, y ) Ixy [, ], xy, x, X x, Y y x y y x mic rezoluție mare Exempu: și Cuantizarea amplitudinii lui discrete y x = y = x= 1,, M y= 1,, N Ixy [, ] eșantioane
Semnale 2D - Imagini O imagine digitală I funcție de 2 variabile independente discrete rețea ortogonală de puncte (matrice) cel mai mic element al imaginii = pixel sau pel (picture element)
Reprezentarea imaginilor I poate fi: O funcție cu o singură valoare Imagine de intensitate sau cu nuanțe de gri I[x,y] Imagine binară I[x,y] O funcție cu mai multe valori: imagine color cu 3 componente R[x, y], G[x, y], B[x, y] imagine color indexată M[x, y] și map de dim. nr_culori x 3
Reprezentarea imaginilor Imagini digitale de intensitate = matrici 2D I[x, y]: x, y și I au valori finite discrete I[x, y] reprezentată pe b biți 8biți 256 niveluri de gri 0 = negru, 128=gri, 255=alb
Reprezentarea imaginilor 512x512 128x128 64x64 32x32
Reprezentarea imaginilor Imagini digitale de intensitate Matlab: grayscale image de regulă reprezentate în format uint8 (nr. întregi fără semn pe 8 biți) Atenție la operații în uint8 conversie: ind2gray, rgb2gray
Reprezentarea imaginilor Imagini binare caz particular de imagine de intensitate b = 2 I[x,y] are doar două valori: 0 negru; 1 - alb Matlab: binary image în format logical (1 bit/pixel) conversie: im2bw
Reprezentarea imaginilor Imagini color RGB Matrice 3D de dimensiune M x N x 3 Matlab: truecolor image în format uint8 conversie: ind2rgb R G B
Reprezentarea imaginilor Imagini color indexate reprezentare RGB este redundantă 2 x matrici 2D: Matrice I de rezoluția imaginii M x N Paletă de culori (colormap) de dim. nr_culori x 3 Matlab: indexed image I în format uint8 colormap în format double conversie: rgb2ind 3 1 nr_culori colormap R G B 0,26 0,02 0,20 0,59 0,34 0,28 0,89 0,61 0,38 0,51 0,11 0,23 0,66 0,46 0,33 0,71 0,32 0,33
Reprezentarea imaginilor 8 biți/pixel 4 biți/pixel 2 biți/pixel 1 bit/pixel
Spectrul electromagnetic frenvența (Hz) Lungimea de undă 380 750 nm
Spectrul vizibil Culoare Frecvență Lungime de undă violet 668 789 THz 380 450 nm albastru 631 668 THz 450 475 nm cian 606 630 THz 476 495 nm verde 526 606 THz 495 570 nm galben 508 526 THz 570 590 nm portocaliu 484 508 THz 590 620 nm roșu 400 484 THz 620 750 nm
Anatomia ochiului uman iris pupilă sclerotică sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină http://www.stlukeseye.com/anatomy.asp
Formarea imaginii http://www.stlukeseye.com/anatomy.asp
Ochi vs. cameră sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină Echivalență cameră ochi uman Componente cameră lentilă diafragmă Film, senzor optic cablu de transfer Componente ochi cristalin, cornee Iris, pupilă retină nerv optic
Percepția umană a culorii retina conține foto-receptori 2 tipuri: conuri: vedere pe timp de zi Percep culoarea 3 tipuri: R,G,B bastonașe: vedere pe timp de noapte Percep doar luminozitatea (luminanța) senzația de culoare caracterizată prin Luminanță Crominanță Tonul culorii Saturație (puritatea culorii)
Răspunsul în frecvență al conurilor și bastonașelor
Funcția de eficiență luminoasă albastru x20 luminanță Sensibilitate relativă roșu verde Lungime de undă (nm)
Specificarea valorilor celor trei stimuli asociați celor 3 culori primare RGB CMY Modele de reprezentare a culorilor Specificarea luminanței și crominanței HSI (Hue, saturation, intensity nuanță, saturație, int.) YIQ (folosit la standardul TV color NTSC) YC b C r (folosit la televiziunea color digitală) Specificarea amplitudinii: 8 biți/componentă sau 24 biți/pixel total de 16 milioane culori imagine RGB truecolor de 1024x768 2.25 MB
RGB vs. CMY
RGB vs. YIQ RGB YIQ Y = 0.299 R + 0.587 G + 0.114 B I = 0.596 R -0.275 G -0.321 B Q = 0.212 R -0.523 G + 0.311 B YIQ RGB R =1.0 Y + 0.956 I + 0.620 Q G = 1.0 Y - 0.272 I -0.647 Q B =1.0 Y -1.108 I + 1.700 Q
Planul IQ la luminanță constantă Y=0.5
RGB vs. YIQ RGB Y I Q
RGB vs. YC b C r RGB YC b C r Y = 0.257 R + 0.504 G + 0.098 B + 16, C b = -0.148 R - 0.291 G + 0.439 B + 128 C r = 0.439 R - 0.368 G - 0.071 B + 128 YC b C r RGB R = 1.164 Y + 0.0 C b + 1.596 C r G = 1.164 Y - 0.392 C b - 0.813 C r B = 1.164 Y + 2.017 C b + 0.0 C r
Planul C b C r la luminanță constantă Y=0.5
RGB vs. YC b C r RGB Y C b C r
Calitatea imaginilor I = imaginea originală I zg = imaginea afectată de zgomot I proc = imaginea cu zgomot după diferite operații de procesare de imagini I proc = procesare( I ) zg Dorim să evaluăm calitatea imaginii I proc față de I Nu există metode standard Măsurători obiective (MSE, SNR, PSNR) Măsurători subiective (prin vizualizare + scor) Măsurători perceptuale (au în vedere HVS)
Calitatea imaginilor: MSE Eroarea pătratică medie (MSE) 1 MSE= [ Iproc ( xy, ) Ixy (, )] MN M N x= 1 y= 1 2 MSE mai mică calitate mai bună
Calitatea imaginilor: SNR Zgomotul din imagine măsurat în db Raportul semnal zgomot (SNR) SNR 2 2 putere _ medie _ semnal σ I σi = 10log10 10log10 10log 2 10 putere _ medie _ zgomot = = σ zg MSE SNR mai mare calitate mai bună
Calitatea imaginilor: PSNR Raportul semnal zgomot de vârf (PSNR) PSNR putere _ max _ semnal I putere _ medie _ zgomot MSE 2 max = 10log10 = 10log10 pentru I(x,y) pe 8 biți PSNR 2 255 10log 10 = MSE PSNR mai mare calitate mai bună
Calitatea imaginilor: PSNR Exemplu: PSNR pentru imagini codate JPEG Imagine originală JPEG Q=90 PSNR=40dB JPEG Q=20 PSNR=30dB JPEG Q=2 PSNR=20dB