Slide 1

Transcriere

1 Analiza și Prelucrarea Digitală a Semnalelor Video Conf. dr. ing. Radu Ovidiu Preda radu@comm.pub.ro Ș.l. dr. ing. Cristina Oprea cristina@comm.pub.ro Site disciplină:

2 Analiza și Prelucrarea Digitală a Semnalelor Video Structura cursului Cap. 1 Noţiuni de bază în prelucrarea numerica a imaginilor și semnalelor video Cap. 2 Transformate pentru semnale multidimensionale Cap. 3 Semnale 3D analogice și numerice Cap. 4 Estimarea calității perceptuale a imaginilor și semnalelor video Cap. 5 Analiza și estimarea mișcării în secvențele video Cap. 6 Segmentarea spaţială a imaginilor și cadrelor video Cap. 7 Standardele de compresie video H.264 și H.265

3 Noţiuni de bază în prelucrarea numerică a imaginilor şi semnalelor video

4 Semnale 1D Semnal = funcție de una sau mai multe variabile independente Exemple: s(t), s(x, y), s(x, y, t) Semnal 1D de regulă funcție de t t - continuu sau discret Semnal continuu în timp (CT) s c (t) semnal analogic = semnal CT

5 Semnale 1D Semnal în timp discret (DT) s d (t) s d (t) secvență de eș. Amplitudine semnal: continuă sau discretă Semnale digitale: t și amplitudinea lui s(t) discrete Eșantionare semnal CT semnal DT Eșantionare semnal CT + cuantizare amplitudine semnal semnal digital

6 Semnale 2D - Imagini Imagine = reprezentare vizuală sub forma unei funcții 2D I(X,Y) I(X, Y) = amplitudinea imaginii la poziția (X, Y) Amplitude = intensitatea luminii sau culoare Continuitate în amplitudine și spațiu I, X, Y număr infinit de valori posibile Pentru stocare eșantionare și cuantizare

7 Imagine digitală = eșantionare spațială + cuantizare Eșantionarea spațială = discretizarea domeniului: intervalele de eșantionare pe direcțiile x și y de regulă Semnale 2D - Imagini IXY (, ) = = = = Ix (, y ) Ixy [, ], xy, x, X x, Y y x y y x mic rezoluție mare Exempu: și Cuantizarea amplitudinii lui discrete y x = y = x= 1,, M y= 1,, N Ixy [, ] eșantioane

8 Semnale 2D - Imagini O imagine digitală I funcție de 2 variabile independente discrete rețea ortogonală de puncte (matrice) cel mai mic element al imaginii = pixel sau pel (picture element)

9 Reprezentarea imaginilor I poate fi: O funcție cu o singură valoare Imagine de intensitate sau cu nuanțe de gri I[x,y] Imagine binară I[x,y] O funcție cu mai multe valori: imagine color cu 3 componente R[x, y], G[x, y], B[x, y] imagine color indexată M[x, y] și map de dim. nr_culori x 3

10 Reprezentarea imaginilor Imagini digitale de intensitate = matrici 2D I[x, y]: x, y și I au valori finite discrete I[x, y] reprezentată pe b biți 8biți 256 niveluri de gri 0 = negru, 128=gri, 255=alb

11 Reprezentarea imaginilor 512x x128 64x64 32x32

12 Reprezentarea imaginilor Imagini digitale de intensitate Matlab: grayscale image de regulă reprezentate în format uint8 (nr. întregi fără semn pe 8 biți) Atenție la operații în uint8 conversie: ind2gray, rgb2gray

13 Reprezentarea imaginilor Imagini binare caz particular de imagine de intensitate b = 2 I[x,y] are doar două valori: 0 negru; 1 - alb Matlab: binary image în format logical (1 bit/pixel) conversie: im2bw

14 Reprezentarea imaginilor Imagini color RGB Matrice 3D de dimensiune M x N x 3 Matlab: truecolor image în format uint8 conversie: ind2rgb R G B

15 Reprezentarea imaginilor Imagini color indexate reprezentare RGB este redundantă 2 x matrici 2D: Matrice I de rezoluția imaginii M x N Paletă de culori (colormap) de dim. nr_culori x 3 Matlab: indexed image I în format uint8 colormap în format double conversie: rgb2ind 3 1 nr_culori colormap R G B 0,26 0,02 0,20 0,59 0,34 0,28 0,89 0,61 0,38 0,51 0,11 0,23 0,66 0,46 0,33 0,71 0,32 0,33

16 Reprezentarea imaginilor 8 biți/pixel 4 biți/pixel 2 biți/pixel 1 bit/pixel

17 Spectrul electromagnetic frenvența (Hz) Lungimea de undă nm

18 Spectrul vizibil Culoare Frecvență Lungime de undă violet THz nm albastru THz nm cian THz nm verde THz nm galben THz nm portocaliu THz nm roșu THz nm

19 Anatomia ochiului uman iris pupilă sclerotică sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină

20 Formarea imaginii

21 Ochi vs. cameră sclerotică iris cornee pupilă cristalin conjunctivă umoare vitroasă coroidă nerv optic fovee retină Echivalență cameră ochi uman Componente cameră lentilă diafragmă Film, senzor optic cablu de transfer Componente ochi cristalin, cornee Iris, pupilă retină nerv optic

22 Percepția umană a culorii retina conține foto-receptori 2 tipuri: conuri: vedere pe timp de zi Percep culoarea 3 tipuri: R,G,B bastonașe: vedere pe timp de noapte Percep doar luminozitatea (luminanța) senzația de culoare caracterizată prin Luminanță Crominanță Tonul culorii Saturație (puritatea culorii)

23 Răspunsul în frecvență al conurilor și bastonașelor

24 Funcția de eficiență luminoasă albastru x20 luminanță Sensibilitate relativă roșu verde Lungime de undă (nm)

25 Specificarea valorilor celor trei stimuli asociați celor 3 culori primare RGB CMY Modele de reprezentare a culorilor Specificarea luminanței și crominanței HSI (Hue, saturation, intensity nuanță, saturație, int.) YIQ (folosit la standardul TV color NTSC) YC b C r (folosit la televiziunea color digitală) Specificarea amplitudinii: 8 biți/componentă sau 24 biți/pixel total de 16 milioane culori imagine RGB truecolor de 1024x MB

26 RGB vs. CMY

27 RGB vs. YIQ RGB YIQ Y = R G B I = R G B Q = R G B YIQ RGB R =1.0 Y I Q G = 1.0 Y I Q B =1.0 Y I Q

28 Planul IQ la luminanță constantă Y=0.5

29 RGB vs. YIQ RGB Y I Q

30 RGB vs. YC b C r RGB YC b C r Y = R G B + 16, C b = R G B C r = R G B YC b C r RGB R = Y C b C r G = Y C b C r B = Y C b C r

31 Planul C b C r la luminanță constantă Y=0.5

32 RGB vs. YC b C r RGB Y C b C r

33 Calitatea imaginilor I = imaginea originală I zg = imaginea afectată de zgomot I proc = imaginea cu zgomot după diferite operații de procesare de imagini I proc = procesare( I ) zg Dorim să evaluăm calitatea imaginii I proc față de I Nu există metode standard Măsurători obiective (MSE, SNR, PSNR) Măsurători subiective (prin vizualizare + scor) Măsurători perceptuale (au în vedere HVS)

34 Calitatea imaginilor: MSE Eroarea pătratică medie (MSE) 1 MSE= [ Iproc ( xy, ) Ixy (, )] MN M N x= 1 y= 1 2 MSE mai mică calitate mai bună

35 Calitatea imaginilor: SNR Zgomotul din imagine măsurat în db Raportul semnal zgomot (SNR) SNR 2 2 putere _ medie _ semnal σ I σi = 10log10 10log10 10log 2 10 putere _ medie _ zgomot = = σ zg MSE SNR mai mare calitate mai bună

36 Calitatea imaginilor: PSNR Raportul semnal zgomot de vârf (PSNR) PSNR putere _ max _ semnal I putere _ medie _ zgomot MSE 2 max = 10log10 = 10log10 pentru I(x,y) pe 8 biți PSNR log 10 = MSE PSNR mai mare calitate mai bună

37 Calitatea imaginilor: PSNR Exemplu: PSNR pentru imagini codate JPEG Imagine originală JPEG Q=90 PSNR=40dB JPEG Q=20 PSNR=30dB JPEG Q=2 PSNR=20dB