Extinderi pentru azul estimării unui parametru vetor Daă sunt de estimat mai mulți parametri (în număr de p) putem organiza aești parametri sub forma unui vetor. Fieare din ei p parametri are un estimator. Cei p estimatori se organizează, și ei, sub forma unui vetor... θ θ θ θ p ˆ ˆ θ ˆ ˆ θ... θ p E {} θˆ { ˆ θ} { ˆ θ} E θ E θ θ { ˆ θ p E θ p} { θ ˆ } E θ θ Media statistiă a estimatorului vetor este vetorul e are a și omponente mediile statistie ale omponentelor estimatorului vetor. Daă fieare dintre ei p estimatori salari este nedeplasat, adiă se spune ă estimatorul vetor este nedeplasat și se srie ă eorema Cramer-Rao pentru parametrul vetor are următorul enunţ: Daă p( x; θ) satisfae ondiţia de regularitate: ln p ; E, θ atuni: C I ( θ) θˆ în sensul ă matriea din stânga este pozitiv semidefinită Cu I(θ) se notează matriea de informație Fisher, de dimensiuni p*p, ale ărei elemente sunt i ln p ; I ( θ) E ; ij, ij,,..., p j,,..., p
Se poate găsi un estimator nedeplasat e are dispersia minimă adiă este un estimator vetor MVU efiient daă şi numai daă: ln p ; f I θ x θ din are rezultă forma estimatorului și matriea sa de ovarianță ˆ θ f ( x ) C I ( θ) Inegalitatea matriială are doar un arater simboli. Ea afirmă ă matriea din stânga este pozitiv semidefinită. O astfel de matrie are elementele de pe diagonala prinipală nenegative, adiă { } I ( θ) Disp ˆ θ i ii eastă inegalitate salară definește limita inferioară Cramer-Rao pentru fieare omponentă din vetorul estimator, adiă Disp { ˆi θ } I ( θ) θˆ CRLB i ii,, 3 Un exemplu în are modelul de semnal este o omponentă ontinuă, neunosută, afetată aditiv de un zgomot alb, gaussian u dispersia neunosută [ ] [ ] xn + wn; n,,..., N [ ] N (, ) wn vem p neunosute, pe are le punem sub forma unui parametru vetor θ Vetorul de date este gaussian și are densitatea de repartiție, dependentă de parametrul vetor, de forma N p ( ; ) exp N ( [ ] ) x n x θ n π Considerând ă datele sunt unosute și introduse în relația anterioară se obține plauzibilitatea are logaritmată ondue la N N N ln p( x; θ) ln π ln ( x[ n] ) n
Matriea de informaţie Fisher este, pentru aest exemplu, de forma p ln p ; ln ; E E I ( θ) ln p( x; θ) ln p( x; θ) E E Pentru a determina elementele matriei vom deriva plauzibilitatea logaritmiă, după um urmează: ln p ; N n ( x[ n] ) ln p ; N N + n ( x[ n] ) N ln p ; N n 5 p ln p ; ln ; N n N ln p ; N 6 n ( x[ n] ) ( x[ n] ) Pentru a efetua medierile statistie erute de determinarea elementelor matriei Fisher, vom ţine seama de următoarele medii evidente { [ ] } { [ ]} E x n E x n {( [ ] ) } ( [ ]) { } E x n E w n 6 3
şi obţinem următoarele: ln p ; N E N ln p ; E E{ x[ n] } n N {( [ ] ) } ln p ; N E + 6 E n x n N N N + 7 Cu ele determinate matriea Fisher şi inversa ei devin N I ( θ ) N I ( θ) N N Un alt exemplu în are întâlnim p parametri este el al modelului de semnal determinist +Bn, afetat aditiv de un zgomot alb, gaussian [ ] [ ] [ ] N ( ) xn + Bn+ wn; wn, ; n,,..., N Se onsideră problema estimării parametrilor şi B e formeză parametrul vetor θ B Odată e datele x[n] sunt unosute (măsurate), se determină plauzibilitatea logaritmiă N ln p ( x; θ) N ln ( π) ( [ ] ) 8 x n Bn n
şi derivatele ei de ordinul doi, în raport u şi B ln p ; N ( x[ n] Bn) n ln p ; N ( x[ n] Bn) n B n N ln p ; N n ( x θ N ) N( N ) ln p ; n B n ( x θ N ) n B n ln p ; N N N 6 9 este derivate nu depind de datele x[n] aşa ă nu mai este neesară medierea statistiă. Se determină matriea de informaţie Fisher şi inversa ei { ˆ} Disp N N( N ) I ( θ) N( N ) N( N )( N ) 6 ( N ) 6 N( N ) N( N ) + + I ( θ) 6 N ( N + ) N( N ) Elementele de pe diagonala prinipală a matriei inverse sunt limitele Cramer- Rao pentru dispersiile estimatorilor parametrilor neunosuţi şi B. vem dei inegalităţile ( N ) N N Disp{ Bˆ } + ( ) N N 5
Vom aplia aum partea a doua a teoremei Cramer-Rao. Pentru aeasta onstruim N ln p( x; θ) ( x[ n] Bn) ln p( ; ) x θ n θ ln p ( x; θ N ) ( x[ n] Bn) n B n Daă expresia din membrul stâng este o funţie e depinde numai de date, nu şi de parametrii neunosuţi şi B, atuni ea este hiar estimatorul vetor ln p ( x; θ) I ( θ) + θ f ( x) Prin alul diret obţinem I ( θ) ( N ) ( + ) N( N + ) 6 N ( x[ n] Bn) ln p( ; ) N N x θ n N 6 ( x[ n] Bn) n N N + N( N ) n ( ) N N N N 3 xn [ ] N B n 6 N( N + ) 3 N N( N ) N( N )( N ) N nx[ n] B n 6 L N( N + ) L unde N N ( ) [ ] 3 [ ] ( ) L N x n nx n N N n n ( ) ( )( ) ( )( ) 3N N N N N N N N + B + B N N N( N + ) ( N ) x[ n] 3 nx[ n] n n N N n n N N n n ( + ) ( ) 6 3N N L 3 xn [ ] + nxn [ ] + N 3 N 3 + B BN N N 6 N N 3 xn [ ] + nxn [ ] B N 6
( θ) Rezultă ă ln p ; L I N( N ) L θ + ( + ) N N N N ( N ) x[ n] 3 nx[ n] N( N + ) 6 N N + 3 xn [ ] + nxn [ ] B n N n n n N N Daă din membrul drept se separă vetorul de date obţinem I ( θ) N N ( N ) x[ n] 3 nx[ n] ln p( ; ) x θ n n N N θ N( N + ) 6 B 3 xn [ ] nxn + [ ] n N n 3 din are rezultă ă expresia disutată este o funţie vetor ale ărei omponente depind numai de date, nu şi de parametrul neunosut. eastă funţie este estimatorul sub formă de vetor N N ( N ) x[ n] 3 nx[ n] ln p ( ; ) x θ n n I ( θ) + θ f x N N θ N( N + ) 6 3 xn [ ] + nxn [ ] n N n Cei doi estimatori salari pentru şi B, respetiv, sunt ( N ) N N ˆ 6 xn [ ] nxn N N + N N + n n [ ] N 6 [ ] + n N N N n [ ] Bˆ x n + nx n N N 7
Fiind satisfăute erinţele teoremei Cramer-Rao, rezultă ă ei doi estimatori sunt şi efiienţi adiă dispersiile lor sunt egale u limitele inferioare Cramer-Rao { ˆ} Disp ( N ) N N Disp{ Bˆ } + ( θ p ) α r g ( ) N N Uneori nu suntem interesaţi diret de estimările parametrilor neunosuţi i de mărimi derivate din aestea. Fie ă suntem interesaţi de r mărimi, organizate a vetor e depind de ei p parametri neunosuţi prin funţia vetorială g. tuni matriea pozitiv semidefinită din orpul teoremei Cramer-Rao este g( θ) g( θ) ˆ α C I θ 5 Funţia g şi derivata ei în raport u vetorul parametrilor, θ, sunt g ( θ) ( θ) ( θ) ( θ) g g g p g ( θ) g g g θ θ θ g g θ θ ; p g θ r r gr( θ) gr( θ) gr ( θ) p r p Vom relua exemplul pentru azul în are modelul de semnal este al omponentei ontinue afetate aditiv de un zgomot alb, gaussian. Parametrii neunosuţi sunt omponenta ontinuă şi dispersia zgomotului. Ne interesează nu să estimăm valorile elor doi parametri i o mărime derivată α, raportul semnal/zgomot, SNR θ α ( r ) α g ( θ) În aest exemplu, α este un salar θ θ 6 8
Calulăm derivata funţiei g în raport u vetorul θ g( θ) g( θ) g( θ) θ θ θ θ θ θ θ θ şi ţinem seama de forma inversei matriei de informaţie Fisher, stabilită anterior I ( θ) N N 7 Cu aestea, matriea din orpul teoremei Cramer-Rao e este pozitiv semidefinită ia forma g ( θ) g( θ) N I θ N N N Disp α α + + N N N N şi este un salar. Ca o onluzie, dispersia estimatorului pentru raportul semnal/zgomot satisfae inegalitatea al ărui membru drept este CRLB { ˆ α} α + α N 8 9
O transformare partiulară, destul de des întâlnită, este transformarea afină definită prin relaţia ˆ α α θ + b r r p p r Între matriele de ovarianţă ale estimatorului vetor pentru θ şi ale estimatorului vetor pentru α se poate stabili o relaţie {( {} ˆ )( ˆ {} ˆ ) } C E α E α α E α {( θˆ b θ b)( θˆ b θ b) } { ( ˆ )( ˆ θ θ θ θ) } {( ˆ {} ˆ )( ˆ {} ˆ E E E ) } E + + E θ θ θ θ C ˆ θ 9 Daă estimatorul vetor pentru θ este efiient atuni şi estimatorul vetor pentru α este efiient şi avem g( θ) g( θ) Disp{ αˆ } I ( θ) Dar g ( θ) aşa ă obţinem C ˆ I α ( θ) Marginea inferioară Cramer-Rao pentru o repartiţie gaussiană generalizată Până aum am avut în vedere doar date ale ăror eşantioane erau identi distribuite şi independente statisti (IID). Pentru astfel de date matriea de ovarianţă este o matrie diagonală, de forma Cx I u
Vom disuta aum un az mai general, în are eșantioanele de date pot fi orelate iar repartiţiile statistie nu sunt neapărat identie. Matriea de autoorelaţie nu va mai fi diagonală iar valoarea medie poate diferi şi poate fi dependentă de parametrul vetor neunosut, aşa ă (, ) x N μ θ C θ În literatura de speialitate se arată ă pentru azul parametrului neunosut de tip vetor, elementele matriei de informaţie Fisher se alulează u relaţia μθ μθ C θ C θ I ( θ) + tr ( a) ij, C θ C θ C θ i j i j Daă parametrul neunosut este un salar, relaţia de determinare a informaţiei Fisher este I θ μ θ C θ μ θ tr C θ C θ ( b) + Vom onsidera un exemplu simplu, în are semnalul util s[n;θ] este afetat de un zgomot alb gaussian, eee înseamnă ă eşantioanele de date x[n] sunt neorelate μ [ ] [ θ ] [ ] xn sn; + wn; n,,..., N [ ] N (, ) wn Vetorul mediilor se determină imediat ( θ) s[ ; θ] s[ ; θ] s[ N ; θ] Matriea de ovarianţă a datelor x[n] este identiă u matriea de ovarianţă a zgomotului, w[n], are formă diagonală şi nu depinde de parametrul neunosut { } ( θ) E ( θ) ( θ) C x μ x θ μ θ { } w E ww C I Derivata matriei în raport u parametrul neunosut este, în onseinţă, nulă ( θ ) C u
Deoaree parametrul este un salar se apliă a doua formulă, (b), pentru determinarea informaţiei Fisher salare I ( θ ) [ ; θ] [ ; θ] [ ; θ] s s s N [ ; θ] [ ; θ] [ ; θ] s s s N Iu [ ; θ ] [ ] [ θ] [ ] N sn n Daă semnalul util nu depinde de un singur parametru neunosut i de mai mulţi, organizaţi sub forma vetorului θ, zgomotul rămânând alb, gaussian, adiă x n s n; + w n ; n,,..., N [ ] N (, ) wn atuni vetorul mediei este s[ ; ] s[ ; ] s[ N ; ] μθ θ θ θ 3 Matriea de ovarianţă va avea forma din azul anterior, şi este independentă de parametrul vetor neunosut ( θ) C C I Se apliă aum prima dintre formulele de alul indiate în literatura de speialitate pentru alulul elementelor matriei de informaţie Fisher,(a), şi obţinem w [ ; θ] [ ; θ] [ ; θ] s s s N I ( θ) ij, i i i u [ ; θ] [ ; θ] [ ; θ] s s s N Iu j j j N sn [ ; θ] sn [ ; θ] n i j
Considerăm ă urmărim să estimăm dispersia unui zgomot alb, gaussian. In aest az modelul de date este x [ n] w[ n] ; n,,..., N ; w[ n] N (, ) Vetorul mediilor nu depinde de parametrul neunosut μ ( ) [ ] dar matriea de ovarianţă depinde de dispersie C I u C ( ) Derivatele matriei de ovarianţă şi ale vetorului mediilor sunt ( ) μ ( ) I u Parametrul neunosut este unul singur şi dei se apliă a doua formulă, (b), pentru alulul informaţiei Fisher N I( θ ) tr II u u tr{ Iu}, θ 5 În onseinţă dispersia de determinare a dispersiei zgomotului satisfae inegalitatea { } Disp CRLB N Vom disuta aum un exemplu puţin diferit. Modelul de semnal este el de omponentă ontinuă neunosută,, dar are este o mărime aleatoare, în sensul ă se poate modifia de la experiment la experiment. Se presupune ă are media nulă și se aută să se estimeze dispersia omponentei ontinue. Zgomotul e afetează aditiv este onsiderat a fi alb, gaussian, și statisti independent de variabila aleatoare [ ] + [ ];,,..., ; [ ] N (, ) xn wn n N wn (, ) N θ După um se poate vedea media datelor este nulă { [ ]} { + [ ]} { } + { [ ]} E x n E w n E E w n 6 3
Elementele matriei de ovarianţă a datelor se determină prin alul diret C { xi x j } E{ ( + wi [ ] )( + w[ j ])} E + E w i + E w j + E w i w j ( ) E [ ] [ ] ij, { } [ ] { } { [ ] } { [ ] [ ] } tragem atenţia ă indiii elementelor din matrie se numerotează u,,... N în timp e indiii din semnal se numerotează u,,... N- fapt e expliă formula de alul de mai sus Deoaree şi w[n] sunt statisti independente avem E w i { [ ]} E{ } E{ w[ i ]} Daă ţinem seama şi de autoorelaţia zgomotului alb, gaussian, i j E{ w[ i ] w[ j ] } δi, j δij,, i j ( ) obţinem C + δ ij, ij, δi,j fiind simbolul lui Kroneker 7 Forma expliită a matriei de ovarianţă a datelor, dependentă de parametrul neunosut este dei C + + + + + 8
Definim vetorul oloană a fiind [ ] Se verifiă, prin alul diret, relaţia: [ ] Matriea de ovarianţă a datelor se poate pune sub forma ( ) + u C I 9 În literatura de speialitate se găseşte aşa numita identitate a lui Woodbury pentru inversarea unei forme matrieale vv ( + vv ) + v v în are este o matrie iar n este un vetor n n v Faem notaţiile I v u şi apliăm identitatea lui Woodbury. vem, suesiv ( ) u + C I Iu I I u + Iu I u + u 3 5
Efetuăm produsul [ ] N şi obţinem pentru inversa matriei de ovarianţă forma ( ) u + N C I Derivatele impliate în formula de alul a informaţiei Fisher sunt ( ) μ ( ) { u} C + I 3 Determinarea informaţiei Fisher impliă alulul expresiei ( ) u N C C ( ) I + + N N N + N + N 3 6
Pătratul produsului se determină uşor ( ) C C ( ) + N ( N ) N ( + N ) Urma matriei este N aşa ă, în final obţinem I ( ) N ( + N ) 33 Dispersia estimatorului dispersiei omponentei ontinue satisfae inegalitatea ^ CRLB Disp + > N Comportarea asimptotiă a limitei Cramer-Rao este uşor de stabilit N, CRLB Marginea inferioară Cramer-Rao asimptotiă Notăm u f frevenţa digitală f Ω, π măsurată în ili/eşantion. Funţia de orelaţie este perehe Fourier u densitatea spetrală de putere xx [ ] r k F P f xx 3 7
Se arată, în literatura de speialitate, ă, asimptoti, putem determina elementele matriei de informaţie Fisher u relaţia / N ln Pxx ( f; θ) ln Pxx ( f; θ) I ( θ) df ; N i, j xx / i Vom exemplifia apliarea formulei de mai sus pentru problema estimării frevenţei purtătoare a unui semnal modulat, atuni ând se unoaşte densitatea spetrală de putere a semnalului util în banda de bază, Q(f). Semnalul modulat este afetat de un zgomot alb, gaussian. Densitatea spetrală de putere a datelor este ( ; ) ( ; ) + + ss + P f f Q f f Q f f P f f j 35 Daă analizăm figura vedem ă e neeră satisfaerea a două onstrângeri f f f + f,5 Parametrul neunosut este frevenţa purtătoare θ f (, / ) Daă apliăm relaţia asimptotiă dată, obţinem pentru informaţia Fisher expresia / N ln Pxx f; f I ( f ) df / f ln P f; f xx f Efetuăm alulul derivatei ln Q( f f) + Q( f f) + f Q f f Q f f + f f Q f f + Q f f + 36 8
Se poate verifia uşor egalitatea ln Pxx f; f ln Pxx f; f f f Informaţia Fisher se pune sub forma / ln Pxx f; f I ( f ) N df f Cu shimbarea de variabilă de integrare f f f ' Q( f ') ' Q( f ') Q f f f f f f f avem df ' ' df ' 37 Integrala e dă informaţia Fisher devine / f ( ') Q f I( f ) N df ' f f ' Q( f ') + Din ondiţia f + f rezultă ă f f iar din ondiţia f f rezultă ă f Deoaree f Q( f ') are suportul f ' f, f extinderea limitelor integralei la -.5 și la.5 nu shimbă valoarea aesteia 38 9
/ / In final rezultă Q f I( f ) N df / f Q( f ) + N ln Q( f ) + df; N / f Pentru exemplifiare onsiderăm o densitate spetrală de putere gaussiană Q f f f ; f e Q f f pentru are f f f e f 39 Punem expresiile anterioare în formula asimptotiă pentru determinarea informației Fisher și obținem / f / f f e / f f / f I f N df; N e + Daă raportul semnal/zgomot este sufiient de mare, expresia se poate înă simplifia / f N I( f ) N df ; N / f f Putem onluziona ă, pentru N sufiient de mare, dispersia estimatorului pentru frevența (digitală) purtătoare satisfae inegalitatea f Disp{ fˆ } CRLB; N N