Curs 11: Metode de tp ansamblu meta-modele) ata mnng - Curs 11 1
Structura Motvaţe Ideea modelelor de tp ansamblu Colecţ de modele bucket of models) Colecţ de arbor aleator random forests) Strateg de agregare a modelelor Baggng Boostng Stackng ata mnng - Curs 11 2
Motvaţe Remnder: Scopul unu clasfcator este estmarea relaţe dntre atrbutul de clasă ş celelalte atrbute construrea unu clasfcator se bazează pe: Un set de antrenare Ipoteze asupra modelulu de clasfcare de exemplu suprafaţa de decze este lnară sau lnară pe porţun) Notaţ y=fx)= clasa aferentă date x ={x1,y1),x2,y2),,xl,yl)} = setul de antrenare gx;) = răspunsul estmat de către modelul construt pe baza setulu de antrenare MSE = eroare mede pătratcă Extragerea modelulu dn date: estmarea parametrlor modelulu astfel ca MSE să fe mnmzată ata mnng - Curs 11 3
Motvaţe Componente ale eror: eplasare Bas) = nabltatea clasfcatorulu de a clasfca corect cauzată de lmtărle modelulu e.g. modelul are suprafete de decze lnare ar cele reale sunt nelnare) Varanţa Varance) = cauzată de volumul lmtat de date de antrenare e.g. do clasfcator bazat pe acelaş model dar antrenate pe setur dferte au performanţe dferte) ata mnng - Curs 11 C. Aggarwal, ata Mnng. The textbook, 2015 4
5 Motvaţe 5 eplasare Bas) = nabltatea clasfcatorulu de a clasfca corect cauzată de lmtărle modelulu e.g. modelul are suprafete de decze lnare ar cele reale sunt nelnare) Varanţa Varance) = cauzată de volumul lmtat de date de antrenare e.g. do clasfcator bazat pe acelaş model dar antrenate pe setur dferte au performanţe dferte) ) ))) ; ) ) ; ))) ; 1 ) ))) ; ))) ; ) ) ; )) ; 2 1 ) ) ) ; ) ; 2 1 )) ; 1 2 2 1 2 2 2 1 2 2 1 2 2 1 2 x g E x g E x g E y L x g E x g E x g E x g E y y L MSE E x g x g y y L x g y L MSE L L L L + = + + = + = = = = = = deplasare nfluenţată de model) Varanţa răspunsurlor produse de clasfcator Antrenat pe dferte setur de date nfluenţată de date) ata mnng - Curs 11
Motvaţe eplasare Bas) = nabltatea clasfcatorulu de a clasfca corect cauzată de lmtărle modelulu e.g. modelul are suprafete de decze lnare ar cele reale sunt nelnare) Varanţa Varance) = cauzată de volumul lmtat de date de antrenare e.g. do clasfcator bazat pe acelaş model dar antrenate pe setur dferte au performanţe dferte) Obs: Un model cu valoare mare pt bas va genera eror char dacă se modfcă setul de antrenare Un model cu varanţă mare va produce rezultate nconsstente când este antrenat pe dferte setur de date Cum se poate reduce eroarea? Reducând deplasarea sau reducând varanţa Este posbl să se reducă ambele? Cum? ata mnng - Curs 11 6
Motvaţe Bas vs varance Modele smple e.g. Modele lnare, modele bazate pe regul smple, arbor de decze smpl, naïve Bayes) eplasare mare datortă faptulu că suprafaţa de decze este prea smplă Varanţă mcă modelele smple sunt robuste în raport cu schmbărle dn seturle de date; modelele smple suferă rar de supra-antrenare) Model complexe e.g. Reţele neuronale/ arbor de decze cu multe nvele) eplasare mcă întrucât modelează bne suprafeţele de decze) Varanţă mare senztve la modfcărle în setul de date; pot f afectate de supra-antrenare) acă se utlzează un sngur model este necesară găsrea unu comproms între deplasare ş varanţă Prn combnarea ma multor modele pot f reduse smultan atât varanţa cât ş deplasarea ata mnng - Curs 11 7
Motvaţe Combnarea ma multor modele model de tp ansamblu Combnând 3 SVM-ur lnare se poate ajunge la suprafaţă nelnară C. Aggarwal, ata Mnng. The textbook, 2015 ata mnng - Curs 11 Combnând arbor de decze antrenaţ pe setur dferte se poate reduce varanţa 8
Este utl să se combne O analza probablstă smplă modelele? Consderăm 25 de clasfcator Fecare clasfcator are o anumtă rată de eroare, ε = 0.35 probabltatea să producă un răspuns eronat) Presupunem că ce 25 de clasfcator sunt ndependenţ Probabltatea ca un ansamblu consttut dn ce 25 de clasfcator în cazul une regul de agregare bazată pe regula majortăţ=: 25 = 13 25 ε 1 ε ) 25 = 0.06 ata mnng - Curs 11 9
Modele de tp ansamblu Cum se construesc modelele de tp ansamblu? Prn construrea ma multor modele pe baza unor dferte poteze structurale) pornnd de la acelaş set de date - corespunde ansamblelor centrate pe modele Prn antrenarea aceluaş model folosnd dferte setur de date extrase aleator dntr-un set global de date) aceasta corespunde ansamblelor centrate pe date Cum se pot utlza modelele de tp ansamblu? Pentru o anumtă dată de ntrare se aplcă toate modelele dn ansamblu ar rezultatul fnal se obţne prn agregarea rezultatelor prn: Votare cel ma frecvent răspuns) în cazul problemelor de clasfcare Medere în cazul problemelor de regrese ata mnng - Curs 11 10
Modele de tp ansamblu Algortm generc pt un model de tp ansamblu Input: set de date ; set de metode/ algortm {A 1, A 2, A r } Output: un model de tp ansamblu constând dn K modele ndvduale {M 1, M 2,, M K } REPEAT k=1 select an algorthm A from the set {A 1, A 2, A r } create a tranng dataset k by samplng from ) construct the model M k by applyng algorthm A to the dataset k k=k+1 Evaluate the performance of the current ensemble {M 1, M 2,, M k } for each model the data not ncluded n the correspondng tranng set are used) UNTIL desred performance ata mnng - Curs 11 11
Modele de tp ansamblu Algortm generc pt un model de tp ansamblu Input: set de date ; set de metode/ algortm {A 1, A 2, A r } Output: un model de tp ansamblu constând dn K modele ndvduale {M 1, M 2,, M K } Cazur partculare: Algortm dferţ, un set de antrenare e.g. Colecţe de modele - bucket of models) Acelaş algortm, dferte setur de antrenare Baggng Random forests Boostng ata mnng - Curs 11 12
Colecţ de modele bucket of models Idee de bază: ma mulţ algortm, un set de date un meta-model agregat Varanta 1: Se antrenează dferte modele utlzând acelaş set de date Rezultatele produse de modelele componente se agreghează prn: Varanta 2: Regula majortăţ Mederea rezultatelor de la modelele componente Setul de date se dvde în două subsetur A ş B Se antrenează toate modelele folosnd setul A Se selectează modelul cu cel ma bun comportament pentru subsetul B Se reantrenează modelul selectat pentru întregul set de date Obs: Reduce deplasarea întrucât pt dferte părţ ale setulu de date ar putea f dferte modele ma adecvate ata mnng - Curs 11 13
Baggng Idee de bază: un algortm, ma multe setur de date ma mulţ clasfcator Setur de antrenare: Obţnute prn selecţe cu revenre dn setul complet de date acă setul complet are L elemente atunc probabltatea ca un anumt element să fe selectat este 1-1 1/L) L ; Exemplu: [Sldes by Kumar/ Introducton to ata Mnng, 2004] ata mnng - Curs 11 14
Baggng Impact baggng: Reduce varanţa Nu reduce deplasarea întrucât acelaş model este folost pt toate seturle de antrenare nu sunt elmnate lmtărle modelulu) Obs: Reducerea varanţe este asgurată doar dacă modelele dn ansamblu sunt ndependente Lmtarea corelaţe dntre modele se poate obţne prn ntroducerea unor elemente aleatoare random forests ata mnng - Curs 11 15
Random forests Random forest = colecţe de arbor aleator construţ folosnd tehnca de la baggng seturle de antrenare sunt construte prn selecţe aleatoare cu revenre) Construre random forest: Se construeşte un random tree pt fecare set de antrenare Utlzare random forest: Se aplcă fecare arbore date de ntrare Se selectează răspunsul domnant schemă smplă de votare) ata mnng - Curs 11 16
Random forests Random tree = arbore de decze construt folosnd random-splt Etape: acă numărul de exemple dn setul de antrenare este L, atunc se selectează L cazur aleator dar cu revenre. Acest set este folost pt construrea arborelu In cazul a M varable de ntrare se fxează un m<<m ar la ramfcarea fecăru nod se selectează aleator m varable ş cea ma bună dntre ele este folostă pt a ramfca nodul. Valoarea lu m este păstrată constantă până la construrea arborelu Fecare arbore este extns cât de mult se poate pt a asgura o valoare mcă a deplasăr. Nu se foloseşte prunng. [Leo Breman https://www.stat.berkeley.edu/~breman/randomforests/cc_home.htm] ata mnng - Curs 11 17
Random forests Obs: eroarea arborlor aleator depnde de 2 elemente: Corelaţa dntre orcare 2 arbor cu cât corelaţa este ma mare cu atât eroarea este ma mare Puterea fecăru arbore dn pădure. Un arbore cu eroare mcă are putere mare Cu cât este ma mare puterea arborlor dn pădure cu atât eroarea pe ansamblu este ma mcă [Leo Breman https://www.stat.berkeley.edu/~breman/randomforests/cc_home.htm] ata mnng - Curs 11 18
Random forests Obs: Influenţa lu m numărul de atrbute selectate în procesul de ramfcare) Reducerea lu m reduce atât corelaţa cât ş puterea. Creşterea lu m conduce la creşterea corelaţe ş a puter E necesar un comproms se alege valoarea lu m care conduce la eroare mcă Obs: estmarea caltăţ se face folosnd datele care nu au fost selectate la construrea arborelu nu e necesară valdare încrucşată) tehnca out-ofbag [Leo Breman https://www.stat.berkeley.edu/~breman/randomforests/cc_home.htm] ata mnng - Curs 11 19
Boostng Ideea de bază: Fecare nstanţă dn setul de antrenare are o pondere care poate f utlzată rect în cadrul modelulu dacă acesta permte utlzare ponderlor) sau în defnrea unor probabltăţ de selecţe Ponderle pot f adaptve nstanţele clasfcate ncorect au asocate valor ma mar ale ponderlor) Abordare: La început toate nstanţele au asocate aceleaş Pe parcursul procesulu de antrenare: Pt Instanţele clasfcate ncorect se măreşte valoarea ponder Pt Instanţele clasfcate corect se mcşorează valoarea ponder Obs: Se presupune că prncpala componentă a eror este deplasarea ş se încearcă reducerea acestea prn acordarea une mportanţe ma mar datelor clasfcate ncorect ata mnng - Curs 11 20
AdaBoost Algortm de antrenare: Input: algortm de clasfcare de bază: A; set de date: Output: Set de modele de clasfcare M 1,, M T ) Set de ponder corespunzătoare modelelor Ideea de bază - La fecare pas t al algortmulu, se obţne o componentă a ansamblulu M t ) vez slde următor - Clasfcatorul de bază e de regulă un clasfcator smplu fără putere prea mare de dscrmnare weak classfer) ata mnng - Curs 11 21
AdaBoost AdaBoost A,) t=1; ntalze the weghts of the tranng nstances: wt,)=1/l for all =1..L REPEAT t=t+1; construct M t usng the current values of the nstances weghts compute the weghted error rate of model M t on Ɛt)) compute the model weght αt)=ln1-ɛt))/ɛt))/2 FOR =1,L O IF x s wrongly classfed THEN wt+1,)=wt,)*expαt)) ELSE wt+1,)=wt,)*exp-αt)) FOR =1,L O wt+1,)=wt+1,)/sumwt+1,j),j=1..l) UNTIL t>=t) or Ɛt)=0) or Ɛt)>=0.5) Obs: dacă la orcare dntre rundele ntermedare rata de eroare este ma mare decât 50% în loc să se oprească algortmul se readuc ponderle la 1/L ş se repetă procedura ata mnng - Curs 11 22
AdaBoost Câteva detal: Rată ponderată de eroare: ε t = 1 L wδ L = 1 t ) M x y ) Importanţa pondere) unu model/ clasfcator: α = t 1 2 1 ε t ln εt ata mnng - Curs 11 23
AdaBoost Etapa de clasfcare în cazul clasfcatorlor bnar ce produc valor în {-1,1}) Se aplcă fecare compnentele ansamblulu M 1, M 2,, M T ) ş se colectează rezultatelr r 1,r 2, r T ) n {-1,1}) Se agreghează rezultatele: calcul r=α 1 r 1 + α 2 r 2 + + α T r T IF r<0 THEN return -1 ELSE return +1 ata mnng - Curs 11 24
AdaBoost Intal weghts for each data pont ata ponts for tranng 0.1 0.1 0.1 Orgnal ata + + + - - - - - + + B1 0.0094 0.0094 0.4623 Boostng Round 1 + + + - - - - - - - α = 1.9459 [Sldes by Kumar/ Introducton to ata Mnng, 2004] ata mnng - Curs 11 25
Boostng Round 1 + + + - Boostng B1 AdaBoost 0.0094 0.0094 0.4623 - - - - - - B2 0.3037 0.0009 0.0422 Round 2 - - - - - - - - + + α = 1.9459 α = 2.9323 0.0276 0.1819 0.0038 Boostng Round 3 + + + + + + + + + + B3 α = 3.8744 Overall + + + - - - - - + + ata mnng - Curs 11 26
Stackng Idee de bază: două nvele de clasfcare Etape prncpale: Se dvde setul de date n două subsetur A ş B Prmul nvel: se antrenează un ansamblu de k clasfcator bazaţ pe A poate f o colecţe de clasfcator, se pot baza pe baggng sau pe k runde de boostng) Second level: Se determnă k eşr etchete ale claselor) ale clasfcatorlor antrenaţ la prmul nvel pentru fecare dntre nstanţele subsetulu B Se construeşte un set de date având ca atrbute de ntrare aceste k eşr ş ca atrbut de clasă etcheta corectă a nstanţe corespunzătoare dn subsetul B Se antrenează un clasfcator pe acest set nou de date ata mnng - Curs 11 27
Stackng Obs: Rezultatul de la stackng este un set de k clasfcator de prm nvel ş un clasfcator combnat Pentru o nstanţă de test, prmul nvel de clasfcator este utlzat o nouă nstanţă k-dmensonală pe când al dolea clasfcator furnzează rezultatul corespunzător nstanţe transformate Atrbutele orgnale pot f combnate cu nole atrbute la construrea clasfcatorulu corespunzător celu de al dolea nvel; este de asemenea posbl ca cele k atrbute no să fe probabltăţ ş nu etchete de clase Tehnca stackng permte reducerea ambelor componente ale eror întrucât al dolea nvel învaţă dn erorle dfertelor componente ale ansamblulu) ata mnng - Curs 11 28
Sumar Impactul metodelor de tp ansamblu asupra componentelor eror Baggng ş random forests au fost proectate să reducă varanţa Boostng ş stackng au fost proectate să reducă ambele componente Extndere de de ansamblu în contextul tehnclor de clusterng Aceeaş dee ca ş la clasfcare: Aplcă dferte metode de clusterng sau aceeaş metodă dar folosnd dferte valor ale parametrlor) Agregare rezultate folosnd algortm de clusterng pt hpergrafur datele reprezntă nodur ş fecare cluster reprezntă o hpermuche) ata mnng - Curs 11 29