PowerPoint Presentation

Transcriere

1 R1 Mecanism de monitorizare și evaluare de impact, R1.1. Metodologii de evaluare de impact proiectate și testate iulie 2019 PROIECT: "Dezvoltarea capacităţii administrative a M.C.I. de implementare a unor acţiuni stabilite în Strategia Naţională de Cercetare, Dezvoltare tehnologică şi Inovare, SIPOCA 27" Contract nr. 21 / / Act adițional nr. 6/

2 SCOP SI REZULTAT R1 - Mecanism de monitorizare și evaluare de impact - R1.1. Metodologii de evaluare de impact proiectate și testate SISTEM DE MONITORIZARE: Lista și catalog de indicatori de context, input, output, out come și de impact în responsabilitatea INCSMPS; Colectarea și procesarea datelor se va face de către autoritățile de implementare programe care au responsabilitate cu specializarea inteligentă, la nivelul fiecărui instrument de finanțare/nivel de domeniu și de obiectiv. Se vor concretiza într-un raport de progres. Procesul de descoperire antreprenorială, în responsabilitatea UEFISCDI, furnizează informații privind evoluția / schimbare a celor 4 domenii de specializare inteligentă stabilite. SISTEM DE EVALUARE DE IMPACT INCSMPS a avut de realizat următoarele: proiectarea, testarea si validarea a două categorii de metodologii de impact: cinci metodologii de evaluare de impact, din care: 4 pentru cele 4 domenii de specializare inteligentă (1. bioeconomie, 2. tehnologia informației și a comunicațiilor, spațiu și securitate, 3. Energie, mediu și schimbări climatice și 4. Eco-nanotehnologii și materiale avansate); una pe domeniul de prioritate publică Sănătate; 6-a metodologie de evaluare la nivel național a impactului agregat al SNCDI Implementarea metodologiilor la mid term, rezultând studii de evaluare de impact pe cele 5 domenii și studiul la nivel național al impactului agregat al SNCDI 2020.

3 IPOTEZE ALE EVALUĂRII DE IMPACT LA MID-TERM Evaluarea de impact s-a făcut numai pentru PNCDI III, instrumentul principal de implementare a SNCDI 2020; A fost măsurat impactul net, adică contribuția efectivă a intervențiilor PNCDI III asupra obiectivelor generale ale SNCDI 2020; Evaluările de impact ale celorlalte instrumente de implementare strategică în domeniul CDI (POC; POCU, PODR etc.) sunt în responsabilitatea autorităților de implementare a acestor programe, și nu pot fi folosite la evaluarea mid term pentru că nu sunt realizate; Aplicarea metodologiilor de impact s-a realizat pe baza unor informații și date colectate prin mecanismul de monitorizare, aflat în practică la momentul evaluării, pe care îl are în administrare instituția care implementează intervențiile Planului Național (UEFISCDI). Alături de aceste informații au fost necesare date statistice de context, oferite de Sistemul Național de Statistică și date colectate la momentul evaluării de la beneficiarii finanțării și de la cei din grupurile de control, prin instrumente de colectare specifice (anchete pe bază de chestionar, interviuri și focus grupuri) elaborate de INCSMPS. Metodologiile au fost adaptate pentru aplicarea lor la mid-term, rezultatele oferite se referă doar la instrumentele/ proiectele finanțate în această perioadă și finalizate, numai cele din cadrul Programului P2, care se referă la obiectivul OG1 al Strategiei cu referire directă la contribuția Specializărilor inteligente la creșterea competitivității prin inovare Metodele de evaluare de impact utilizate sunt un mix de metode de tip cantitativ-calitativ: - Cantitative: metode microeconometrice contrafactuale, metode de agregare pe baza de cost eficacitate și metode macro-econometrice, etc. - Calitative: interviuri, focus grupuri și studii de caz. Remarcă: Aceste rezultate deși parțiale, oferă însă o bună imagine asupra probabilității de a se atinge obiectivele/rezultatele preconizate, dar este însă necesar să fie interpretate ținând cont de ipotezele și limitările precizate.

4 OBIECTIVE GENERALE ȘI SPECIFICE ALE SNCDI 2020 ȘI INSTRUMENTE ALE PNCDI III Obiective generale OG1. Creşterea competitivităţii economiei româneşti prin inovare. 3. Obiective specifice OG2. Creşterea contribuţiei româneşti la progresul cunoaşterii de frontieră. OG3. Creşterea rolului ştiinţei în societate OS1. Crearea unui mediu stimulativ pentru iniţiativa sectorului privat OS2. Susţinerea specializării inteligente, OS3. Concentrarea unei părţi importante a activităţilor CDIpe probleme societale, OS4. Susţinerea aspiraţiei către excelenţă în cercetarea la frontieracunoaşteri Obiective specifice transversale OS5. Atingerea până în 2020 a masei criticede cercetători OS6. Dezvoltarea unor organizaţii de cercetare performante,

5 CONTEXTUL IMPLEMENTĂRII SNCDI 2020 ȘI A PNCDI III FINANȚAREA IMPLEMENTĂRII PLANIFICAT - REALIZAT (p) 2020(p) 2021(p) PIB (prețuri curente)- mil. lei , , , , , ,2 GBERD Fond publice alocate CDI (% din PIB) planificat prețuri curente *) 0,57 0,63 0,73 0,83 0,97 1 GERD cheltuieli totale CDI CA % PIB, realizat GBERD Fond publice alocate CDI (% din PIB)- realizat-prețuri curente**) Fonduri alocate M.C.I., % din PIB realizat prețuri curente***) Fonduri alocate PNCDI III-, %PIB prețuri curente realizat****) 0,45 0,58 0,62 0,68 0,75 0,38 0,30 0,27 0,28 0,26 0,19 0,28 0,21 0,20 0,20 0,22 0,16 0,10 0,09 0,08 0,08 0,09 (p) prognoză *) date din SNCDI 2020 **) date calculate pe baza datelor din bugetele naționale consolidate ***) date calculate pe baza datelor execuției bugetului a M.C.I., publicată pe situl: www ****) date calculate pe baza datelor execuției bugetului M.C.I., publicată pe situl www

6 CONTEXTUL NAȚIONAL Implementarea SNCDI III s-a realizat într-un context economic favorabil, de creștere economică susținută Deficit bugetar în 2018 la 3% din PIB (față de 2,9% în 2014 și 2,7% în 2016), acesta fiind cu 2,4 puncte procentuale mai mare față de media UE în 2018 Datoria publică s-a redus, ajungând în anul 2018 la 35,1% Piața muncii mai puțin favorizantă - șomaj mic ( rata șomajului BIM 5% ); deficite mari de ofertă, migrație mare, spor natural negativ Sursa: Economic Research Division, Federal Reserve Bank of St. Louis

7 REZULTATELE SISTEMULUI NAȚIONAL DE INOVARE ROMÂNIA ESTE UN INOVATOR MODEST Sursa: European Innovation Scoreboard 2019

8 PROGRESUL ÎN IMPLEMENTARE Denumire instrument Total Distribuția proiectelor depuse pe domenii de specializare inteligentă D1 Bioeconomie D2 TIC, spațiu, securitate D3 - Energie, mediu shimbari climatice D4 Eco nano tehnologii si materiale avansate D5 Sănătate D6 Patrimoniu, identitate culturala BG PED PTE Cecuri inovare TOTAL Denumire instrument Total Distribuția proiectelor eligibile pe domenii de specializare inteligentă D1 Bioeconomie D2 TIC, spațiu, securitate D3 Energie, mediu schimbări climatice D4 Eco-nano tehnologii si materiale avansate D5 Sănătate D6 Patrimoniu identitate culturala BG Denumire instrument Total D1 Bioeconomie % Proiecte eligibile în total proiecte depuse D2 TIC, spațiu, securitate D3 Energie, mediu schimbări climatice D4 Eco-nano tehnologii si materiale avansate D5 Sănătate BG 97,8 98,2 98,0 98,0 97,3 97,0 100,0 PED 99,5 99,2 99,4 99,3 99,8 99,7 100,0 PTE 95,9 97,1 96,6 92,1 96,6 95,8 100,0 Cecuri inovare ,1 93,9 93,0 92,6 95,0 100,0 100,0 D6 Patrimoniu, identitate culturala PED PTE Cecuri inovare TOTAL

9 PROGRESUL ÎN IMPLEMENTARE continuare Denumire instrument Total Distribuția proiectelor finanțate pe domenii de specializare inteligentă D1 Bioeconomie D2 TIC, spațiu, securitate D3 - Energie, mediu schimbări climatice D4 - Econano tehnologii si materiale avansate D5 Sănătate D6 Patrimoniu, identitate culturala BG PED PTE Cecuri inovare TOTAL Denumire instrument Total % finanțate în proiecte eligibile D1 Bioeconomie D2 TiC, spațiu, securitate D3 - Energie, mediu schimbări climatice D4 - Econano tehnologii si materiale avansate D5 Sănătate D6 Patrimoniu, identitate culturală BG PED PTE Cecuri inovare

10 EVALUAREA DE IMPACT ABORDAREA CANTITATIVĂ

11 REZULTATELE EVALUĂRII DE IMPACT Întrebările de evaluare urmărite în metodologia de evaluare de impact pe domenii: 1.Care este progresul ce poate fi observat la nivelul domeniului de specializare inteligentă / prioritate publică din perspectiva rezultatelor așteptate, de la momentul adoptării intervenției? 2.În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este mai important? 3.Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context? 4.Ce a mers și ce nu a mers în implementarea instrumentelor de finanțare? 5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine? 6. Ce factori au influențat progresul la nivelul domeniului de specializare inteligentă?

12 REZULTATELE EVALUĂRII DE IMPACT Mixul de metode cantitativ - calitativ Imaginea sintetică a abordărilor metodologice pentru evaluarea de impact se prezintă astfel:

13 REZULTATELE EVALUĂRII DE IMPACT Datele utilizate în evaluarea de impact la nivelul domeniilor: Tip date Sursa date Întrebare de evaluare Metodă de evaluare a impactului/ Metodă de analiză Date administrative privind implementarea UEFISCDI I1, I4 Analiza datelor administrative PNCDI III Date administrative privind implementarea AM POC I1, I4 Analiza datelor administrative POC Microdate privind indicatorii de rezultat obținuți de beneficiarii instrumentelor de finanțare UEFISCDI I1, I2 Analiza datelor profil beneficiari și analiză ezultate obținute Analiza de rețea Date primare colectate prin anchetă sociologică în întreprinderi (de la beneficiari, respectiv non-beneficiari pentru grupurile de control) Date primare colectate prin anchetă sociologică în organizațiile de cercetare beneficiare Microdate secundare privind întreprinderile beneficiare și non-beneficiare ale intervențiilor Date macroeconomice privind contextul implementării Date primare colectate prin interviuri în rândul beneficiarilor Date colectate prin anchetă Date colectate prin anchetă I2, I3, I4 Metode de evaluare contrafactuală a impactului Analiza cost-eficacitate I1, I4 Analiza rezultatelor Analiza factorilor care au contribuit la efectele obținute ONRC I2, I3 Metode de evaluare contrafactuală a impactului INS, EUROSTAT I1 Analiza datelor Date colectate prin interviuri I2, I3, I4, I5, I6 Interviul individual pentru stabilirea lanțului causal Studii de caz Analiza bunelor practici Date colectate prin focus-grup I4, I5, I6 Focus-grupuri Analiza bunelor practice

14 ABORDAREA CANTITATIVĂ 1. Coordonate metodologice ale metodelor contrafactuale Metoda evaluării contrafactuale de impact permite cuantificarea măsurii și a direcției legăturii în care un anumit instrument de finanțare produce efectul dorit. Scenariul contrafactual permite estimarea a ce s-ar fi întâmplat în absența intervenției. Prin intermediul construcției a două grupuri de unități similare în caracteristici observabile, cu diferența că unitățile grupului de tratament au avut acces la intervenție, în timp ce unitățile grupului de control nu au beneficiat de tratament, se va putea măsura impactul net al intervenției. Principalele metode de evaluare contrafactuală sunt: Metoda Propensity Score Matching (PSM) Metoda diferenței-în-diferențe (DID) Metoda regresiei discontinue (RD) Modelul Heckman de regresie în doi pași (RH)

15 ABORDAREA CANTITATIVĂ Selecția instrumentelor de finanțare pentru evaluarea contrafactuală: In cadrul evaluării mid-term au fost identificate următoarele instrumente de finanțare din cadrul PNCDI III pentru aplicarea metodelor contrafactuale: Proiect Bridge Gant - Transfer de cunoaștere la agentul economic (BG) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare Cecuri de inovare (CI) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare Transfer la operatorul economic (PET) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare Proiect experimental demonstrativ (PED) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare

16 ABORDAREA CANTITATIVĂ Limitări metodologice: Disponibilitatea datelor: numărul limitat de proiecte finanțate și finalizate până la momentul evaluării de impact al intervențiilor; limitările procesului de colectare a datelor; limitarea numărului instrumentelor de finanțare pentru care ar fi posibilă aplicarea tehnicilor contrafactuale. Grad diferit de generalitate al impactului estimat al instrumentului de finanțare in funcție de metoda contrafactuală aplicată.

17 ABORDAREA CANTITATIVĂ 2. Coordonate metodologice privind analiza cost-eficacitate Pentru integrarea rezultatelor cantitative produse de evaluările de impact realizate la nivelul instrumentelor de finanțare propunem o analiză de tip cost-eficacitate, ce permite compararea instrumentelor de finanțare cu obiective similare. Etapele analizei de tip cost-eficacitate: Etapa 1. Identificarea programelor care au obiective comune Etapa 2. Stabilirea costurilor totale ale fiecărei intervenții Etapa 3. Măsurarea impactului fiecărei intervenții Etapa 4. Calcularea raportului cost-eficacitate si ierarhizarea instrumentelor relevante

18 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Întrebările de evaluare la care a răspuns abordarea cantitativă: I1. Care este progresul ce poate fi observat la nivelul domeniului de specializare inteligentă din perspectiva rezultatelor așteptate, de la momentul adoptării intervenției? I2. În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este mai important? I3. Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context? I4. Ce a mers și ce nu a mers în implementarea instrumentelor de finanțare? I5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine?

19 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Informații privind colectarea datelor prin anchete față în față în rândul întreprinderilor: Tip cercetare Cercetare statistică exhaustivă Cercetare statistică prin anchetă socilogică Cercetare statistică prin anchetă sociologică Populația pentru aplicarea sondajelor Întreprinderi care au beneficiat de finanțare și întreprinderi care au aplicat, dar nu au obținut finanțare în cadrul intervențiilor PNCDI III Întreprinderi active care nu au beneficiat de finanțare PNCDI III pe baza datelor de la Reg. Com Organizații de cercetare care au beneficiat de finanțare PNCDI III prin Programul 2 - Proiect experimental demonstrativ Metode de construire a eșantionului Exhaustiv Eșantion probabilist stratificat Exhaustiv Metode de organizare a sondajelor Chestionar față în față Chestionar față în față Chestionar față în față Categorie grup și metoda ECI vizată Grup tratament (beneficiari) Grup control (nonbeneficiari) (RD, DID) Grup control (PSM, RD, DID) n/a Principalele dimensiuni/ variabilele de interes pentru culegerea datelor în rândul întreprinderilor: coordonate ale activității de cercetare sursa finanțărilor cheltuielilor de CDI: fonduri publice naționale, fonduri externe, fonduri private rezultate obținute din activitatea de cercetare (publicații, produse/ tehnologii/ servicii, etc.) colaborări cu organizații de cercetare/ universități participări la competiții pentru accesarea de fonduri destinate cercetării venituri din vânzarea de produse de CDI proprii nivelul si evoluția cifrei de afaceri, a activelor, a datoriilor nivelul și evoluția numărul mediu anual de salariați și a personalului (echivalent) direct implicat in CDI nivelul si evoluția cheltuielilor de CDI achiziția de produse de CDI de la terți, etc.

20 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Distribuția pe programe și instrumente de finanțare a firmelor finanțate prin PNCDI III care au răspuns la chestionarele aplicate : Program/ acțiune PNCDI III Program 2. Creșterea competitivită ții economiei românești prin CDI Instrument finanțare de Cecuri de inovare (CI) Bridge Grant (BG) Transfer la operatorul economic (PTE) Proiect experimental demonstrativ (PED) Nr. firme investigate TOTAL Nr. firme investigate Bioeconomie Nr. firme investigate TIC Nr. firme investigate Energie Nr. firme investigate Eco-nanotehnologii Nr. firme investigate Sănătate TOTAL FIRME INVESTIGATE Întrucât anumite firme au beneficiat de finanțări multiple în cadrul Programului 2 PNCDI III și pe domenii distincte, se obține un total de 224 de cazuri, pe baza unui eșantion de 192 firme distincte. Grupul de control de firme care nu au beneficiat de finanțare prin PNCDI III a fost constituit din 1650 de firme, dintre care 342 aplicante nefinanțate la Programul 2 din cadrul PNCDI III și 1308 neaplicante.

21 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate publică din perspectiva rezultatelor așteptate: Instrument de finantare Nr. proiecte depuse Nr. proiecte finantate Suma finantata (mil.lei) BG CI PTE PED BG 1. Bioeconomie 2. TIC 3. Energie 4. Eco-nanotehnologii 5. Sănătate TOTAL Nr. proiecte finantate Sume finantate (mil. lei) Brevete Produse-tehnologii Articole ISI si BDI CI 1. Bioeconomie 2. TIC 3. Energie 4. Eco-nanotehnologii 5. Sănătate TOTAL Nr. proiecte finantate Sume finantate (mil. lei) Brevete

22 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate publică din perspectiva rezultatelor așteptate: PTE 1. Bioeconomie 2. TIC 3. Energie 4. Eco-nanotehnologii 5. Sănătate Nr. proiecte finantate TOTAL Sume finantate (mil. lei) Brevete Produse-tehnologii Articole ISI si BDI PED 1. Bioeconomie 2. TIC 3. Energie 4. Eco-nanotehnologii 5. Sănătate TOTAL Nr. proiecte finantate Sume finantate (mil. lei) Brevete Produse-tehnologii Articole ISI si BDI POC Axa 1 1. Bioeconomie 2. TIC 3. Energie 4. Eco-nanotehnologii 5. Sănătate TOTAL Nr. proiecte finantate Sume finantate (mil. lei) Brevete Total echipamente de CD

23 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Măsura în care progresul observat poate fi atribuit intervenției Tabel. Rezultatele impactului net global măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice publicprivate Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale BG 0,88 0,04 0,41-0,52 0,51-0, CI 0,9 1,14 0,38 0,39-0,66 2,52 PTE 1,85 0,68 1,22 0,41-0,79 0,71 1,12 PED ,66-1,08 Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net) Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice publicprivate Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale Costul finanțării (mil. lei) BG 63,3 1391,5 119,7 104,0 83,1 55,7 CI 7,1 18,9 13,9 2,9 7,3 PTE 61,1 166,2 92,6 188,3 159,1 100,9 113,0 PED 125,1 153,8 133,8

24 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Măsura în care progresul observat poate fi atribuit intervenției - Bioeconomie Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice public-private Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale BG 0,96-1,82 0,43-1,91 0,33-0,64 1,01-2,90 CI 1,21 0,79-0,84 0,46-0,57 PTE 2 1,78 2 0,56 Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net) Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice public-private Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale Costul finanțării aferent domeniului Bioeconomie (mil. lei) BG 10,3 12,3 29,7 7,4 14,4 CI 2,2 3,3 5,2 2,7 PTE 10,8 12,1 10,8 38,5 21,5

25 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Măsura în care progresul observat poate fi atribuit intervenției - TIC Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice publicprivate Colaborări în scopul obținerii de servicii sau produse de CD BG 0,43-0,93 0,67 Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale CI 1,31-1,54 0,57-0,75 0,78 PTE 0,31 0,71 0,49-0,55 0,38 Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net) OG1 OG2 Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional Co-publicaţii ştiinţifice publicprivate Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri Publicaţii ştiinţifice internaționale Costul finanțării (mil. lei) BG 17,65 17,91 12,0 CI 1,12 2,42 2,05 1,6 PTE 100,32 43,80 59,81 81,84 31,1

26 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Măsura în care progresul observat poate fi atribuit intervenției - Energie Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice publicprivate Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale BG 0,58 0,58 CI 0,57 0,71-0,87 2,94 Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net) Instrument de finanțare OG1 Co-publicaţii ştiinţifice public-private OG2 Publicaţii ştiinţifice internaționale Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri BG 18,8 18,8 10,9 Costul finanțării (mil. lei) CI 2,5 1,8 0,5 1,4

27 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Măsura în care progresul observat poate fi atribuit intervenției Eco-nano-tehnologii Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH Instrument de finanțare Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice public-private Colaborări în scopul obținerii de servicii sau produse de CD BG 0,5 CI 1,46 0,62 Ritmul de creștere al cifrei de afaceri PTE 0,33-0,38 2,39 OG2 Publicaţii ştiinţifice internaționale Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net) Instrument de finanțare BG CI PTE Produse/ Tehnologii/ Metode/ Servicii noi sau semnificativ îmbunătăţite realizate Brevete solicitate/ obținute la nivel naţional şi internaţional OG1 Co-publicaţii ştiinţifice public-private Colaborări în scopul obținerii de servicii sau produse de CD Ritmul de creștere al cifrei de afaceri OG2 Publicaţii ştiinţifice internaționale Costul finanțării (mil. lei) 17,3 8,7 0,7 1,7 1,0 85,8 12,7 30,5

28 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Analiza rețelei de parteneriate pentru proiectele derulate prin Programul 2 Fig. Rețeaua PTE Se distinge: Universitatea Politehnică din București (U10) Fig. Rețeaua PED Se disting: Universitatea București (U11) și Universitatea Politehnică București (U25). Fig. Rețeaua BG Se disting: Universitatea Politehnica din București-U25, Universitatea Tehnică din Cluj-Napoca-U29 și Universitatea București-U13 Fig. Rețeaua CI Se distinge: Universitatea de științe agricole și Medicină veterinară Cluj-Napoca (U13)

29 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Ce a mers și ce nu a mers în implementarea instrumentelor de finanțare? Tabel. Rezultate obținute din anchetele în rândul firmelor, respectiv organizațiilor de cercetare ASPECTE POZITIVE ASPECTE NEGATIVE FIRME Modul de redactare a pachetului de informații (clar formulat, fără informații redundante, cu informații bine structurate) Procesul de contractare Durata evaluării ORGANIZAȚII DE CERCETARE Modul de redactare a pachetului de informații (clar formulat, fără informații redundante, cu informații bine structurate) Procesul de contractare Comunicarea cu reprezentanții instituției finanțatoare Calitatea monitorizării proiectului Durata evaluării Calitatea evaluării (criterii de evaluare adecvate, transparența evaluării, calitatea comentariilor evaluatorilor, etc.) Predictibilitatea finanțării Birocrația asociată implementării proiectului (birocrația asociată raportărilor tehnice și financiare, birocrația asociată proceselor de achiziție, etc.)

30 REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL Metodele propuse pentru evaluarea impactului SNCDI Metoda propusă Național Nivel de evaluare a impactului Domeniu de specializare inteligentă (+prioritate publică Sănătate) Instrument de finanțare 1 Metodă de evaluare contrafactuală - Diferențăîn-diferență (DID) 2 Metodă de evaluare contrafactuală Propensity score matching (PSM) 3 Metodă de evaluare contrafactuală Regresia discontinuă (RD) 4 Modele Heckman de regresie în doi pași X X 5 Analiza cost-eficacitate X X 6 Interviul individual pentru stabilirea lanțului cauzal X 7 Studii de caz X X 8 Focus grupuri X X 9 Modele logice pentru evaluarea efectelor de spillover X 10 Analiza multicriterială X 11 Analiza bunelor practici X X 12 Model macroeconomic Input-Output X 13 Analiza rețelelor de colaborare X 14 Integrare rezultate de la nivelul X X Instrumentelor de finanțare 15 Integrare rezultate de la nivelul domeniilor de specializare inteligentă 16 Analiza indicatorilor de rezultat X X X 17 Analiza evoluției indicatorilor țintă ai SNCDI X X X X X X X X

31 REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL Datele care au stat la baza evaluării impactului SNCDI de impact Tip date Sursa date Metodă de evaluare a impactului/ Metodă de analiză Date administrative privind implementarea PNCDI III UEFISCDI Analiza datelor administrative Date administrative privind implementarea POC AM POC Analiza datelor administrative Date statistice din Conturile naționale cu privire la fluxurile dintre activitățile economice (input-output) INS Modelul input-output Date statistice cu privire la indicatorii țintă ai SNCDI INS, Eurostat Analiza progresului în raport cu țintele Microdate privind indicatorii de rezultat obținuți de beneficiarii instrumentelor de finanțare Date primare colectate prin anchetă sociologică în întreprinderi (de la beneficiari, respectiv nonbeneficiari pentru grupurile de control) Date primare colectate prin anchetă sociologică în organizațiile de cercetare beneficiare Microdate secundare privind întreprinderile beneficiare și non-beneficiare ale intervențiilor UEFISCDI Date colectate prin anchetă Date colectate prin anchetă ONRC Analiza datelor profil beneficiari și analiză ezultate obținute Analiza de rețea Metode de evaluare contrafactuală a impactului Analiza cost-eficacitate Analiza rezultatelor Analiza factorilor care au contribuit la efectele obținute Metode de evaluare contrafactuală a impactului Date macroeconomice privind contextul implementării INS, EUROSTAT Analiza datelor Date primare colectate prin interviuri în rândul beneficiarilor Date colectate prin focus-grup Date colectate prin interviuri Interviul individual pentru stabilirea lanțului causal Studii de caz Analiza bunelor practici Focus-grupuri Analiza bunelor practice

32 REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL Contribuția SNCDI la evoluția PIB-ului S-au estimat efectele directe, indirecte și induse pe care activitatea de CD și cheltuielile pentru CD prin SNCDI le-au produs asupra formării PIB. Pentru estimarea acestor efecte s-a utilizat modelul statistic dezvoltat de V. Leontief care pe baza relațiilor inter-sectoriale în cadrul unei economii, descrie modul în care o unitate de output (ieșire) dintr-un anumit sector poate deveni input (intrare) într-un alt sector, prin estimarea unor multiplicatori. Natura contribuției (%) Programe TOTAL Contributia directa Contributia directa+indirecta TOTAL PNCDI3 + NUCLEU+POC TOTAL PNCDI3 + NUCLEU+POC Contributia directa+indirecta+indusa TOTAL PNCDI3 + NUCLEU+POC

33 PRINCIPALELE REZULTATE ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA Concluziile desprinse din analiza cantitativă În urma analizei contrafactuale de impact la nivelul domeniilor de specializare inteligentă/ prioritate publică, se constată, în general, efecte pozitive, dar modeste, ce pot fi atribuite instrumentelor de finanțare analizate asupra indicatorilor de impact. Totuși, pentru anumiți indicatori și anumite instrumente de finanțare, impactul estimat s-a dovedit a fi mai important la nivel de domeniu de specializare inteligentă/ prioritate publică decât per total domenii. Cu toate acestea, semnalăm faptul că dimensiunea redusă a eșantioanelor de întreprinderi finanțate investigate prin anchetă statistică a limitat gradul de aplicabilitate a tehnicilor contrafactuale de impact, care să poată permite estimarea unor efecte nete statistic semnificative. În acest sens, spre exemplu, amintim faptul că în cazul domeniului Sănătate sau respectiv în cazul instrumentului de finanțare PED nu au putut fi estimate efectele nete ale intervenției, ca urmare a numărului redus de observații colectate. O altă problemă semnalată de echipa de evaluare vizează procesul dificil de selectare și de contactare a beneficiarilor intervențiilor, cauzate de lipsa informațiilor cu privire la datele de contact ale acestora.

34 EVALUAREA DE IMPACT - ABORDAREA CALITATIVĂ

35 Obiectivele abordării calitative 1. Investigarea efectelor instrumentelor de finanțare 2. Identificarea factorilor care au influențat rezultatele instrumentelor de finanțare, inclusiv factorii contextuali 3. Identificarea mecanismelor instituționale care au frânat sau care au facilitat atingerea rezultatelor intervențiilor 4. Identificarea efectelor neintenționate pozitive și negative ale intervențiilor 5. Identificarea unor recomandări de îmbunătățire a instrumentelor de finanțare

36 Metode utilizate Focus grup 5 focus grupuri, câte unul pentru fiecare domeniu de specializare inteligentă 5-11 participanți dintre beneficiari (universități, institute de CDI, firme) Interviuri cu reprezentanți ai instituțiilor responsabile cu implementarea și monitorizarea PNCDI III și POC 5 interviuri UEFISCDI 4 interviuri MCI Studiu de caz asupra proiectelor de cercetare 50 de proiecte finalizate finanțate prin PNCDI III și POC Avantajele metodelor: oferă informații complementare abordării cantitative, care pot susține construirea explicațiilor culeg de informații cu privire la context permit explorarea altor efecte Limitele metodei: Număr relativ scăzut de proiecte care pot fi studiate (metodă costisitoare) Selecția cazurilor (se face pe baza considerentelor teoretice, dar și practice accesibilitatea proiectelor)

37 Metode utilizate Studiu de caz asupra proiectelor finanțate (finalizate) S-au în vedere unități de analiză multiple: organizații (instituții coordonatoare, organizații partenere) și cercetători Tehnici utilizate pentru colectarea datelor sunt următoarele: Interviuri semi-structurate cu reprezentanți ai organizațiilor coordonatoare / instituțiilor gazdă Interviuri semi-structurate cu directori de proiect și responsabili științifici ai partenerilor Analiza surselor administrative de date: rapoarte de activitate ale organizațiilor care au implementat proiectul de cercetare, documente organizaționale, informații privind proiectul de cercetare. Au fost studiați factori de influență: 1) caracteristici ale organizațiilor, 2) caracteristici ale instrumentelor de finanțare și 3) condiții de context

38 Distribuția studiilor de caz pe programe, instrumente de finanțare și domenii Program Sub-program/acțiune Instrument de finanțare Nr. proiecte PNCDI Program 2. Creșterea Proiect experimental 12 III competitivității economiei românești prin CDI demonstrativ (PED) Cecuri de inovare (CI) 5 Program 3. Cooperare europeană și internațională Bridge Grant (BG) 9 Transfer la operatorul 9 economic (PTE) Proiecte mobilități RO-MD 4 Proiecte Eurostars 1 Program 4. Cercetare fundamentala si de frontiera ERC-LIKE 1 POC Acțiunea A. Investiții pentru 1 departamentele de CD ale întreprinderilor Acțiune C. Întreprinderi inovatoare de tip start-up și spin-off 3 Acțiune D. Întreprinderi nouînființate inovatoare 5 TOTAL STUDII DE CAZ 50 Sănătate; 11 Eco-nanotehnologii și materiale avansate; 8 alta; 1 Energie, mediu și schimbări climatice; 11 Bioeconomie; 8 TIC, spațiu și securitate ; 11

39 Efecte la nivelul organizațiilor și cercetătorilor Cele mai importante beneficii: obținerea de noi cunoștințe creșterea vizibilității prin publicații internaționale atragerea unor tineri cercetători obținerea unor rezultate de CD (materializate prin cereri de brevete) deschiderea unor noi direcții de cercetare și colaborare dezvoltarea infrastructurii de CD (cu precădere prin POC) Transferul în mediul economic Durata redusă a proiectelor dificultăți în realizarea transferului Provocarea rămâne trecerea la producția de scară și promovarea produselor care rămân în sarcina mediului economic E foarte greu cu agenţii economici în România. Ei sunt mai degrabă interesaţi de beneficii materiale imediate, ştiţi? Ori acest tip de proiecte vizează beneficii pe termen lung, prin implementarea rezultatelor cercetării. (Interviu Director de proiect)

40 Ce a mers și ce nu a mers în implementarea instrumentelor de finanțare? Puncte TARI: Tipul parteneriatelor finanțate prin diferitele instrumente a fost considerat adecvat și cuprinzător Complementaritatea expertizei partenerilor a permis cercetări interdisciplinare Colaborarea cu reprezentanții instituțiilor care asigură implementarea programelor a fost apreciată favorabil Puncte SLABE Discontinuități în finanțarea proiectelor, mai ales în prima parte a anului Dificultăți pentru organizațiile fără venituri proprii Realizarea cheltuielilor absolut necesare Evaluarea proiectelor: Durata prea lungă a evaluării Imposibilitatea contestării Criterii de evaluare neclare, aplicate neunitar Lipsa specialiștilor pe unele sub-domenii evaluate Disonanțe între punctaje și comentariile de justificare Comentarii vagi, nespecifice Timpul prea lung de la depunerea propunerii până la implementarea proiectului (modificarea condițiilor)

41 Ce a mers și ce nu a mers în implementarea instrumentelor de finanțare? Puncte SLABE Durata prea scurtă a proiectelor în raport cu timpul necesar atingerii obiectivelor, dezvoltării produselor și realizării testelor specifice Probleme deosebite s-au înregistrat în cadrul proiectelor cu aplicație în sectorul medical și agricol (Bioeconomie, Sănătate) Inadecvarea unor indicatori de rezultat solicitați de proiect la durata proiectului și la specificul instrumentului de finanțare Atragerea tinerilor cercetători a fost afectată de faptul că procedurile de recrutare și angajare în organizațiile de cercetare necesită o perioadă de timp care influențează negativ desfășurarea proiectului Lipsa de flexibilitate în ceea ce privește modificarea salariilor, creșterea numărului de cercetători pe parcursul proiectului, modificarea timpului de lucru alocat posturilor sau comasarea unor poziții

42 În ce măsură și cum ar fi putut lucrurile fi făcute mai bine? Pregătirea cercetătorilor pentru elaborarea propunerilor de proiecte Îmbunătățirea calității pachetelor de competiție, clarificarea condițiilor de depunere și implementare a proiectelor Reducerea birocrației asociată depunerii proiectelor Simplificarea procedurilor birocratice asociate achizițiilor și a riscurilor de nerambursare a cheltuielilor Simplificarea procedurilor de recrutare și angajare în proiecte Mărirea perioadei în care se poate face raportarea finală, astfel încât să poată fi raportate și articolele care sunt acceptate și publicate după finalizarea proiectului Îmbunătățirea procesului de înregistrare a rezultatelor în Registrul rezultatelor; în prezent, acesta nu răspunde obiectivelor sale și nu oferă o evidență adecvată. Reducerea numărului de declaraţii pentru etapa de aplicaţie. Semnam declaraţii. Du-te acolo, dincolo, aleargă fiecare partener să îşi semneze declaraţiile. La contractare semnezi din nou declaraţiile (Interviu Director de proiect)

43 Ce factori au influențat progresul la nivelul domeniilor de specializare inteligentă? Factori externi organizațiilor - Nivelul general scăzut al finanțării pentru cercetare - Lipsa de continuitate a competițiilor de proiecte la nivel național, perioade lungi de timp în care nu a existat oportunitatea de a aplica pentru finanțare - Acces redus la sursele de finanțare internaționale din cauza lipsei de vizibilitate a organizațiilor românești - Gradul de dezvoltare a eco-sistemului de cercetare la nivel local/regional Factori interni organizațiilor - Pierderi de personal, pe fondul discontinuităților din finanțare - Criteriile de promovare favorizează publicațiile în defavoarea transferului, ceea ce a inhibat activitatea de transfer tehnologic - Infrastructura de cercetare învechită

44 Concluzii Există intenția și interesul ca cercetările derulate în proiecte să fie continuate pentru a fi atins un nivel TLR superior Continuarea cercetărilor este frânată de lipsa oportunităților de finanțare Accesarea unor alte surse de finanțare care să permită continuarea cercetărilor a fost extrem de dificilă pentru că nu au mai existat competiții naționale în domeniu Acces redus la finanțările externe ca urmare a finanțărilor reduse de la nivel național Activitatea echipelor de cercetare a fost afectată de lipsa continuității surselor de finanțare și dificultatea de a susține activitatea profesională exclusiv din proiecte Atragerea tinerilor cercetători (masteranzi, doctoranzi) s-a realizat în multe cazuri doar pe perioadă determinată, angajarea lor neputând fi susținută după finalizarea proiectelor Domeniile de specializare inteligentă prezintă un potențial foarte mare, însă, deocamdată, transferul tehnologic nu este facil în România deoarece numărul de producători este extrem de mic Transferul în mediul economic ar fi mai bine sprijinit dacă și agenții economici ar primi sprijin financiar consistent în acest sens

45 Recomandări Creșterea nivelului general de finanțare a activităților de cercetare Dezvoltarea unui cadru de finanțare multi-anuală, conștientizat ca nevoie a mediului de cercetare de multă vreme și neimplementat până în prezent O mai bună conectare a cercetării la mediul economic - Facilitarea unor întâlniri între instituțiile de cercetare și mediul economic pe durata pregătirii aplicațiilor pentru competiții Reducerea duratei de evaluare a proiectelor și îmbunătățirea modalității de organizare a evaluării Creșterea duratei maxime de implementare a proiectelor pentru a permite atingerea nivelului de TLR propus și asigurarea unor mai bune premise pentru transferul rezultatelor de CD Asigurarea predictibilității competițiilor și a continuității oportunităților de fiananțare

46 Mulțumim pentru atenție!