Hodnocení projektů ESF a jejich dopadů

Hodnocení projektů ESF a jejich dopadů

Ing. Vladimír Kváča, Ph.D.Vrchní ředitel sekce fondů Evropské unie

Ministerstvo práce a sociálních věcí

Praha 2. 5. 2013

Východiska

• Intervence z Evropského sociálního fondu by stejně jako jiné veřejné politiky měly respektovat tři oblasti odpovědnosti:– Správnost a poctivost (jsou procesy podle

pravidel?)– Účelnost a úspornost (dosahujeme cílů s

minimálními náklady?)– Přizpůsobivost a odolnost (reagujeme na

změny okolí, učíme se a zvládáme krize?)

2

OBDOBÍ 2007 - 2013

• Velký důraz na „Správnost a poctivost“ -Jsou procesy podle pravidel?

• Aneb utratili jsme prostředky v souladu s předpisy?

3

Období 2007 - 2013úroveň projektů

• Hlavní důraz je kladen na kontrolu, zda prostředky (tj. vstupy) byly vynaloženy v souladu s předpisy. Na úrovni projektů je kontrolováno pouze to, co se kontroluje snadno, nikoliv to co je důležité.

• Snahy o změnu v současném fungování jsou jen velmi obtížné. Obvykle je hatí auditoři a jejich lpění na některých dokumentech. Pokud se podaří jeden zrušit, další dostaneme za úkol.

4

• Systém hodnocení a měření dopadů projektů v programovacím období 2007 – 2013 není ideální:

• Koncept indikátorů vstupů, výstupů, výsledků a dopadů nebyl jasně vymezen, dochází k zaměňování pojmů výstup a výsledek.

Barca, F.: Outcome Indicators and Targets

5

Období 2007 - 2013úroveň programu

• Indikátory hrají marginální (pouze technickou) roli v programových dokumentech, jejich výběr byl odkládán až na období PO schválení dokumentů.

• Málokdy jsme schopni určit, jaké jsou výsledky přičitatelné programu a realizovaným projektům.

• Jasnou odpověď nepřináší ani většina evaluací.

6

Období 2007 - 2013úroveň programu

OBDOBÍ 2014 - 2020

• Přibývá „Účelnost a úspornost“Plánujte cíle a dosahujte je!

• Velký důraz na „Správnost a poctivost“ příliš neoslabuje.

• Přizpůsobivost a odolnost stále není v centru pozornosti.

7

Období 2014 - 2020

• Existuje zjevná a v obecné rovině správná snaha o větší orientaci na měřitelné výsledky nástrojů kohezní politiky (mj. operačních programů) jak ze strany EK, tak ze strany MMR.

• V novém období bude nevyhnutelně větší důraz na výstupové a výsledkové indikátory.

8

Obavy

• Konkrétní obsah o měření skutečných výsledků je v představách různých aktérů různý.

• Problém vidíme v nebezpečí zachování „současného“ systému kontroly výdajů a jen přidání nové vrstvy kontroly výstupů/výsledků.

9

Obavy

• Obáváme se také nebezpečí redukce cílů na indikátory, což může přinést neblahé důsledky:

– Obehrávání (gaming)

– Zvrácené pobídky (perverse incentives)

10

Obehrávání• Obcházení pravidel a procedur tak, že jejich

smysl není naplněn, ale po formální stránce je jim učiněno za dost.

• Souvisí s užíváním úzkých definic úspěchu.• Příklad: indikátor „počet nově vytvořených

pracovních míst“ někteří poskytovatelé obehrávali skrze masové automatické získávání živnostenských listů pro účastníky svých projektů. Formálně se tedy mohlo zdát, že nová pracovní místa vznikají, reálně však projekt nezpůsoboval žádnou změnu

11Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS

Zvrácené pobídky• Pobídky, které motivují účastníky k chování,

které má opačné výsledky než ty, které měly pobídky původně způsobit.

• Často jsou způsobeny opomenutím strategického chování těch, na které jsou mířeny.

• Rozpoznání efektu zvrácené pobídky u indikátoru není důvod k nevyužití indikátoru, ale je to nezbytný předpoklad pro jeho využití správné.


Příklad zvrácené pobídky:• Rozdělování živnostenských listů pro splnění

indikátoru „nově vytvořená pracovní místa“:– Důsledkem tohoto kroku je, že podpořená osoba

odchází z projektu s nepromyšleně získaným živnostenským listem, což pro ni znamená řadu problémů, o kterých ani nemusí vědět (např. vyloučení z kategorie sociálně potřebné domácnosti / jednotlivce, nemožnost podat žádost o oddlužení, či komplikace s platbou sociálního pojištění).

– Díky zvrácené pobídce tedy nejen že reálně nevznikala hlášená pracovní místa, ale životní situace podpořených osob se dokonce zhoršovala.


Náš přístup

• Na úrovni programu se chceme vyhnout přístupu „přesně kvantifikované cíle za všech okolností“. => Lépe měřit ano, ale neredukovat dosažení cílů na splnění cílové hodnoty indikátoru.

• Nechceme podcenit složitost nastavení indikátorové soustavy, na úrovni projektů budeme přemýšlet, jak minimalizovat nebezpečí obehrávání a nežádoucích pobídek.

14

Náš přístup

• Chtěli bychom v maximální míře využívat existujících administrativních dat, nicméně čelíme problémům především právní dostupnosti údajů (problém s ochranou osobních údajů)

• Vnímáme nebezpečí mechanistického pojetí.

15

Šablonové projektyúroveň projektu

• Předdefinované projekty financované podle paušálních výdajů nebo jednotkových výdajů (vychází k konceptu output-based aid).

• Pilotní výzva JAP – zařízení péče o děti

16

Pilotní výzva JAP

• Cílem výzvy je zlepšování situace v prosazování rovných příležitostí žen a mužů na trhu práce a ve sladění pracovního a rodinného života prostřednictvím zřízení a provozu zařízení péče o děti předškolního věku.

• Podpora je určena na vytvoření nového zařízení péče o děti předškolního věku mimo rámec školského zákona a prvních 18 měsíců jeho provozu. Zařízení musí být zřízeno zaměstnavatelem pro jeho zaměstnance.

17

Zaměstnavatel vytvoří zařízení péče o děti

Služby jsou nabídnuty zaměstnancům -rodičům

Rodiče se účastní, služby jsou poskytovány

Předpokládá se udržitelnost vzniklých zařízení

Black box

Vyšší účast rodin využívajících zařízení péče o děti na trhu práce

Proplacená jednotka:

Vytvořené místo

Žádná platba

Proplacená jednotka:

Obsazené místo

Podpora v čase klesá=> cesta k udržitelnosti provozu po skončení podpory.

Žádná platba

Předpoklad bude testován pro v rámci evaluace výzvy pro ověření fungování výzvy a rozhodnutí, zda je vhodné JAP opakovat.

Oblasti pro šablonové projekty

• Zařízení péče o děti

• Klasické vzdělávací kurzy

• …

• Šablonové projekty ovšem budou jednou, ne jedinou možností.

19

Kontrafaktuální indikátoryúroveň programu

• Název: Míra zaměstnanosti podpořených osob (20-64 let); výsledkový indikátor• Jednotka: %• Stručná definice: Míra zaměstnanosti podpořených osob (20-64 let) převážená na strukturu

obecné populace.• Vysvětlení: Na zaměstnanost celkové populace má kromě podpory z ESF vliv mnoho

dalších faktorů, z nichž je mnoho nemožné jakkoliv ovlivnit, a které jsou obtížně pozorovatelné a měřitelné. Proto je obecná míra zaměstnanosti nevhodná pro měření vlivu a úspěšnosti programu – nelze určit ani odhadnout do jaké míry je potencionální změna zaměstnanosti důsledkem působení programu či třeba důsledkem změn v ekonomice nebo dalších faktorů. Abychom mohli určit, zda program má či němá dopad na zaměstnanost, bude indikátor sledovat zaměstnanost podpořených osob a především to, jak se tato míra zaměstnanosti liší od zaměstnanosti osob v celkové populaci. Předpokládáme, že podpora z ESF podpořeným osobám poskytuje výhodu na pracovním trhu, a po jejím obdržení by tedy měly vykazovat vyšší zaměstnanost než-li skupiny, které jí neobdržely. Tuto výhodu najdeme tak, že ke každé skupině podpořených osob vytvoříme hypotetickou populaci na začátku i na konci sledovaného období, která bude v obou případech demograficky podobná skupině podpořených osob. Následně srovnáme míry zaměstnanosti pro tyto dvě skupiny před poskytnutím podpory (abychom zjistili, jak podobné tyto skupiny z hlediska zaměstnanosti jsou) a poté.

• Výchozí hodnota je z definice shodná Mírou zaměstnanosti (obecné populace) 20-64.

20

DĚKUJI ZA POZORNOST!

Ing. Vladimír Kváča, [email protected]

21

Další informace:

http://www.coprbm.eu/sites/default/files/sourcebook_tusseninres.pdf

http://www.coprbm.eu/

Documents

Hodnocení projektů ESF a jejich dopadů