Badanie ewaluacyjne finansowane przez Unię Europejską ze środków Funduszu Spójności oraz budżetu państwa w ramach pomocy technicznej Programu Infrastruktura i Środowisko
Cel badania
Ocena przygotowania beneficjentów projektów indywidualnych w ramach osi I-III POIiŚ do realizacji projektów, absorpcji środków z UE oraz identyfikacji obszarów ryzyka.
Cel badania Badaniu ewaluacyjnemu podlegały następujące aspekty:
przygotowanie beneficjentów do realizacji projektów;
ryzyka wewnętrzne i zewnętrzne identyfikowane przez beneficjentów na etapie przygotowania projektu;
etap realizacji projektów;
skutecznośd pomocy ze strony systemu wdrażania funduszy europejskich.
Metodologia badania desk research;
analiza statystyczna;
wspomagany komputerowo wywiad telefoniczny (CATI) n=61;
telefoniczne wywiady pogłębione (TDI);
indywidualne wywiady pogłębione (IDI);
wywiady eksperckie;
zogniskowany wywiad grupowy (FGI);
warsztat ewaluacyjny;
case study
analiza SWOT;
analiza drzewa celów i problemów.
Uczestnicy badania ewaluacyjnego – podział według Priorytetu
4.1%
2.8%
3.0%
Priorytet III - Zarządzanie zasobami i przeciwdziałaniezagrożeniom środowiska
Priorytet II - Gospodarka odpadami i ochronapowierzchni ziemi
Priorytet I - Gospodarka wodno- ściekowowa
Uczestnicy badania ewaluacyjnego – typ beneficjentów
0.2%
0.2%
0.3%
0.3%
0.3%
0.5%
1.0%
1.0%
2.6%
3.6%
Wojewodowie
Urzędy morskie
Podmioty odpowiedzialne za realizację zadao
Komenda Główna i komendy wojewódzkie PaostwowejStraży Pożarnej
Główny Inspektor Ochrony Środowiska
PGL Lasy Paostwowe i jego jednostki organizacyjne
Regionalny Zarząd Gospodarki Wodnej
Wojewódzki Zarząd Melioracji i Urządzeo Wodnych
Jednostki samorządu terytorialnego
Podmioty świadczące usługi wodno-ściekowe
Kategorie interwencji funduszy strukturalnych
4.3%
0.3%
0.5%
0.3%
3.1%
1.6%
1.8%
53 - Zapobieganie zagrożeniom
51 - Promowanie bioróżnorodności i ochrony przyrody(w tym NATURA 2000)
50 - Rewaloryzacja obszarów przemysłowych irekultywacja skażonych gruntów
49 - Dostosowanie do zmian klimatu i łagodzenie ichskutków
46 - Oczyszczanie ścieków
45 - Gospodarka i zaopatrzenie w wodę pitną
44 - Gospodarka odpadami komunalnymi iprzemysłowymi
Etapy projektów
0.3%
0.3%
7.4%
1.6%
0.3%
projekt zakończony
etap rozliczenia
etap realizacji
etap kontraktowania
etap koncepcyjny
Przyczyny niedotrzymania terminów założonych w harmonogramie:
problemy z procedurami przetargowymi (przedłużanie się procedur, kłopoty finansowe wykonawców)
rozszerzenie zakresu rzeczowego projektu
oczekiwanie na dotację/środki z rezerwy celowej
przedłużająca się procedura uzyskania OOŚ
Doświadczenie beneficjenta ponad połowa beneficjentów (58,9%) posiada
doświadczenie w realizacji projektów finansowanych z funduszy UE;
średnio beneficjenci realizowali kilka takich projektów (ok. 3-4);
23,4% beneficjentów posiada doświadczenie w realizacji projektów z analogicznych, zewnętrznych źródeł finansowania(średnio w instytucji realizowano 2 takie projekty).
doświadczenie w realizacji inwestycji podobnej pod kątem rzeczowym posiada 37,7% instytucji.
Organizacja wewnętrzna beneficjenta
w 90,2 % instytucji jest wyodrębniona jednostka organizacyjna powołana wyłącznie do realizacji projektów;
w ponad połowie instytucji (54,1%) osoby wchodzące w skład zespołu projektowego pracują wyłącznie nad projektem;
w 62,3% projektów koordynator projektu pracował także w fazie wczesnego planowania, tworzenia założeo projektu;
eksperci zewnętrzni byli zaangażowani w tworzenie koncepcji aż w 80,3% projektów;
w 27,9% projektów szkolenie z metodologii projektami przeszli wszyscy członkowie zespołu projektowego, natomiast w 32,8% projektów szkolenie to przeszli tylko niektórzy członkowie.
w 4,9 % projektów szkolenie to przeszedł tylko koordynator projektu; liczba osób w zespołach waha się od 1-2 osób do 30. Najczęściej były to
grupy składające się od 5 do 10 osób; rotacja w zespole wystąpiła w 63,9% projektach . W zdecydowanej
większości przypadków nie miała wpływu na realizację projektu.
Rozpoczęcie działao związanych z przygotowaniem dokumentacji aplikacyjnej
6.7%
3.3%
przed wpisaniem na listę projektówindywidualnych
po wpisaniu na listę projektówindywidualnych
Trudności w przygotowaniu wykazu zamówieo wraz z SIWZ
0.9%
2.4%
6.8%
wystąpiły znaczne trudności, którychrozwiązanie stanowiło duży problem
wystąpiły niewielkie trudności,których rozwiązanie nie stanowiło
dużego problemu
nie wystąpiły żadne trudności
Do trudności w przygotowaniu wykazu zamówieo wraz z SIWZ należą przede wszystkim:
• zmiany w prawie zamówieo publicznych,
• problemy z przygotowaniem opisu przedmiotu zamówieo,
• zbyt mało osób w zespołach projektowych. Praca nad kilkoma zamówieniami publicznymi jednocześnie,
• utrudnianie rozstrzygnięcia przetargu przez niewybranych wykonawców,
• brak specjalisty do spraw zamówieo publicznych na etapie przygotowania przetargu.
Ustalanie zakresu rzeczowego
6.6%
3.5%
3.3%
3.1%
2.9%
Inne
Problemy zgłaszane przezmieszkaoców
Konsultacje społeczne
Braki/potrzeby zgłaszaneprzez
ekspertów/rzeczoznawców
Koniecznośddostosowania do nowych
standardów
4.6%
4.2%
3.7%
2.8%
1.1%
Inne
Przeprowadzonokonsultacje eksperckie
Przeprowadzono analizęporównawczą możliwych
rozwiązao
Przeprowadzono analizęrozwiązao stosowanych
w innychregionach/krajach
Przeprowadzono analizęSWOT możliwych
rozwiązao
Studium wykonalności ponad połowa beneficjentów (55,7%) nie miała problemów
w przygotowaniu studium wykonalności;
problemy, które wystąpiły podczas przygotowania studium:
o zmiana wytycznych w okresie opracowywania studium;
o skomplikowane i niedostosowane przepisy unijne;
o stopnieo skomplikowania studium wykonalności (ze względu na koncepcję projektu);
o problemy ze zdobyciem środków na wykonanie studium;
o problemy z wykonawcą studium.
w 73,3% projektów nie wystąpił problem niejednorodności treści zapisów studium z innymi dokumentami;
Ponad połowa (56,7%)beneficjentów korzystała z pomocy NFOŚiGW, WFOŚiGW bądź MŚ w przygotowaniu studium;
w 83,3% projektów cena była kryterium przy wyborze wykonawcy.
Etapy, na jakich wystąpiły problemy
0.4%
3.0%
0.4%
1.8%
2.1%
4.6%
Nie wiem,trudno powiedzied
Żadne z powyższych
Pozyskiwania odpowiednich deklaracjiinstytucji odpowiedzialnych za monitoring
obszarów Natura 2000
Przeprowadzania konsultacji społecznych
Pozyskiwania pozwoleo na budowę, w tymuzyskiwaniem prawomocnych decyzji
lokalizacyjnych
Pozyskiwania dokumentacji związanej zprzeprowadzeniem postępowania ws. oceny
oddziaływania na środowisko dla zadao…
Problemy związane z przeprowadzeniem postępowania ws. oceny oddziaływania na środowisko.
0.4%
0.4%
0.4%
0.4%
0.4%
0.8%
0.8%
1.2%
1.6%
1.6%
2.0%
Decyzja niezgodna z wytycznymi UE
Dezuaktualizacja decyzji w momencie podpisania umowy
Koniecznośd ponownego otrzymania decyzji z powodu złączeniaprojektów
Problem z uzyskaniem zgody właścicieli gruntów
Problemy wynikające z realizacji projektu na terenie dwóchwojewództw
Proceduralne błędy administracji
Koniecznośc odwoływania się od decyzji środowiskowej
Protesty mieszkaoców
Długotrwałe procedury
Niedostosowanie prawa polskiego do unijnego
Zmiany przepisów
Zmiany prawa oraz wytycznych PO IiŚ W 46,7% projektów zmiany prawa oraz wytycznych PO IiŚ wpłynęły na
przygotowanie merytoryczne i rzeczowe projektów, przede wszystkim ze względu na:
koniecznośd ponownego podjęcia procedur (np. w sprawie uzyskania OOŚ,
studium wykonalności, procedury przetargowej),
opóźnienia w realizacji niektórych zadao,
problemy z kwalifikowalnością podatku VAT.
Dla prawie 60% projektów zmiany prawa oraz wytycznych PO IiŚ nie wpłynęły na przygotowanie do absorpcji środków z UE, natomiast dla 18% zmiany te wpłynęły na przygotowanie do absorpcji w znacznym stopniu. Wiązało się to przede wszystkim z większym nakładem pracy, czasowym przedłużeniem okresu przygotowania oraz z większymi kosztami finansowymi.
Zabezpieczenie wkładu własnego 82% projektów posiadało zabezpieczenie wkładu własnego na
realizację projektu,
źródła wkładu własnego:
2.0%
3.9%
3.9%
5.3%
inne
pożyczki niepodlegające umożeniu
środki publiczne
środki własne
Zabezpieczenie wkładu własnego
4.0%
1.3%
1.3%
4.4%
inne
dochody instytucji
umowa kredytowa/pożyczkowa
odpowiednia uchwała do ustawybudżetowej
• 80% beneficjentów nie natrafiło na problemy przy pozyskiwaniu wkładu własnego.
Zrozumiałośd kwestii związanych z podatkiem VAT i jego kwalifikowalnośd
0.3%
0.3%
0.5%
1.5%
7.3%
Zdecydowanie nie
Raczej nie
Ani tak, ani nie
Raczej tak
Zdecydowanie tak
Koszty początkowe 44,3% instytucji poniosło znaczne koszty finansowe podczas
starao o dofinansowanie z UE (koszty poniesione na przygotowanie dokumentacji aplikacyjnej);
najbardziej kosztochłonnym elementem było przygotowanie dokumentacji technicznej;
najbardziej czasochłonnym elementem było przygotowanie dokumentacji wraz z wnioskiem o dofinansowanie;
w 80% projektów koszty początkowe pokryte zostały z środków własnych;
koniecznośd pokrycia kosztów początkowych stanowiła zagrożenie dla realizacji projektu tylko w przypadku 3,8% projektów.
Proces identyfikacji ryzyka oraz działania minimalizujące najpoważniejsze ryzyka
proces identyfikacji ryzyka najczęściej związany był z przygotowaniem studium wykonalności;
częstą praktyką było zlecanie przeprowadzenia identyfikacji ryzyka podmiotom zewnętrznym;
przy identyfikacji ryzyk korzystano także z pomocy ekspertów; do działao zaradczych minimalizujących ryzyka należą przede wszystkim:
bieżące monitorowanie wszystkich etapów projektu, aktywny kontakt z ekspertami, zwiększenie zatrudnienia osób kompetentnych w określonych obszarach
projektu, tworzenie kart ryzyk, racjonalna kalkulacja wszystkich kosztów, wyznaczenie osoby odpowiedzialnej za czuwanie nad prawidłową realizacją
projektu.
Identyfikacja ryzyk związanych z organizacją wewnętrzną projektu
4.4%
0.6%
0.6%
0.6%
1.3%
1.3%
1.9%
2.5%
3.1%
3.8%
Inne
Niewłaściwy podział zadao
Ograniczone zasoby czasowespowodowane innymi zajęciami
Brak systemu przepływu informacji
Problemy z biurem projektu
Małe doświadczenie zespołuprojektowego
Praca zespołu projektowego pogodzinach
Problemy z terminowym wykonywaniemposzczególnych zadao
Rotacja w zespole projektowym
Niewystarczająca liczba osób w zespoleprojektowym
Identyfikacja ryzyk związanych z zakresem rzeczowym projektu
4.6%
1.8%
2.3%
2.3%
2.7%
Inne
Pominięcie niektórych zadao w zakresierzeczowym projektu
Problemy z terminową realizacją zadaowyszczególnionych w zakresie
rzeczowym projektu
Koniecznośd wprowadzenia zmian wzakresie rzeczowym projektu
Problemy z ostatecznym zdefiniowaniemzakresu rzeczowego projektu
Identyfikacja ryzyk związanych z kwestiami finansowymi
3.9%
1.5%
4.2%
4.2%
4.6%
Inne
długie okresy rozliczeniowe
problemy z płynnością finansową
problemy z wygospodarowaniemodpowiedniej wielkości środków
problemy z pozyskaniem źródełfinansowania
Identyfikacja ryzyk zewnętrznych wobec projektu
45,8% beneficjentów przewidziała ryzyka zewnętrzne wobec projektu;
zdecydowanie najczęściej wymieniane w tym obszarze ryzyka przez beneficjentów miały związek z niepewną sytuacją w branży budowlanej - kłopoty firm, które wygrały przetarg, sytuacje zamykania tego typu przedsiębiorstw bądź rozchwiane ceny za usługi w tej branży;
pośród nielicznych innych zagrożeo zewnętrznych zostały wymienione przez beneficjentów zmiany prawa oraz zjawiska losowe, takie jak np. powódź.
Zmniejszenia negatywnych skutków problemów, nieprzewidzianych na etapie przygotowania projektu
3.5%
0.4%
0.4%
0.4%
0.4%
0.4%
0.4%
0.4%
0.9%
0.9%
1.7%
Nie było możliwości wcześniejszegoprzygotowania się
Stosowne zabezpieczenia w warunkach umowy
Szukanie alternatywnych źródeł finansowania
Wykonana ekspertyza
Zmniejszenie zakresu rzeczowego
Zwiększenie nadzoru nad realizacją
Próby zabezpieczenia środków kwalifikowanychw budżecie
Przeprowadzanie szkoleo
Wydłużenie terminu realizacji projektu
Przygotowanie zachowawczego harmonogramu
Korzystanie z konsultacji ekspertówzewnętrznych
Wystąpienie problemów nieprzewidzianych na etapie przygotowania projektu
0.3%
0.3%
0.3%
0.3%
0.3%
0.7%
0.7%
0.7%
1.0%
1.4%
1.4%
1.7%
2.1%
Czynniki naturalne
Nakładanie się inwestycji
Protesty organizacji ,,zielonych"
Wycofanie zgód mieszkaoców
Słaba jakośd dokumentacji projektowej
Zmiany osobowe w zespole projektowym
Niska jakośd wykonania inwestycji
Podział projektu na części
Problemy z finansowaniem
Przedłużające się procedury przetargowe na wybór…
Zmiany prawne
Przedłużające się procedury administracyjne
Upadłośd wykonawców
Zmiany w organizacji wewnętrznej oraz inne czynniki wpływające na realizację projektu
w 58,6% projektów nastąpiły zmiany w wewnętrznej organizacji w instytucji beneficjenta. W zdecydowanej większości (70%) zmiany te nie wpłyną na tempo realizacji projektu;
W 37,9% projektów wystąpiły czynniki inne niż organizacja wewnętrzna, które utrudniły realizację projektu. Czynniki te dotyczyły przede wszystkim: procedur przetargowych, przedłużających się procedur formalnych, kwestii losowych, wycofania zgody mieszkaoców, zmian prawnych, problemów z wykonawcami.
Zmiany w zakresie rzeczowym projektów
zmiany w zakresie rzeczowym wystąpiły w 37,9% projektów;
do najczęstszych przyczyn wprowadzania zmian należą:
zmiana prawa (m.in. koniecznośd dostosowanie kształtu projektu do ramowej dyrektywy wodnej),
uwagi inicjatywy JASPERS,
decyzja beneficjenta o zmniejszeniu zakresu projektu,
decyzja beneficjenta o rozszerzeniu zakresu projektu.
Prawie 40% beneficjentów przewiduje wystąpienie zmian w zakresie rzeczowym w przyszłości. Zmiany te będę związane przede wszystkim z decyzją o poszerzeniu zakresu rzeczowego projektów.
Sposób identyfikacji ryzyk i problemów pojawiających się w toku realizacji projektu
0.2%
0.2%
0.2%
0.2%
0.5%
0.5%
0.5%
0.9%
0.9%
1.1%
1.1%
1.6%
2.1%
kontrola zarządcza Urzędu Miasta
ryzyko przerzucone na wykonawcę
projekt zakończony
okresowa analiza ryzyk i zagrożeń
na podstawie posiadanego doświadczenia oraz analizy…
zgłaszanie problemów do koordynatora projektu
nie wiem
zestawianie harmonogramów realizacynych z rzeczowymi
nie występują żadne problemy
zgłoszenia wykonawców o problemach
regularne rady z wykonawcami
monitorowanie projektu, w tym ryzyk zdiagnozowanych…
nadzór zespołu projektowego
Sposób redukcji występujących problemów
2.1%
0.4%
0.4%
0.4%
0.7%
1.3%
1.8%
3.0%
Inne
Minimalizowanie ryzyka
Poprzez długofalowe planowanie
Nie wiem
Nie ma potrzeby
Cykliczne narady
Monitoring
Bieżące rozwiązywanie
Wystąpienie zidentyfikowanych ryzyk w 31% projektów wystąpiły problemy zidentyfikowane przez
beneficjenta na etapie przygotowania projektu;
zidentyfikowane problemy, które wystąpiły:
4.5%
1.5%
2.0%
2.0%
Inne
Problemy z uzyskaniem zgody właścicieli gruntów
Problemy formalne
Czynniki losowe
Do innych problemów należą: • upadłośd wykonawcy, • problemy ekologiczne, • zmiany prawne, • przedłużające się procedury prawne.
Wystąpienie niezidentyfikowanych ryzyk w 34,5% projektów wystąpiły problemy niezidentyfikowane na
etapie przygotowania projektu. niezidentyfikowane problemy, które wystąpiły:
złej jakości dokumentacja projektowa, skutkująca nałożeniem korekt i wprowadzeniem zmian,
nieprawidłowe ustanowienia aglomeracji, brak zgody mieszkaoców oraz firm prywatnych na wejście na teren
posesji, kondycja wykonawców, czynniki środowiskowe (np. zmiany w środowisku, przedłużające się lęgi
ptaków, problemy związane z geologią, charakterem podłoża), problemy z wykonawcami, problemy technologiczne, koniunktura gospodarcza, zmiany prawa, zmiany zespołu projektowego i departamentu realizującego projekt.
Skutecznośd pomocy ze strony systemu wdrażania funduszy europejskich
niemal wszyscy beneficjenci wiedzieli, gdzie i w jakim zakresie można uzyskad pomoc
w przygotowaniu/realizacji projektu;
blisko 90% z nich korzystało z takiej pomocy regularnie;
instytucje, które nie korzystały z pomocy tego typu nie miały problemów podczas
przygotowania/realizacji projektu;
dla 88% beneficjentów możliwośd uzyskania pomocy jest ważna lub bardzo ważna;
73,2% beneficjentów jest zdania, że oferowana pomoc jest dla nich dostępna;
ponad 70% beneficjentów ocenia oferowaną pomoc jako adekwatną do potrzeb;
52,5% beneficjentów korzystało z pomocy oferowanej przez Inicjatywę JASPERS,
prawie 80% ocenia tę pomoc dobrze lub bardzo dobrze.
Ocena współpracy z IW na poszczególnych etapach
0.00%
0.00%
0.00%
0.00%
0.0%
0.0%
0.5%
0.2%
0.2%
0.7%
0.9%
0.4%
0.4%
1.4%
2.4%
2.8%
2.6%
2.2%
2.5%
6.9%
6.3%
6.5%
7.3%
5.7%
przygotowanie i zawarcie pre-umowy
przygotowanie projektu
złożenie i ocena wniosku
przygotowania do podpisania umowy
realizacja projektu
Dobrze
Raczej dobrze
Ani dobrze, ani źle
Raczej źle
Źle
Ocena pomocy ze strony IW 66,7 % beneficjentów uważa, że IW w należyty sposób
informowała o możliwościach uzyskania dodatkowego wsparcia w zakresie przygotowania dokumentacji;
74,1% beneficjentów uważa, że IW w należyty sposób informowała o zmianach wytycznych i aktach prawnych;
ponad 85% beneficjentów deklaruje, iż problemy, z którymi zgłosili się do instytucji oferującej tego typu pomoc zostały rozwiązane.
Dla sprawnej i należytej realizacji projektu istotne jest, aby w instytucji realizującej projekt wyodrębniona została jednostka zajmująca się tylko
pracami związanymi z realizacją projektu; koordynator (lub jeden z członków zespołu projektowego) pracował także w fazie tworzenia
założeo projektu; odbycie przez koordynatorów szkoleo z metodologii zarządzania projektami.
Rozpowszechnianie wiedzy na temat najskuteczniejszych metod zarządzania.
Poprawne opracowanie procedur udzielenia zamówienia publicznego pozwala usprawnid proces wyłonienia wykonawcy oraz uniknąd korekt
finansowych.
Zapewnienie wsparcia zewnętrznego w procesie przygotowania dokumentów przetargowych. Osoba
dokonująca przeglądu przygotowanej przez beneficjenta dokumentacji przetargowej musi byd dobrze zapoznana z
zakresem i specyfiką danego projektu.
Częste zmiany wytycznych utrudniają beneficjentom realizację projektów.
Bieżące informowanie beneficjentów o wszelkich zmianach w wytycznych.
Różnorodnośd typów projektów i realizujących ich beneficjentów wymaga nieco bardziej zindywidualizowanego podejścia do zapisów
dokumentów strategicznych i wytycznych.
Konsultowanie dokumentów strategicznych z Beneficjentami (przedstawicielami różnych typów Beneficjentów).
Nie wszyscy beneficjenci (zarówno ci posiadający doświadczenie, jak i ci nie posiadający go) są w stanie przewidzied wszystkie (w tym oczywiste) ryzyka, które potencjalnie mogą wystąpid w trakcie realizacji projektów.
Wskazanym jest opracowanie zbioru opisanych wszelkich możliwych ryzyk i trudności w trakcie realizacji projektu, z
którego będą mogli korzystad beneficjenci projektów indywidualnych w ramach PO IiŚ (przede wszystkim na etapie
przygotowania projektu i identyfikacji ryzyk).
Beneficjenci projektów indywidualnych napotykają problemy z uzyskaniem wszystkich koniecznych do złożenia wniosku
o dofinansowanie zaświadczeo i pozwoleo (przede wszystkim decyzji ws. oceny oddziaływania na środowisko), co może powodowad opóźnienia.
Czas oszacowany na uzyskanie pozwoleo powinien byd realny, a kroki formalno-prawne podjęte jak najwcześniej.