Evaluatie van de Rekenkamer Arnhem

Colofon Deze evaluatie is uitgevoerd in opdracht van de gemeenteraad van Arnhem. De evaluatie is begeleid door een begeleidingsgroep die werd ondersteund vanuit de griffie. De verantwoordelijkheid voor de inhoud en kwaliteit van het onderzoek berust bij Partners+Pröpper, het bureau dat de evaluatie heeft uitgevoerd. Samenstelling van de begeleidingsgroep

Dhr. J. (Jurgen) Elfrink, raadslid Mevr. A.P. (Addy) Plieger-Bos, raadslid Dhr. R.C.M. (Roeland) van der Zee, raadslid Dhr. M. (Martijn) Leisink, wethouder Ambtelijke ondersteuning: Mevr. Y.M. (Yvonne) Hazelaar, raadsadviseur Griffie. Onderzoekers

Partners+Pröpper: dr. Igno Pröpper en drs. Bart Litjens Vught, 12 maart 2015

Inhoudsopgave

0 Kern ............................................................................................... 1

0.1 Aanleiding ................................................................................................. 1

0.2 Doel- en vraagstelling van deze evaluatie ..................................................... 2

0.3 Het gehanteerde normenkader ................................................................... 2

0.4 Conclusie ................................................................................................... 4

0.5 Aanbevelingen ........................................................................................... 6

1 Doelen en wensen uit het verleden ................................................. 8

2 Huidige situatie ............................................................................ 10

2.1 Huidige model en samenstelling ............................................................... 10

2.2 Budget en formatie ................................................................................... 10

2.3 Producten en integrale kosten in de periode 2011 - 2014 ............................. 14

2.4 Professionele taakuitoefening en werkwijze ............................................... 16

2.5 Samenwerking met raad, college en ambtelijke organisatie ........................ 16

2.6 Kwaliteit en doorwerking van rekenkameronderzoek ................................. 19

3 Wensbeelden voor de toekomst ................................................... 28

Reactie van Rekenkamer Arnhem op de evaluatie ................................... 30

Nawoord van de onderzoekers ............................................................... 32

Bijlage 1: Werkwijze van de Rekenkamer Arnhem .................................... 33

Bijlage 2: Profielen van de leden en de voorzitter van de Rekenkamer ...... 36

Bijlage 3: Relatie Rekenkamer, college en ambtelijke organisatie ............ 37

Bijlage 4: Aanpak en toelichting op de digitale enquête .......................... 39

Bijlage 5: Bronnen ................................................................................. 40

1

0 Kern

0.1 Aanleiding In 2009 is een evaluatie uitgevoerd naar het functioneren van de toenmalige Rekenkamercommissie Arnhem. Aan de hand van deze evaluatie heeft de gemeenteraad in december 2010 besloten om de vormgeving van de rekenkamerfunctie aan te passen en een rekenkamer in te stellen met drie externe leden en een ambtelijke secretaris-onderzoeker: de Rekenkamer Arnhem. Vierjaarlijks dient de Rekenkamer Arnhem in opdracht van de raad geëvalueerd te worden. Met deze evaluatie wordt daar invulling aan gegeven. Partners+Pröpper heeft van de gemeenteraad opdracht gekregen om de evaluatie aan de hand van de onderstaande doel- en vraagstelling uit te voeren. De uitvoering vond plaats onder begeleiding van een Begeleidingsgroep met leden namens de raad en het college. Voor deelname aan de begeleidingsgroep vanuit het college is gekozen om de (beoogde) meerwaarde van de Rekenkamer voor het gemeentebestuur als geheel te onderstrepen.

2

0.2 Doel- en vraagstelling van deze evaluatie DOELSTELLING

Inzicht krijgen in het functioneren en de effectiviteit van de Rekenkamer en de bijdrage die de Rekenkamer daarmee levert aan de kaderstellende en controlerende rol van de gemeenteraad. CENTRALE VRAAG

Hoe functioneert de Rekenkamer Arnhem, wat zijn de resultaten, welke meerwaarde zien betrokkenen (in het bijzonder de gemeenteraad) en wat zijn leerpunten/ aanbevelingen voor de toekomst? DEELVRAGEN EN EVALUATIEMODEL

1 Hoe zien het huidige model en de daarbij horende werkwijze van de Rekenkamer eruit?

2 Wat zijn de wensen bij de gemeenteraad ten aanzien van: – het invullen/versterken van de kaderstellende en controlerende rol van de raad; – het functioneren van de Rekenkamer en het rekenkameronderzoek in het

bijzonder? 3 Hoe functioneert de rekenkamer in de praktijk en in hoeverre zijn alle betrokkenen

hierover tevreden? 4 Wat zijn de resultaten van het rekenkameronderzoek en hoe beoordelen

betrokkenen (in het bijzonder de raad) de meerwaarde ervan?

0.3 Het gehanteerde normenkader Het normenkader om het functioneren van de Rekenkamer te evalueren is ontleend aan: 1 De aanbevelingen van de evaluatie van de toenmalige Rekenkamercommissie uit

2009. Deze vormden de aanleiding en het richtpunt voor de inrichting van de nieuwe Rekenkamer Arnhem (zie ook hoofdstuk 1).

2 De kwaliteitscriteria die Rekenkamer Arnhem zelf heeft opgesteld in het eigen Onderzoeksprotocol (zie ook bijlage 1).

We geven de normen in de onderstaande figuur weer:

3

Figuur 0.1: Normenkader voor deze evaluatie.

4

0.4 Conclusie Uit de beoordeling van de huidige situatie door raadsleden en leden van het college volgt het onderstaande beeld (figuur 0.2) met zowel goede als minder goede punten.

Figuur 0.2: beoordeling door raadsleden en leden van het college.

5

Hier valt op dat raadsleden enerzijds positief oordelen, onder meer over de onafhankelijke werkwijze, de inhoudelijke kwaliteit, de praktische bruikbaarheid van aanbevelingen ….

…. anderzijds oordelen raadsleden negatief over bijvoorbeeld de aansluiting op de actualiteit en kennisbehoefte, de doorwerking van rekenkameronderzoek en de verhouding tussen kosten en baten. Daarbij zijn de oordelen van collegeleden veel negatiever dan van de raadsleden. Hoe kunnen we dit duiden? a De positieve oordelen kunnen we begrijpen door de realisatie van een goede

basiskwaliteit door de Rekenkamer. Daarmee is in belangrijke mate voldaan aan de gestelde doelstellingen. De rekenkamer opereert professioneel en de werkwijze is onafhankelijk, zorgvuldig, objectief en transparant.

De producten van de Rekenkamer zijn voor raadsleden informatief, zij bieden inzicht in de achtergronden bij belangrijke onderwerpen en bevatten relevante en feitelijke informatie. Daarmee zijn grote stappen gezet in het licht van de situatie in 2009 zie: conclusies en aanbevelingen uit de evaluatie Rekenkamercommissie in 2009). Raadsleden – en ook collegeleden zijn hierover zeer positief.

b De negatieve oordelen kunnen we begrijpen vanuit de zingeving van

rekenkameronderzoeken. Dit doel is als zodanig niet expliciet gearticuleerd bij de start van de nieuwe Rekenkamer. Er ligt vanuit de opgehaalde wensbeelden bij raads- en collegeleden nu wel een veel duidelijkere behoefte om hier op in te zetten. In de kern gaat het om de behoefte veel beter aan te sluiten op de kennisbehoefte en de politiek-bestuurlijke context.

Dit wensbeeld wordt in deze evaluatie ondersteund door bevindingen bij de

verdieping naar drie onderzoeken (Grip op wonen, Fractie teveel frictie en Hulp op maat).

Raads- en collegeleden worden onvoldoende tijdens het onderzoeksproces

betrokken bij het richten en de focus van het onderzoek: wanneer is het onderzoek voor hen zingevend? Hieraan bestaat veel behoefte – met behoud van de onafhankelijke rol van de Rekenkamer.

Onderzoeken – ook rond onderwerpen die direct voortvloeien uit de interesse van raadsleden – sluiten uiteindelijk niet goed aan op kennisbehoefte en politiek-bestuurlijke context. Dit werkt door op de conclusies en aanbevelingen. De evaluatie biedt daartoe illustraties in paragraaf 2.6.

De timing en looptijd van onderzoek sluit vaak niet aan op de actuele politiek-bestuurlijke agenda en de realisatie van toekomstige opgaven.

6

0.5 Aanbevelingen Met deze evaluatie van de Rekenkamer Arnhem breekt ook een nieuwe periode aan. Deze staat in het teken van een structurele bezuiniging op het budget van de Rekenkamer. Mede in dat licht doen we de volgende aanbevelingen. 1 Stel net als in 2009/2010 een wegbereider aan die de raad begeleidt bij het maken

van de keuzen voor de toekomst.

Daartoe kan – eveneens zoals in 2009/2010 – een raadswerkgroep geformeerd worden. De huidige Rekenkamer geeft in 2015 nog uitvoering aan het onderzoeksprogramma. Dat biedt de raad tot 1 januari 2016 voldoende tijd voor verkenning en besluitvorming.

Behoud en bouw voort op de goede basisfunctionaliteit die de Rekenkamer Arnhem heeft gerealiseerd.

Betrek de wensbeelden van raads- en collegeleden bij het ontwerpen van de nieuwe werkwijze (zie hoofdstuk 3).

2 Zet in op een maximaal productieve rekenkamerfunctie. Een rekenkamerfunctie met

betaalde leden die geen bijdrage leveren aan het primaire proces (‘doen van onderzoek’) is niet meer efficiënt gegeven de nieuwe financiële kaders. Zet als richtlijn zeker 80 tot 90% van de kosten in voor het doen van onderzoek (‘alle handen aan het bed’).

3 Geef inhoud aan een werkwijze die bijdraagt aan zingevende onderzoeken. Investeer in een precieze vraagstelling die aansluit op de kennisinteresse en de politiek-bestuurlijke actualiteit. Betrek raadsleden en college ook gedurende het onderzoeksproces. In de periode 2004-2009 was de rekenkamerfunctie ‘te politiek’ en nu is er te veel afstand. Een goede balans is nodig– met behoud van ieders rol en waarborgen om deze goed te scheiden. Dit kan door regie van de raad te vergroten via de auditcommissie of via een ad

hoc begeleidingsgroep van raadsleden tijdens een specifiek onderzoek. In beide gevallen met behoud van de onafhankelijke positie van de

rekenkamer. Deze heeft altijd ‘het laatste woord’ en bewaakt dat zij niet voor het politiek-bestuurlijke karretje wordt gespannen.

Dit vraagt tegelijkertijd van raadsleden – zowel in de auditcommissie of in een ad hoc groep begeleidingsgroep – dat zij zich onthouden van politieke bemoeienis met rekenkameronderzoek.

4 Zet in op kleinere onderzoeken met een kortere doorlooptijd, beknopte, deels

beeldende rapportages en met behoud van kwaliteit (in termen van betrouwbaarheid en validiteit).

7

5 Om tijd te winnen kan de procedure voor hoor en wederhoor worden ingekort. De procedure richt zich vanuit de rekenkamerfunctie op de ambtelijke

verificatie van de feiten. De raad kan vervolgens tijdens de raadsbehandeling de bestuurlijke wederhoor

afnemen bij het college. Daarmee wordt de doorlooptijd van rekenkameronderzoek ingekort. Ook wordt de controlerende rol van de raad versterkt doordat het college in directe wisselwerking met de raad verantwoording aflegt – nu verloopt dit via een schriftelijke reactie richting de Rekenkamer.

6 Organiseer en beleg duidelijk hoe de raad regie voert op de rekenkamerfunctie.

Geef daar vervolgens daadwerkelijk invulling aan. In de vorige periode was een belangrijke rol voorzien voor de Auditcommissie. In de

praktijk lukt dit onvoldoende. Zo is in de periode 2011 tot heden tweemaal invulling gegeven aan het jaarlijkse voortgangsoverleg.

Versterk de regierol vanuit de raad bijvoorbeeld via de Auditcommissie of via

het dagelijks bestuur van de gemeenteraad. Betrek daarbij nadrukkelijk de voortgang van rekenkameronderzoeken en de

werkwijze (zie tevens aanbeveling 3). Bespreek in dat verband telkens het jaarverslag van de Rekenkamer – inclusief

de begroting en rekening. Voor de begroting en rekening is tevens van belang: – Onderscheid tussen personele kosten en externe inhuur. – Eenduidige afspraken over inzet van eventuele reserves. De begrote en

feitelijke inzet van reserves dient op heldere wijze onderdeel uit te maken van de begroting en jaarrekening (zie ook paragraaf 2.2).

– De integrale kostprijs van rekenkameronderzoek is telkens in beeld is (zie ook paragraaf 2.2 en 2.3).

8

1 Doelen en wensen uit het verleden

Evaluatie Rekenkamercommissie Arnhem 2004-2009

In 2009 is de toenmalige rekenkamercommissie Arnhem geëvalueerd. De hoofdconclusie luidde dat de rekenkamercommissie in de periode 2004-2008, met haar onderzoek ‘in afnemende mate heeft bijgedragen aan de kwaliteit van de besluitvorming van het lokale bestuur, de transparantie van het gemeentelijk handelen en aan de versterking van de publieke verantwoording daarover’.1 Er was sprake van: – Een kwalitatief en kwantitatief sterk wisselende en afnemende productie. – Te beperkte doorwerking van de rapporten in de besluitvorming en opvolging in het

bestuur van de gemeente. – Onvoldoende en verminderende zichtbaarheid van de rekenkamercommissie bij

raad en college. – Een frequentie en abrupte wisseling van betrokkenen bij de rekenkamercommissie. Oorzaken waren onder meer: – Te hoog ambitieniveau in verhouding tot de productiecapaciteit. – Onvoldoende aansturing van externe onderzoeksbureaus. – Onvoldoende eenduidig interpreteerbare conclusies en aanbevelingen. – Onvoldoende aansluiting en afstemming met de raad, het college en de ambtelijke

organisatie. – Te vrijblijvend proces van aanbieden van de onderzoeksresultaten aan de raad en

het college. – Gebrek aan gezag van de rekenkamercommissie en het té lang gedogen hiervan

door de raad. – Onvoldoende evenwichtige samenstelling in kwaliteit en kwantiteit van de leden. – Onvoldoende aandacht voor de verdere professionalisering.

Heroverweging en wegbereiding nieuwe inrichting rekenkamerfunctie In de periode december 2009 – december 2010 heeft een raadswerkgroep onder begeleiding van een externe wegbereider gezocht naar nieuwe vormgeving van de rekenkamerfunctie.2 Doel was de rekenkamerfunctie in Arnhem verder te professionaliseren.3 Hierbij is ook een gezamenlijke rekenkamerfunctie met gemeente Nijmegen verkend. Dit bleek na contact met gemeente Nijmegen geen optie te zijn. De aanbevelingen uit de evaluatie van de rekenkamercommissie Arnhem vormden de aanleiding en het richtpunt voor de inrichting van de nieuwe Rekenkamer Arnhem:

1 Rob de Heus, Watze de Boer, Arie Molenkamp, Evaluatie Rekenkamercommissie Arnhem,

Evaluatie van het functioneren van de Rekenkamercommissie Arnhem in de periode 2004-2008, 24 augustus 2009.

2 Marcel van Dam (wegbereider), Keuzenotitie Nieuwe Rekenkamer(commissie) Arnhem, versies: 28 juni 2010, 23 november 2010 en aanvulling: 7 december 2010.

3 Raadsvoorstel, 2009.0.099.727/2009-11-00422, Evaluatie Rekenkamercommissie 14 december 2009; Besluit van 13 december 2010, 2010.0.090.952 / 2010-09-01685.

9

1 Verbeteringen aan brengen in de samenstelling en positie, namelijk met gezag en

draagvlak en in staat tot een betere afweging van verschillende onderzoeksinstrumenten.

2 Een betere aansluiting tussen financiën en personeel enerzijds en het gewenste ambitieniveau anderzijds. Onder meer door het uitspreken van een verwachting over de productie van de rekenkamerfunctie, uitbreiding van de staf met 1,0 fte senior-onderzoeker en marktconforme vergoedingen voor de externe leden.

3 De werkwijze efficiënter en effectiever te maken, door onder meer:

– Beter prioriteren en programmeren. – Niet alleen grootschalige onderzoeken, maar ook kortlopende onderzoeken met

rapportages in briefvorm. – Afstemming met de raad voor een betere aansluiting op behoeften van de raad. – Inspelen op de visie van het college op het onderzoek via een bestuurlijk startgesprek –

hiermee bijdragen aan de kwaliteit en acceptatie van de onderzoeksuitkomsten. – Regie voor onderzoek neerleggen bij de secretaris-onderzoeker, ook als een extern

onderzoeksbureau wordt ingehuurd. – Kennis, ervaring en houding van (externe) onderzoekers afstemmen op de eisen die het

onderzoek stelt. – Gestructureerde aanpak van onderzoek. – Verantwoording over onderwerpskeuze, aanleiding, uitgewerkt normenkader, onderscheid

naar feiten en opvattingen van personen. – Op navolgbare wijze formuleren van conclusies, bevindingen en aanbevelingen. – Aandacht voor positieve constateringen en ontwikkelingen die tijdens de

onderzoeksperiode hebben plaatsgevonden. – Concrete aanbevelingen die de raad of het college iets opdragen te doen of na te laten.

4 Vernieuwen van het formele kader (protocol, verordening en reglement).

10

2 Huidige situatie

2.1 Huidige model en samenstelling Op 13 december 2010 besluit de raad tot instelling van een Rekenkamer met alleen externe leden en ambtelijke ondersteuning in de vorm van een secretaris-onderzoeker.4 Voor die tijd was spraken van een ‘gemengd’ model met zowel externe leden als raadsleden. Uit de keuzenotitie kan worden opgemaakt dat de raad hiermee politiek buiten de deur van de rekenkamerfunctie wil houden.5 Voor een directeursmodel (een rekenkamer met één lid, de directeur-rekenkamer) is niet gekozen om de benodigde kwaliteiten binnen de Rekenkamer te verdelen over meerdere personen. De onafhankelijke taakuitoefening wordt tijdens interviews en in de digitale enquête op dit moment zeer positief beoordeeld door zowel raadsleden, collegeleden als ambtenaren (tevreden: raadsleden 79%, collegeleden en ambtenaren 100). Daarmee komt het model tegemoet aan de wensen. De samenstelling van de Rekenkamer is als volgt: – Mevrouw M.N. Pieters, voorzitter sinds 22 april 2013.6 – De heer M.H.P Daamen, lid sinds 18 april 2011. – Mevrouw S.W. Mathijssen lid sinds 28 maart 2011. Zij zijn persoonlijk zeer gedreven om het lidmaatschap van de Rekenkamer in te vullen, onder meer vanuit de wens bij te dragen aan het algemeen belang en invulling te geven aan maatschappelijke betrokkenheid (bron: groepsinterview). De leden hebben de raad per brief laten weten dat zij per 31 december 2015 aftreden. Aanleiding is het raadsbesluit om te bezuinigingen op het budget van de Rekenkamer.7 Ambtelijke ondersteuning wordt verzorgd door de secretaris-onderzoeker, mevrouw C.P.F.M. Baarda.

2.2 Budget en formatie In tabel 2.1 zijn de kosten van de Rekenkamer Arnhem weergegeven van 2011 tot en met 2014. Bij instelling van de Rekenkamer is gekozen voor een marktconforme vergoeding van de leden. De vergoeding is hoger dan die voor leden van de voormalige Rekenkamercommissie. Bij instelling van de Rekenkamer heeft de raad besloten om de meerkosten van de externe leden vooralsnog te bekostigen uit de ingestelde

4 Raadsvoorstel, 2010.0.090.952 /2010-09-01685, Rekenkamer Arnhem 2010, 13 december

2010; Zie ook: Verordening op de rekenkamer Arnhem, 2011. 5 Marcel van Dam (wegbereider Rekenkamer(commissie), Keuzenotitie Nieuwe

Rekenkamer(commissie) Arnhem, versie: 28 juni 2010. 6 De heer A. Bliek was de eerste voorzitter van de Rekenkamer Arnhem. Hij heeft op 1

januari 2013 het voorzitterschap neergelegd en is opgevolgd door mevrouw Pieters. 7 Rekenkamer Arnhem, brief over bezuiniging Rekenkamer Arnhem, 10 november 2014.

11

bestemmingsreserve Rekenkamer.8 De tabel laat zien dat de Rekenkamer met haar totale uitgaven in de jaren 2012 en 2013 de eigen begroting overschrijdt. Om tekorten op te vangen wordt de bestemmingsreserve in die jaren extra aangesproken. In 2014 is er een overschot op de begroting – deze wordt toegevoegd aan de bestemmingsreserve. Post 2011 2012 2013 2014 Personeel en externe inhuur

begroot € 171.490 € 157.600 € 166.450 € 134.066 werkelijk € 124.412 € 173.140 € 187.386 € 147.797

Vergoeding leden begroot € 27.000 € 36.000 € 36.000 €36.000 werkelijk 28.810 € 37.080 € 33.000 € 36.000

Facilitair en overig begroot € 29.960 € 28.835 € 14.448 € 15.273 werkelijk € 38.126 34.805 € 12.354 € 6.450

Ondersteuning begroot € 0 € 10.900 € 0 € 30.213 werkelijk € 0 € 3.400 € 0 € 0

Werving & Selectie begroot € 14.675 € 0 € 0 € 0 werkelijk € 14.675 € 0 € 0 € 0

Totaal begrote kosten € 243.125 € 233.335 € 216.898 € 215.552 Totaal werkelijke kosten € 206.023 €248.425 €232.749 € 190.247 Werkelijke kosten per inwoner € 1,39 € 1,66 € 1,55 € 1,26

Onttrekking bestemmingsreserve

begroot € 21.000 € 30.000 € 30.000 € 0 werkelijk € 21.000 € 45.090 € 45.843 € 0

Toevoeging bestemmingsreserve

€ 0 € 0 € 0 € 25.306

Tabel 2.1: budget en kosten van de Rekenkamer Arnhem. Toelichting tabel 2.1: * Bron: jaarverslagen 2011, 2012 en 2013 van de Rekenkamer Arnhem. Het jaarverslag 2014 is

nog niet beschikbaar. Wel zijn cijfers voor de kolom ‘2014’ verstrekt door de Rekenkamer via de gemeentelijke organisatie.

* De post Personeel en externe inhuur wordt niet gesplitst in de jaarrapportages van de Rekenkamer.

* De post Facilitair en overig omvat: repro, huur, ICT, kantoorinrichting, P&O, abonnementen, congressen en overige.

* De post Ondersteuning betreft een interne doorberekening vanuit de ambtelijke organisatie.

* Inwoneraantallen voor het berekenen van de kosten per inwoner zijn gebaseerd op het Centraal Bureau voor de Statistiek.

8 De raad besluit in 2009 om een bedrag van € 80.000 beschikbaar te stellen voor de kosten

van de wegbereider en (het inhuren van-) onderzoekscapaciteit. Dit bedrag is in de bestemmingsreserve gestort. Op 13 december 2010 besluit de raad dat voldoende resteert om de komende jaren de meerkosten van de externe leden te bekostigen.

Zie: Raadsvoorstel, 2009.0.099.727/2009-11-00422, Evaluatie Rekenkamercommissie 30 november 2009, Raadsvoorstel, 2010.0.090.952 / 2010-09-01685, Rekenkamer Arnhem 2010, 7 december 2010 (raadsbesluit: 13 december 2010).

12

De raad besluit op 3 november 2014 om met ingang van 2015 structureel € 100.000 te bezuinigen op het budget voor de Rekenkamer. Deze taakstelling was eerder opgenomen in het coalitieakkoord. De vaste formatieruimte van de Rekenkamer bestaat uit een secretaris-onderzoeker (1,0 fte) die feitelijk voor 0,9 fte is ingevuld. De secretaris-onderzoeker was ook werkzaam voor de voormalige Rekenkamercommissie Arnhem. In 2014 bedragen de begrote personeelskosten € 99.450.9 De overschrijding van het budget in 2012 en 2013 is vooral toe te schrijven aan toenemende uitgaven voor externe inhuur en detachering van onderzoekers. Uit tabel 2.2 blijkt dat de Rekenkamer via uitzendbureaus en detachering op verschillende momenten stagiairs/ studenten, junior onderzoekers en senior onderzoekers aantrekt. In 2012 en 2013 is door detachering de onderzoekscapaciteit van de Rekenkamer verdubbeld. De omvang van de ambtelijke ondersteuning (vast plus inhuur) bedraagt in deze jaren ten minste 2,0 fte – exclusief inzet van stagiairs en uitzendkrachten. Uitgaande van de begrote kosten voor vast personeel (afgaande op de begroting 2014) zijn de kosten voor externe inhuur/ detachering in 2012 en 2013 circa € 70.000 en € 87.000. Externe inhuur en detachering Rekenkamer Arnhem (opgave Jaarverslagen) Studenten via het uitzendbureau 2011, 0,4 fte Senior onderzoeker 2011, mei-juni, omvang niet nader gespecificeerd Junior onderzoeker via uitzendbureau 2011, aug.– december 2011, omvang niet nader

gespecificeerd Uitzendkrachten 2012, omvang niet gespecificeerd Stagiairs 2013: omvang niet gespecificeerd Detachering senior-onderzoeker via provinciale Rekenkamer Oost-Nederland

2012: 1,0 fte 2013: 0,9 fte

Tabel 2.2: overzicht externe inhuur door Rekenkamer Arnhem (bron: jaarverslagen Rekenkamer 2011, 2012 en 2013). Kwaliteit van onderzoekers

Tijdens interviews en in de digitale enquête is er regelmatig kritiek op de kwaliteit van de onderzoekers. Deze spitst zich toe op een te prominente inzet van onervaren stagiairs of pas afgestudeerde onderzoekers. Een raadslid daarover in de digitale enquête: “Zet geen studenten of stagiairs in die er (nog) geen verstand van hebben. Goedkoop is duurkoop, dus zorg voor kwaliteit en dat hoeft echt niets extra’s te kosten, want het scheelt bakken met tijd”. Ook vanuit het college en de ambtelijke organisatie wordt hierop gewezen. Een collegelid beschrijft een interview met twee ‘werkstudenten’ waar hij ‘basale wettelijke regelingen’ en de ‘verhouding tussen gemeente en partners’ moest uitleggen. Een ambtenaar heeft bij een ander onderzoek de indruk dat de inzet van pas afgestudeerde onderzoekers ten koste is

9 Rekenkamer Arnhem, brief over voorgestelde bezuinigingen, 9 mei 2014.

13

gegaan van kennis over de context. Dit leidt volgens hen ook tot een grotere inzet van de ambtelijke organisatie bij het verifiëren van de feiten tijdens de fase van ambtelijke wederhoor. De inzet van de ambtelijke organisatie in de eindfase van onderzoek is onder meer zichtbaar bij het onderzoek Hulp op maat. Het document waarin de Rekenkamer ingaat op de ambtelijke reactie voor dit onderzoek bevat meer dan 70 opmerkingen van de ambtelijke organisatie.10 Dit leidt vervolgens tot meer dan 40 wijzigingen door de Rekenkamer in de vorm van toevoegingen, aanpassingen of het verwijderen van tekst. Leden van de Rekenkamer wijzen op het streven van de Rekenkamer om opleidings- en werkervaringsplaatsen te bieden. Ook huurt de Rekenkamer naast stagiairs/ studenten – ervaren onderzoekers in. In de werkprocessen is geborgd dat de ervaren secretaris-onderzoeker van de Rekenkamer onervaren onderzoekers begeleidt en met hen mee gaat (bron: groepsinterview). Voorbeelden waarbij stagiairs of studenten zelfstandig gesprekken met leden van het college voeren zijn daarom volgens de Rekenkamer niet aan de orde. In het Protocol van de Rekenkamer is overigens opgenomen dat gesprekken met raad en college ook worden bijgewoond door een lid van de Rekenkamer (zie bijlage 2).

10 Rekenkamer Arnhem, Verwerking ambtelijke reactie Onderzoeksrapport Hulp bij het

huishouden, geen datum.

14

2.3 Producten en integrale kosten in de periode 2011 - 2014 Tabel 2.3 geeft een overzicht van de producten de Rekenkamer sinds 1 januari 2011 heeft opgeleverd. Jaar en integrale kosten

Gepubliceerde rekenkameronderzoeken Gepubliceerde rekenkamerbrieven

2011 (€ 206.023) 1 Nazorgonderzoek ‘Op weg naar doeltreffend handhaven

2012 (€ 248.425) 2 ‘Jeugd binnen bereik’ naar het Centrum voor Jeugd en Gezin

1 Besluit Rekenkamer in verband met het verzoek tot onderzoek van Bewonerswerkgroep Krachtwijk Presikhaaf, werkgroep Stadsver(w)arming.

2 Analyse verwerking aanbevelingen uit onderzoek 'Bijstand naar werk' (2010) in Meerjarenplan Werken naar Vermogen.

2013 (€ 232.749) 3 ‘Leren voor later’ naar het bereik van voorschoolse educatie

3 Over transitie van de jeugdzorg met een handreiking aan de raad.

4 ‘Hulp op maat’ naar hulp bij het huishouden

5 ‘Grip op wonen’ naar prestatieafspraken tussen gemeente en woningcorporaties

2014 (€ 190.247) 6 ‘Fractie teveel frictie’ naar re-integratie van mobiliteitskandidaten.

(7) Start onderzoek naar Veiligheid. Tabel. 2.3: producten van de Rekenkamer Arnhem in de periode 2011 – 2014 en de integrale kosten (= werkelijke kosten van de Rekenkamer in het betreffende jaar, zie tabel 2.1). Voor 2011 – het startjaar van de Rekenkamer – is geen onderzoeksprogramma opgesteld. Oplevering van het nazorgonderzoek in 2011 komt nog voort uit het onderzoeksprogramma 2009-2010 van de toenmalige Rekenkamercommissie Arnhem. In de onderzoeksprogramma’s 2012-2013 en 2014-2015 zijn telkens twee onderzoeken per jaar geprogrammeerd. In de onderzoeksprogramma’s kiest de Rekenkamer voor twee hoofdthema’s: Tweedeling in Arnhem en Regierol. “De Rekenkamer heeft voor het hoofdthema Tweedeling in Arnhem gekozen omdat uit de gesprekken met de Arnhemse raadsfracties naar voren kwam dat een meerderheid zich hierover zorgen maakt. Tweedeling is volgens de fracties kenmerkend voor Arnhem en houdt in dat relatief veel mensen aan de onderkant én de bovenkant van de sociaal-economische ladder staan; de middengroep is relatief klein in Arnhem. Dit heeft implicaties voor onder andere de fysieke en sociale leefomgeving van mensen (die in Arnhem in grote mate verschilt per wijk), maar ook voor de ervaringen van mensen op de terreinen van wonen, veiligheid, onderwijs, arbeidsmarkt, gezondheid, vrijetijdsbesteding etc.” “De Rekenkamer heeft voor het hoofdthema regierol gekozen omdat het een belangrijke rol speelt in zowel landelijke beleidsontwikkelingen als de organisatieontwikkeling die de gemeente Arnhem momenteel doormaakt.” Bron: onderzoeksprogramma’s van de Rekenkamer.

15

Uit tabel 2.3 kan worden afgeleid dat het programma voor de jaren 2012 tot en met 2014 nagenoeg is uitgevoerd. Het onderzoek naar veiligheid is medio juni 2014 gestart. Uit tabel 2.3 blijkt tevens dat in de periode 2011 tot en met 2014 de totale werkelijke kosten van de Rekenkamer Arnhem € 877.444 bedragen (zie ook tabel 2.1). De integrale kostprijs van één rekenkameronderzoek van de Rekenkamer Arnhem bedraagt in deze periode gemiddeld circa € 114.500.11 Ter indicatie wordt de kostprijs vergelijken met vijf referentiegemeenten van ongeveer gelijke omvang als gemeente Arnhem. Uit tabel 2.4 blijkt dat het gemiddelde rekenkamerbudget van de vijf referentiegemeenten € 170.000 per jaar bedraagt. Jaarlijks publiceren zij gemiddeld 3,2 onderzoeken. De gemiddelde integrale kostprijs in de vijf referentiegemeenten is circa € 53.000 per onderzoek.12 Daarmee is de integrale kostprijs in Arnhem gemiddeld 54% hoger dan de gemiddelde integrale kostprijs in de vijf referentiegemeenten (bandbreedte: 72% hoger dan Apeldoorn en 24% hoger dan Zaanstad). Rekenkamer-(commissie)

Inwoners 2014

Totale begroting 1

Jaar2 Begroting p. inwoner

Gepubliceerde onderzoeken3

Kosten per onderzoek4

Apeldoorn5 157.679 € 97.740 2014 € 0,62 3 € 32.580 Haarlem6 155.758 €197.626 2012 € 1,27 4 € 49.407 Zaanstad7 151.109 € 173.200 2013 € 1,15 2 € 86.600 Haarlemmermeer8 144.226 €196.000 2013 € 1,36 4 € 49.000 Den Bosch9 143.945 € 185.000 2013 € 1,29 3 € 61.667

Tabel 2.4: Vergelijking met vijf referentiegemeenten op begrotingsbasis.13 Toelichting op tabel 2.4: 1 Totale begroting, dus inclusief eventuele personeelskosten, externe inhuur en doorbelasting vanuit de ambtelijke

organisatie. Bron: jaarverslagen van de desbetreffende rekenkamer(commissie). 2 Jaar waarover meest recente en volledige gegevens beschikbaar zijn. 3 Aan de hand van diverse jaarverslagen en websites van rekenkamer(commissie)s. 4 Integrale toerekening van alle kosten voor de rekenkamer(commissie) aan de gepubliceerde

rekenkameronderzoeken. Dus voor elke gemeente: kolom ‘totale begroting’ gedeeld door kolom ‘aantal gepubliceerde onderzoeken’. Hier wordt geen onderscheid gemaakt naar overige activiteiten zoals jaarrapportages

11 Berekening integrale kostprijs op basis van tabel 2.3: 6 afgeronde rekenkameronderzoeken in periode 2011 tot en met 2014 + 1 onderzoek naar

Veiligheid momenteel in uitvoering (0,65 onderzoek) + 3 rekenkamerbrieven (deze worden gelijk gesteld aan de omvang van 1 rekenkameronderzoek). Dus: totaal 7,65 onderzoeken / € 877.444 werkelijke kosten = integrale kostprijs voor een rekenkameronderzoek in Arnhem.

12 Totaal budget vijf referentiegemeenten (€ 849.566) gedeeld door het aantal onderzoeken van de vijf gemeenten in het desbetreffende jaar (16).

13 Gelet op inwoneraantal ligt het in de rede om ook gemeente Amersfoort (151.534 inw.) in de vergelijking te betrekken. Hiervan is afgezien omdat de begroting (jaarverslag 2014 van de Rekenkamercommissie) geen inzicht biedt in de kosten van de ambtelijk secretaris. Het budget 2013 – dus exclusief ambtelijk secretaris – bedraagt € 63.255 in 2013. De rekenkamercommissie publiceert in dat jaar 4 onderzoeken.

16

en onderzoeksprogramma’s. Alle rekenkamer(commissie) geven daaraan invulling – dit leidt niet tot vertekening. 5 Bron: Jaarverslag 2014, februari 2015. Begroting inclusief kosten secretaris uit het personeelsbudget van de

raadsgriffie (ca. € 15.000). Niet meegeteld: Rekenkamerbrief Burgerkracht in de zorg. Een opgeleverd onderzoek in januari 2014 wordt evenmin meegeteld (dat rekenen we toe aan het jaar 2013).

6 Bron: Jaarverslag 2013, april 2014. Het jaarverslag geeft inzicht in de totale begroting voor het jaar 2012. Voor 2013 zijn partiële gegevens opgenomen (exclusief de ‘centrale doorbelasting’). Daarom is hier gekozen voor het jaar 2012. Het budget blijft volgens het jaarverslag 2013 ongeveer vergelijkbaar voor de jaren 2012-2013.

7 Bron: Jaarverslag 2013, 5 maart 2014. De rekenkamer Zaanstad is ondergebracht bij de Rekenkamer Metropool Amsterdam. In 2013 ondersteunde de rekenkamer ook bij de uitvoering van het raadsonderzoek Nauerna, deze inzet is hier niet meegeteld.

8 Bron: Jaarverslag 2013, april 2014. Inclusief doorbelastingskosten voor het secretariaat. Een opgeleverd onderzoek in januari 2013 wordt niet meegeteld, dat rekenen we toe aan het jaar 2012.

9 Bron: Jaarverslag 2013, maart 2014. In het jaarverslag worden de personeelskosten niet verantwoord. Deze zijn wel opgenomen in de brief van Rekenkamer Arnhem aan de gemeenteraad Arnhem van 9 mei 2014. Om die reden kan hier het totale budget inclusief personeelskosten worden genoemd. Eén onderzoek is samen met 3 andere gemeentelijke rekenkamers uitgevoerd.

2.4 Professionele taakuitoefening en werkwijze Professionalisering was een belangrijk doel van de raad bij het besluit tot instelling van de Rekenkamer Arnhem in 2010. In het licht van de conclusies uit het evaluatieonderzoek van de Rekenkamercommissie (2009) is de afgelopen jaren een grote stap gezet. Dat blijkt ook uit de digitale enquête waar raadsleden en collegeleden over het algemeen positief oordelen over de professionaliteit van de werkwijze (tevreden: raadsleden 63%, collegeleden 75%, ambtenaren 50%). De Rekenkamer Arnhem houdt er in de praktijk een professionele en zorgvuldige werkwijze op na en heeft deze nauwgezet beschreven in verschillende documenten, namelijk de Verordening op de Rekenkamer, het Onderzoeksprotocol, de Gedragscode, het Reglement van Vergadering en het Reglement van Orde. In bijlage 1 geven we een beknopte weergave van de werkwijze. De Rekenkamer werkt bijvoorbeeld transparant door de haar onderzoeken de aanpak en het gehanteerde normenkader goed te verantwoorden. Dit is een belangrijke verbetering ten opzichte van de periode 2004-2009 (zie: Evaluatie Rekenkamercommissie Arnhem, augustus 2009). Raadsleden hierover: “De Rekenkamer opereert professioneel, stelt jaarlijks een duidelijk onderzoeksplan op en opereert ook onafhankelijk” en “De Rekenkamer is in die zin professioneel dat zij altijd degelijke onderzoeksopzetten heeft, een goede diepgang, de vragen duidelijk beantwoordt en de conclusies en aanbevelingen daar ook logisch aan koppelt” (bron: groepsinterview).

2.5 Samenwerking met raad, college en ambtelijke organisatie De formele relaties tussen Rekenkamer enerzijds en gemeenteraad, Auditcommissie, college en ambtelijke organisatie anderzijds zijn – in aanvulling op de Gemeentewet – vastgelegd in de Verordening op de Rekenkamer 2011 en het Onderzoeksprotocol (zie bijlage 3).

17

Auditcommissie

De Auditcommissie vervult een bijzondere rol maar deze komt in de ogen van raadsleden, collegeleden en ambtenaren onvoldoende uit de verf (tevreden: raadsleden 46%, collegeleden 25%, ambtenaren 50%). De Auditcommissie vervult de rol van intermediair tussen raad en Rekenkamer. Zij speelt een belangrijke procesrol en fungeert als overlegplatform: – Doen van aanbevelingen aan de raad over de personele invulling van de Rekenkamer

(benoemingen, herbenoemingen, ontslag, schorsing). – Ontvangen van de rekenkamerrapporten en bijbehorende raadsvoorstellen. – Doorgeleiden van rekenkameronderzoeken naar de raad, bewaken van de voortgang van

de raadsbehandeling en terug melden aan de Rekenkamer als behandeling niet binnen 4 maanden plaatsvindt.

– Bevorderen dat onderzoeken van de accountant, de Rekenkamer, het college en de interne audits op elkaar worden afgestemd.

– Overleg voeren met de Rekenkamer over een door de raad aan de Rekenkamer gedaan verzoek een onderzoek in te stellen.

– Jaarlijks voortgangsoverleg met de Rekenkamer. De auditcommissie heeft tweemaal een voortgangsgesprek met de Rekenkamer georganiseerd.14 Uit verslagen blijkt ook dat individuele onderzoeksrapporten kort worden besproken alvorens deze worden geagendeerd door de raad. Een belangrijk gesprekspunt is de monitoring van aanbevelingen door de Auditcommissie. Hieraan is tot heden geen invulling gegeven binnen de gemeente (verslag Auditcommissie, 13 januari 2014). In maart 2014 wordt een monitorsystematiek in de Auditcommissie vastgesteld. Monitorssystematiek aanbevelingen uit rekenkameronderzoek (maart 2014) De nadruk ligt op het organiseren van een ‘goede dialoog’ in plaats van ‘voortgangslijstjes’: – Bij wezenlijke afwijkingen in de voortgang rapporteert het college hierover aan de raad op

gebruikelijke wijze. Dit kan via de planning en control cyclus of een raadsinformatiebrief. – Standaard wordt een jaar na verschijnen van een rekenkamerrapport de doorwerking van

de aanbevelingen geagendeerd voor de auditcommissie. De betrokken portefeuillehouder wordt uitgenodigd voor een korte toelichting op de voortgang en beantwoording van vragen. Als de auditcommissie van oordeel is dat de follow-up onvoldoende is, dan kan zij de raad hierover via een brief informeren.

– Als aanbevelingen aanleiding geven tot het bijstellen of herformuleren van doelen en/of maatschappelijke effecten doet het college met het aanbieden van de rekenkamerrapportage een voorstel aan de raad. Neemt het college de aanbevelingen niet over, dan kan de raad zelf hiertoe het initiatief nemen. Monitoring is vervolgens ingebed in de planning en control cyclus.

– De Rekenkamer kan na verschijnen van een rapport zelf een ‘nazorgonderzoek’ instellen. De raad kan daartoe ook een voorstel doen aan de Rekenkamer.

Bron: Auditcommissie, Monitor aanbevelingen rekenkamerrapporten, 3 maart 2014.

14 Bron: notulen 21 mei 2012, Rekenkamer Arnhem en Verslag Auditcommissie, 13 januari

2014.

18

Wisselwerking Rekenkamer met raad en college

De inzet van de Rekenkamer is gericht op het goed peilen van de behoefte bij de raad en daar op aan te sluiten (groepsinterview met de Rekenkamer). ‘Relatiebeheer’ is volgens de leden een continu aandachtspunt dat ‘altijd beter kan’. Dit vraagt volgens de leden meer van een Rekenkamer met externe leden dan van rekenkamercommissie waarvan ook raadsleden lid zijn. De leden zien dit als een aandachtspunt voor alle rekenkamers in Nederland. De Rekenkamer ziet in de verzoeken voor onderzoek vanuit de raad een belangrijk signaal dat de raad de weg weet te vinden naar de Rekenkamer. Een concreet voorbeeld is de motie ‘Een fractie teveel frictie’ (11 november 2013) met het verzoek om onderzoek te doen naar re-integratietrajecten voor medewerkers in het Bureau Loopbaan en Mobiliteit. Een aantal andere voorstellen voor onderzoek kon op onvoldoende brede steun in de raad rekenen. Over de relatie met het college geeft de Rekenkamer aan dat zij regelmatig contact legt met het college, onder meer tijdens vooronderzoeken. Tegelijkertijd wordt onderstreept dat de Rekenkamer primair voor de raad werkt. In de digitale enquête scoren leden van het college de onderlinge wisselwerking veel negatiever dan de raadsleden. Het gaat hierbij om aansluiten op de kennisbehoefte van de raad (tevreden: raadsleden 50%, collegeleden 0%) en aansluiten op de politiek-bestuurlijke actualiteit (tevreden: raadsleden 58%, collegeleden 0% en ambtenaren 25%). Over de duidelijkheid van de onderwerpselectie wordt positiever geoordeeld in de enquête (tevreden: raadsleden 63%, collegeleden 50% en ambtenaren 50%). RAAD

Raadsleden zijn positief over de bezoeken van de Rekenkamer aan de raadsfracties om ideeën voor onderzoek te inventariseren. Wel kunnen zij een plenaire variant voorstellen zodat fracties ook op elkaar kunnen voortbouwen. Tegelijkertijd missen raadsleden betrokkenheid tijdens het onderzoeksproces (bron: groepsinterviews). Een raadslid: “Wij hadden bijvoorbeeld het onderwerp woningcorporaties aangereikt en dat werd ook gekozen. Maar het uiteindelijke rapport beantwoordde niet aan de vragen die wij daarbij hadden” (groepsinterview). Een ander raadslid: “De rapporten zijn op zich prima, maar ze sluiten niet altijd aan bij de oorspronkelijke vraagstelling en bij wat we eigenlijk wilden weten” (groepsinterview). Raadsleden zoeken daarbij naar een goede balans tussen de onafhankelijke opstelling van de Rekenkamer en de contacten met raad en college. Bij raadsleden bestaat het beeld dat de Rekenkamer interactie mijdt om de onafhankelijke positie te bewaken(bron: groepsinterview). Een raadslid: “Wat beter kan is het gebrek aan tussentijdse communicatie en de overdreven onafhankelijkheid. De Rekenkamer kan best wat meer verbinding zoeken met het college en de raad, zonder de onafhankelijkheid te verliezen” (groepsinterview). Raadsleden wijzen op de lange duur van onderzoek waardoor aansluiting op de actualiteit lastig is. Een raadslid: “De doorlooptijd van onderzoeken is vaak erg lang. Soms ligt er meer dan een jaar tussen de vraag uit de raad en het uiteindelijke rapport. Gevolg is dan dat het niet meer actueel is” (groepsinterview).

19

COLLEGE

De constructiviteit van wisselwerking tussen Rekenkamer en college scoort laag in de digitale enquête (tevreden: 13% raadsleden (33% zegt ‘weet niet’), 25% collegeleden, 25% ambtenaren). Ambtenaren zijn wel positief over de samenwerkingsrelatie van de ambtelijke organisatie met de Rekenkamer (positief: 75% ambtenaren). Leden van college ervaren dat zij in de praktijk voornamelijk aan het einde van het onderzoeksproces in beeld zijn via de procedure voor hoor en wederhoor. Bij leden van het college bestaat het beeld dat de Rekenkamer tussentijds contact mijdt om de onafhankelijke positie van de Rekenkamer te bewaken. Zij ervaren hierdoor een grote druk op de hoor- en wederhoorfase aan het einde van het onderzoeksproces. Een collegelid: “De Rekenkamer is onafhankelijk. Juist vanuit die positie kun je aan het college en de ambtelijke organisatie vragen om in een vroege fase een rol te spelen in het scherpen van de vraag” (interview). Een ander collegelid: “Samenwerken met behoud van ieders rol kan prima. Het gaat in de basis verkeerd door een onduidelijke vraagstelling en methode. In de richtfase kan je als college betrokken worden. Nu is dat pas in een laat stadium”. Vanuit de Rekenkamer wordt aangegeven dat geen uitnodigingen voor gesprek zijn ontvangen. Daar zou de Rekenkamer waarschijnlijk positief op hebben gereageerd (bron: groepsinterview).

2.6 Kwaliteit en doorwerking van rekenkameronderzoek Algemene beoordeling van kwaliteit en effectiviteit

Raadsleden beoordelen de kwaliteit en effectiviteit van rekenkameronderzoek over de hele linie veel positiever dan leden van college en ambtenaren (figuur 2.1). Het meest tevreden zijn raadsleden over de inhoudelijke kwaliteit (67%), de kracht en helderheid van de boodschap van rapporten (67%) en de praktische bruikbaarheid van aanbevelingen (63%). Dit blijkt ook uit de raadsbehandeling van diverse rekenkamerrapporten, zoals bij de onderzoeken Fractie teveel frictie en Hulp op maat: “Allereerst bedankt voor het onderzoek. Het is een heldere stand van zaken die jullie weergaven. Het laat ook weer zien hoe blij we moeten zijn als raad om een Rekenkamer te hebben” (8 december 2014, rapport Fractie teveel frictie). “Het rapport van de Rekenkamer ziet er goed en gedegen uit. Het geeft een goed inzicht in wat er in het verleden gebeurd is en wat er allemaal nog te verwachten is” (idem, 8 december 2014). “Het Rekenkameronderzoek heeft in onze optiek een duidelijk en helder voorstel voorgelegd” (24 juni 2013, rapport Hulp op maat).

20

Figuur 2.1: Algemene beoordeling van de effectiviteit van rekenkameronderzoek. De percentages drukken uit in hoeveel personen eens of zeer eens zijn met de stelling. Bron: digitale enquête, N=32. Andere aspecten worden – ook door raadsleden – veel lager beoordeeld, vooral: – Doorwerking in concrete verbeteringen in de praktijk (raadsleden tevreden: 42%). – De kosten-baten verhouding van het rekenkamerwerk (raadsleden tevreden: 46%). – Bijdrage aan de kaderstellende en controlerende rol (raadsleden tevreden: 50%). – Serieuze behandelding van rapporten door de raad (raadsleden tevreden:50%).15 Raadsleden zijn ook tevredener over de afzonderlijke producten van de Rekenkamer dan leden van het college. Uit figuur 2.2 blijkt echter dat dat maximaal 54% van de raadsleden tevreden is over één van de onderzoeken, namelijk het onderzoek ‘Fractie teveel frictie’. Op de tweede plaats eindigt: ‘Hulp op maat’ (50%) en over het onderzoek ‘Grip op wonen’ is het minste aantal raadsleden tevreden (29%).

15 In het licht van soortgelijke onderzoeken door Partners+Pröpper elders, wijken

percentages niet sterk af (geen grote bandbreedte) – zonder dat andere onderzoeken representatief zijn voor het geheel van alle rekenkamer(commissie)s.

Onderzoek in opdracht van de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR) geeft bijvoorbeeld ook aan dat colleges veel kritischer zijn dan raden (Zie: ‘De staat van de rekenkamer’, 25 maart 2013, paragraaf 3.7). De enquête is vooral ingevuld door raadsgriffiers ten behoeve van zowel raad als het college. Een preciezer landelijk beeld met een beoordeling door raads- en collegeleden ontbreekt.

De Rekenkamermonitor 2014 door Necker van Naem (onder 653 raadsleden) geeft aan dat 75% van deze raadsleden vindt dat rekenkamers veel bijdragen aan de kaderstellende en controlerende rol van de raad.

21

Leden van het college zijn over de hele linie ontevreden over de kwaliteit van de onderzoeken (niet weergegeven in figuur 2.2). Bij deelnemende ambtenaren aan de digitale enquête ontbreekt vaak inzicht in de kwaliteit van onderzoeken.

Figuur 2.2: Tevredenheid van raadsleden over de kwaliteit van rekenkameronderzoeken en –brieven (bron: digitale enquête, N=22). Percentages tellen niet op tot 100% doordat een aantal raadsleden ‘weet niet’ heeft geantwoord. Drie onderzoeken zijn preciezer beoordeeld met de digitale enquête. Ook hier is het algemene beeld dat leden van het college over de hele linie een lage beoordeling geven. Figuur 2.3 beperkt zich tot de beoordeling door raadsleden. Het beeld is in lijn met de bovenstaande figuren. Positief scoren vooral de bruikbaarheid en kwaliteit, maar de doorwerking in besluiten en de praktijk scoort laag – met uitzondering van het onderzoek Hulp op maat. De bijdrage aan de kaderstellende en controlerende is eveneens gering en in lijn met bovenstaande uitkomsten. Het onderzoek Fractie teveel frictie scoort hier iets beter dan de twee andere onderzoeken.

22

Figuur 2.3: Precieze beoordeling door raadsleden van de kwaliteit van drie rekenkameronderzoeken (bron: digitale enquête, N=20). De percentages drukken uit hoeveel raadsleden tevreden zijn over het desbetreffende aspect.

Veel raadsleden zijn positief over de actualiteit van het onderzoek naar re-integratie van mobiliteitskandidaten(80%). De twee andere onderzoeken scoren op dat punt veel lager. Raadsleden zijn positief over de presentatie van het rapport ‘Hulp op maat’ in de raad (75%). De twee andere rapporten scoren hier wederom veel lager.

Doorwerking

Aan de hand van de onderstaande ‘doorwerkingsladder’ kan worden vastgesteld dat doorwerking van rekenkameronderzoek in ieder geval plaatsvindt tot en met trede 4. Zo worden de aanbevelingen doorgaans overgenomen door de raad (en het college).

Niveaus van doorwerking van rekenkameronderzoek Weinig doorwerking 1 Raadsleden nemen kennis van het Rekenkameronderzoek en

lezen het rapport. 2 De raad agendeert het onderzoek.

3 Discussie over het onderzoek en het onderwerp ervan (het onderzoek is meer dan hamerstuk).

4 De conclusies en aanbevelingen werken door in de besluitvorming door de raad (en het college).

5 Feitelijke uitvoering van aanbevelingen door raad en college in organisatie, beleid en dienstverlening.

Veel doorwerking

6 Aanbevelingen leiden tot verbetering in de praktijk, bijvoorbeeld doordat het probleem waarop de aanbeveling is gericht wordt opgelost.

Figuur 2.4: ladder voor het vaststellen van doorwerking van rekenkameronderzoek. Ook vindt over de rekenkamerrapporten meestal een uitgebreide discussie plaats, vaak aan de hand van moties en amendementen.

23

De feitelijke uitvoering van aanbevelingen en het effect daarvan (trede 5 en 6) wordt tot op heden niet systematisch gemonitord. Hiertoe heeft de Auditcommissie recent wel een instrument vastgesteld (zie ook paragraaf 2.5). De Rekenkamer ziet op diverse terreinen voorbeelden van doorwerking (bron: groepsinterview). Zo ontving de Rekenkamer een brief van het Arnhems Platform Chronisch zieken en Gehandicapten (APCG) naar aanleiding van het onderzoek Hulp op maat. In de brief wordt als verdienste beschreven dat het onderzoek zaken heeft bloot gelegd waarover het platform meerdere malen richting de gemeente signalen heeft afgegeven, maar geen ‘gehoor’ kreeg. Het onderzoek heeft volgens de Rekenkamer ook bijgedragen aan bewustwording in het licht van de decentralisaties in het sociaal domein.16 Een ander voorbeeld ontleent de Rekenkamer aan het onderzoek naar voorschoolse opvang (Leren voor later, 2013). Dit heeft er aan bij gedragen dat de financiële middelen veel gerichter worden ingezet voor groepen kinderen (zoals beschreven in het Coalitieakkoord). Met het onderzoek Fractie teveel Frictie heeft de Rekenkamer inzicht geboden in de stand van zaken en de risico’s. Het college kon hier – na herhaaldelijke vragen vanuit de raad – niet in voorzien. Raadsleden zijn op belangrijke onderdelen ontevreden over de doorwerking van rekenkameronderzoek, in termen van concrete verbeteringen in de praktijk en de bijdrage aan de kaderstellende en controlerende rol (zie ook figuur 2.1). Raadsleden hierover tijdens het groepsinterview: “Ik heb vaak het gevoel gehad dat rapporten van de Rekenkamer wel discussie opleveren en dat conclusies en aanbevelingen uiteindelijk wel worden overgenomen, maar dat je toch met de vraag achterblijft: ‘was dit nu het onderzoek waar we echt op zaten te wachten?’” “De doorwerking van de onderzoeken is niet direct groot. De aanbevelingen worden vaak wel overgenomen, maar het is de vraag in hoeverre dat ook echt tot veranderingen leidt. Een deel van de aanbevelingen is vaak al staand beleid en van een ander deel vraag je je af of er in de praktijk ook echts iets door verandert.” “Het is wel belangrijk dat in de aanbevelingen ook echt vooruit wordt gekeken. Zo zag je bij het onderzoek naar wonen dat in de aanbevelingen geen rekening werd gehouden met de inmiddels veranderende context. De aanbevelingen moeten dus wel echt actueel zijn.” Leden van het college beoordelen de doorwerking tijdens interviews als zeer gering of zelfs ‘nihil’ (bron: interviews). Leden van het college geven aan dat zij aan hen gerichte aanbevelingen doorgaans overnemen, maar dit vooral als een ‘plichtmatige’ aangelegenheid ervaren (bron: interviews).

16 De Rekenkamer is naar aanleiding van dit onderzoek uitgenodigd door de gemeenteraad

van Elst om het onderzoek te presenteren. De raad had veel interesse voor het onderzoek en de aanbevelingen (bron: groepsinterview).

24

Illustratie aan de hand van het onderzoek ‘Fractie teveel frictie’ Over de doorwerking van het onderzoek Fractie teveel Frictie is 40% van de raadsleden tevreden (zie figuur 2.3). In de motie ‘Een fractie teveel frictie’ (11 november 2013) vraagt de raad om onderzoek naar de effectiviteit van de lopende re-integratietrajecten voor medewerkers die in BLoeM zitten en (onorthodoxe) aanbevelingen. Vanuit het college en de ambtelijke organisatie worden de aanbevelingen niet als ‘onorthodox’ ervaren maar als ‘open deuren’ (bron: interviews). Dit is vooral relevant omdat uit het onderzoek blijkt dat de relatief eenvoudig bemiddelbare kandidaten inmiddels zijn uitgestroomd. Zij maken een groot deel van het totale bestand uit. De resterende mobiliteitskandidaten zijn veel moeilijker plaatsbaar. In die zin keek het college uit naar de onorthodoxe aanbevelingen. Temeer omdat het college deze kandidaten moet begeleiden in een lastige arbeidsmarkt. De Rekenkamer merkt op dat uit het onderzoek blijkt dat de bevindingen geen aanleiding meer gaven voor onorthodoxe aanbevelingen. Een belangrijk resultaat is volgens de Rekenkamer dat het onderzoek inzicht geeft in de stand van zaken en de risico’s (groepsinterview). Illustratie aan de hand van het onderzoek ‘Grip op Wonen’ Over de doorwerking van het onderzoek Grip op wonen is 20% van de raadsleden tevreden (zie figuur 2.3). Beperkte doorwerking wordt vooral toegeschreven aan het gehanteerde normenkader (bron: interviews). Deze sluiten onvoldoende aan bij de situatie in Arnhem. Gemeente Arnhem gaat uit van samenwerking met de corporaties op basis van vertrouwen. In een handreiking van de Vereniging van Nederlandse Gemeenten (2007) – waar de Rekenkamer naar verwijst - wordt deze vorm beschreven naast twee andere – meer juridische – vormen:17

“Afspraken die gemaakt worden lopen zeer uiteen, afhankelijk van de lokale situatie, het onderwerp, het moment in de beleidscyclus en sfeer / cultuur van werken. Daarbij willen we stellen dat de ene niet per definitie beter is dan de ander. Als indicatie van het brede palet van prestatieafspraken dat in de praktijk gemaakt wordt, bestaan grofweg 3 vormen: – Globaal (vergelijkbaar met bovengenoemde intentieafspraken: ‘streven naar…’,

‘inspanningsverplichting’). – In vertrouwen en samenwerking (samen optrekken). – Sterk juridische invalshoek (vergelijkbaar met garantieafspraken: ‘artikel 3, lid 1…’)”

In het onderzoeksrapport verantwoordt de Rekenkamer de inhoud van het toegepaste normenkader op basis van drie bronnen: (1) algemene inzichten over goed bestuur, zoals de Nederlandse code voor goed openbaar bestuur, (2) een handreiking van Aedes en de VNG over prestatieafspraken uit 2002, (3) de eerder genoemde handreiking van de VNG over prestatieafspraken uit 2007. Hiermee suggereert de Rekenkamer dat sprake is van een landelijk gestandaardiseerde norm. Uit de publicatie van VNG (2007) blijkt echter sprake van drie gangbare modellen – waarbij niet gesteld kan worden dat de ene beter is dan de andere. Met dit onderscheid houden de normen geen rekening. Wel wordt een aantal juridische elementen in het normenkader opgenomen die niet aansluiten bij de situatie in Arnhem, zoals: – Prestatieafspraken zijn waar mogelijk SMART geformuleerd. – Afdekken van juridische risico’s van prestatieafspraken; – Afspraken over het omgaan met geschillen.

17 Vereniging van Nederlandse Gemeenten, Van woonvisie tot prestatieafspraken, 2007,

p.79-80.

25

Richten van de vraagstelling gericht op vergroten van meerwaarde en doorwerking

Tijdens interviews met raadsleden, leden van het college en ambtenaren is doorgevraagd naar mogelijkheden voor het vergroten van de doorwerking van rekenkameronderzoek. Steevast wordt geantwoord dat het goed richten van de vraagstelling en de onderzoeksopzet – zowel vooraf als tijdens het onderzoeksproces – cruciaal is voor zingevend onderzoek en het vergroten van de doorwerking. Opgave is volgens gesprekspartners uit raad en college vooral om goed in te spelen op de kennisbehoefte van de raad en het college en aan te sluiten op de actuele politiek-bestuurlijke situatie en ontwikkelingen – mét behoud van de onafhankelijke positie van de Rekenkamer (zie ook paragraaf 2.5). Rekenkameronderzoek Fractie teveel frictie Focus Rekenkamer

Focus raads- en collegeleden tijdens interviews voor deze evaluatie

1 Inzicht geven in het verloop van het BLoeM-bestand, de uitgaven aan de re-integratietrajecten en de ontwikkeling van de frictiekosten.

2 Zichtbaar maken wat de inzet is van de afdeling BLoeM in termen van het traject- en opleidingsaanbod voor mobiliteitskandidaten en de inzet van maatregelen en middelen.

1 Wat zijn de dieper liggende mechanismen die succesvolle re-integratie verklaren?

2 Hoe wordt daar op ingespeeld vanuit de gekozen aanpak door de gemeente?

3 Past de aanpak bij de doelgroep in termen van maatwerk?

4 Wat zijn verklaringen voor het bestaan van een groot bestand aan niet-uitgestroomde re-integratie kandidaten? Wat zegt dit over de aanpak en wat zegt dit over de kandidaten?

5 Hoe kan de gemeente de mobiliteit van kandidaten versterken bij een slechte arbeidsmarkt? Wat moet anders of beter?

6 Wat zeggen de kandidaten zelf over hun traject en de aanpak van de gemeente? In welke mate zijn zij tevreden en hoe kan dat worden verklaard?

Rekenkameronderzoek Grip op Wonen Focus Rekenkamer

Focus raads- en collegeleden tijdens interviews voor deze evaluatie

1 Welke visie en beleid heeft de gemeente Arnhem op de rol van de corporaties in het Arnhemse woonbeleid, is de visie en/of het beleid veranderd gedurende de periode 2005 t/m 2011 (zo ja, hoe en waarom) en is er voldoende draagvlak voor die gemeentelijke visie en het beleid bij de corporaties?

2 Hoe is het voorbereidingsproces op de prestatieafspraken in beide Partnerships verlopen, welke afspraken zijn uiteindelijk vastgelegd en waarom, en hoe zijn de

1 Hoe is het huidige samenwerkingsmodel in Arnhem tot stand gekomen en welke overwegingen liggen daaraan ten grondslag?

2 Wat is de effectiviteit van het Arnhemse model voor samenwerking (‘samenwerking in vertrouwen’) in vergelijking met andere gangbare modellen door andere steden (modellen op basis van ‘inspanningsverplichtingen’ en op basis van ‘juridische afdwingbare afspraken’)?18

3 Wat zijn relevante ontwikkelingen op het gebied

18 De drie gangbare samenwerkingsmodellen zijn opgenomen in een handreiking van de

Vereniging van Nederlandse Gemeenten, Van woonvisie tot prestatieafspraken, 2007, p.79-80.

26

afspraken in de praktijk ingevuld? 3 Welke prestaties zijn in de

onderzoeksperiode gerealiseerd en welke verklaringen zijn te geven voor eventuele afwijkingen tussen afgesproken en gerealiseerde prestaties?

4 Hoe vult de gemeente haar regierol in ten opzichte van de corporaties, en in welke mate is sprake van effectieve regievoering door de gemeente Arnhem?

5 Welke sturingsmogelijkheden heeft de gemeenteraad binnen het gemeentelijke woonbeleid, en welke daarvan zijn ingezet in relatie tot de prestatieafspraken met de corporaties?

6 Welke sterke en zwakke kanten heeft de huidige vorm van samenwerking tussen gemeente en corporaties?

van wonen op dit moment en in de nabije toekomst? Wat zijn de opgaven voor volkshuisvesting in Arnhem nu en in de toekomst?

4 In hoeverre is gemeente Arnhem met het huidige samenwerkingsmodel in staat goed in te spelen op deze ontwikkelingen en opgaven?

5 Welk type regie en afspraken past bij deze ontwikkelingen en opgaven – gegeven dat de gemeente de opgaven niet alleen kan realiseren en woningcorporaties in belangrijke mate autonome partijen zijn?

6 Hoe kan de raad op passende wijze invulling geven aan sturing en controle? Wat vraagt dit van het college?

Rekenkameronderzoek Hulp op maat Focus Rekenkamer

Focus raads- en collegeleden tijdens interviews voor deze evaluatie

Deelonderzoek II: 1 Hoe vindt de uitvoering van de

indicatiestelling plaats? Hoe wordt inzicht verkregen in de persoonlijke omstandigheden (beperkingen en mogelijkheden) van aanvragers? Welke (wettelijke) criteria worden gehanteerd bij de indicatiestelling?

2 Wat zijn de richtlijnen voor de uitvoering van de indicatiestelling? Bestaan er verschillen tussen de wijze van indiceren door de gemeente en de wijze van herindiceren door de organisatie die hiervoor is ingehuurd? Zo ja, wat is hiervan de reden?

3 Hoe wordt door de gemeente gewaarborgd dat de indicaties aansluiten bij de beperkingen en mogelijkheden van de aanvragers?

4 Hoe worden aanvragers geïnformeerd over het indicatiebesluit en waar en hoe kunnen zij aangeven als ze ontevreden zijn met de uitkomst van de indicatiestelling?

5 Hoe worden indicatiebesluiten door de zorgaanbieders uitgevoerd en welke ervaringen hebben ze hiermee?

6 Hoe wordt door de gemeente en zorgaanbieders zelf gewaarborgd dat de hulp geleverd wordt die geïndiceerd is?

7 Welke verklaring(en) hebben de gemeente

1 Wat zijn de resultaten van huishoudelijke hulp tot nu toe? Hoe borgt de gemeente het bieden van maatwerk?

2 Wat zijn de ambities van de gemeente voor het verstrekken van huishoudelijke hulp na 1 januari 2015 – inspelende op de decentralisaties in het sociaal domein?

3 Welke samenwerking is nodig om huishoudelijke hulp in de toekomst te kunnen realiseren – Voorziet de beoogde organisatie via de Wijkteams hierin?

4 Hoe kan de gemeente invulling geven aan goed opdrachtgeverschap richting de zorgpartijen in termen van: – een helder bekostigingsmodel; – bieden van maatwerk; – ruimte voor flexibiliteit en professionele ruimte; – een zinvolle planning en control met zo min

mogelijk bureaucratie en administratieve lasten? 5 Wat kan de gemeente leren van innovatieve en

inspirerende voorbeelden uit andere steden? 6 Wat kan de gemeente leren uit de aanpak en

resultaten uit het verleden om de opgaven na 1 januari 2015 te realiseren?

27

Rekenkameronderzoek Hulp op maat Focus Rekenkamer

Focus raads- en collegeleden tijdens interviews voor deze evaluatie

en de zorgaanbieders voor het, door de Rekenkamer geconstateerde, verschil tussen geïndiceerde en geleverde activiteiten?

8 Wat is het beleid van de gemeente Arnhem inzake hulp bij het huishouden?

9 Hoe wordt de uitvoering van de verstrekking van hulp bij het huishouden binnen de gemeente aangestuurd en welke taken, verantwoordelijkheden en bevoegdheden hebben gemeentelijke afdelingen en de zorgaanbieders die het beleid uitvoeren?

10 Welke afspraken bestaan er tussen de gemeente en zorgaanbieders? Hoe wordt door de gemeente toezicht gehouden op de realisatie van deze afspraken?

11 Op welke wijze wordt door de zorgaanbieders verantwoording afgelegd over de geleverde hulp bij het huishouden?

12 Bieden het toezicht en de verantwoording door zorgaanbieders voldoende inzicht om het beleid en de uitvoering (bij) te sturen?

28

3 Wensbeelden voor de toekomst Deze evaluatie staat tevens in het teken van de toekomst. In de digitale enquête en gesprekken is aandacht besteed aan wensen en verwachtingen ten aanzien van ‘de Rekenkamer van de toekomst’. Raad

Raadsleden zien in de toekomst graag rekenkameronderzoek met grote doorwerking. Zinvolle aanbevelingen worden niet alleen overgenomen, maar ze leiden vervolgens tot zichtbare en tastbare verbeteringen in de praktijk. De Rekenkamer van de toekomst stemt – met behoud van de onafhankelijke positie – goed af met de raad én het college over de aansluiting van onderzoek op de politiek-bestuurlijke situatie en de bestaande kennisbehoefte. Raadsleden vinden ook vroegtijdige afstemming met het college belangrijk zodat rekenkameronderzoek goed inspeelt op relevante bestuurlijke ontwikkelingen. Dit is ook al gebruikelijk bij andere onderzoeken – zoals onderzoeken door de accountant in opdracht van de raad. De Rekenkamer van de toekomst blijft investeren in het ophalen van ideeën voor onderzoek bij de raad – waar mogelijk gebeurt dit meer plenair zodat fracties op elkaar kunnen voortbouwen. De Rekenkamer koppelt actief terug over de oogst daarvan en geeft inzicht in de afweging voor de keuze van onderwerpen. Vervolgens vergewist zij zich er van dat de gekozen vraagstelling en uitwerking nog steeds relevant is voor de raad – ook gedurende het onderzoeksproces. Om de kaderstellende en controlerende rol te versterken hebben raadsleden in de toekomst behoefte aan meer kortlopende onderzoeken die beter inspelen op de actualiteit. Raadsleden hebben daarnaast behoefte aan onderzoek dat helpt bij het realiseren van toekomstige ambities – in tegenstelling tot onderzoek dat zich uitsluitend of voornamelijk richt op doelen, procedures en afspraken uit het verleden. Top 6 wensen voor de toekomst van raadsleden (bron: digitale enquête) 1 Realisatiegericht onderzoek: gericht op het gewenste toekomstbeeld. Wat helpt om een ambitie

te realiseren, inclusief zinvolle lessen uit het verleden? (79%, digitale enquête). Ter vergelijking, spiegelend onderzoek door uitsluitend terug te kijken in het licht van doelen en afspraken die zijn vastgesteld in het verleden heeft de voorkeur van 18% van de raadsleden.

2 Nadruk op korte, snelle onderzoeken die aansluiten bij actuele onderwerpen (66% van de raadsleden, digitale enquête).

3 De raad vraagt de Rekenkamer om contra−expertise of uitvoeren van een 'second opinion' bij belangrijke dossiers (68%, digitale enquête).

4 De raad neemt regie op de gewenste ondersteuning van de rekenkamer door een actieve rol te spelen bij de onderwerpkeuze waar de raad op dat moment behoefte aan heeft (64%, digitale enquête).

5 Een grotere rol voor de Auditcommissie, bijvoorbeeld: inventariseren van onderwerpen voor onderzoek, stimuleren van benutting van rekenkameronderzoek (62% van de raadsleden, digitale enquête).

6 Snelle schouw (quick scan) onderzoeken: minder diepgang, onderbouwing op basis van wat op eerste gezicht plausibel is en een korte doorlooptijd (57%, digitale enquête). Ter vergelijking, diepgaande studies met een zware onderbouwing en nadruk op betrouwbaarheid en lange doorloop heeft de voorkeur van 32% van de raadsleden.

29

College

Leden van het college benadrukken tijdens interviews het belang van een goede, onafhankelijke Rekenkamer in de toekomst. Juist om die reden wensen zij onderzoeken waar het college – in de goede zin van het woord– ‘bevreesd’ en ‘een beetje zenuwachtig’ naar uit kijkt: zingevende onderzoeken met een goede duiding van de situatie waar het gemeentebestuur veel van kan leren. Leden van het college hebben behoefte aan een werkwijze waarbij het college op een vroeg moment het gesprek met de Rekenkamer kan aangaan over het richten van onderzoek. Juist omdat de Rekenkamer onafhankelijk is, kan zij dan goed bewaken dat het college niet stuurt op de uitkomsten van het onderzoek, aldus leden van het college. De Rekenkamer doet desnoods minder onderzoek, maar wel onderzoek van onbesproken kwaliteit. Als idee wordt gewezen op kleine en snelle onderzoeken in de vorm van verkenningen. De uitkomsten daarvan zouden voorgelegd kunnen worden aan de raad om te checken of de onderzoeksvragen, de methodiek en eerste bevindingen voldoende interessant en relevant zijn voor vervolgonderzoek. De raad kan voor dergelijke vervolgonderzoeken eventueel extra budget ter beschikking stellen.

30

Reactie van Rekenkamer Arnhem op de evaluatie Reactie Rekenkamer Arnhem op ‘Evaluatie van de Rekenkamer Arnhem’ van Partners en Pröpper 9 maart 2015 Partners en Pröpper (P&P) heeft op 4 maart het rapport ‘Evaluatie van de Rekenkamer Arnhem’ opgeleverd. De begeleidingsgroep heeft Rekenkamer Arnhem gevraagd een reactie te geven op eventuele feitelijke onjuistheden in het rapport. Rekenkamer Arnhem wil graag onderstaande vier punten benoemen en toelichten.

1. De conclusies zijn niet gerelateerd aan het gehanteerde normenkader P&P gebruikt als normenkader de aanbevelingen uit de evaluatie van de rekenkamercommissie Arnhem in 2009 plus de kwaliteitscriteria die de Rekenkamer Arnhem in 2012 heeft opgesteld . Deze staan samengevat in Figuur 0.1, pagina .3. Dit normenkader dient ook als basis gebruikt te worden voor de conclusies. Wij constateren in dit rapport echter het tegenovergestelde. Bij het trekken van de conclusies is het normenkader niet gebruikt als basis. De huidige conclusies zijn vooral gebaseerd op de ‘wensbeelden’ waarbij datgene dat onder het kopje ‘wat gaat minder goed’ vooral gebaseerd is op de ervaringen en wensen van het college. Dit terwijl de Rekenkamer een instrument is van de raad! Daarbij staat in de centrale vraag van de evaluatie dat de ervaringen van de betrokkenen (in het bijzonder de gemeenteraad) onderzocht worden. De prominente rol van het college in de conclusies vinden wij dan ook niet gepast. Als we zuiver naar de onderzoeksresultaten kijken, zou de algemene conclusie moeten zijn dat op basis van de uitgangspunten (normenkader), de Rekenkamer Arnhem grotendeels aan de eerder gestelde eisen voldoet. Dit staat nu verwoord op pagina 5 onder kopje a (als ‘ duiding’ ) en in paragraaf 2.4. Samenvattend: het rapport zou aan zuiverheid winnen als een heldere conclusie wordt getrokken op basis van het gehanteerde normenkader. Deze kan dan gevolgd worden door een samenvatting met betrekking tot de wensbeelden.

31

2. Belasting ambtelijke organisatie irt kwaliteit onderzoekers is niet juist

neergezet Op pagina13 wordt verwezen naar de omvang van de ambtelijke reactie om te illustreren dat de inzet van stagiairs/studenten leidt tot een grotere inzet van de ambtelijke organisatie bij het wederhoor. Hierbij wordt geciteerd dat de meer dan 70 opmerkingen hebben geleid tot meer dan 40 wijzigingen in het onderzoeksrapport. De inzet van het ambtelijk wederhoor is een toets op feitelijke onjuistheden. In de betreffende ambtelijke reactie zijn echter ook veel kleine tekstuele suggesties opgenomen die geen inhoudelijke betekenis hebben. Deze kwantitatieve (70 opmerkingen) vergelijking zegt ons inziens dus ook niets over de kwaliteit van de onderzoekers.

3. Arnhem ontbreekt in tabel vergelijking met referentiegemeenten In hoofdstuk 2 behandelt het rapport de productie van de Rekenkamer over de periode 2011-2014. Op pagina 15 wordt in tabel 2.4 een vergelijking gemaakt met referentiegemeenten. Arnhem 2013 met 4 publicaties ontbreekt in deze tabel. Als we de Rekenkamer Arnhem zouden toevoegen komt Arnhem (2013) ook op 54.224 per onderzoek. Dit geeft een reëlere vergelijking, dan Arnhem over meerdere jaren te bekijken en de vergelijkingsgemeenten over slechts een enkel jaar. Overigens is de gemaakte berekening van ‘ kosten per onderzoek’ een zeer grove maat , waarbij de kosten worden gedeeld door het aantal producten. Enige nuance over kwaliteit en diepgang wordt niet gemaakt. Tevens wordt met de start als Rekenkamer in 2011 geen rekening gehouden.

4. Oneigenlijke vergelijking bij ‘richten vraagstelling’ In paragraaf 2.6 ‘Doorwerking en kwaliteit van rekenkameronderzoek’, wordt op pagina 25 en 26 een oneigenlijke vergelijking gemaakt tussen de focus van het rekenkameronderzoek bij aanvang en de wensen van raads- en collegeleden na afloop van het onderzoek. “Met de kennis van nu…”, zouden veel zaken in het verleden anders worden ingezet! Daarbij worden de focuspunten van de raad en het college ‘op één hoop gegooid’, waardoor een zuivere vergelijking niet meer mogelijk is. Dit is helemaal bijzonder voor het verzoek onderzoek ‘een Fractie teveel Frictie’. Dit verzoek kwam namelijk van de gemeenteraad zelf. Wat het college van de focuspunten vindt, is ons inziens totaal niet relevant. De Rekenkamer is een controlerend orgaan namens de raad op het gevoerde beleid van het college!

32

Nawoord van de onderzoekers De onderzoekers hebben kennis genomen van de reactie van de Rekenkamer Arnhem. Uit de reactie begrijpen wij dat de Rekenkamer de resultaten met name wil plaatsen in het perspectief van het vertrekpunt en het kader van de huidige Rekenkamer. De reactie geeft geen aanleiding om het onderzoeksrapport aan te passen. In het onderzoek wordt namelijk langs drie perspectieven gekeken: – De opdracht van de Rekenkamer tot nu toe en hoe dit is gerealiseerd. – Het gewenste functioneren va de Rekenkamer vanuit het perspectief van raadsleden

en andere relevante betrokkenen– zie ook onderzoeksvraag 2 en 3. – Het perspectief van de onderzoekers als onafhankelijke buitenstaander. Specifiek willen we nog vermelden dat bij raadsleden, collegeleden en ambtenaren uitgesproken beelden bestaan over de inzet van met name jonge, onervaren onderzoekers en het gevolg daarvan om situaties goed te doorgronden en doorleven. Dit leidt volgens betrokkenen onder meer tot een grote inzet tijdens de ambtelijke wederhoorfase waarbij vaak belangrijke verbeteringen in het rapport moeten worden aangebracht. De integrale kostprijs van rekenkameronderzoeken in Arnhem is substantieel hoger dan in vijf vergelijkbare gemeenten. De wijze van berekenen is verantwoord in voetnoot 11. Anders dan de Rekenkamer vinden wij dat de publicatie van een rekenkamerbrief niet gelijk kan worden gesteld aan de publicatie van een diepgaand rekenkameronderzoek.

33

Bijlage 1: Werkwijze van de Rekenkamer Arnhem We geven de belangrijkste elementen van de werkwijze weer met als bron het Onderzoeksprotocol (18 april 2012). Hierin beschrijft de rekenkamer ook zeven kwaliteitscriteria voor rekenkameronderzoek. KWALITEITSCRITERIA REKENKAMER ARNHEM 1 Zorgvuldigheid: feiten moeten kloppen en volledig zijn. 2 Objectiviteit: niet vooringenomen en gedegen analyse van de feiten. 3 Transparante oordeelsvorming: beoordeling aan de hand van een normenkader.

Bevindingen, conclusies en aanbevelingen vloeien op navolgbare wijze voort uit het onderzoekswerk en doen recht aan geconstateerde feiten.

4 Onafhankelijkheid: de Rekenkamer bepaalt zelf de agenda’s, de probleemstelling en de wijze van publicatie.

5 Bruikbaarheid van de onderzoeksresultaten: conclusies en aanbevelingen geven oplossingsrichtingen weer voor soortgelijke situaties en ondersteunen de raad bij eigenstandige politieke besluitvorming.

6 Klantgerichtheid: de Rekenkamer houdt rekening met input vanuit de raad en informeert de raad tijdens het onderzoeksproces – via de schakelfunctie van de Auditcommissie.

7 Constructiviteit: de Rekenkamer stelt zich constructief op, houdt rekening met de context en heeft oog voor haalbaarheid van aanbevelingen.

Het werkproces van de rekenkamer voltrekt zich langs een aantal fasen en producten.

ONDERWERPSELECTIE

Voor de onderwerpselectie stelt de Rekenkamer een lijst met mogelijke onderzoeksonderwerpen op. Daartoe worden gesprekken georganiseerd met raadsfracties om ideeën voor onderzoek op te doen. Inwoners of organisaties kunnen ideeën aandragen en de raad kan zich via indiening van een motie tot de Rekenkamer wenden met een verzoek tot onderzoek. De Auditcommissie treedt hierbij op als intermediair. De Rekenkamer beslist of zij dit verzoek honoreert en onderbouwt een eventuele afwijzing deugdelijk. Onderwerpen worden getoetst aan vijf selectiecriteria.

34

SELECTIECRITERIA ONDERZOEKSONDERWERPEN

– Maatschappelijk belang: effect op grote groepen mensen of er is sprake van een groot maatschappelijk risico.

– Financieel belang: er is een groot budget mee gemoeid dan wel risico op een aanzienlijk financieel nadeel.

– Passendheid: het onderwerp past binnen de taak, missie en doelen van de raad en heeft duurzame aandacht van de raad.

– Toegevoegde waarde: het onderzoek heeft meerwaarde omdat informatie niet (eenvoudig) uit andere bronnen is te verkrijgen.

– Opportuniteit: De timing van het onderzoek is geschikt. Aanvullende criteria bij een verzoek tot onderzoek van de raad: – Het verzoek moet een persoonlijk en (partij)politiek belang overstijgen. – Het verzoek dient ondersteund te zijn met een deugdelijke motivering over het belang. – Het verzoek dient een duidelijke onderzoeksvraag te bevatten. – Het onderzoek moet tot een duidelijk leereffect voor het bestuur en de organisatie kunnen

leiden. De uiteindelijke selectie van onderwerpen wordt tweejaarlijks opgenomen in een onderzoeksprogramma. Ook is er vrije ruimte om in te kunnen spelen op actuele thema’s die van belang zijn voor de raad. De Rekenkamer onderscheidt zes typen onderzoeken. TYPEN ONDERZOEK DIE REKENKAMER ARNHEM ONDERSCHEIDT

– Groot onderzoek: diepgaand en langlopend onderzoek. – Quick scan: een klein en snel onderzoek. – Brief: attendering op risico’s of problemen in de toekomst. – Review: naar aanleiding van een onderzoek dat door derden is verricht. – Nazorgonderzoek: naar invoering van door de raad overgenomen aanbevelingen uit eerder

rekenkameronderzoek. – Onderzoek in samenwerking: met de Algemene Rekenkamer of een

rekenkamer(commissie) uit een andere gemeente – onder meer gericht op vergelijkend onderzoek.

VERLOOP ONDERZOEKSPROCES

Na de selectie start het feitelijke onderzoeksproces onder leiding en verantwoordelijkheid van de secretaris-onderzoeker. Voor elk onderzoek is er een lid-rapporteur vanuit de Rekenkamer. Leden va de Rekenkamer treden op als klankbord en beoordelen de rapportages. Het onderzoek doorloopt zes fasen: – Het vooronderzoek staat in het teken van afbakening en eerste oriëntatie. Dit mondt

uit in een onderzoeksvoorstel en –opzet dat door de Rekenkamer wordt vastgesteld. Het voorstel kan na vaststelling op verzoek van de raad worden toegelicht.

– De uitvoeringsfase staat in het teken van dataverzameling en dossiervorming. Deze fase start met een gesprek met de verantwoordelijke ambtenaar en desgewenst leden van het college.

– Tijdens de rapportagefase worden drie producten opgeleverd, het onderzoeksrapport met de bevindingen ten behoeve van ambtelijke wederhoor, het bestuurlijke rapport met conclusies en aanbevelingen ten behoeve van bestuurlijke wederhoor en het eindrapport waarin de reactie van het college en het nawoord van de Rekenkamer zijn opgenomen.

35

– Publicatie en openbaarmaking voor de raad met afschrift aan het college en de ambtelijke organisatie.

– De raadsbehandeling start met aanbieding van het rapport aan de voorzitter van de Auditcommissie tijdens een Politieke Maandag met een korte toelichting op de conclusies en aanbevelingen door de Rekenkamer. Hierna stelt de secretaris-onderzoeker met verantwoordelijke commissie-griffier het raadsvoorstel op. Na behandeling door de Auditcommissie wordt het rapport, raadsvoorstel en het concept-raadsbesluit aangeboden voor agendering en politieke behandeling in drie ronden: informatieve behandeling, meningsvormende behandeling en besluitvorming. Tijdens de informatieve behandeling biedt de Rekenkamer toelichting en is beschikbaar voor het beantwoorden van vragen.

– Nazorg start met een interne evaluatie binnen de Rekenkamer. Ook besluit de Rekenkamer over de vormgeving van een nazorgtraject om de effectiviteit van het onderzoek te bevorderen. De Auditcommissie houdt toezicht op de uitvoering van de aanbevelingen. De Rekenkamer blikt met de Auditcommissie terug op het proces en de effectiviteit van het onderzoek.

36

Bijlage 2: Profielen van de leden en de voorzitter van de Rekenkamer Functievereisten leden

– Academisch werk- en denkniveau en een relevante professionele achtergrond. – Overzicht van en inzicht in de belangrijkste beleidsterreinen van de lokale overheid. – Een gedegen kennis van gemeentefinanciën strekt tot aanbeveling. – Aantoonbare ervaring met het doen van beleidsonderzoek op het gebied van

doelmatigheid, doeltreffendheid of rechtmatigheid, bij voorkeur ook Rekenkameronderzoek.

– Zelfstandig beleidsonderzoeksprojecten kunnen begeleiden . – Teamspeler. – Bij voorkeur bestuurlijke ervaring bij de overheid of semi-overheid. – Een onafhankelijke opstelling in het politiek-bestuurlijke krachtenveld. – Onderzoeksresultaten kunnen vertalen in op de praktijk gerichte en concrete

aanbevelingen. – Flexibele inzetbaarheid. – Betrokken bij de stad Arnhem en bij voorkeur woonachtig in de regio Arnhem. – Onafhankelijk zijn ten opzichte van de Arnhemse politiek en het gemeentebestuur. – Kandidaten voor het lidmaatschap van de Rekenkamer hebben de afgelopen 3 jaar

geen bestuurlijke of uitvoerende functie bij of voor de gemeente Arnhem vervuld. – Kandidaten vervullen geen met het lidmaatschap van de Rekenkamer onverenigbare

functie. – Leden van de rekenkamer Arnhem zijn lid van ten hoogste één andere rekenkamer

of rekenkamercommissie. Voorzitter

Heeft naast de taken van de gewone leden de verantwoordelijkheid voor de interne organisatie van de Rekenkamer – Verantwoordelijk voor adequate interne organisatie van de Rekenkamer, inclusief

agendasetting en daadwerkelijke uitvoering – Aansturen van de secretaris. – Zorgdragen voor het tijdig en periodiek bijeenroepen van de commissie, het

voorbereiden en leiden van de vergaderingen, het bewaken van de uitgangspunten en werkwijze van de commissie en het bevorderen van een zorgvuldige besluitvorming.

– Gezicht naar buiten van de Rekenkamer. Functievereisten (naast de vereisten voor de leden): – Leidinggevende ervaring. – Vermogen als ambassadeur voor de Rekenkamer op te treden. – Netwerker. – Vaardigheid om inspirerend en met gezag leiding te geven aan de Rekenkamer. – Uitstekende communicatieve vaardigheden en ervaring in omgang met de pers. Bron: Profielschets leden Rekenkamer Arnhem, 7 december 2010.

37

Bijlage 3: Relatie Rekenkamer, college en ambtelijke organisatie De formele relaties tussen Rekenkamer enerzijds en gemeenteraad, auditcommissie, griffie, college en ambtelijke organisatie anderzijds zijn – in aanvulling op de Gemeentewet – vastgelegd in de Verordening op de Rekenkamer 2011 (V) en het Onderzoeksprotocol (P). We geven een overzicht van de belangrijkste punten. Gemeenteraad

– De gemeenteraad benoemt de leden van de Rekenkamer op aanbeveling van de auditcommissie (V).

– De auditcommissie is intermediair tussen raad en Rekenkamer en, fungeert als overlegplatform en vervult een procesrol (V, P, zie ook raadsbesluit december 2010).

– De Rekenkamer overleg met de raadsfracties om een beeld te krijgen van de issues en onderwerpen die van belang zijn voor de raad. (P)

– De raad ontvangt jaarlijks voor 1 april een onderzoeksplan ter kennisname. (V) – De raad ontvangt de onderzoeksopzet ter kennisname. (V) – Nadat het onderzoeksvoorstel door de Rekenkamer is vastgesteld kan, op verzoek

van de gemeenteraad, door de Rekenkamer de probleemstelling en de onderzoeksvragen worden toegelicht in de betrokken vakcommissies of aan de fractiespecialisten van de raad. (P)

– Als er gesprekken gevoerd moeten worden met het college of raadsleden is de voorzitter van de Rekenkamer of één van de leden aanwezig. (P)

– De raad kan via indiening van een motie een verzoek doen tot het instellen van een onderzoek. De Rekenkamer bericht zo snel mogelijk of en op welke wijze hieraan wordt voldaan. Indien zij niet aan het verzoek voldoet wordt dit gemotiveerd. (V)

– De raad neemt het rapport en bijbehorend raadsvoorstel uiterlijk vier maanden na ontvangst door de auditcommissie in behandeling. (V)

– De Rekenkamer kan door de raad worden uitgenodigd de behandeling van het rapport in een of meer raadscommissies bij te wonen om daar het rapport of het raadsvoorstel toe te lichten en eventuele vragen te beantwoorden. (V)

– De Rekenkamer verantwoordt de baten en lasten van het vorig begrotingsjaar in het jaarverslag aan de raad. (V)

– In opdracht van de raad wordt het functioneren van de Rekenkamer elke vier jaar geëvalueerd. (V)

College en ambtelijke organisatie

– Voorafgaand aan de feitelijke start van het onderzoek vindt een startgesprek plaats met de ambtelijk verantwoordelijk leidinggevenden en, indien gewenst, met de betrokken leden van het college. (P)

– Als er gesprekken gevoerd moeten worden met het college of raadsleden is de voorzitter van de Rekenkamer of één van de leden aanwezig. (P)

– Het college wordt in staat gesteld te reageren op het bestuurlijk rapport, invulling van bestuurlijk wederhoor. (V)

38

– Het onderzoeksprogramma wordt ter kennisname aangeboden aan de raad, het college, het directieteam, het controllerteam en de griffie. Ook wordt het op de website van de Rekenkamer geplaatst. (P)

– Het onderzoeksvoorstel wordt door de Rekenkamer vastgesteld en vóór de start van het onderzoek ter kennisname aan de raad, het college en de betrokken directeuren toegezonden. (P)

39

Bijlage 4: Aanpak en toelichting op de digitale enquête

Aanpak van de evaluatie

De opdrachtgever heeft drie rekenkameronderzoeken als casus gekozen. De casus zijn vooral bedoeld als concrete ‘gespreksstof’ tijdens interviews en als concrete voorbeelden in de digitale enquête. Het gaat om de onderzoeken naar re-integratie van mobiliteitskandidaten (2014), huishoudelijke hulp (2013) en prestatieafspraken tussen gemeente en woningcorporaties rond volkshuisvesting (2013). De volgende activiteiten zijn uitgevoerd: – Een digitale enquête onder alle raadsleden, een aantal oud-raadsleden,

collegeleden en een aantal ambtenaren. De respons was 73% (zie bijlage 4).

– Bestuderen van schriftelijk materiaal, zie bijlage 5 voor een overzicht.

– Interviews met leden van het college en ambtenaren die bij de drie geselecteerde onderzoeken (de casus) betrokken waren.

– Groepsgesprek met vertegenwoordigers van de gemeenteraad.

– Groepsgesprek met de leden van de Rekenkamer.

– Bijeenkomsten met de Begeleidingsgroep met oog op het richten van de evaluatie, terugkoppeling van tussentijdse bevindingen en het bespreken van de eindrapportage.

Digitale enquête In de periode 19 december 2014 tot en met 21 januari 2015 is de digitale enquête onder raadsleden, een aantal oud-raadsleden, collegeleden en een aantal ambtenaren uitgevoerd. De enquête is per e-mail verstuurd aan 60 personen. Tussentijds zijn herinneringen verstuurd. In totaal hebben 44 personen meegedaan. Dat is een respons van 73%.

Groep Uitgenodigd Respons Respons% Raadsleden 40 29 73% Oud-raadslid (tot maart 2014) 9 7 78% Lid College van B&W 7 4 57% Ambtenaar ( ‘top ambtenaren’) 4 4 100%

Totaal 60 44 73%

In de enquête wordt onderscheid gemaakt naar nieuwe raadsleden die sinds maart 2014 gekozen zijn en raadsleden die ook al voor maart 2014 lid van de raad waren. – De nieuwe raadsleden hebben uitsluitend vragen beantwoord over de gewenste

toekomst van de rekenkamer. – De antwoorden van de oud-raadsleden zijn betrokken bij de terugblik op het

feitelijke functioneren en de meerwaarde van de Rekenkamer. – De groep ambtenaren bestaat uit 4 ‘top ambtenaren’ ofwel sleutelinformanten

vanuit de ambtelijke organisatie. De oud-raadsleden en topambtenaren zijn in afstemming met de Griffie geselecteerd.

40

Bijlage 5: Bronnen

Gesprekspartners

Naam Functie Mevr. S. Andeweg Fractievoorzitter D66 Dhr. M. Daamen Lid van de Rekenkamer Arnhem Dhr. G. Elfrink Wethouder Dhr. E. Greving Raadslid PvdA Dhr. L. de Groot Fractievoorzitter Partij voor de Dieren Dhr. H. Kok Wethouder Dhr. G. van der Laak Raadslid Zuid Centraal Mevr. L. Manders Fractievoorzitter Zuid Centraal Mevr. S. Matthijssen Lid van de Rekenkamer Arnhem Dhr. A. Mink Wethouder Mevr. M. Pieters Voorzitter van de Rekenkamer Arnhem Mevr. A. Plieger-Bos Fractievoorzitter ChristenUnie Dhr. G. van Putten Senior bestuursadviseur wonen, beleid en regie Mevr. R. Reitsma Senior adviseur planning en control Dhr. R. van Sprang Raadslid SP Dhr. R. van der Zee Raadslid VVD

Schriftelijk materiaal

Aedes vereniging voor woningcorporaties en VNG, Samen meer presteren, 2002. Gemeente Arnhem, Afdeling O&S, Reactie Afdeling O&S, inzake bestuurlijke rapport Hulp bij het

huishouden van de Rekenkamer Arnhem 2013, geen datum. Gemeente Arnhem, Amendement: Een plan van aanpak te veel, 15 december 2014 (aangenomen). Gemeente Arnhem, Amendement: Versterken van de controlerende rol van de gemeenteraad, 24 juni

2013 (aangenomen). Gemeente Arnhem, Amendement: Geef de raad meer grip op wonen, 24 juni 2013 (aangenomen). Gemeente Arnhem, Amendement: Aanbevelingen, 24 juni 2013 (verworpen). Gemeente Arnhem, Motie: Het Centrum voor Jeugd en Gezin van Morgen, 23 april 2012 (aangenomen). Gemeente Arnhem, Motie: Reken je rijk, 15 december 2014 (verworpen). Gemeente Arnhem, Motie: Minder bureaucratie bij toewijzen/regelen van voorzieningen, 24 juni 2013

(aangenomen). Gemeente Arnhem, Brief college inzake rekenkamerrapport, 29 maart 2013. Gemeente Arnhem, Collegenota Rekenkameronderzoek Hulp bij het huishouden, 14 maart 2013. Gemeente Arnhem, Auditcommissie, Monitor aanbevelingen rekenkamerrapporten, 3 maart 2014. Gemeente Arnhem, Raadsvoorstel Rekenkamer Arnhem 2010, 2010.0.090.952 / 2010-09-1685, 7

december 2010. Gemeente Arnhem, Raadsbesluit Rekenkamer Arnhem 2010, 2010.0.090.952 / 2010-09-01685, 13

december 2010. Gemeente Arnhem, Raadsvoorstel Vaststellen van de conclusies van het evaluatieonderzoek

Rekenkamercommissie Arnhem, 2009.0.099727/2009-11-00422, 30 november 2009. Gemeente Arnhem, Raadsbesluit over ‘Een plan van aanpak teveel’, 15 december 2014. Gemeente Arnhem, Raadsvoorstel met advies rekenkamer Arnhem, 25 maart 2013.

41

Gemeente Arnhem, Raadsvoorstel Rekenkamer Arnhem 2010, 7 december 2010. Gemeente Arnhem, Reactie college op rekenkamerrapport ‘een fractie teveel frictie’, 2 december 2014. Gemeente Arnhem, Verordening op de rekenkamer Arnhem 2011. Gemeente Arnhem, Verslag Auditcommissie, 3 maart 2014. Gemeente Arnhem, Verslag van de Auditcommissie, 13 januari 2014. Gemeente Arnhem, Reactie wethouder Elfrink op aanbevelingen aan het college van de rekenkamer

t.b.v. de raad, 2013. Marcel van Dam (wegbereider), Keuzenotitie Nieuwe Rekenkamer(commissie), 23 november 2010. Marcel Van Dam (wegbereider), Aanvulling keuzenotitie Nieuwe Rekenkamer Arnhem, 7 december

2010. Marcel van Dam (wegbereider), Profielen leden Rekenkamer Arnhem, 7 december 2010. Necker van Naem, Rekenkamermonitor 2014, geen datum. P.O. de Jong (e.a.), De Staat van de rekenkamer, een onderzoek naar institutionele vormgeving, budget

en output van gemeentelijke rekenkamers en rekenkamercommissies, 25 maart 2013 – in opdracht van de Nederlandse Vereniging van Rekenkamers en Rekenkamercommissies (NVRR).

Rekenkamer Arnhem, Behandeling Rekenkamerrapporten raad 2011 t/m 2014, 13 januari 2015. Rekenkamer Arnhem, Antwoord op vraag CDA, 20 februari 2013. Rekenkamer Arnhem, Brief aan raad bezuinigingsvoorstel Rekenkamer Arnhem, 9 mei 2014. Rekenkamer Arnhem, Conclusie en aanbevelingen Rekenkameronderzoek ‘Fractie teveel frictie’, 1

oktober 2014. Rekenkamer Arnhem, Grip op Wonen – Rekenkameronderzoek naar prestatieafspraken tussen

gemeente Arnhem en corporaties in periode 2005 t/m 2011, 30 januari 2013 Rekenkamer Arnhem, Grip op Wonen – Rekenkameronderzoek naar prestatieafspraken tussen

gemeente en corporaties in periode 2005 t/m 2011, 6 december 2012 Rekenkamer Arnhem, Hulp op maat – Rekenkameronderzoek naar hulp bij het huishouden in Arnhem,

26 maart 2013. Rekenkamer Arnhem, presentatie Rekenkameronderzoek Hulp op maat, 27 mei 2013. Rekenkamer Arnhem, Rekenkameronderzoek Fractie teveel frictie – Verzoekonderzoek naar de re-

integratie van mobiliteitskandidaten in de gemeente Arnhem, 1 oktober 2014. Rekenkamer Arnhem, Rekenkameronderzoek Hulp bij het Huishouden, 27 februari 2013. Rekenkamer Arnhem, Leren voor Later, Rekenkameronderzoek naar het bereik van voorschoolse

educatie in Arnhem, 16 december 2013. Rekenkamer Arnhem, Rekenkameronderzoek Prestatieafspraken gemeente-corporaties 2005 t/m 2011

Onderzoeksvoorstel, 19 april 2012. Rekenkamer Arnhem, Jeugd binnen bereik, Rekenkameronderzoek naar het Centrum van Jeugd en

Gezin in Arnhem, 29 februari 2012. Rekenkamer Arnhem, brief Handreiking Transitie Jeugdzorg, 27 november 2013. Rekenkamer Arnhem, brief Verwerking aanbevelingen Rekenkameronderzoek Bijstand naar werk

(2010) in Meerjarenplan Werken naar vermogen, 28 februari 2012. Rekenkamer Arnhem, brief Besluit Rekenkamer in verband met het onderzoek van Bewonerswerkgroep

Krachtwijk Presikhaaf, werkgroep Stadsver(w)arming, 10 mei 2012. Rekenkamer Arnhem, Nazorgonderzoek Op weg naar doeltreffend handhaven, 21 september 2011. Rekenkamer Arnhem, Jaarverslag 2011, 30 maart 2012. Rekenkamer Arnhem, Jaarverslag 2012, 28 maart 2013. Rekenkamer Arnhem, Jaarverslag 2013, 31 maart 2014. Rekenkamer Arnhem, Onderzoeksprogramma 2012-2013, december 2011.

42

Rekenkamer Arnhem, Onderzoeksprogramma 2014-2015, 31 maart 2014. Rekenkamer Arnhem, Onderzoeksprotocol, 18 april 2012. Rekenkamer Arnhem, Overleg Rekenkamer-Auditcommissie, 21 mei 2012. Rekenkamer Arnhem, Presentatie Rekenkameronderzoek Grip op Wonen, 18 februari 2013. Rekenkamer Arnhem, Verwerking ambtelijke reactie Onderzoeksrapport Hulp bij het huishouden, 2013. Rekenkamercommissie Arnhem, Onderzoeksprogramma 2009-2010, april 2009. Rob de Heus, Watze de Boer, Arie Molenkamp, Evaluatiecommissie gemeente Arnhem, Evaluatie

Rekenkamercommissie Arnhem – Evaluatie van het functioneren van de Rekenkamercommissie Arnhem in de periode 2004-2008, 24 augustus 2009.

VNG, Handreiking Van Woonvisie tot Prestatieafspraken, 2007.