Päätösmalliavusteinen ennakointi- ja arviointityö

1

Teknillinen korkeakoulu Systeemianalyysin laboratorio

Päätösmalliavusteinen Päätösmalliavusteinen

ennakointi- ja arviointityö ennakointi- ja arviointityö

Ahti SaloSysteemianalyysin laboratorio

Teknillinen korkeakoulu PL 1100, 02015 TKK


2

AgendaAgenda

Päätösmallien rooli

Esimerkkejä– Klusteriohjelman arviointi– Vesistön säännöstelyn suunnittelu – Kriisienhallintapäätöksenteon kehittäminen

Kehitysnäkymiä – Organisatoriset reunaehdot– Teknologiset tekijät


3

Mitä on systeemi- ja operaatiotutkimus?Mitä on systeemi- ja operaatiotutkimus?

”Operational research is the attack of modern science on complex problems arising in the direction and management of large systems of men, machines, materials and money in industry, business, government and defense.”

”Its distinctive approach is to develop a scientific model of the system, incorporating measurements of factors such as change and risk, with which to predict and compare the outcomes of alternative decisions, strategies or controls. The purpose is to help management determine its policy and actions scientifically.” OR Quarterly 3(3): 282, l962


4

Päätösmalliavusteisen työskentelyn ulottuvuuksia Päätösmalliavusteisen työskentelyn ulottuvuuksia

Järjestelmäkuvaus• ekosysteemi• energiatuotanto• innovaatioprosessi

Päätösmalli

ArvokeskusteluOngelman jäsentäminenVaihtoehtojen esittäminen

Sidosryhmät

Päätösvaihtoehtojen vertailu

Mallintaminen ja simulointiAsiantuntija-arviotEnnustemallit


5

Innovaatiopolitiikan päätöstuki (1/2)Innovaatiopolitiikan päätöstuki (1/2)

Markkinat

Operatiivinen

Tutkimus

Tuotekehitys

Strateginen Käsitteellinen

Evaluointi

Teknologianarviointi

Ennakointi

T&K-toiminnan johtaminen

Inno

vaat

iopr

oses

si


6

Innovaatiopolitiikan päätöstuki (2/2)Innovaatiopolitiikan päätöstuki (2/2)

Technology assessment – “… encompasses activities which analyze and evaluate the anticipated impacts of a

given technology, assess areas of potential social conflict caused by its deployment, promote a constructive dialogue between the stakeholders, and produce recommendations for improving the technology and the terms of its application.” (van Eijndhoven, 1997)

Programme evaluation – “… is understood as a systematic process which seeks to determine the relevance,

efficiency and effect of the program in terms of its objectives, implementation and administrative management.” (Papaconstantinou and Polt, 1997)

Embedded foresight – “… refers to the individual and collaborative processes through which prospective

information about relevant technological, commercial and societal developments is acquired, produced, refined or communicated within RTD programs, in order to generate shared understandings in support of RTD activities.” (Salo and Salmenkaita, 2002).


7

Wood Wisdom 1998-2001Wood Wisdom 1998-2001

Taustaa– hallitus käynnisti tutkimuksen lisärahoitusohjelman vuonna 1996 – 100 MEUR kohdennettu seitsemään klusteriohjelmaan

» osin Porterin teollisten klustereiden innoittamia » ministeriöiden, rahoittajien, yritysten ja tutkijoiden välisen yhteistyön kehittäminen » noin 25% rahoituksesta yksityissektorilta

Wood Wisdom– suurin klusteriohjelmista, rahoitus EUR 33 million

» Tekes (44%); yritykset (33%), Suomen Akatemia (15%); maa- ja metsätalousministeriö (7%); kauppa- ja teollisuusministeriö (2%)

– raaka-aineominaisuuksien hyödyntäminen puunjalostus- ja puutuoteollisuuden kilpailukyvyn parantamiseksi

» 4 tutkimusaluetta » 21 teema-aluetta, 34 tutkimuskonsortiota, 156 projektia » yli 50 yritystä, lähes 70 tutkimusyksikköä ja 800 tutkijaa


8

Ohjelmatoiminnan arvioinnin haasteita (1) Ohjelmatoiminnan arvioinnin haasteita (1)

Lähtökohtien valinta – tavoitteenasetanta tyypillisesti lähtökohtana

» etenkin isoissa ohjelmissa saattavat olla yleisluontoisia (‘retorisia’)» käytännössä tavoitteet konkretisoituvat usein vasta ohjelman aikana

– yllättävät ja ennakoimattomatkin vaikutukset voivat kiinnostavia ahdas pitäytyminen tavoitteissa voi olla turhan rajaavaa

– liialliset odotukset sosio-ekonomisten vaikutusten arvioitavuuden suhteen » merkitys ei yksinomaan akselilla ‘liikevaihto - vienti - työpaikat’

Tarkasteluyksiköiden rajaus – projektit konkreettisia ja hyvin rajattuja

» verraten helposti arvioitavissa

– ohjelmataso monimuotoinen » toiminta sinänsä (koordinaatio, tiedottaminen), vaikutukset tutkimuksen sisältöihin» haastattelut, case-analyysit, tilastoanalyysit


9

Ohjelmatoiminnan arvioinnin haasteita (2) Ohjelmatoiminnan arvioinnin haasteita (2)

Oikea-aikaisuus – uutta ohjelmaa usein valmisteltava ennen kuin edellinen päättynyt

» parempi saada alustavia tuloksia ajoissa kuin tarkkoja liian myöhään

– odotukset sosio-ekonomisten vaikutusten arvioinnin suhteen epärealistisia

Menetelmälliset rajoitteet – kyselytutkimuksilla ei juurikaan päästä kunnolla substanssitasolle – yleishavainnoista ei voida yksioikoisesti johtaa yksittäisiä teknologia-alueita tai

hankkeita koskevia johtopäätöksiä » kansainvälistyä pitää - mutta kenen ja kuinka?

Tulevaisuusnäkökulma – evaluointi kohdistuu jo toteuteneeseen työhön – tulkinta edellyttää myös tulevaisuuden haasteiden tunnistamista ja käsittelyä


10

Päätösmallisavusteinen arviointityö Päätösmallisavusteinen arviointityö

Lähestymistapa – määritellään arviointikohteet ja sovellettavat viitekehykset

» esim. monitavoitepäätöksenteon mallit

– nimitetään arviointiin osallistuvat työryhmät» kiinnostus, tasapuolisuus, pätevyys

– hyödynnetään työvälinetukea» haetaan kaikkien työryhmän jäsenten näkemykset » sallitaan myös anonyymi palaute » koostetaan tulokset ja keskustellaan niistä

Suhde muihin lähestymistapoihin – täydentää (mutta ei korvaa) muuta arviointi- ja vaikuttavuustutkimusta– tukee tutkimustulosten tulkitsemista toimenpide-ehdotuksiksi – voidaan liittää osaksi ennakointityötä


11

Wood Wisdom - klusteriohjelman arviointi Wood Wisdom - klusteriohjelman arviointi

Osallistavat työpajat – yhteenä 15 työpajaa

» tutkimusalueet ja konsortiot valittu rahoittajien ja koordinaattorin kanssa

– useimmissa 7-10 asiantuntijaa » ohjausryhmien jäseniä » projektipäälliköitä» ohjelmakoordinaattori

– päätöksenteon tukijärjestelmä » arviointimallien soveltaminen » vapaamuotoisten kommenttien hakeminen

Kyselytutkimus – lähettiin 78 projektille

» 62 vastasi ( ~ 80 % vastasi)

– kannanottoja, vapaamuotoisia kommentteja projekteja ja ohjelmaa koskien


12

AgendaAgenda

Työpajan avaus 20 min– tavoitteet, toimintatavat, poimintoja kyselytutkimuksesta

Konsortion esittely 10 min

Osahankkeiden arviointi 1 h 30 min– projektipäälliköiden esitykset (à 15 min) – arviointimallien soveltaminen kuhunkin osahankkeeseen (à 15 min)– lopuksi keskustelu arviointituloksista (n. 30 min)

Konsortiotason arviointi 30 min– tutkimuksen ja verkottumisen painopistealueiden määrittäminen – ohjausryhmätyöskentelyn arviointi – tulevaisuuden tutkimushaasteiden tunnistaminen

Yleiskeskustelu 30 min


13

Työpaja: Uniikki kuituTyöpaja: Uniikki kuitu

Ke. 26.9, klo 12.00-16.30 Osallistujat

– Pekka Kanerva, koordinaattori– Per Stenius, ohjausryhmä– Jukka Ranua, ohjausryhmä– Jorma Sundquist, ohjausryhmä– Christine Hagström-Näsi, ohjausryhmä– Simo Koponen, osahanke (1)– Alpo Ranta-Maunus, osahanke (2)– Raimo Silvennoinen, osahanke (3)

Esittäyneet osahankkeet– (1) Puun anatomisen rakenteen vaikutus mikrohalkeiluun ja halkeamien

kasvuun, TKK– (2) Puun mikrohalkeilun malli, jaksot I ja II, VTT– (3) Optiset menetelmät puuaineksen halkeilun tutkimuksessa, JoY


14

Tutkimuskonsortion arviointimalliTutkimuskonsortion arviointimalli Mitä tavoitteita konsortion edustamalla tutkimusalueella tulisi jatkossa painottaa?

Painota keskenään rinnasteisia tavoiteluokkia siten, että kunkin katkoviikoin rajatun alueen sisällä annettujen prosenttien summa on 100.


15

RyhmätyöympäristöRyhmätyöympäristö

Opinions-Online– Internet-pohjainen

äänestystyökalu – kehitetty systeemianalyysin

laboratoriossa prof. Raimo P. Hämäläisen johdolla

Käyttö työpajoissa– kannanotot ohjelmatoimintaan– vapaamuotoisen ja anonyymin

palautteen hakeminen – vastausten erittely

vastaajaryhmittäin


16

Konsortiotason painotusten keskiarvot

27.11

16.14

8.56

4.88

3.78

0.54

9.65

6.10

5.48

5.88

11.90

0.00 5.00 10.00 15.00 20.00 25.00 30.00

1

Perustutkimus

Soveltava tutkimus

Tuotekehitys

Taloustieteellinen tutkimus

Ympäristötieteellinentutkimus

Yhteiskuntatieteellinentutkimus

Tutkimusyhteistyönlisääminen (tutk-tutk)

Uusien yhteistyöverkostojenluominen (tutk-tutk)

Tutkimusyhteistyönlisääminen (tutk-teoll)

Uusien yhteistyöverkostojenluominen (tutk-teoll)

Kansainvälinentutkimustyhteistyö

Työpajaesimerkki - uniikki kuituTyöpajaesimerkki - uniikki kuitu


17


18

Havaintoja Havaintoja

Lähestymistavan ’toimivuuden’ edellytyksiä läsnäolijoiden kokeneisuus ja asiantuntemus riittävän laaja osallistujapohja (esim. suurin osa ohjausryhmästä paikalla)

mandaatti tarpeen - miel. selkeä nivoutuminen ohjelmatoimintaan laadukas taustamateriaali ja -työ

» täsmennettyihin väittämiin helpompi tarttua (myös liiaksi!)» riittävästi aikaa (väh. puolipäivää)

– puolueeton ja tahdikas fasilitointi

Ryhmätyöympäristöjen etuja – arviointitulosten saattaminen vertailukelpoiseen muotoon (viitekehykset)– näkemystiedon koostaminen läsnäolijoilta

» anonymiteetti, tasapuolisuus, kattavuus, nopeus

– keskustelun katalysointi ja pohjustaminen – myös selkeiden kannanottojen puntarointi mahdollista


19

PalautekyselyPalautekyselyArviointityöpajojen palaute

0 % 25 % 50 % 75 % 100 %

1a) Arviointi- ja raportointipyyntöjä on tullutkohtuuttomasti osahankkeeseen liittyen.

2e) Arviointimallien tulosten käsittely tuki rakentavanpalatteen antamista keskustelua.

2f) Työpajan tulokset olivat hyödyllisiä jaoikeansuuntaisia.

3d) Tietokoneiden käyttö edesauttoi työpajatyöskentelyä.

4a) Arviointi oli mielestäni kokonaisuudessaanonnistunut.

4b) Tällaisia työpajoja kannattaa järjestää myös tulevienohjelmien arvioinneissa.

Täysin eri mieltä Jonkin verran eri mieltä Ei selkeää kantaa Jonkin verran samaa mieltä

Täysin samaa mieltä eos tyhjä


20

Päätöstasojen välisten kytkentöjen tukeminenPäätöstasojen välisten kytkentöjen tukeminen

LevelWoodWisdom

Focus of activities Summative evaluation Formative evaluation

Macro-level

Industrialcluster

Shaping of policies toenhance theperformance of theinnovation system

Information on socio-economic impacts ofS&T policies

Delivery of aggregatedata on performancemeasures

Interpretation of policyobjectives withinspecific researchareas

Setting of researchpriorities (e.g.,formation of consortia)

Meso-level

Researchconsortium

Strengthening of‘communities ofpractice’ and theirabilities to innovate

Micro-level

Researchproject

Creation of new S&Tknowledge andinnovations

Attainment ofobjectives vis-à-visagreed objectives

Information on S&Toutputs (e.g., theses,patents)

Constructive feedbackto research projects

Preparation ofcollaborative networksand research activities


21

Ympäristöpäätöksenteko Ympäristöpäätöksenteko

Vesistöjen sääntelyn kehittäminen (SYKE)– tavoitteita

» taloudellisten, ekologisten ja sosiaaliset vaikutusten selvittäminen » käyttäjäryhmien tavoitteiden kartoittaminen ja yhteensovittamisen » säännöstelyhaittojen vähentäminen ja hyötyjen lisääminen

– lähestymistapa» järviekosysteemin mallintaminen ja päätösanalyysihaastattelut » verkkopohjainen osallistaminen ja yhteiset keskustelutilaisuudet

Kriisienhallintavalmiuksien parantaminen (STUK)– tavoite

» päätösprosessin kehittäminen ydinvoimalaonnettumuuden varalta

– lähestymistapa» radioaktiivisen laskeuman leviämisen ennustaminen » toimenpiteille asetettavien tavoitteiden kuvaaminen päätösmallina » suojelutoimenpidestrategioiden vertailu


22

PARAS SÄÄNNÖSTELY

VESI-LUONTO

TULVAT

TEOLLI-SUUS

VIRKISTYSKÄYTTÖ

MAATALOUS

RAKENTEET

MAISEMA

VESIVOIMA

UITTO

MATKAILU

RANTOJEN KÄYTETTÄVYYS

AMMATTI-KALASTUS

ELINYMPÄRISTÖT

KALAKANNAT

LINNUSTO

VAIHTOEHDOT

• TulVO

• EKO

• VIRKI

PÄIJÄNTEEN SÄÄNTELYN ARVOPUUPÄIJÄNTEEN SÄÄNTELYN ARVOPUU

YRITYS-TOIMINTA


23

OPPIMIS-PROSESSI

Osallistuminen Vaikutusten arviointi

SOPUSUOSITUKSISTA

Monitavoitteista päätöksentekoa tukevatmenetelmät

RISTIRIIDAT

Arvopuuanalyysi

TAVOITTEENA YKSIMIELISESTI TAVOITTEENA YKSIMIELISESTI HYVÄKSYTTÄVÄT SUOSITUKSET HYVÄKSYTTÄVÄT SUOSITUKSET

35,7

35,7

28,6

64,3

28,6

50

50

0

50

64,3

57,1

35,7

71,4

42,9

42,9

64,3

7,1

14,3

7,1

7,1

35,7

7,1

0 % 20 % 40 % 60 % 80 % 100 %

Käsitykseni Päijänteen ja Kymijoen säännöstelystä ja sen kehittämisestaselkiintyi haastatteluprosessin kuluessa

Käytetty menetelmä soveltuu hyvin erimitallisten vaikutusten vertailuun

Tulokset ja johtopäätökset ovat hyödyntämiskelpoisia suositusvaihtoehtojamuodostettaessa

Erilaisten vesivuosien tarkastelu omilla arvopuilla oli tärkeää säännöstelynvaikutusten ja kehittämismahdollisuuksien ymmärtämisen kannalta

Haastattelun tulokset kuvasivat hyvin suhtautumistani erisäännöstelytapoihin

Haastattelu pakotti miettimään omia arvostuksia enemmän kuin muutoin olitullut mietittyä

Ymmärsin hyvin tulosten esittämisen ja analysoinnin HIPRE-ohjelmalla

Säännöstelytapojen vaikutuserojen arviointi oli helppoa

Prosenttia

Täysin samaa mieltä Jokseenkin samaa mieltä Jokseenkin eri mieltä Täysin eri mieltä En osaa sanoa


25


26

Organisatorisia reunaehtoja Organisatorisia reunaehtoja

Mandaatti – keskeisten sidosryhmien myönteinen suhtautuminen – yhteinen tärkeäksi mielletty ongelmanasettelu– mielellään neutraaliksi nähdyn tahon fasilitoima

Osallistujat – arvovalinnat ja näkemystieto tärkeitä – tasapuolinen kokoonpano, asiantunteva, avoimesti suhtautuva – tulosten validointiin tarjottava mahdollisuus

Rajaaminen – kysymysten täsmentäminen

» mihin arviointi kohdistetaan?» millä kriteereillä ‘hyvyyttä arvioidaan’


27

Päätösmalliavusteisen työn etuja Päätösmalliavusteisen työn etuja

Jouduttaminen – arviointitulokset voidaan periaatteessa tuottaa nopeammin

» esim. tietokoneavusteisten työpajojen tulokset voidaan viedä internetiin saman tien

Eriyttäminen – voidaan rakentaa kuva siitä, miten eri toimijoiden näkemykset poikkeavat

» vrt. tietoturvariskien kokeminen eri tavoin

Syventäminen– voidaan käydä keskustelua siitä, mitä havainnot merkitsevät

» esim.minkälaista kv-yhteistyötä tarkalleen ottaen tulisi edistää?

Sitouttaminen – suosituksista ehkä helpompi päästä toimenpiteisiin

» taustalla yhteiset keskustelut ja näkemykset


28

Hämäläinen, R.P., M. Lindstedt, K. Sinkko: Multi-Attribute Risk Analysis in Nuclear Emergency Management, Risk

Analysis 20/4, 455-468 Hämäläinen, R.P., E. Kettunen, M. Marttunen and H. Ehtamo (2001): Evaluating a Framework for Multi-Stakeholder

Decision Support in Water Resources Management, Group Decision and Negotiation 10/4, 331-353, 2001J. Mustajoki, R.P. Hämäläinen, M. Marttunen: Participatory Multicriteria Decision Support with Web-HIPRE: A Case of

Lake Regulation Policy, Environmental Modelling & Software (forthcoming) .Salmenkaita, J.-P, A. Salo (2002): Rationales for Government Intervention in the Commercialization of New

Technologies, Technology Analysis & Strategic Management 14/2, 183-200. Salmenkaita, J.-P., A. Salo (2004): Emergent Foresight Processes: Industrial Activities in Wireless Communications,

Technological Forecasting and Social Change (forthcoming).Salo, A., K. Cuhls (2003): Technology Foresight - Past and Future, Journal of Forecasting 22/2-3, 79-82. Salo, A., T. Gustafsson (2003): A Group Support System for Foresight Processes, International Journal of Technology

Management (forthcoming). Salo, A., T. Gustafsson, R. Ramanathan (2003). Multicriteria Support for Foresight Processes. Journal of Forecasting

22/2-3, 235-256.Salo, A., T. Gustafsson, P. Mild (2003): Prospective Evaluation of a Cluster Program for Finnish Forestry and Forest

Industries, International Transactions on Operations Research (forthcoming). Salo, A., R.P. Hämäläinen (2001): Preference Ratios in Multiattribute Evaluation (PRIME) - Elicitation and Decision

Procedures under Incomplete Information, IEEE Transactions on Systems, Man, and Cybernetics 31/6, 533-545. Salo, A., A. Punkka (2004): Rank Inclusion in Criteria Hierarchies, European Journal of Operational Research

(forthcoming). Salo, A., Salmenkaita, J.-P. (2002): Embedded Foresight into RTD programs, International Journal of Technology,

Policy and Management 2/2, 167-193.

JulkaisujaJulkaisuja


29

Kiitos! Kiitos!

Documents

Päätösmalliavusteinen ennakointi- ja arviointityö