1
Teknillinen korkeakoulu Systeemianalyysin laboratorio
Päätösmalliavusteinen Päätösmalliavusteinen
ennakointi- ja arviointityö ennakointi- ja arviointityö
Ahti SaloSysteemianalyysin laboratorio
Teknillinen korkeakoulu PL 1100, 02015 TKK
Teknillinen korkeakoulu Systeemianalyysin laboratorio
2
AgendaAgenda
Päätösmallien rooli
Esimerkkejä– Klusteriohjelman arviointi– Vesistön säännöstelyn suunnittelu – Kriisienhallintapäätöksenteon kehittäminen
Kehitysnäkymiä – Organisatoriset reunaehdot– Teknologiset tekijät
Teknillinen korkeakoulu Systeemianalyysin laboratorio
3
Mitä on systeemi- ja operaatiotutkimus?Mitä on systeemi- ja operaatiotutkimus?
”Operational research is the attack of modern science on complex problems arising in the direction and management of large systems of men, machines, materials and money in industry, business, government and defense.”
”Its distinctive approach is to develop a scientific model of the system, incorporating measurements of factors such as change and risk, with which to predict and compare the outcomes of alternative decisions, strategies or controls. The purpose is to help management determine its policy and actions scientifically.” OR Quarterly 3(3): 282, l962
Teknillinen korkeakoulu Systeemianalyysin laboratorio
4
Päätösmalliavusteisen työskentelyn ulottuvuuksia Päätösmalliavusteisen työskentelyn ulottuvuuksia
Järjestelmäkuvaus• ekosysteemi• energiatuotanto• innovaatioprosessi
Päätösmalli
ArvokeskusteluOngelman jäsentäminenVaihtoehtojen esittäminen
Sidosryhmät
Päätösvaihtoehtojen vertailu
Mallintaminen ja simulointiAsiantuntija-arviotEnnustemallit
Teknillinen korkeakoulu Systeemianalyysin laboratorio
5
Innovaatiopolitiikan päätöstuki (1/2)Innovaatiopolitiikan päätöstuki (1/2)
Markkinat
Operatiivinen
Tutkimus
Tuotekehitys
Strateginen Käsitteellinen
Evaluointi
Teknologianarviointi
Ennakointi
T&K-toiminnan johtaminen
Inno
vaat
iopr
oses
si
Teknillinen korkeakoulu Systeemianalyysin laboratorio
6
Innovaatiopolitiikan päätöstuki (2/2)Innovaatiopolitiikan päätöstuki (2/2)
Technology assessment – “… encompasses activities which analyze and evaluate the anticipated impacts of a
given technology, assess areas of potential social conflict caused by its deployment, promote a constructive dialogue between the stakeholders, and produce recommendations for improving the technology and the terms of its application.” (van Eijndhoven, 1997)
Programme evaluation – “… is understood as a systematic process which seeks to determine the relevance,
efficiency and effect of the program in terms of its objectives, implementation and administrative management.” (Papaconstantinou and Polt, 1997)
Embedded foresight – “… refers to the individual and collaborative processes through which prospective
information about relevant technological, commercial and societal developments is acquired, produced, refined or communicated within RTD programs, in order to generate shared understandings in support of RTD activities.” (Salo and Salmenkaita, 2002).
Teknillinen korkeakoulu Systeemianalyysin laboratorio
7
Wood Wisdom 1998-2001Wood Wisdom 1998-2001
Taustaa– hallitus käynnisti tutkimuksen lisärahoitusohjelman vuonna 1996 – 100 MEUR kohdennettu seitsemään klusteriohjelmaan
» osin Porterin teollisten klustereiden innoittamia » ministeriöiden, rahoittajien, yritysten ja tutkijoiden välisen yhteistyön kehittäminen » noin 25% rahoituksesta yksityissektorilta
Wood Wisdom– suurin klusteriohjelmista, rahoitus EUR 33 million
» Tekes (44%); yritykset (33%), Suomen Akatemia (15%); maa- ja metsätalousministeriö (7%); kauppa- ja teollisuusministeriö (2%)
– raaka-aineominaisuuksien hyödyntäminen puunjalostus- ja puutuoteollisuuden kilpailukyvyn parantamiseksi
» 4 tutkimusaluetta » 21 teema-aluetta, 34 tutkimuskonsortiota, 156 projektia » yli 50 yritystä, lähes 70 tutkimusyksikköä ja 800 tutkijaa
Teknillinen korkeakoulu Systeemianalyysin laboratorio
8
Ohjelmatoiminnan arvioinnin haasteita (1) Ohjelmatoiminnan arvioinnin haasteita (1)
Lähtökohtien valinta – tavoitteenasetanta tyypillisesti lähtökohtana
» etenkin isoissa ohjelmissa saattavat olla yleisluontoisia (‘retorisia’)» käytännössä tavoitteet konkretisoituvat usein vasta ohjelman aikana
– yllättävät ja ennakoimattomatkin vaikutukset voivat kiinnostavia ahdas pitäytyminen tavoitteissa voi olla turhan rajaavaa
– liialliset odotukset sosio-ekonomisten vaikutusten arvioitavuuden suhteen » merkitys ei yksinomaan akselilla ‘liikevaihto - vienti - työpaikat’
Tarkasteluyksiköiden rajaus – projektit konkreettisia ja hyvin rajattuja
» verraten helposti arvioitavissa
– ohjelmataso monimuotoinen » toiminta sinänsä (koordinaatio, tiedottaminen), vaikutukset tutkimuksen sisältöihin» haastattelut, case-analyysit, tilastoanalyysit
Teknillinen korkeakoulu Systeemianalyysin laboratorio
9
Ohjelmatoiminnan arvioinnin haasteita (2) Ohjelmatoiminnan arvioinnin haasteita (2)
Oikea-aikaisuus – uutta ohjelmaa usein valmisteltava ennen kuin edellinen päättynyt
» parempi saada alustavia tuloksia ajoissa kuin tarkkoja liian myöhään
– odotukset sosio-ekonomisten vaikutusten arvioinnin suhteen epärealistisia
Menetelmälliset rajoitteet – kyselytutkimuksilla ei juurikaan päästä kunnolla substanssitasolle – yleishavainnoista ei voida yksioikoisesti johtaa yksittäisiä teknologia-alueita tai
hankkeita koskevia johtopäätöksiä » kansainvälistyä pitää - mutta kenen ja kuinka?
Tulevaisuusnäkökulma – evaluointi kohdistuu jo toteuteneeseen työhön – tulkinta edellyttää myös tulevaisuuden haasteiden tunnistamista ja käsittelyä
Teknillinen korkeakoulu Systeemianalyysin laboratorio
10
Päätösmallisavusteinen arviointityö Päätösmallisavusteinen arviointityö
Lähestymistapa – määritellään arviointikohteet ja sovellettavat viitekehykset
» esim. monitavoitepäätöksenteon mallit
– nimitetään arviointiin osallistuvat työryhmät» kiinnostus, tasapuolisuus, pätevyys
– hyödynnetään työvälinetukea» haetaan kaikkien työryhmän jäsenten näkemykset » sallitaan myös anonyymi palaute » koostetaan tulokset ja keskustellaan niistä
Suhde muihin lähestymistapoihin – täydentää (mutta ei korvaa) muuta arviointi- ja vaikuttavuustutkimusta– tukee tutkimustulosten tulkitsemista toimenpide-ehdotuksiksi – voidaan liittää osaksi ennakointityötä
Teknillinen korkeakoulu Systeemianalyysin laboratorio
11
Wood Wisdom - klusteriohjelman arviointi Wood Wisdom - klusteriohjelman arviointi
Osallistavat työpajat – yhteenä 15 työpajaa
» tutkimusalueet ja konsortiot valittu rahoittajien ja koordinaattorin kanssa
– useimmissa 7-10 asiantuntijaa » ohjausryhmien jäseniä » projektipäälliköitä» ohjelmakoordinaattori
– päätöksenteon tukijärjestelmä » arviointimallien soveltaminen » vapaamuotoisten kommenttien hakeminen
Kyselytutkimus – lähettiin 78 projektille
» 62 vastasi ( ~ 80 % vastasi)
– kannanottoja, vapaamuotoisia kommentteja projekteja ja ohjelmaa koskien
Teknillinen korkeakoulu Systeemianalyysin laboratorio
12
AgendaAgenda
Työpajan avaus 20 min– tavoitteet, toimintatavat, poimintoja kyselytutkimuksesta
Konsortion esittely 10 min
Osahankkeiden arviointi 1 h 30 min– projektipäälliköiden esitykset (à 15 min) – arviointimallien soveltaminen kuhunkin osahankkeeseen (à 15 min)– lopuksi keskustelu arviointituloksista (n. 30 min)
Konsortiotason arviointi 30 min– tutkimuksen ja verkottumisen painopistealueiden määrittäminen – ohjausryhmätyöskentelyn arviointi – tulevaisuuden tutkimushaasteiden tunnistaminen
Yleiskeskustelu 30 min
Teknillinen korkeakoulu Systeemianalyysin laboratorio
13
Työpaja: Uniikki kuituTyöpaja: Uniikki kuitu
Ke. 26.9, klo 12.00-16.30 Osallistujat
– Pekka Kanerva, koordinaattori– Per Stenius, ohjausryhmä– Jukka Ranua, ohjausryhmä– Jorma Sundquist, ohjausryhmä– Christine Hagström-Näsi, ohjausryhmä– Simo Koponen, osahanke (1)– Alpo Ranta-Maunus, osahanke (2)– Raimo Silvennoinen, osahanke (3)
Esittäyneet osahankkeet– (1) Puun anatomisen rakenteen vaikutus mikrohalkeiluun ja halkeamien
kasvuun, TKK– (2) Puun mikrohalkeilun malli, jaksot I ja II, VTT– (3) Optiset menetelmät puuaineksen halkeilun tutkimuksessa, JoY
Teknillinen korkeakoulu Systeemianalyysin laboratorio
14
Tutkimuskonsortion arviointimalliTutkimuskonsortion arviointimalli Mitä tavoitteita konsortion edustamalla tutkimusalueella tulisi jatkossa painottaa?
Painota keskenään rinnasteisia tavoiteluokkia siten, että kunkin katkoviikoin rajatun alueen sisällä annettujen prosenttien summa on 100.
Teknillinen korkeakoulu Systeemianalyysin laboratorio
15
RyhmätyöympäristöRyhmätyöympäristö
Opinions-Online– Internet-pohjainen
äänestystyökalu – kehitetty systeemianalyysin
laboratoriossa prof. Raimo P. Hämäläisen johdolla
Käyttö työpajoissa– kannanotot ohjelmatoimintaan– vapaamuotoisen ja anonyymin
palautteen hakeminen – vastausten erittely
vastaajaryhmittäin
Teknillinen korkeakoulu Systeemianalyysin laboratorio
16
Konsortiotason painotusten keskiarvot
27.11
16.14
8.56
4.88
3.78
0.54
9.65
6.10
5.48
5.88
11.90
0.00 5.00 10.00 15.00 20.00 25.00 30.00
1
Perustutkimus
Soveltava tutkimus
Tuotekehitys
Taloustieteellinen tutkimus
Ympäristötieteellinentutkimus
Yhteiskuntatieteellinentutkimus
Tutkimusyhteistyönlisääminen (tutk-tutk)
Uusien yhteistyöverkostojenluominen (tutk-tutk)
Tutkimusyhteistyönlisääminen (tutk-teoll)
Uusien yhteistyöverkostojenluominen (tutk-teoll)
Kansainvälinentutkimustyhteistyö
Työpajaesimerkki - uniikki kuituTyöpajaesimerkki - uniikki kuitu
Teknillinen korkeakoulu Systeemianalyysin laboratorio
17
Teknillinen korkeakoulu Systeemianalyysin laboratorio
18
Havaintoja Havaintoja
Lähestymistavan ’toimivuuden’ edellytyksiä läsnäolijoiden kokeneisuus ja asiantuntemus riittävän laaja osallistujapohja (esim. suurin osa ohjausryhmästä paikalla)
mandaatti tarpeen - miel. selkeä nivoutuminen ohjelmatoimintaan laadukas taustamateriaali ja -työ
» täsmennettyihin väittämiin helpompi tarttua (myös liiaksi!)» riittävästi aikaa (väh. puolipäivää)
– puolueeton ja tahdikas fasilitointi
Ryhmätyöympäristöjen etuja – arviointitulosten saattaminen vertailukelpoiseen muotoon (viitekehykset)– näkemystiedon koostaminen läsnäolijoilta
» anonymiteetti, tasapuolisuus, kattavuus, nopeus
– keskustelun katalysointi ja pohjustaminen – myös selkeiden kannanottojen puntarointi mahdollista
Teknillinen korkeakoulu Systeemianalyysin laboratorio
19
PalautekyselyPalautekyselyArviointityöpajojen palaute
0 % 25 % 50 % 75 % 100 %
1a) Arviointi- ja raportointipyyntöjä on tullutkohtuuttomasti osahankkeeseen liittyen.
2e) Arviointimallien tulosten käsittely tuki rakentavanpalatteen antamista keskustelua.
2f) Työpajan tulokset olivat hyödyllisiä jaoikeansuuntaisia.
3d) Tietokoneiden käyttö edesauttoi työpajatyöskentelyä.
4a) Arviointi oli mielestäni kokonaisuudessaanonnistunut.
4b) Tällaisia työpajoja kannattaa järjestää myös tulevienohjelmien arvioinneissa.
Täysin eri mieltä Jonkin verran eri mieltä Ei selkeää kantaa Jonkin verran samaa mieltä
Täysin samaa mieltä eos tyhjä
Teknillinen korkeakoulu Systeemianalyysin laboratorio
20
Päätöstasojen välisten kytkentöjen tukeminenPäätöstasojen välisten kytkentöjen tukeminen
LevelWoodWisdom
Focus of activities Summative evaluation Formative evaluation
Macro-level
Industrialcluster
Shaping of policies toenhance theperformance of theinnovation system
Information on socio-economic impacts ofS&T policies
Delivery of aggregatedata on performancemeasures
Interpretation of policyobjectives withinspecific researchareas
Setting of researchpriorities (e.g.,formation of consortia)
Meso-level
Researchconsortium
Strengthening of‘communities ofpractice’ and theirabilities to innovate
Micro-level
Researchproject
Creation of new S&Tknowledge andinnovations
Attainment ofobjectives vis-à-visagreed objectives
Information on S&Toutputs (e.g., theses,patents)
Constructive feedbackto research projects
Preparation ofcollaborative networksand research activities
Teknillinen korkeakoulu Systeemianalyysin laboratorio
21
Ympäristöpäätöksenteko Ympäristöpäätöksenteko
Vesistöjen sääntelyn kehittäminen (SYKE)– tavoitteita
» taloudellisten, ekologisten ja sosiaaliset vaikutusten selvittäminen » käyttäjäryhmien tavoitteiden kartoittaminen ja yhteensovittamisen » säännöstelyhaittojen vähentäminen ja hyötyjen lisääminen
– lähestymistapa» järviekosysteemin mallintaminen ja päätösanalyysihaastattelut » verkkopohjainen osallistaminen ja yhteiset keskustelutilaisuudet
Kriisienhallintavalmiuksien parantaminen (STUK)– tavoite
» päätösprosessin kehittäminen ydinvoimalaonnettumuuden varalta
– lähestymistapa» radioaktiivisen laskeuman leviämisen ennustaminen » toimenpiteille asetettavien tavoitteiden kuvaaminen päätösmallina » suojelutoimenpidestrategioiden vertailu
Teknillinen korkeakoulu Systeemianalyysin laboratorio
22
PARAS SÄÄNNÖSTELY
VESI-LUONTO
TULVAT
TEOLLI-SUUS
VIRKISTYSKÄYTTÖ
MAATALOUS
RAKENTEET
MAISEMA
VESIVOIMA
UITTO
MATKAILU
RANTOJEN KÄYTETTÄVYYS
AMMATTI-KALASTUS
ELINYMPÄRISTÖT
KALAKANNAT
LINNUSTO
VAIHTOEHDOT
• TulVO
• EKO
• VIRKI
PÄIJÄNTEEN SÄÄNTELYN ARVOPUUPÄIJÄNTEEN SÄÄNTELYN ARVOPUU
YRITYS-TOIMINTA
Teknillinen korkeakoulu Systeemianalyysin laboratorio
23
OPPIMIS-PROSESSI
Osallistuminen Vaikutusten arviointi
SOPUSUOSITUKSISTA
Monitavoitteista päätöksentekoa tukevatmenetelmät
RISTIRIIDAT
Arvopuuanalyysi
TAVOITTEENA YKSIMIELISESTI TAVOITTEENA YKSIMIELISESTI HYVÄKSYTTÄVÄT SUOSITUKSET HYVÄKSYTTÄVÄT SUOSITUKSET
35,7
35,7
28,6
64,3
28,6
50
50
0
50
64,3
57,1
35,7
71,4
42,9
42,9
64,3
7,1
14,3
7,1
7,1
35,7
7,1
0 % 20 % 40 % 60 % 80 % 100 %
Käsitykseni Päijänteen ja Kymijoen säännöstelystä ja sen kehittämisestaselkiintyi haastatteluprosessin kuluessa
Käytetty menetelmä soveltuu hyvin erimitallisten vaikutusten vertailuun
Tulokset ja johtopäätökset ovat hyödyntämiskelpoisia suositusvaihtoehtojamuodostettaessa
Erilaisten vesivuosien tarkastelu omilla arvopuilla oli tärkeää säännöstelynvaikutusten ja kehittämismahdollisuuksien ymmärtämisen kannalta
Haastattelun tulokset kuvasivat hyvin suhtautumistani erisäännöstelytapoihin
Haastattelu pakotti miettimään omia arvostuksia enemmän kuin muutoin olitullut mietittyä
Ymmärsin hyvin tulosten esittämisen ja analysoinnin HIPRE-ohjelmalla
Säännöstelytapojen vaikutuserojen arviointi oli helppoa
Prosenttia
Täysin samaa mieltä Jokseenkin samaa mieltä Jokseenkin eri mieltä Täysin eri mieltä En osaa sanoa
Teknillinen korkeakoulu Systeemianalyysin laboratorio
25
Teknillinen korkeakoulu Systeemianalyysin laboratorio
26
Organisatorisia reunaehtoja Organisatorisia reunaehtoja
Mandaatti – keskeisten sidosryhmien myönteinen suhtautuminen – yhteinen tärkeäksi mielletty ongelmanasettelu– mielellään neutraaliksi nähdyn tahon fasilitoima
Osallistujat – arvovalinnat ja näkemystieto tärkeitä – tasapuolinen kokoonpano, asiantunteva, avoimesti suhtautuva – tulosten validointiin tarjottava mahdollisuus
Rajaaminen – kysymysten täsmentäminen
» mihin arviointi kohdistetaan?» millä kriteereillä ‘hyvyyttä arvioidaan’
Teknillinen korkeakoulu Systeemianalyysin laboratorio
27
Päätösmalliavusteisen työn etuja Päätösmalliavusteisen työn etuja
Jouduttaminen – arviointitulokset voidaan periaatteessa tuottaa nopeammin
» esim. tietokoneavusteisten työpajojen tulokset voidaan viedä internetiin saman tien
Eriyttäminen – voidaan rakentaa kuva siitä, miten eri toimijoiden näkemykset poikkeavat
» vrt. tietoturvariskien kokeminen eri tavoin
Syventäminen– voidaan käydä keskustelua siitä, mitä havainnot merkitsevät
» esim.minkälaista kv-yhteistyötä tarkalleen ottaen tulisi edistää?
Sitouttaminen – suosituksista ehkä helpompi päästä toimenpiteisiin
» taustalla yhteiset keskustelut ja näkemykset
Teknillinen korkeakoulu Systeemianalyysin laboratorio
28
Hämäläinen, R.P., M. Lindstedt, K. Sinkko: Multi-Attribute Risk Analysis in Nuclear Emergency Management, Risk
Analysis 20/4, 455-468 Hämäläinen, R.P., E. Kettunen, M. Marttunen and H. Ehtamo (2001): Evaluating a Framework for Multi-Stakeholder
Decision Support in Water Resources Management, Group Decision and Negotiation 10/4, 331-353, 2001J. Mustajoki, R.P. Hämäläinen, M. Marttunen: Participatory Multicriteria Decision Support with Web-HIPRE: A Case of
Lake Regulation Policy, Environmental Modelling & Software (forthcoming) .Salmenkaita, J.-P, A. Salo (2002): Rationales for Government Intervention in the Commercialization of New
Technologies, Technology Analysis & Strategic Management 14/2, 183-200. Salmenkaita, J.-P., A. Salo (2004): Emergent Foresight Processes: Industrial Activities in Wireless Communications,
Technological Forecasting and Social Change (forthcoming).Salo, A., K. Cuhls (2003): Technology Foresight - Past and Future, Journal of Forecasting 22/2-3, 79-82. Salo, A., T. Gustafsson (2003): A Group Support System for Foresight Processes, International Journal of Technology
Management (forthcoming). Salo, A., T. Gustafsson, R. Ramanathan (2003). Multicriteria Support for Foresight Processes. Journal of Forecasting
22/2-3, 235-256.Salo, A., T. Gustafsson, P. Mild (2003): Prospective Evaluation of a Cluster Program for Finnish Forestry and Forest
Industries, International Transactions on Operations Research (forthcoming). Salo, A., R.P. Hämäläinen (2001): Preference Ratios in Multiattribute Evaluation (PRIME) - Elicitation and Decision
Procedures under Incomplete Information, IEEE Transactions on Systems, Man, and Cybernetics 31/6, 533-545. Salo, A., A. Punkka (2004): Rank Inclusion in Criteria Hierarchies, European Journal of Operational Research
(forthcoming). Salo, A., Salmenkaita, J.-P. (2002): Embedded Foresight into RTD programs, International Journal of Technology,
Policy and Management 2/2, 167-193.
JulkaisujaJulkaisuja
Teknillinen korkeakoulu Systeemianalyysin laboratorio
29
Kiitos! Kiitos!