Evaluasi Diklat

EVALUASI DIKLAT

Pusat Kajian dan Pendidikan dan Pelatihan Aparatur I

LEMBAGA ADMINISTRASI NEGARA

2/20/2017

MODEL PENDIDIKAN & PELATIHAN SECARA

INTEGRAL

PROSES PELAKSANAAN

DIKLAT 4

PROSES PERENCANAAN

PROGRAM DIKLAT

3

PROSES PENENTUAN

TUJUAN DIKLAT

2

PROSES PENELUSURAN

KEBUTUHAN DIKLAT

1

EVALUASI DIKLAT

5

1

EVALUASI

EVALUASI (Wand & Brown)

Evaluasi adalah suatu tindakan atau proses untuk menentukan NILAI dari sesuatu

EVALUASI (Suparman & Purwanto)

Evaluasi adalah proses penerapan prosedur ilmiah untuk mengumpulkan informasi yang valid dan realiabel untuk membuat keputusan tentang program DIKLAT

EVALUASI

Suatu proses untuk menyediakan informasi tentang pencapaian suatu kegiatan, tingkat perbedaan antara

standar yang telah ditentukan dengan pelaksanaan, serta nilai manfaat yang dirasakan baik oleh individu maupun

organisasi secara keseluruhan

Evaluasi program pelatihan merupakan pengumpulan secara sistematis terhadap informasi deskriptif dan penilaian yang diperlukan untuk membuat keputusan pela-tihan yang efektif terkait dengan seleksi, adopsi, nilai, dan modifikasi aktivitas pem-belajaran yang bervariasi

EVALUASI (Werner dan Desimon)

SEJARAH EVALUASI Evaluasi program sudah berlangsung

sejak abad 19. Tercatat pertama kali oleh Joseph Mayer Rice di Amerika

Serikat (USA) 1897. Sampai pada tahun 1960 an, evaluasi

program pendidikan mengalami pertumbuhan dan perkembangan

dimana konsep evaluasi berkembang dan disempurnakan, antara lain oleh:

Michael S. Scriven, Donald T.Campbell dan Carol H. Weiss.

TUJUAN EVALUASI

Memahami sesuatu

Membuat keputusan

Meningkatkan kualitas

Sumber: Irawan, 1995

1. Menentukan sejauh mana sasaran program diklat telah tercapai

2. Menentukan apakah sasaran diklat sudah dirumuskan secara benar

3. Meningkatkan program diklat yang sedang dan akan dilaksanakan di masa mendatang

4. Meningkatkan kualitas tenaga pengajar 5. Menetapkan efektivitas biaya atau analisis

manfaat dari program 6. Menetapkan kontribusi dari fungsi kediklatan

TUJUAN EVALUASI (Sanderson)

Evaluasi Proses (Process Evaluation):

• Untuk meneliti dan menilai apakah intervensi atau layanan program seperti yang direncanakan dan apakah target populasi yang direncanakan telah dilayani

• Menilai strategi pelaksanaan program

Evaluasi Manfaat (Outcome Evaluation):

• Menilai dan menentukan apakah program telah menghasilkan perubahan yang diharapkan

Evaluasi Akibat (Impact Evaluation):

• Menilai seberapa besar akibat pelaksanaan program, baik yang diharapkan maupun aklibat sampingan yang muncul berkenaan dengan adanya program

JENIS EVALUASI

OBYEK/ASPEK EVALUASI

KOMPETENSI PESERTA

(pengetahuan, keterampilan, dan sikap).

PROGRAM DIKLAT: a) Widyaiswara, Fasilitator, Penceramah

b) Pelayanan diklat

c) Sarana dan prasarana diklat

d) Kurikulum & materi diklat

KINERJA ALUMNI DIKLAT

KINERJA ORGANISASI

KERANGKA SISTEM DALAM DIKLAT

MASUKAN PROSES PRODUK KELUARAN DAMPAK

Peserta

Widyaiswara

Waktu

Anggaran

Sar-Pras

PBM

Evaluasi

Penataan

Sarpras

Makalah/

materi diklat

Penguasaan

kapasitas

khusus

PP

Lulusan sesuai

kompetensi

yg diharapkan

Kontribusi

terhadap

organisasi

JENIS EVALUASI DIKLAT BERDASARKAN OBYEK

EVALUASI PROGRAM PENYELENGGARAAN

Proses untuk menentukan sejauhmana keberhasilan penyelenggaraan diklat yang meliputi kurikulum, materi, sarana & prasarana, dan pelayanan diklat.

EVALUASI HASIL BELAJAR

Proses untuk menentukan sejauhmana keberhasilan para peserta menguasai

kompetensi yang diajarkan selama mengikuti diklat

TEKNIK EVALUASI PENYELENGGARAAN

• Survey/ observasi

• Wawancara

• FGD

• AUDIENSI

TEKNIK EVALUASI PEMBELAJARAN

• Tes

• Uji kompetensi

• Uji Praktek

• Pengamatan

• sosiometri

MODEL EVALUASI

2

MODEL EVALUASI DIKLAT

INPUT

1. Peserta Diklat

2. Tujuan dan kurikulum Diklat

3. Metode dan bahan

4. Widyaiswara

5. Sarana dan prasarana

PROSES

1. Penyelenggaraan

2. Implementasi kegiatan belajar mengajar (KBM)

3. Aktivitas peserta

4. Penggunaan sarana dan media

OUTPUT

1. Sejauh mana peserta menguasai pengetahuan, kete-rampilan dan kualitas pribadi sesuai dengan tujuan Diklat.

2. Product learning

3. Bagaimana kinerja lulusan di tempat kerjanya masing-masing.

MODEL EVALUASI

Model Evaluasi Kirkpatrick

Model Evaluasi IPO dari Bushnell

Model Evaluasi Sistem dari Odiorne & Rumler

1

2

3

MODEL IPO (Bushnell)

Plan Design Develop Deliver

Trainee Reaction,

Knowledge and skill Gained,

Improved job Performance

Profits, Customer Satisfact-

ion, Productifity

Value-Adding Activities

System Performance Indicator: Trainee Qualificatio

n, Instrructor Abilities, Instructional Materials, Facilities

traning, Dollars

E 1

E 2

E 3

E 4

E 5

E 6

E 7

INPUT, PROCESS, OUTPUT TRAINING EVALUATION MODEL

Sumber : Bushnell, Training and Development Journal. (1990, 41-43).

INPUT PROCESS OUTPUT

MODEL SISTEM

INPUT PESERTA

PROSES PROGRAM DIKLAT

OUTPUT

KOMPETENSI

OUTCOME KINERJA

PENGGUNA KINERJA ORGANI SASI

MODEL KIRKPATRICK

• Bagaimana perasaan peserta terhadap program pelatihan?

Reaction

• Bagaimana tingkat belajar dari pengetahuan dan keterampilan peserta setelah pelatihan?

Learning

• Apakah kinerja peserta meningkat setelah pelatihan?

Behavior

• Apakah terdapat dampak program pelatihan terhadap dimensi-dimensi organisasi?

Result

Bagaimana reaksi peserta pelatihan

Level 1: REACTION

©2009, all rights reserved.

Seberapa peserta memperoleh pengetahuan yang

dituju, keterampilan, dan sikap berdasarkan

partisipasi dalam pembelajaran

Level 2: LEARNING

©2009, all rights reserved.

peserta menerapkan apa yang mereka pelajari

selama pelatihan di tempat kerja

Level 3: BEHAVIOR

©2009, all rights reserved.

Hasil pelatihan berdampak pada kinerja organisasi

Level 4: RESULTS

©2009, all rights reserved.

Chain of EvidenceSM

Mengumpulkan data pada empat tingkat tadi menunjukkan bahwa pelatihan memberikan nilai

sebenarnya untuk organisasi.

Level 1

Reaction

Level 2

Learning

Level 4

Results

Level 3

Behavior

©2009, all rights reserved.

Empat (4) Unsur Pokok

1. Penempatan Prosedur Ilmiah:

Evaluasi selalu menerapkan suatu metode baik berupa pengukuran ilmiah penggunaan statistik, maupun disiplin lain yang terkait.

2. Pengumpulan Informasi yang Valid dan Reliabel:

Selalu berusaha memperoleh informasi yang benar valid dan reliabel dengan menggunakan instrumen(kuestioner,wawancara)

3. Pembuatan Keputusan

Hasil evaluasi adalah suatu informasi sebagai bahan yang berguna bagi pembuatan keputusan

4. Program Pendidikan

Selalu diarahkan kepada suatu obyek yang ada dalam suatu sistem pendidikan atau sistem DIKLAT.

WAKTU PELAKSANAAN EVALUASI

AWAL PROSES

PERENCANAAN

DITENGAH

PROSES

PELAKSANAAN

PADA AKHIR

PENYELENGGA

RAAN

SETELAH

KEMBALI

KETEMPAT

KERJA

Dilakukan pada

saat mencari

informasi tentang

kualitas bahan

diklat yang selesai

ditulis sebelum

bahan tersebut

digunakan

dilapangan

Dimaksudkan

untuk mencari

masukan dari

peserta, pengajar

dan

penyelenggara

tentang:

Ruang,

PBM,Bahan

Ajar,Akomodasi&

Konsumsi.

Mendapatkan

informasi tentang

kualitas:

Ruang,

PBM,Bahan ,

efektifitas

coaching

Ajar,Akomodasi&

Konsumsi,

Penyelenggaraan,

hasil belajar

peserta.

Sejauhmana

dampak

(impact)

terhadap kinerja

alumni DIKLAT

LANGKAH LANGKAH DALAM EVALUASI

Mempersiapkan Evaluasi

Mengembangkan Instrumen

Mengumpulkan, menganalisis, dan interpretasi data

Penyusunan Laporan Evaluasi

37

MENENTUKAN METODE & TEKNIK PENGUMPULAN DATA

SURVEY DGN KUESIONER

WAWANCARA

OBSERVASI

FOCUS GROUP DISCUSSION

ANALISIS DOKUMEN

SIMULASI

Lakukan evaluasi program kegiatan diklat MOT, dengan teknik FGD. Bentuk dalam 3 kelompok, objeknya adalah variabel berikut ini. 1. KURIKULUM DAN MATERI DIKLAT 2. SARANA DAN PRASARANA 3. PELAYANAN DIKLAT • setiap kelompok memilih salah satu variabel • Diskusikan apa yang akan dievaluasi (indikatornya) • Tentukan 2 orang evaluator untuk memimpin FGD • Evaluator kelompok 1 di kelompok 2, ev kel 2 di kel 3, ev. Kel 3 di

kelompok 1. • Peserta yg lain menjadi objek • Tim evaluator menyampaikan hasil pengumpulan informasi/ data

dari fgd yg sdh di lakukan

JENIS DATA DALAM DIKLAT

1. Data kuantitatif

2. Data kualitatif

3. Data Deskriptif

4. Data Judgemental

INSTRUMEN

1. Validitas dan Reliabilitas

2. Standarisasi

INSTRUMEN

• Sederhana dan jelas

• Konsistensi dengan indikator, variabel, dan tujuan evaluasi

• Pertanyaan konsisten

• Mempertimbangkan karakteristik responden

PENGEMBANGAN INSTRUMEN

Aspek pengukuran atau variabel dalam evaluasi

program DIKLAT:

Apa yang

akan

diukur?

Prestasi

Kinerja

Proyek

Perubahan

Interaksi antar

Pribadi

Perilaku

lainnya

PENGEMBANGAN INSTRUMEN

20/02/2017

• Menentukan Jenis Instrumen

• Memformulasikan butir pertanyaan

• Merakit Instrumen

Kriteria pertanyaan dalam instrumen

20/02/2017

• Sederhana dan jelas

• Konsistensi dengan indikator, variabel & tujuan evaluasi

• Sesuai dengan instrumen

• Mempertimbangkan karakteristik Responden

Teknik Pengumpulan Data

• Wawancara : – Bentuk teknik pengumpulan data (penelitian kualitatif

atau deskriptif kuantitatif) yang dilakukan secara lisan – Bisa dilakukan dalam bentuk perorangan atau

kelompok – Persiapan pedoman wawancara – Bentuk pertanyaan terbuka, terstruktur, tertutup – Kondisikan hubungan yang baik dengan respnden – Lakukan perekaman / pencatatan selama wawancara

berlangsung – Dapat dilakukan interpretasi langsung

Teknik Pengumpulan Data

• Angket

– Teknik pengumpulan data secara tidak langsung

– Bentuk pertanyaan terbuka, terstruktur, tertutup

– Hal-hal yang perlu diperhatikan :

• Kembangkan petunjuk pengisian / pengantar yang di dalamnya berisi maksud, jaminan kerahasiaan jawaban, ucapan terima kasih

• Butir pertanyaan dirumuskan secara jelas dengan menggunakan bahasa populer

• Untuk pertanyaan terbuka sediakan tempat untuk menuliskan komentar responden

Teknik Pengumpulan Data

• Observasi

– Teknik pengumpulan data dengan cara melakukan pengamatan terhadap kegiatan yang sedang berlangsung

– Partisipatif atau nonpartisipatif

– Pedoman observasi kualitatif hanya butir-butir umum kegiatan; kuantitatif lebih rinci

– Bisa juga dikembangkan bentuk skala

48

MENENTUKAN TEKNIK ANALISIS DATA

• Data yang terkumpul kemudian diolah (direkap, dikelompokan, dan disunting)

• Data dianalisis baik dengan menggunakan analisis kuantitatif atau kualitatif.

• Data kemudian diubah menjadi informasi yang siap disajikan.

20/02/2017

VALID

RELIABLE

TERSTANDAR

INSTRUMEN

20/02/2017

• VALIDITAS

Keabsahan instrumen dalam mengukur apa yg seharusnya diukur

• REALIBILITAS

Keajegan & konsistensi internal; menunjukkan jika instrumen digunakan beberapa kali hasilnya stabil, serta memiliki keterkaitan satu sama lain diantara butir-butirnya

• STANDARISASI

Memiliki item yg tersusun sistematis & terstruktur, petunjuk khusus pengisian & pengolahan yg jelas, serta petunjuk bagaimana kerahasiaan informasi dijaga

MERANCANG EVALUASI

3

MENENTUKAN TUJUAN

Misal: • mengetahui persepsi peserta Diklat terhadap

kemampuan Widyaiswara • apakah media yang digunakan Widyaiswara dalam

Diklat selama ini sudah sesuai dengan kebutuhan dan berdaya guna?

• mengukur manfaat metode diskusi kelompok yang digunakan dalam Diklat ini.

• mencari masukan dari administrator, para Widyaiswara, dan peserta tentang masalah-masalah yang mereka hadapi dalam Diklat ini

TENTUKAN VARIABEL DAN INDIKATORNYA

Misal: Variabel disiplin peserta dalam mengikuti Diklat, sebagai indikatornya ialah:

• Kerapihan berpakaian

• Ketepatan kehadiran.

• Kesungguhan dalam mengikuti kegiatan

• Kejujuran dan kesungguhan dalam melaksanakan tugas

MERANCANG EVALUASI

Penentuan Metode Evaluasi

Penentuan Instrumen

Penentuan Evaluator dan Personel Pendukung

Penentuan Jadwal Evaluasi

Penentuan Responden atau Sumber Informasi lain

Perkiraan Biaya

Tujuan Evaluasi Mengetahui kegunaan/manfaat dan efektifitas metode “diskusi kelompok” dan “belajar secara individual” yang digunakan untuk mempelajari masalah: kepemerintahan yang baik”

Metode Evaluasi Survai dan tes

Instrumen 1. Kuesioner

2. Wawancara/interview

3. Test

Personel Pendukung 1. Dua petugas lapangan

2. Satu ahli statistik

Waktu evaluasi 1 Juli 2016 s.d 5 Juli 2016

Responden 1. Peserta Diklat

2. Peserta Diklat yang tidak ikut program latihan

Sumber Informasi lain 1. Hasil Tes

2. Masukan dari kuesioner dan wawancara

Jadwal Kegiatan Juni - Agustus

1. Persiapan Juni minggu II

2. Pengumpulan data melalui tes Juli Minggu I- III

3. Pengumpulan data melalui kuesioner dan wawancara

Juli minggu IV

4. Proses Analisis data Agustus Minggu I

5. Laporan selesai Agustus Minggu II

NO. VARIABEL INDIKATOR INSTRUMEN

1. Kualitas Widyaiswara

Perencanaan Diklat Rencana Meng-ajar (tertulis)

Ketrampilan meng-ajar Observasi

Quesioner

2. Aktivitas Peserta Aktivitas dlm diskusi kelompok. Bagan Pertisipa si

Aktivitas dalam tugas tugas Daftar simak

3. Prestasi Kerja Pengetahuan kognitif Tes Tertulis

Interview

Review dokumen

Prestasi kerja Observasi

Produk kerja

4. Fasilitas diklat (non akademis)

Akomodasi Observasi

Quesioner

Konsumsi Observasi

Quesioner

CONTOH

SIMULASI

• PILIH SALAH SATU KEGIATAN DIKLAT

• BUAT RANCANGAN EVALUASI

• DISKUSIKAN METODE YANG AKAN DIGUNAKAN

• SUSUN INSTRUMENNYA

TERIMAKASIH

pupungph@gmail.com/pupung.puad@lan.go.id

+62856-2938-431

http://www.slideshare.net/pupungph