Upload
doannguyet
View
231
Download
0
Embed Size (px)
Citation preview
Tabel 3 Contoh test item relationship table
Soal yang tidak berhasil dijawab dengan benar ERROR = SUM(Q3, Q6, Q7, Q9)
ER (Cj) = ERROR(Cj) / SUM(Cj)
1. Menentukan batas toleransi / treshold ( )
Jika nilai ER(Cj) yang didapatkan seorang
siswa < maka dikatakan bahwa siswa tersebut berhasil
memahami materi. Nilai didapatkan dari:
1.1 Menghitung nilai batas bawah Cj
Nilai batas bawah dari materi belajar Cj
disebut LB(Cj) didapatkan dari rata-rata error rasio
topik Cj dari siswa yang memperoleh nilai pre-test
dibawah 50%. Untuk materi belajar yang memiliki nilai
ER = 0, maka tidak diperhitungkan pada perhitungan
selanjutnya.
1.2 Menghitung selisih antara Error Ratio dengan nilai
batas bawah (LB)
;
dengan j = 1, 2,..., m, dan ER(Cj) > 0;
Selisih antara nilai ER(Cj) dengan LB(Cj)
disebut dengan nilai DIFF. Sebagai contoh, dengan
mengasumsikan nilai batas bawah untuk masing-masing
konsep adalah LB(C1) = 0.33, LB(C3) = 0.5, LB(C4) =
0.4, LB(C5) = 0.33, LB(C6) = 0.45, LB(C7) = 0.5,
LB(C8) = 0.66, LB(C9) = 0.5 dan LB(C10) = 0.66, maka
didapatkan:
DIFF(C1) = 0.16 – 0.33 = – 0.17
DIFF(C3) = 0.6 – 0.5 = 0.1
DIFF(C4) = 0.16 – 0.4 = – 0.24
DIFF(C5) = 0.28 – 0.33 = – 0.05
DIFF(C6) = 0.66 – 0.45 = 0.21
DIFF(C7) = 0.63 – 0.5 = 0.13
DIFF(C8) = 0.8 – 0.66 = 0.14
DIFF(C9) = 0.8 – 0.5 = 0.3
DIFF(C10) = 1.0 – 0.66 = 0.34
1.3 Menentukan Topik Kritis (Cj)
;
dengan DIFF(Cj) > 0;
Topik kritis adalah materi yang memiliki nilai
ER(Cj) paling kecil dan nilai DIFF tidak kurang dari
nol. Nilai Error Ratio paling kecil inilah yang nantinya
dijadikan sebagai nilai treshold ( ).
Merujuk perhitungan pada langkah
sebelumnya, yang memiliki nilai DIFF lebih besar dari
nol adalah materi belajar C3, C6, C7, C8, C9 dan C10 ,
dan diantara materi tersebut yang memiliki nilai ER
terkecil adalah C3, sehingga minimum Error Ratio yang
didapatkan adalah 0.6. Jadi, = MIN(ER(Cj)) = ER(C3)
= 0.6.
2. Menghasilkan saran belajar
Pada Gambar 2, terlihat materi belajar yang
memiliki nilai lebih besar dari , maka itulah materi
belajar yang akan dijadikan saran belajar kepada siswa.
Saran belajar didapatkan dari materi belajar yang
memiliki nilai ER maksimum. Jika terdapat saran
belajar lebih dari satu, maka yang disarankan adalah
saran belajar yang memiliki bobot paling besar.
Sesuai contoh yang digunakan pada langkah-
langkah sebelumnya, dengan treshold ( ) = 0.6, maka
didapatkan rekomendasi saran belajar sebagai berikut.
PATH1 : Addition Substraction Negative Integers
Bobot : Max(ER(C3), ER(C6), ER(C8)) = 0.8
PATH2 : Addition Substraction Division
Prime Numbers
Bobot : Max(ER(C3), ER(C6), ER(C9), ER(C10)) = 1.0
PATH3 :Addition Multiplication Division
Prime Numbers
Bobot : Max(ER(C3), ER(C7), ER(C9), ER(C10)) = 1.0
Materi belajar
C1 C2 C3 C4 C5 C6 C7 C8 C9 C10
So
al p
re-t
est
Q1 5 1 0 0 0 0 0 0 0 0
Q2 0 4 2 0 0 0 0 0 0 0
Q3 0 0 3 1 2 0 0 2 0 0
Q4 0 0 0 5 0 0 0 0 0 0
Q5 0 0 0 0 5 0 0 0 0 0
Q6 1 0 0 0 0 4 0 2 0 0
Q7 0 0 0 0 0 0 5 0 0 0
Q8 0 0 0 0 0 0 0 0 1 0
Q9 0 0 0 0 0 0 0 0 4 5
Q10 0 0 0 0 0 2 0 1 0 0
SUM 6 5 5 6 7 6 5 5 5 5
ERROR 1 0 3 1 2 4 6 4 4 5
ER(Cj) 0.16 0 0.6 0.16 0.28 0.66 0.63 0.8 0.8 1.0
Dari hasil diatas, PATH2 dan PATH3 adalah
calon rekomendasi saran belajar karena memiliki bobot
yang paling besar diantara ketiganya. Diantara PATH2
dan PATH3 yang masing-masing memiliki bobot sama,
kemudian dipilih yang menjadi saran belajar pada
akhirnya adalah PATH2. Karena PATH2 memiliki
nilai ER(C6) 0.66, sedangkan PATH3 memiliki nilai
ER(C7) 0.63.
5. Implementasi Sistem Tutor Cerdas
Gambaran umum dari sistem ini adalah
terdapat dua macam pengguna, yakni guru dan siswa.
Guru mempunyai wewenang untuk memasukkan materi
belajar, soal-soal, dan parameter-parameter pre-test.
Setelah parameter pre-test tersedia, sistem kemudian
menyusun soal pre-test, dan siswa dalam sistem ini
dapat mengerjakan soal pre-test untuk mengetahui
tingkat kemampuannya serta untuk mendapatkan
rekomendasi materi belajar. Arsitektur utama dari
sistem ini digambarkan pada Gambar 3.
Pada gambar tersebut dapat diketahui bahwa
sistem ini terdiri dari:
Pembacaan Inputan
Inputan yang dimasukkan berupa parameter-
parameter pre-test, yang berhak untuk
memasukkan parameter-parameter tersebut adalah
guru.
Pemilihan Soal Pre-test
Bertugas untuk memproses parameter-parameter
yang telah dimasukkan untuk dihasilkan lembar
pre-test. Pemrosesan ini menggunakan Algoritma
Feasible Time First (FTF).
Pembuatan Test Item Relationship Table
Bertugas untuk membuat Test Item Relationship
Table berdasarkan pada soal yang terpilih sebagai
soal pre-test.
Pencatatan Jawaban Siswa
Jawaban siswa dicatat dan kemudian disimpan
kedalam database.
Pengecekan Jawaban
Bertugas untuk melakukan pencocokan jawaban
siswa dengan kunci jawaban soal pre-test untuk
kemudian dilakukan perhitungan.
Penetapan Topik Kritis
Topik kritis digunakan sebagai penentuan saran
belajar dan didapatkan dari analisis hasil
pengecekan jawaban.
Penentuan Saran Belajar
Bertugas untuk menentukan saran belajar dengan
menggunakan topik kritis sebagai titik awalnya.
Kemudian menampilkan hasilnya kepada siswa.
Sistem
Pengerjaan
Pre-test
Penyusunan Soal Pre-test
Algoritma FTF
Analisis Jawaban Pre-test
Pengecekan
Jawaban
Pencatatan
Jawaban
Siswa
Form HTML
Pembacaan
Input
Parameter
Pre-test
Pemilihan
Soal
Pre-test
Pembuatan
Test Item
Relationship Table
Penetapan
Topik Kritis
Penentuan
Saran Belajar
Soal Pre-test
Form HTML
Guru
Siswa
Database
Pemodelan Peta Konsep
(Penambahan Materi
Belajar)
Penambahan Soal
Gambar 3 Arsitektur Perangkat Lunak
6. Uji Coba dan Evaluasi
Uji coba pada tugas akhir ini dibedakan
menjadi dua bagian yaitu penyusunan soal pre-test dan
penyusunan saran belajar.
Data yang digunakan dalam ujicoba ini adalah
soal mata pelajaran Matematika untuk Sekolah Dasar
kelas 1-3. Contoh data yang digunakan terdapat dalam
Tabel.4.
Gambar 2 Concept Effect Graph dengan nilai Error Ratio (ER)
Positive Integers
Zero Odd Even
Addition of Integers
Substraction of Integers
Multiplication of Integers
Negative Integers
Division of Integers
Prime Numbers
0
0.16
0.6 0.16 0.28
0.66 0.63
0.8 0.8
1.0 Keterangan :
: PATH1
: PATH2
: PATH3
Tabel 4 Contoh Data Soal yang Digunakan Uji Coba
- Uji Coba Penyusunan Soal Pre-test
.
Dalam uji coba penyusunan soal pre-test
dilakukan dalam dua kali kegiatan yaitu dengan
membedakan parameter inputan. Parameter waktu dan
parameter batas minimum relevansi materi belajar.
Hasil percobaan dengan membedakan
parameter waktu dapat dilihat pada Tabel 5, Tabel 6,
dan Tabel 7. Dari ketiga tabel tersebut, terlihat bahwa
jumlah soal yang dihasilkan bergantung pada besarnya
parameter waktu yang diinputkan. Jika parameter
waktu yang diinputkan bernilai besar, maka soal yang
terpilih akan semakin banyak, sebab hal itu
menunjukkan rentang waktu pengerjaan pre-test
semakin lebar.
Dalam uji coba penyusunan soal pre-test
dengan cara membedakan parameter batas minimum
relevansi, hasil yang diperoleh seperti terlihat pada
Tabel 8 dan Tabel 9. Tidak seperti pada percobaan
dengan membedakan parameter waktu, pada percobaan
dengan membedakan parameter nilai relevansi ini,
perbedaan soal yang terpilih tidak terlalu kentara,
sebab yang menjadi nilai input hanya batas minimum
relevansi, tidak terbatas pada sebuah rentang nilai
tertentu.
Dari percobaan ini dapat disimpulkan bahwa
pemilihan waktu parameter waktu sangat
mempengaruhi kualitas pre-test yang dihasilkan.
Semakin kecil nilai waktu, maka akan semakin sedikit
soal yang terpilih. Semakin sedikit jumlah soal dalam
pre-test, maka semakin kecil relevansi pre-test dengan
materi belajar.
Tabel 5 Hasil Penyusunan Pre-test dengan
Parameter Waktu 5 Menit
Input :
Batas Waktu Minimal : 5 Menit
Batas Waktu Maksimal : 5 Menit
Relevansi dengan masing-masing materi belajar : 15
ID Soal Waktu 1 2 3 4 5 6
16 2 0 0 5 0 0 0
47 3 3 0 5 0 0 0
Total 5 3 0 10 0 0 0
Waktu Running : 430 milliseconds
Tabel 6 Hasil Penyusunan Pre-test dengan
Parameter Waktu 5-8 Menit
Input :
Batas Waktu Minimal : 5 Menit
Batas Waktu Maksimal : 8 Menit
Relevansi dengan masing-masing materi belajar : 15
ID Soal Waktu 1 2 3 4 5 6
16 2 0 0 5 0 0 0
26 4 3 0 0 5 0 0
59 1 0 0 0 0 0 0
101 1 5 0 0 0 0 0
Total 8 8 0 5 5 0 0
Waktu Running : 478 milliseconds
Tabel 7 Hasil Penyusunan Pre-test dengan
Parameter Waktu 30 Menit
Input :
Batas Waktu Minimal : 30 Menit
Batas Waktu Maksimal : 30 Menit
Relevansi dengan masing-masing materi belajar : 15
ID Soal Waktu 1 2 3 4 5 6
16 2 0 0 5 0 0 0
26 4 3 0 0 5 0 0
28 5 4 0 5 0 0 0
No, PERTANYAAN DERAJAT HUBUNGAN DENGAN MATERI
DISKRIMINASI WAKTU 1 2 3 4 5 6
1 9 - 3 -2 4 0 0 5 0 0 2 2
2 8 - 3 - 5 4 0 0 5 0 0 2 2
3 Ibu mempunyai 4 gelas, gelas ibu pecah 2 buah, Berapa
gelas ibu sekarang ? 4 0 0 5 0 0 2 3
4 Udin memmpunyai 7 kelereng, Udin membeli lagi 3
kelereng. Berapa kelereng Udin sekarang ? 4 0 0 5 0 0 2 2
5 Pipit mempunyi 4 balon, diberikan kepada Nani 1 balon,
Berapa balon pipit sekarang ? 4 0 0 5 0 0 2 3
6 Lela mempunyai 3 mangga, Lela membeli lagi 2 mangga.
Berapa mangga Lela sekarang ? 4 0 0 5 0 0 2 3
7 Jika hari ini hari Kamis, maka lusa adalah hari .... 0 0 5 0 0 0 3 2
8 Kemarin adalah hari Rabu, tiga hari kemudian adalah hari
... 3 0 5 0 0 0 2 3
9 Sebelum hari Rabu adalah hari ... 0 0 5 0 0 0 1 1
10 23 ada berapa puluhan dan berapa satuan 5 0 0 0 0 0 1 1
29 5 3 0 4 4 0 0
31 5 4 0 5 0 0 0
43 5 5 0 0 0 0 0
47 3 3 0 5 0 0 0
59 1 0 0 0 0 0 0
Total 30 22 0 19 9 0 0
Waktu Running : 570 milliseconds
Tabel 8 Hasil Penyusunan Pre-test dengan Parameter
Relevansi Materi Belajar Masing-masing 5
Input :
Batas Waktu Minimal : 30 Menit
Batas Waktu Maksimal : 30 Menit
Relevansi dengan masing-masing materi belajar : 5
ID Soal Waktu 1 2 3 4 5 6
16 2 0 0 5 0 0 0
26 4 3 0 0 5 0 0
28 5 4 0 5 0 0 0
29 5 3 0 4 4 0 0
31 5 4 0 5 0 0 0
43 5 5 0 0 0 0 0
47 3 3 0 5 0 0 0
59 1 0 0 0 0 0 0
Total 30 22 0 19 9 0 0
Waktu Running : 442 milliseconds
Tabel 9 Hasil Penyusunan Pre-test dengan Parameter
Relevansi Materi Belajar masing-masing 70, 30, 5, 10, 65,
45
Input :
Batas Waktu Minimal : 30 Menit
Batas Waktu Maksimal : 30 Menit
Relevansi minimal dengan masing-masing materi belajar : 70,
30, 5, 10, 65, 45.
ID Soal Waktu 1 2 3 4 5 6
16 2 0 0 5 0 0 0
26 4 3 0 0 5 0 0
28 5 4 0 5 0 0 0
29 5 3 0 4 4 0 0
31 5 4 0 5 0 0 0
43 5 5 0 0 0 0 0
47 3 3 0 5 0 0 0
101 1 5 0 0 0 0 0
Total 30 27 0 19 9 0 0
Waktu Running : 458 milliseconds
- Uji Coba Penyusunan Saran Belajar
Dengan menggunakan hasil penyusunan pre-test
pada percobaan dengan parameter waktu 5-8 menit dan
parameter nilai minimal relevansi masing-masing materi
belajar adalah 15 maka didapatkan soal seperti terlihat
pada Tabel 6. Kemudian dalam percobaan ini dilakukan
penyusunan saran belajar dengan perhitungan secara
manual berdasarkan dua skenario jawaban yang
berbeda. Kedua skenario seperti terlihat pada Tabel 10
dan Tabel 11 berikut.
Tabel 10 Skenario Pertama Penyusunan Saran Belajar
No. ID Soal Jawaban
1 16 Benar
2 47 Benar
3 59 Salah
4 101 Benar
Pada skenario pertama, Tabel 10, terdapat tiga jawaban
benar dan satu jawaban salah, sedangkan pada skenario
kedua, Tabel 11, terdapat dua jawaban benar dan dua
jawaban salah.
Tabel 11 Skenario Kedua Penyusunan Saran Belajar
No. ID Soal Jawaban
1 16 Benar
2 47 Salah
3 59 Salah
4 101 Benar
Pada skenario pertama, siswa dianggap telah
berhasil melalui pre-test, sehingga tidak dihasilkan
saran belajar. Sedangkan pada skenario kedua, saran
belajar yang didapatkan adalah materi 1, 3, 5 dan 6.
Masing-masing adalah materi mengenai Bilangan Bulat,
Penambahan, Perkalian, dan Pembagian.
Dari kedua skenario yang terlah dilakukan,
terlihat bahwa terdapat perbedaan saran belajar yang
dihasilkan sesuai dengan jawaban yang diinputkan.
Hasil perhitungan untuk kedua skenario diatas terlihat
pada Tabel 12 dan Tabel 13.
Tabel 12 Perhitungan Topik Kritis untuk Saran Belajar
pada Skenario Pertama
1 2 3 4 5 6
ID Soal 16 0 0 5 0 0 0
ID Soal 26 3 0 0 5 0 0
ID Soal 59 0 0 0 0 0 0
ID Soal 101 5 0 0 0 0 0
SUM 8 0 5 5 0 0
ERROR 0 0 0 0 0 0
ER(ERROR/SUM) - - - - - -
DIFF(ER-LB) - - - - - -
Tabel 13 Perhitungan Topik Kritis untuk Saran Belajar
pada Skenario Kedua
1 2 3 4 5 6
ID Soal 16 0 0 5 0 0 0
ID Soal 26 3 0 0 5 0 0
ID Soal 59 0 0 0 0 0 0
ID Soal 101 5 0 0 0 0 0
SUM 8 0 5 5 0 0
ERROR 3 0 0 5 0 0
ER(ERROR/SUM) 0.54 - - 1 - -
DIFF(ER-LB) 0.54 - - 1 - -
Topik kritis adalah topik yang memiliki nilai
ER paling kecil dan nilai DIFF lebih besar dari nol.
Pada Tabel 12 terlihat bahwa total nilai error adalah 0
untuk semua materi. Hal ini menandakan bahwa tidak
ada kesalahan fatal yang dibuat pada pre-test skenario
pertama. Sehingga dianggap telah berhasil melalui pre-
test dan tidak diperlukan adanya saran belajar.
Pada Tabel 13 terlihat bahwa ada nilai error
selain 0, hal ini menandakan bahwa ada sebuah
kesalahan yang membuat siswa tersebut dinyatakan
belum berhasil melewati pre-test sehingga dihasilkan
saran belajar. Materi yang dijadikan awal dari saran
belajar adalah materi yang menjadi topik kritis. Pada
Tabel 13 adalah materi pertama. Maka saran belajar
yang dihasilkan ditelusuri dari materi pertama pada
concept effect graph yang ada, dan dihasilkan saran
belajar untuk skenario kedua adalah materi 1, 4, dan 6.
Materi tentang Bilangan Bulat, Pengurangan dan
Pembagian.
Dari percobaan ini dapat disimpulkan bahwa
saran belajar yang dihasilkan tidak berbeda dengan
hasil perhitungan manual. Menandakan bahwa sistem
telah berjalan dengan benar.
7. Kesimpulan
Berdasarkan hasil uji coba yang telah
dilakukan, dapat diambil kesimpulan bahwa sistem
tutor cerdas dengan teknik pemodelan peta konsep
sudah berfungsi
dengan benar dan akan dihasilkan peta konsep
yang berbeda sesuai dengan kemampuan siswa.
8. Saran Pengembangan
Berdasarkan implementasi yang telah
dilakukan pada tugas akhir ini, terdapat saran-saran
perbaikan yang dapat dilanjutkan sebagai bahan
pengembangan perangkat lunak di masa yang akan
datang.
Pada tugas akhir ini, implementasi penyusunan
soal pre-test menggunakan sebuah algoritma heuristik,
yakni Algoritma Feasible Time First (FTF).
Dikarenakan algoritma ini adalah algoritma heuristik,
diharapkan pada pengembangan selanjutnya dapat
menerapkan algoritma lain agar dapat ditemukan solusi
yang lebih optimal, dengan kata lain dapat dihasilkan
soal-soal pre-test yang lebih bervariasi tingkat
kesulitannya. Kemudian. diharapkan dalam penerapan
penyusunan pre-test juga dapat dihasilkan lembar pre-
test yang berbeda-beda pada setiap siswa, namun tetap
memiliki bobot soal atau tingkat kesulitan yang sama,
dengan cara menemukan faktor pembeda lain selain
derajat diskriminasi. Selain itu pada soal-soal yang
pernah menjadi bagian dari sebuah pre-test, agar
memiliki kemungkinan kecil untuk terpilih pada pre-test
– pre-test selanjutnya.
Setelah dihasilkan saran belajar, sebaiknya
diadakan treatment lebih lanjut terhadap siswa, seperti
post-test, untuk bisa mengukur peningkatan tingkat
pemahaman siswa.
Referensi
Hwang, G.-J. (2003). A Conceptual Map Model for
Developing Intelligent Tutoring System. Computers &
Education , 40 (3), 217-235.
Hwang, G.-J. (2006). An Effective Approach for test-
sheet Composition with large-scale item Banks.
Computers & Education , 46 (2), 122-139.
Hwang, G.-J. (1999). Development of an Intelligent
Testing and Diagnostic System on Computer
Networks. Proc. Natl. Sci. Counc. ROC (D) , 9 (1), 1-
9.