View
243
Download
0
Category
Preview:
Citation preview
Pemodelan Pengukuran Tingkat Kematangan Kerangka Kerja COBIT
Menggunakan Ontology
BATASAN MASALAH
• Hanya melakukan perhitungan kemiripanantara dokumen perusahaan dengandokumen COBIT
• Dokumen yang digunakan, terbatas untukdokumen berbahasa Inggris.
• Asumsi : dokumen yang digunakanmerupakan representasi dari kenyataan
Alasan Menggunakan Ontology
•Ontology mendefinisikan konsep, relasi, dan perbedaan lainnyayang relevan untuk pemodelan domain permasalahan
• (Gruber, 2007; Nicola, et al., 2009; Amborowati, 2007)
• merepresentasikan Metadata
• (Cimiano, et al., 2010)
• Ontology bersifat flexibel
• (Hamlington, et al., 2010)
• Memiliki kemampuan inferencing
• (jiang,2009)
• Memungkinkan untuk berbagi
• pengetahuan dan penggunaan kembali
• ontology (Gruber, 2007; Noy, et al., 2001)
Langkah-langkah Penelitian
MembangunOntology Metamodel
• Menentukan area perbaikanmetamodel COBIT
• Memperbaikimetamodel COBIT
• MembangunOntology Metamodel
• Ontology MetamodelCOBIT
• Ontology MetamodelPerusahaan
MembangunOntology Dokumen
• PraprosesDokumen
• Pemangkasan Kata
• PembentukanHerarki
• Pembobotan
PencocokanOntology
• Pencocokanontology Dokumen
• Pencocokanontology Metamodel
Metamodel COBITGoeken dan Alter 2008
• pengklasifikasian dan gambaran secara umum kerangka kerja COBIT dalam bentukmetamodel
• mengekstraksi dan menyajikan hubungan logis dan semantik yang mendasariframework COBIT
(Memperbaiki metamodel COBIT)
Gambar 3. 5. Metamodel Usulan
(Skema Ontology COBIT)
Gambar 3. 5. Skema Ontology COBIT
Tahapan Pembentukan ontologi dari dokumen
• Praproses
• Sinonim
• Hitung frekuesi kata
• Pemangkasan kata
• Membentuk hirarki
• Pembobotan
• Pembentukan ontology
Pencocokan OntologyCosine similarity
• Metode pencocokan ontology berdasarkanruang vektor
– Cosine =1kedua vector adalah sama.
– Cosine =0kedua vector tidak sama
BA
BA
cos
t
k
dk
t
k
qk
t
k
dkqk
ww
ww
dqsimilarity
1
2
1
2
1
.
),(
Tahapan Pencocokan menggunakan semantic cosine similarity
• Mapping Ontology : untuk menghitungkemiripan konsep yang sinonim
• Vektorisasi– Membangun ruang vektor dari kedua ontology
• Menghitung kemiripan antar dua konsepberdasarkan wordnet menggunakan rumusWu-palmer
• Menghitung kemiripan dua ontology menggunakan semantic cosine similarity
Semantic Cosine Similarity
Rumus Semantic Cosine similarity
Rumus Wu-Palmer
t
k
dk
t
k
PLWuqk
t
k
dkPLWuqk
wccsimw
wccsimw
dqsimilarity
1
2
1
2
1
.)2,1(
)2,1(
),(
Tahapan Pencocokan Ontology dengan Graf Matching (similarity Floding)
• Menghitung kemiripan antar node
• Menghitung kemiripan antar arc
• Menghitung kemiripan graf ontology
Pencocokan Ontology dengan Graf Matching (similarity Floding)
• Rumus
• Perhitungan Bobot Node dan Arc
Uji Coba Skenario 1
• Dokumen Uji Coba
No Nama Dokumen Ukuran
(dalam kb)
1 AI1.ML.0 1
2 AI2.ML.2 1
3 AI1.CO 2
4 AI6.ML 3
5 The Tactical Plan 4
6 Company_Doc 5
Hasil Perbandingan
AI1.ML.0 AI2.ML.2 AI1.CO AI6.MLTactical
PlanCompany
_Doc2
Recall 0.93 0.93 0.47 0.35 0.35 0.38
Precision 0.88 0.87 0.80 0.73 0.82 0.91
F-measure 0.90 0.89 0.40 0.29 0.31 0.39
0.000.100.200.300.400.500.600.700.800.901.00
Hasil uji parameter kinerja
Analisa
• Didalam text2onto seluruh kata hasil ekstraksi di jadikankonsep, sedangkan didalam sistem yang dibangun terdapatproses pemotongan kata-kata yang memiliki frekuensi lebihkecil atau sama dengan dibandingkan nilai ambang batas
Hasil Perbandingan Waktu Skenario 1
No Nama Dokumen
Ukuran
(dalam
kb)
Lama ekstraksi
(dalam s)
Sistem Text2onto
1 AI1.ML.1.txt 1 2 1.8
2 AI1.CO.txt 2 2.52 6.75
3 AI6.ML.txt 3 4.29 10.23
4 The Tactical Plan.txt 44.37 10.82
5 Company_Doc 5 2.90 15.71
0
5
10
15
20
AI1.ML.1.txt AI1.CO.txt AI6.ML.txt The Tactical Plan.txt
Company_Doc
Perbandingan waktu
system text2onto
Skenario 2
No Dokumen
Pembanding
No Dokumen
sama
No Dokumen
Beda
No Dokumen Mirip
1 AI1.ML.0 1 AI1.ML.0 1 B1 1 AI6.CO
2 AI1.ML.2 2 AI1.ML.2 2 B2 2 Document_comp2
3 AI1.ML.3 3 AI1.ML.3 3 B3 3 AI2.ML
4 AI6.ML
5 The Tactical Plan
Dokumen Uji Coba Skenario 2
Hasil Uji Coba
Dokumen pembanding Dokumen Uji Sim
Dokumen Sama
AI1.ML.0 AI1.ML.0 0.99
AI1.ML.2 AI1.ML.2 0.99
AI1.ML.3 AI1.ML.3 1
Dokumen Beda
AI1.ML.0 B1 0
AI1.ML.2 B2 0
AI1.ML.3 B3 0
Dokumen Mirip
AI1.ML.0 AI6.CO 0.18
AI1.ML.2 Document_comp2 0.11
AI1.ML.3 AI2.ML 0.57
AI1.ML.0 AI6.ML 0.15
AI1.ML.2 AI1.ML 0.37
AI1.ML.3 AI6.ML 0.4
Uji Coba Skenario 3
• Dokumen uji cobaNo Dokumen Perusahaan
1 NOAA_Strategic_IT_Plans
2 Michigan Strategic_Plan_2010
3 Miami university IT Strategic Planning Tactical Plan
4 Kitsap County_IT strategic Plan
5 SLC_Strategic Master Plan2010
6 YoungTown_IT Master Plan Web Version
Hasil Uji Coba Skenario 3No_Doc
Kemiripan per Level Kematangan Maturity
LevelLv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
1 0.665 0.4975 0.264 0.165 0.05 0.11 0.76
2 0.83 0.415 0.264 0.33 0.275 0.11 1.2
3 0.495 0.333 0.06 0.248 0 0.06 0.5
4 0.83 0.415 0.198 0.495 0.385 0.17 1.5
5 0.495 0.415 0.066 0.248 0.05 0.06 0.6
6 0.495 0.415 0.06 0.2475 0.165 0.11 0.8
No_DocKemiripan per Level Kematangan Maturity
LevelLv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
1 0.54 0.27 0.17 0.36 0.22 0.13 1.09
2 0.65 0.22 0.14 0.41 0.40 0.26 1.56
3 0.26 0.21 0.14 0.30 0.17 0.07 0.82
4 0.64 0.25 0.33 0.36 0.24 0.11 1.17
5 0.22 0.14 0.27 0.25 0.12 0.07 0.77
6 0.3 0.23 0.19 0.32 0.17 0.11 0.95
MANUAL
SISTEM
Uji Validitas SISTEM(skenario 3)
• Alat uji statistic yang digunakan adalah ujiHomogeneity-of-Variance One-Way Anova
– Ho = hasil perhitungan antara manual dan sistemadalah sama.
– H1= hasil perhitungan antara manual dan sistemadalah beda.
– = luas daerah penolakan/probabilitas = 0.05,
Hasil Uji Seluruh dokumen• Homogeneity-of-Variance One-Way Anova
– ftabel pada percobaan ini adalah 4.00
ANOVA
MLSum of Squares df
Mean Square F Sig.
Between Groups .013 1 .013 .344 .560
Within Groups2.613 70 .037
Total2.625 71
Analisa• hasil uji one way ANOVA yang telah dilakukan
mengindikasikan bahwa :
– nilai uji-F tidak signifikan berbeda pada kelompok uji, iniditunjukkan oleh nilai Fhitung sebesar 0,344 lebih kecildaripada Ftabel(4.00), diperkuat dengan nilai pvalue lebihkecil daripada nilai kritik (1-α) yaitu 0.560.
• Artinya uji ini menunjukan bahwa hasil pengujianterhadap seluruh dokumen dengan perhitunganmanual maupun sistem memiliki kesamaan
• Hasil tersebut menunjukkan bahwa H0 diterima, danmenolak H1
Hasil Uji Coba Perdokumen
Ftabel=4.96
(1-α)=0.95
Dokumen 1
Fhitung=0.022
Pvalue=0.886
Dokumen 6
Fhitung=0.136
Pvalue=0.720
Dokumen 2
Fhitung=0.012
Pvalue=0.916
Dokumen 3
Fhitung=0.112
Pvalue=0.745
Dokumen 5
Fhitung=0.259
Pvalue=0.622
Dokumen 4
Fhitung=0.592
Pvalue=0.459
Analisa
• hasil uji one way ANOVA yang telah dilakukanmengindikasikan bahwa: – nilai uji-F tidak signifikan berbeda pada kelompok uji, ini ditunjukkan
oleh nilai Fhitung sebesar 0,022 pada dokumen 1, 0.012 pada dokumen2, 0.112 pada dokumen 3, 0.592 pada dokumen 4, 0.259 padadokumen 5, 0.136 pada dokumen 6, lebih kecil daripadaFtabel(4.96), diperkuat dengan nilai pvalue lebih kecil daripada nilai kritik(1-α).
• Artinya uji ini menunjukan bahwa hasil pengujian terhadapmasing-masing dokumen dengan perhitungan manual maupun sistem memiliki kesamaan
• Hasil tersebut menunjukkan bahwa H0 diterima, danmenolak H1
Hasil Uji Coba Skenario 4(sistem)
Nomor
Dokumen
Maturity Level Control
Objective
Metamodel Waktu
(detik)
1 1.13 0.58 0.81 181
2 1.56 0.84 0.88 245.92
3 0.82 0.65 0.81 126.35
4 1.17 0.75 0.85 257
5 0.77 0.58 0.79 162.05
6 0.95 0.52 0.8 152.72
Waktu rata-rata yang diperlukan untuk pemeriksaan
dokumen secara manual adalah rata-rata 1 jam atau 360
detik
Kesimpulan
• Sistem ini telah mampu membangun skema ontology dokumen COBIT maupun ontology dokumen perusahaan.
• Konsep-konsep yang terbentuk dari sistem ini memiliki presisi yang cukuptinggi pada saat dibandingkan dengan text2onto, tetapi memiliki recallyang rendah
– hal ini disebabkan pada text2onto seluruh konsep diambil seluruhnya tanpaada proses pruning dan text2onto telah mampu menghasilkan suatu frasekalimat.
• Berdasarkan waktu proses ekstraksi dokumen, sistem lebih cepatdibandingkan dengan text2onto.
• Sistem telah mampu menghasilkan nilai yang tepat sama dengan 1 untukdokumen yang sama dengan dokumen COBIT, nilai 0 untuk dokumen yang berbeda dengan dokumen COBIT, dan nilai antara 0 dan 1 untuk dokumenyang mirip dengan dokumen COBIT
Kesimpulan
• Berdasarkan hasil uji berbedaan One-Way Anovadengan dua cara pengujian menunjukkan hasil antaraperhitungan sistem dan manual adalah sama. – Hal ini menunjukkan Ontology Metamodel COBIT telah
mampu memberikan nilai kematangan proses TI dengantepat
• Berdasarkan perbandingan nilai tingkat kematanganproses TI, perhitungan secara sistem lebih tinggidibandingkan secara manual.
• Sistem mampu menyelesaikan permasalahan lebihcepat dibandingkan secara manual.
Saran
• Perusahaan yang telah menerapkan kerangka kerja COBIT diharapkan untuk menata dokumen sesuai dengan acuan yang terdapat didalam COBIT, sehingga memudahkan sistem dalammelakukan perhitungan tingkat kematangan proses TI.
• Perlu dilakukan pengkajian lebih dalam terkait metodepencocokan ontology untuk menghitung kemiripan duadokumen, terutama untuk mengatasi perbedaan besar dankecilnya dokumen.
• Perlu dilakukan perbaikan pada proses ekstraksi dokumensehingga sistem mampu menghasilkan frase kalimat yang sesuai.
Recommended