Upload
nguyennga
View
241
Download
2
Embed Size (px)
Citation preview
PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK
SITUS BERITA DAN PERINGKAS BERITA
TUGAS AKHIR
Diajukan Untuk Memenuhi Sebagian Persyaratan
Mencapai Derajat Sarjana Teknik Informatika
Oleh:
YUSTINUS ANDRY SETIAWAN
11 07 06659
PROGRAM STUDI TEKNIK INFORMATIKA
FAKULTAS TEKNOLOGI INDUSTRI
UNIVERSITAS ATMA JAYA YOGYAKARTA
2015
i
HALAMAN PENGESAHAN
Tugas Akhir Berjudul
PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK SITUS BERITA DAN PERINGKAS BERITA
Disusun Oleh :
Yustinus Andry Setiawan (NIM : 11 07 06659)
Dinyatakan telah memenuhi syarat Pada tanggal : Oktober 2015
Pembimbing I Pembimbing II
Y. Sigit Purnomo W.P, S.T., M.Kom. Kusworo Anindito, S.T., M.T.
Tim Penguji :
Penguji I,
Y. Sigit Purnomo W.P, S.T., M.Kom.
Penguji II,
Penguji III,
Thomas Suselo, S.T., M.T. Th. Adi Purnomo Sidhi, S.T., M.T.
Yogyakarta, Oktober 2015 Universitas Atma Jaya Yogyakarta
Fakultas Teknologi Industri
Dekan,
Dr. A. Teguh Siswantoro
ii
HALAMAN PERNYATAAN
Saya yang bertanda tangan dibawah ini
Nama : Yustinus Andry Setiawan
NPM : 11 07 06659
Dengan ini menyatakan bahwa tugas akhir ini dengan judul “Pembangunan Perangkat Lunak Web Scraping untuk Situs Berita dan Peringkas Berita” merupakan hasil penelitian saya pada tahun akademik 2015/2016 yang bersifat originalitas dan tidak mengandung plagiasi dari karya manapun.
Bila dikemudian hari ditemukan ketidaksesuaian dengan pernyataan ini maka saya bersedia dituntut dan diproses dengan ketentuan yang berlaku termasuk dicabut gelar sarjana yang diberikan Universitas Atma Jaya Yogyakarta.
Demikian pernyataan ini dibuat dengan sesungguhnya dan dengan sebenar-benarnya.
Yogyakarta, 21 Oktober 2015
Yang menyatakan
Yustinus Andry Setiawan
iii
HALAMAN PERSEMBAHAN
Karya Tugas Akhir ini kupersembahkan untuk :
Tuhan Yesus Kristus dan Bunda Mariasebagai ungkapan rasa syukur dan pujianku,
untuk Bapak dan Ibu tersayang,
sebagai ungkapan kasih, sayang dan baktiku,
teman-teman semua yang terkasih,
TERIMA KASIH
"Barangsiapa ingin mutiara, harus berani terjun di lautan yang dalam."
Ir. Soekarno
Karryya Tuuggas Akhhiirr iinnii kkuuppersemmbbaahkaann untukk ::
TTuuhaann YYesus Kristus dan Bunndda MMaarriasseebbagai ungkapan rasa syukur dan pujjiiaankkuu,
untuk Bapak dan k Ibu tersayang,
sebagai ungkapan kasih, sayang dan baktikuu,
teman-teman semua yang terkasih,
TTERIMA KAASSIIH
"B i i i ti h b i t j di l t d l "
iv
KATA PENGANTAR
Puji syukur kepada Tuhan atas semua karunia dan
berkat-Nya yang telah dilimpahkan kepada penulis
sehingga penulis dapat menyelesaikan laporan skripsi
ini dengan baik. Skripsi adalah studi akhir yang
merupakan salah satu tugas akhir yang diwajibkan pada
mahasiswa Program Studi Teknik Informatika Fakultas
Teknologi Industri Universitas Atma Jaya Yogyakarta
setelah lulus mata kuliah teori, praktikum, dan kerja
praktek. Tujuan dari pembuatan skripsi ini adalah
sebagai salah satu syarat untuk mencapai derajat
sarjana Teknik Informatika dari Program Studi Teknik
Informatika Fakultas Teknologi Industri Universitas
Atma Jaya Yogyakarta.
Penulis menyadari bahwa dalam pembuatan skripsi
ini tidak terlepas dari bantuan berbagai pihak yang
telah menyumbangkan pikiran, tenaga, dukungan,
bimbingan, dan doa kepada penulis baik secara langsung
maupun tidak langsung. Oleh sebab itu, penulis
mengucapkan terimakasih kepada :
1. Tuhan Yesus Kristus yang telah memberikan petunjuk
dan harapan, serta melimpahkan karunia dan berkat-
Nya kepada penulis.
2. Bapak Dr. A. Teguh Siswantoro selaku Dekan
Fakultas Teknologi Industri Universitas Atma Jaya
Yogyakarta.
3. Bapak B. Yudi Dwiandiyanta, S.T., M.T., selaku
Ketua Program Studi Teknik Informatika Fakultas
Teknologi Industri Universitas Atma Jaya
Yogyakarta.
berkat-Nya yang ttelelah dilimmpapahkan kepada penulis
sehingga penulliis dapat menyelesaikanan laporan skripsi
ini denganan baik. SSkrk ipsi adalah stududii akhir yang
merupakakan salah sas tu ttugugass akhkhirir yyang diwajij bkan pada
mahassiswa Proggraam m Studi Teknikk IInfnformatika FFakultas
Teekknologgii IIndustriri Universitas AAtma JaJayaya Yogyayakarta
ssetelaahh lululuuss mata kuliah teori, praktktikumum,, dadan kekerja
prakktetek. TTujuan dari pembuatan skripsii iinini adalalah
seebabagai salah satu syarat untuk mencappaia ddeerajatat
sasarjr annaa Teknik Informatika dari Program Stuudi TeTeknknikk
InInformrmatika Fakultas Teknologi Industri Univi errsisitass
Atma Jaya Yogyakarta.
Penulis menyadari bahwa dalam pembuatan skripipsii
innii tidak terlepas dari bantuan berbagai pihhakk yanngg
telah meenynyumumbabangngkakann pikiiraan,n, ttenenagaga,a dukungaan,n,
bib mbingan, dan doa kepadda a penulis baik secara langgsuungng
mamaupupun tidak langsung. Oleh sebab itu, ppennulliis
memengngucucapapkakann teteririmamakakasisih h kek papadada ::
1.1 TuT han n YeYessuss KrKrisistus yayang ttelelahah memembeberirikann pepetutunjuk
dadann haharapan, sertaa melimmpahkan karunniaia ddanan berkat-
Nya kepada penuliss.
2. Bapak Dr. A. TTeguh Siswantoro selaku Dekan
Fakultas Teknologii Indusustri Universitas Atma Jaya
Yogyakarta.
3. Bapak B. Yudi Dwiandndiyanta, S.T., M.T., selaku
v
4. Bapak Y. Sigit Purnomo W.P., S.T., M.Kom., selaku
Dosen Pembimbing I yang telah menawarkan judul
skripsi kepada penulis serta atas bimbingan,
petunjuk, dan pengarahan hingga skripsi dapat
diselesaikan dengan baik.
5. Bapak Kusworo Anindito, S.T., M.T., selaku Dosen
Pembimbing II yang telah memberikan bimbingan,
petunjuk, dan pengarahan kepada penulis sehingga
skripsi dapat diselesaikan dengan baik.
6. Seluruh Staf Pengajar dan Laboran Fakultas
Teknologi Industri Universitas Atma Jaya
Yogyakarta yang telah membantu penulis selama masa
kuliah di Program Studi Teknik Informatika
Fakultas Teknologi Industri Universitas Atma Jaya
Yogyakarta.
7. Bapak dan ibu yang selalu mendoakan serta
memberikan dorongan dan motivasi kepada penulis
agar dapat menyelesaikan kuliah dengan baik dan
tepat waktu.
8. Seluruh keluarga besar tercinta yang selalu
memberikan dorongan dan semangat untuk penulis
selama masa kuliah.
9. Teman dan sahabat Teknik Informatika angkatan 2011
Universitas Atma Jaya Yogyakarta, Firman, Vincent,
Bangkit, Dimas, Theofilus, Xenix, Yanuar dan
semuanya yang tidak bisa disebutkan satu per satu.
Terimakasih atas bantuan, kebersamaan, kerja sama,
canda tawa, suka duka dan senyuman kalian tidak
dapat terlupakan.
petunjuk, dann pengarahan hhingga skripsi dapat
diselesaikikan dengan baik.
5. Bapak k Kusworo Annindito, S.T., M.T., selaku Dosen
Peemmbimbingn III yayangng telelahah mmeme berikan bimbingan,
petunjjuk, dadann pengarahan keppadadaa penun lis ses hingga
skriripspsii dapapatt diselesaikan ddenengag n baaikik..
6.. SeSeluluruhh Staf Pengajar dan LaLabob raann FaF kultl as
TeTeknolologi Industri Universitas Atmtma a Jaayay
Yoggyakarta yang telah membantu penulis sellamamaa masaa
kukuliah di Program Studi Teknik Innforrmaatitikaa
FFakultas Teknologi Industri Universitas AAtmaa JJayyaa
Yogyakarta.
7. Bapak dan ibu yang selalu mendoakann seertaa
memberikan dorongan dan motivasi kepada pepenuliiss
agar ddapap tat menenyeyelelesaikkanan kkululiiahh dedengan baik dadann
tepat waktu.
8. Seluruh keluarga besar tercinta yangng sselelalalu
memembmbererikikanan ddororonongagann dadann sesemam ngngatat uuntntukuk penenululis
seselalamama mmasaa kkuliliaha .
9. TeTemamann dan sahabat TeT knikk Informatika aangngkakatan 2011
Universitas Atma Jaya Yoggyakarta, Firman, Vincent,
Bangkit, Dimas, Theofiilus, Xenix, Yanuar dan
semuanya yang tidak k bisaa disebutkan satu per satu.
Terimakasih atas banntuuan, kebersamaan, kerja sama,
canda tawa, suka dukka dan senyuman kalian tidak
vi
10.Teman-teman KSL (Kelompok Studi Linux)yang telah
memberikan pengalaman berorganisasi dan ilmunya
tentang linux.
11.Teman-teman KKN 66 Padukuhan Palgading : Johan,
Paul, Sahab, Tata, Oyen, Debora, Ayu yang telah
membuat cerita yang tidak akan terlupakan selama 1
bulan. Terima kasih dukungan dan semangatnya.
12.Teman-teman dan pihak lain yang tidak mungkin
disebutkan satu per satu yang telah membantu
selama pengerjaan skripsi.
13.Semua orang yang secara tidak langsung memberikan
dukungan dan semangat.
Penulis menyadari bahwa skripsi ini masih jauh
dari sempurna karena keterbatasan waktu dan pengetahuan
yang dimiliki penulis. Oleh karena itu segala kritik
dan saran yang bersifat membangun sangat diharapkan.
Akhir kata, semoga skripsi ini dapat berguna dan
bermanfaat bagi semua pihak.
Yogyakarta, Oktober 2015
Penulis
11.Teman-teman KKKKNN 66 Padukuhuhanan Palgading : Johan,
Paul, Saahahab, Tata, Oyen, Debora,a, Ayu yang telah
membuauat cerita yyaang tidak akan terluupapakan selama 1
buullan. Tere imimaa kasisihh dudukukungnganan ddan semangaatnya.
122.Teman-temaan n dan pihak lain yyana g tidak mungkin
disesebubuttkan ssatu per satu yyana g tetelalah h membm antu
seselalama ppengerjaan skripsi.
133.SeSemuaa orang yang secara tidak langsuungn mmemembeb rikakan
dukkungan dan semangat.
PPenulis menyadari bahwa skripsi ini mmasa ihih jjauhh
dadari sempurna karena keterbatasan waktu dan penngettahahuau nn
yang dimiliki penulis. Oleh karena itu segalaa krittikik
dan saran yang bersifat membangun sangat dihaarappkkan..
Akkhihirr kata, semogag skripsi ini dapat bergugunana ddanan
bermanfaatt bbaagii semumuaa pipihak..
Yogyakarta, Oktobeber 20201515
Penulis
vii
PEMBANGUNAN PERANGKAT LUNAK WEB SCRAPING UNTUK SITUS
BERITA DAN PERINGKAS BERITA
Disusun oleh :
Yustinus Andry Setiawan
110706659
INTISARI
Informasi dengan mudah didapat melalui online atau internet. Salah satunya adalah informasi berupa berita. Situs Berita di Indonesia ini ada bermacam-macam. Banyaknya penyedia layanan berita tersebut membuat pembaca berita harus membuka beberapa situs untuk mencari berita yang berbobot. Selain harus membuka banyak situs berita, iklan-iklan dalam situs berita juga mengganggu. Pembaca menjadi tidak fokus membaca berita karena adanya iklan dalam situs berita. Biasanya pembaca harus menutup terlebih dahulu iklan dalam bentuk pop up pada situs berita. Hal tersebut membuat tersitanya waktu dan merepotkan untuk membaca berita.
Dengan permasalahan tersebut, penulis membuat aplikasi yang dapat mengambil data berita dari berbagai situs dan menampungnya di satu tempat. Aplikasi tersebut memanfaatkan teknik web scraping, yaitu teknik untuk mengambil informasi dari suatu website. Berita yang sudah didapatkan akan ditampilkan pada aplikasi mobile pembaca berita. Selain menampilkan data berita dari berbagai sumber, aplikasi mobile ini juga dapat meringkas berita. Metode yang digunakan untuk meringkas pada aplikasi ini adalah metode TF-IDF.
Dengan adanya aplikasi ini diharapkan memudahkan pembaca berita dalam membaca berita. Pembaca berita dapat menggunakan aplikasi mobile ini untuk membaca berita dari berbagai sumber dan dapat melihat rangkuman dari beberapa berita berdasarkan berita yang ingin dicari. Berita dapat dibaca dimana saja dan kapan saja dengan aplikasi mobile pembaca dan peringkas berita. Kata Kunci : Web scraping, situs berita, aplikasi mobile, Android, peringkas berita Pembimbing I : Y. Sigit Purnomo W.P., S.T., M.Kom. Pembimbing II : Kusworo Anindito, S.T., M.T. Jadwal Pendadaran : 21 Oktober 2015
Disusun oleheh :
Yustinus Andry Setiawawann
110706659
IINTIISASARIRI
InInformmasi dengan mudah didapat melaalul i onnlilinen aatauinteernrnete . Salah satunya adalah informasi bberupupa a beritata.Situtuss Beririta di Indonesia ini ada bermacam-maccama . BaBanyn aknyya peenynyediaa layanan berita tersebut membuat pemmbab caca bbereritaahaharurus membuka beberapa situs untuk mencari bbere ittaa yay ngg beberrbobbot. Selain harus membuka banyak situs beritat , ikiklan-ikiklan dalam situs berita juga mengganggu. Pembaccaa memenjnjaddiitidak k fokus membaca berita karena adanya iklan dallam situsus beritta. Biasanya pembaca harus menutup terlebih dahuulu ikllann dalamm bentuk pop up pada situs berita. Hal tersebutt membmbuatttetersiitanya waktu dan merepotkan untuk membaca beritaa.
Dengan pepermrmasalahahanan tersebuutt, penululisis membuatt aplikasasiiyang dapatt mmeenga bmbilil ddatataa beeriritata ddarii beberbrbagai situs ddanan menampungnya di satu tempaat.t AAplikasi tersebut memanfaatatkakannteteknik web scraping, yaitu tet knik untuk mengambil inforormamassi dadariri suatu website. Berita yang sudah didapatkkanan aakakan diditatampmpililkakann papadada aaplplikikasi mobilele ppemembabacaca bbereritita.. SSelelaainmemenan mpmpililkakann dadatata bbererititaa daariri bbererbabagagaii susumbmberer, applilikkasi momobibilel ini jjuguga dadapap t memeriringkakass beeriritata. Metoodede yang diigugunanakakann ununtukk meringkakas pada aplikasii inii adadalalaah metodeTF-IDDFF.
Dengan adanya aplplikasi ini diharapkan memudahkan pembaca berita dalam meembaca beerita. Pembaca berita dapat menggunakan aplikasi mobbile inii untuk membaca berita dariberbagai sumber dan dapaat meliihat rangkuman dari beberapaberita berdasarkan beritaa yangng ingin dicari. Berita dapat dibaca dimana saja dan kaapann saja dengan aplikasi mobile pembaca dan peringkas beritaa..
viii
DAFTAR ISI
HALAMAN PENGESAHAN ........................................ i
HALAMAN PERNYATAAN ....................................... ii
HALAMAN PERSEMBAHAN ..................................... iii
KATA PENGANTAR ........................................... iv
INTISARI ................................................ vii
DAFTAR ISI ............................................. viii
DAFTAR GAMBAR ............................................ xi
DAFTAR TABEL ............................................ xvi
DAFTAR LAMPIRAN ........................................ xvii
BAB I PENDAHULUAN ........................................ 1
1.1 Latar Belakang ...................................... 1
1.2 Rumusan Masalah ..................................... 4
1.3 Batasan Masalah ..................................... 4
1.4 Tujuan Penelitian ................................... 4
1.5 Metodologi Penelitian ............................... 5
1.6 Sistematika Penulisan ............................... 6
BAB II TINJAUAN PUSTAKA .................................. 8
BAB III LANDASAN TEORI .................................. 14
3.1 Web server ......................................... 14
3.2 Situs Berita Online ................................ 15
3.3 Web Service ........................................ 16
3.4 JSON (Java Script Object Notation) ................. 18
3.5 Web scraping ....................................... 18
3.6 Automatic Text Summarization ....................... 20
3.7 Metode TF-IDF ...................................... 20
3.8 Cron Job ........................................... 22
3.9 Aplikasi Mobile .................................... 23
BAB IV ANALISIS DAN PERANCANGAN PERANGKAT LUNAK ......... 24
HALAMAN PERNYATAAN .................... .....................ii
HALAMAN PERSEMBAAHHAN .......................................iii
KATA PENGANTNTAAR .................................. ...........iv
INTISARII ......... ....................................................vii
DAFTARAR ISI ... ...............................................viii
DAAFFTAR GGAMAMBABARR ..................................................xi
DAFTTARAR TTABA EL .................................................xvi
DAFTTARAR LAMMPPIRAN ...................................... .....xvviii
BAABB I PPENDAHULUAN .................................... .........11
1.1.1 Latar Belakang......................................... 1
11.2 Rumusan Masalah......................................44
1.3 Batasan Masalah.......................................44
1.44 Tujuan Penelitian.....................................44
1.55 Metodoolologigi Penellititian.................................55
1.6 Sistematika Penulisaann.................................66
BABABB II TINJAUAN PUSTAKA ..................................... 8
BABABB IIIIII LANDASAN N TETEORORII ............... ............................14
3.3.11 Web seservrveer..................................................14
3.22 SiS tuuss BBerita Onlinee......................... ...........15
3.3 Web Service................. ........................16
3.4 JSON (Java Script Object NNotation).................18
3.5 Web scraping........................................18
3.6 Automatic Text Summaarir zzation.......................20
3.7 Metode TF-IDF......................................20
ix
4.1 Analisis Latar Belakang Sistem ..................... 24
4.2 Analisis Sistem yang Akan Dibangun ................. 25
4.2.1 Fungsi Produk .................................. 27
4.2.2 Use Case Diagram ............................... 29
4.2.3 Entity Relationship Diagram .................... 30
4.3 Perancangan Sistem ................................. 30
4.3.1 Perancangan Arsitektur ......................... 31
4.3.2 Physical Data Model ............................ 33
4.3.3 Deskripsi Perancangan Antarmuka ................ 34
4.3.3.1 Sketsa UI Aplikasi KUBERIN Web dan Deskripsinya .....................................................34
4.3.3.1.1 Antarmuka Halaman Login Web .............. 34
4.3.3.1.2 Antarmuka Halaman Scraping ............... 35
4.3.3.1.3 Antarmuka Halaman Lihat Data Berita ...... 36
4.3.3.1.4 Antarmuka Halaman Update Data Tags ....... 37
4.3.3.1.5 Antarmuka Halaman Pengelolaan Kategori ... 38
4.3.3.1.6 Antarmuka Halaman Summarize Berita Web ... 40
4.3.3.2 ......... Sketsa UI Aplikasi KUBERIN Mobile dan Deskripsinya ........................................ 41
4.3.3.2.1 Antarmuka Halaman Kategori Berita ........ 41
4.3.3.2.2 Antarmuka Halaman Summarize Berita Mobile 42
4.3.3.2.3 Antarmuka Halaman Trending Topik ......... 43
BAB V IMPLEMENTASI DAN PENGUJIAN SISTEM ................. 44
5.1 Definisi Sistem .................................... 44
5.2 Implementasi Sistem ................................ 52
5.2.1 Antarmuka Aplikasi Web Kuberin ................. 52
5.2.1.1 Antarmuka Halaman Login Web ................. 52
5.2.1.2 Antarmuka Halaman Scraping .................. 54
5.2.1.3 Antarmuka Halaman Lihat Data Berita ......... 66
5.2.1.4 Antarmuka Halaman Update Data Tags .......... 68
5.2.1.5 Antarmuka Halaman Pengelolaan Kategori ...... 71
g
4.2.2 Use Case DDiaiagram ...............................29
4.2.3 Entityty Relationship Diagram ....... ..............30
4.3 Perarancangan Sisteme ................................... 30
4.3.3.1 Perancncanangagan Arrsisitetektk urur ....... ... .....................31
44.3.2 PhPhysiccaal Data MoModedell ..............................33
4.3.33 DeDeskriipspsi Perancangan Antarmukukaa ...................34
4.4.3.3.3.11 Sketsa UI Aplikasi KUBERIN Web dad n Deeskskriripsininya.......................................................334
4..3.3.1.1 Antarmuka Halaman Login Web...................344
4.3.3.1.2 Antarmuka Halaman Scraping..................35
4.3.3.1.3 Antarmuka Halaman Lihat Data Beritaa......3636
4.3.3.1.4 Antarmuka Halaman Update Data Tags.........377
4.3.3.1.5 Antarmuka Halaman Pengelolaan Kateggori...388
4.3.3.1..66 AAntarmmukuka Halamaann SSummararizize Berita WWeb...4040
4.3.3.2 ......... Skketetsaa UUI Aplikasi KUBERIN Mobile dadann Deskripsinya ..........................................441
4.3.3.2.1 Antarmuka Halaman Kategori Beritaa..........41
44.33.33.22.22 AnAntatarmukuka a HaHalalamaman SuS mmmmararizizee BeBeriritata Moobibille 42
4.4.3.3.33.2.33 Antarmukuka Halamaan Trendidingng ToTopipikk...........43
BAB V IMPLEMENTASI DAN PPEENGUJIIANA SISTEM .................44
5.1 Definisi Sistem.....................................44
5.2 Implementasi Sisteemm.................................52
5.2.1 Antarmuka Aplikaasi WeWeb Kuberin .................52
5.2.1.1 Antarmuka Halamaman Login Web .................52
x
5.2.1.6 Antarmuka Halaman Summarize Berita .......... 75
5.2.2 Antarmuka Aplikasi Mobile Kuberin .............. 83
5.2.2.1 Antarmuka Halaman Kategori Berita ........... 83
5.2.2.2 Antarmuka Halaman Summarize Berita Mobile ... 92
5.2.2.3 Antarmuka Halaman Trending Topik ........... 101
5.2.3 Aplikasi Web Scraper .......................... 104
5.2.3.1 Mengambil URL Berita ....................... 104
5.2.3.2 Mengambil Data Berita ...................... 106
5.2.3.3 Mengecek Tags Tidak Aktif .................. 109
5.3 Hasil Pengujian Perangkat Lunak ................... 112
5.4 Hasil Pengujian Terhadap Pengguna ................. 123
5.4.1 Pengujian Fungsionalitas Aplikasi KUBERIN Mobile .....................................................123
5.4.2 Pengujian Antarmuka Aplikasi KUBERIN Mobile ... 131
5.5 Analisis Kelebihan dan Kekurangan Aplikasi ........ 139
BAB VI KESIMPULAN DAN SARAN ............................ 141
6.1 Kesimpulan ........................................ 141
6.2 Saran ............................................. 142
DAFTAR PUSTAKA .......................................... 143
LAMPIRAN ................................................ 146
g
5.2.2.2 Antarmukuka Halaman Summararize Berita Mobile ...92
5.2.2.3 AnAnttarmuka Halaman Trending TTopopik ...........101
5.2.3 AAplikasi Web SScrapapeer ............................104
5..22.3.1 Meengngamambib l URURL L BeBeriitata ............................104
5.2.3..22 Mengngambil DaDatata BBereritita .......................106
5.2.2.3.3.33 Mengngecek Tags Tidak Aktif ................. ....... 109
5.33 HaHasil Pengujian Perangkat Lunak......... ..............111 2
5.5.44 Hassil Pengujian Terhadap Pengguna.....................1223
5.5 4..11 Pengujian Fungsionalitas Aplikasi KUBERIRIN MoMobibille........................................................1123
5.4.2 Pengujian Antarmuka Aplikasi KUBERIN Mobiile ...13311
5.5 Analisis Kelebihan dan Kekurangan Aplikasi.........11399
BABAB VVI KESIMPULAN DAN SARAN ..............................1411
6.11 Kesimpululanan............................................141411
6.2 Saran.................................................141422
DADAFTF AR PUSTAKA ...........................................14143
LALAMPMPIRI ANN ............... ................... .......................1146
xi
DAFTAR GAMBAR
Gambar 3.1 Arsitektur Web server ......................... 14
Gambar 3.2 Contoh Situs Berita Online .................... 15
Gambar 3.3 Penggunaan JSON REST .......................... 18
Gambar 3.4 Proses Web Scraping ........................... 19
Gambar 3.5 Contoh Operasi Cron Job ....................... 22
Gambar 4.1 Arsitektur Perangkat lunak KUBERIN.............26
Gambar 4.2 Use Case Diagram KUBERIN ...................... 29
Gambar 4.3 Entity Relationship Diagram KUBERIN ........... 30
Gambar 4.4 Perancangan Arsitektur KUBERIN Web Application 31
Gambar 4.5 Perancangan Arsitektur KUBERIN Mobile Application ......................................................... 32
Gambar 4.6 Physical Data Model KUBERIN ................... 33
Gambar 4.7 Antarmuka Login Web ........................... 34
Gambar 4.8 Antarmuka Scraping ............................ 35
Gambar 4.9 Antarmuka Lihat Data Berita ................... 36
Gambar 4.10 Antarmuka Update Data Tags ................... 37
Gambar 4.11 Antarmuka Pengelolaan Kategori ............... 38
Gambar 4.12 Antarmuka Summarize Berita Web ............... 40
Gambar 4.13 Antarmuka Kategori Berita .................... 41
Gambar 4.14 Antarmuka Summarize Berita Mobile ............ 42
Gambar 4.15 Antarmuka Trending Topik ..................... 43
Gambar 5.1 Antarmuka Halaman Login Web....................52
Gambar 5.2 Proses Menampilkan Halaman Login .................................... 52
Gambar 5.3 Proses Login Web .......................................................................... 53
Gambar 5.4 Antarmuka Halaman Scraping .................................................. 54
Gambar 5.5 Proses Test Scraping ................................................................ 55
Gambar 5.6 Cuplikan code untuk mendapatkan atau membuka halaman web ................................................................................................................ 56
Gambar 3.2 Contoh Siitutus Berita Onlinene ....................15
Gambar 3.3 Pennggggunaan JSON REST ............. ..............18
Gambar 3.44 Proses Web ScScrapipingng .............................19
Gambar 33.5 Contotoh h OpOperassii CrCrono JJobob ... ... .....................22
Gambbar 4.1 ArA sitetektur Pereranangkgkatat lunak KKUBUBERINN..............26
Gaambar 44.2.2 UUse Casase Diagram KUBERIN ..........................29
Gambbarar 44.3 Entntity Relationship Diagram KUBERERIN ............30
Gambmbarar 4.44 Perancangan Arsitektur KUBERIN Web ApApplici atation 313
GaGambmbar 44.5 Perancangan Arsitektur KUBERIN Mobile Apppliicacationn..............................................................32
GaGammbarr 4.6 Physical Data Model KUBERIN .....................333
Gambaar 4.7 Antarmuka Login Web .............................344
GaG mbaar 4.8 Antarmuka Scraping .............................355
Gambbarar 4.9 Antarrmumukaka LLihihat Data BeBeriritata .....................3636
Gambar 4.10 Antarmuka Updadatet DaDatta Tags .....................3737
GaGambm ar 4.11 Antarmuka Pengelolaan Kategori ..................338
GaGambmbar 44 1.122 AnAntatarmrmukukaa SuSummarize BeBeriritata WeWebb ....................40
GaGambmbar 4.13 Anntatarrmuka Katetegogoriri BBerita ..... ... .................41
Gambmbara 44 1.14 AnAnttarmuka Summm arize BBerita Mobibilel .............42
Gambar 4.15 Antarmuka Treending TTopik .....................43
Gambar 5.1 Antarmuka Hallaman Loggiin Web....................52
Gambar 5.2 Proses Menampililkan HaHalaman Login.................................... 52
Gambar 5.3 Proses Login Webb ........................................................................... 53
Gambar 5.4 Antarmuka Halamann Scraping .................................................. 54
xii
Gambar 5.7 Cuplikan code untuk mengambil URL berita ................ 56
Gambar 5.8 Cuplikan code untuk mengambil judul berita ............ 58
Gambar 5.9 Cuplikan code untuk mengambil kategori berita..... 59
Gambar 5.10 Cuplikan code untuk mengambil tanggal dan waktu berita ............................................................................................................................ 60
Gambar 5.11 Cuplikan code untuk mengambil URL Gambar .............. 61
Gambar 5.12 Cuplikan code untuk mengambil isiberita ................ 61
Gambar 5.13 Cuplikan code untuk membuang konten tidak perlu .......................................................................................................................................... 62
Gambar 5.14 JSON Output Fungsi Test ....................................................... 65
Gambar 5.15 Proses Simpan Scraping ......................................................... 66
Gambar 5.16 Antarmuka Halaman Lihat Data Berita .......................... 66
Gambar 5.17 Proses Menampilkan halaman lihat data berita..... 67
Gambar 5.18 Proses Menampilkan detail berita ................................. 68
Gambar 5.19 Antarmuka Halaman Update Data Tags ............................ 68
Gambar 5.20 Proses Menampilkan Halaman Update Data Tags ....... 69
Gambar 5.21 Proses Mengambil Data Tags ................................................ 70
Gambar 5.22 Proses Update Data Tags ....................................................... 71
Gambar 5.23 Antarmuka Halaman Pengelolaan Kategori ................... 71
Gambar 5.24 Proses Menampilkan halaman pengelolaan kategori .......................................................................................................................................... 72
Gambar 5.25 Antarmuka Halaman Summarize Berita Versi 1 ......... 75
Gambar 5.26 Proses Summarize Berita ....................................................... 76
Gambar 5.27 Cuplikan Code Memasukkan Isi Berita Ke dalam array .............................................................................................................................. 77
Gambar 5.28 Cuplikan Code Pemanggilan Single Summary .............. 77
Gambar 5.29 Cuplikan Code Pemanggilan Multi Summary, skor kalimat, dan hasil summary ............................................................................ 78
Gambar 5.30 Cuplikan Code untuk mendapatkan data berita terkait .......................................................................................................................... 80
Gambar 5.31 Antarmuka Halaman Summarize Berita Versi 2 ......... 82
Gambar 5.9 Cuplikan code uuntntukuk mengambil kategori berita..... 59
Gambar 5.10 Cuplikkanan code untuk mengamambib l tanggal dan waktuberita ......................................................................................... ...................................... 60
Gambar 5.111 Cuplikan codode untuk mengambil URLL GaG mbar .............. 61
Gambar 55.12 Cuplplikikanan codde ununtut k k memengngammbibill isiberitita ................ 61
Gambbar 5.133 Cuplliikan coddee ununtutukk mem mbuangg kontet n tidakk perlu............................................................................................................................................................ 62
Gambbarar 55.1. 4 JSJSON Output Fungsi Test............................................................ 65
Gambmbaar 5.115 Proses Simpan Scraping ............................................................. 666
GaGambmbar 55.16 Antarmuka Halaman Lihat Data Berita ............................. 666
GaGammbarr 5.17 Proses Menampilkan halaman lihat data bberiitata...... 67
Gambaar 5.18 Proses Menampilkan detail berita ................................. 6868
Gambaar 5.19 Antarmuka Halaman Update Data Tags ............................. 688
Gambm aar 5.20 Proses Menampilkan Halaman Update Data TTagsgs ........ 6969
Gambar 5.211 PProses MMenengagambmbili DDatataa TaTags.................................................. 7070
GaGambar 5.22 Proses Update Daatat Tags......................................................... 771
GaGambm arr 55.2.23 Antarmuka Halaman Penggelolaan Kategogoriri ........................ 71
GaGambmbar 55 2.244 Prososeses Menammpipilklkanan hhalamann ppenengeg llollaan katategegoori............. .. ................................................... .......................................... ........... .... ................................... 72
Gambar 55 2.25 Antarmuka Halalaman SuSummarize Berita Versi 1 ......... 75
Gambar 5.26 Proses Summaarize Beriita....................................................... 76
Gambar 5.27 Cuplikan Codee Memasuukkan Isi Berita Ke dalam array .............................................................................................................................. 77
Gambar 5.28 Cuplikan Code PePemamanggilan Single Summary .............. 77
Gambar 5 29 Cuplikan Code Pemanggilan Multi Summary skor
xiii
Gambar 5.32 Antarmuka Halaman Awal Kategori Berita ................... 83
Gambar 5.33 Antarmuka Halaman List Berita ........................................ 84
Gambar 5.34 Proses Mendapatkan data berita ...................................... 85
Gambar 5.35 Fungsi kategori berita ......................................................... 86
Gambar 5.36 Fungsi GetJumlahDataBeritaKategori dan fetchBeritaKategori ............................................................................................. 87
Gambar 5.37 JSON Output fungsi kategori ............................................. 88
Gambar 5.38 Fungsi doInBackground pada class AsyncTaskNewsParseJson ...................................................................................... 88
Gambar 5.39 Fungsi onPostExecute pada class AsyncTaskNewsParseJson ...................................................................................... 89
Gambar 5.40 Cuplikan Code itemClick Detail Berita ..................... 90
Gambar 5.41 Antarmuka Halaman Detail Berita dan Web View Berita ............................................................................................................................ 91
Gambar 5.42 Antarmuka Halaman Summarize Berita ............................ 92
Gambar 5.43 Proses Mendapatkan Data Sumber berita ..................... 93
Gambar 5.44 Proses Summarize Berita Button Summarize .............. 94
Gambar 5.45 JSON Output fungsi summarizeberita ............................ 95
Gambar 5.46 Fungsi doInBackground pada class AsyncTaskSummarize ............................................................................................... 96
Gambar 5.47 Antarmuka Halaman Tab Summary, Tab Berita Terkait, dan Tab Skor ........................................................................................ 97
Gambar 5.48 Proses Summarize Berita Button Filter Berita..... 98
Gambar 5.49 JSON Output fungsi getDataBeritaSummarize ............ 99
Gambar 5.50 Antarmuka Halaman Pilih Berita .................................... 100
Gambar 5.51 Antarmuka Halaman Trending Topik ............................... 101
Gambar 5.52 Proses Mendapatkan Data Trending Topik ................. 102
Gambar 5.53 Proses Mendapatkan Data Detail Trending Topik 103
Gambar 5.54 Cuplikan code Fungsi doInBackground AsyntaskGetHasilTrending ............................................................................... 103
Gambar 5.55 Proses Cron URL Berita ....................................................... 104
Gambar 5.34 Proses Mendapapatktkanan data berita ...................................... 85
Gambar 5.35 Fungsii kkategori berita .......................................................... 86
Gambar 5.36 FuFungsi GetJumlahDataBeritaKategogori dan fetchBerittaKaKategori ............................................................................................. 87
Gambar 55.37 JSONON OuOutpt ut fufungngsis kkatategegorrii ................................................ 88
Gambbar 5.388 Funggssi doInBBacackgkgrorounund d pada cclal ss AssyncTasskNkNewewssParseeJsJson ............................................................................................... 88
Gambbarar 55.3.39 FuFungsi onPostExecute pada classsAsynncTcTasa kNewewsParseJson ............................................................................................ 89
Gaambm ar 55.40 Cuplikan Code itemClick Detail Berittaa ....................... 9090
GaGambmbar 5.41 Antarmuka Halaman Detail Berita dan Weeb ViViewewBeBeritaa ................................................................................................................................. 91
Gambaar 5.42 Antarmuka Halaman Summarize Berita .............................. 922
Gambaar 5.43 Proses Mendapatkan Data Sumber berita ...................... 933
Gambmbaar 5.44 Prosess SuSummm arize Beritaa BuButtt on Summarizee ............... 9494
Gambar 5.45 JSON Output fufungn sii ssummarizeberita .............................. 9595
GaGambar 5.46 Fungsi doInBackground pada class AsAsynncTcTaskSummarize ..................................................................................................... 96
GaGambmbarar 55.4.477 AnAntatarmr ukukaa HaHalalamaman n TaTabb SuSummmmarryy, TaTabb BeBeriritta TeTerkrkaiait, dann TaTabb SkSkoror ..... ............. .............................. ........... ........................................ 97
Gambarr 55 4.488 Proses Summarizi e Beerita Button FiFiltlterer BBerita..... 98
Gambar 5.49 JSON Output fungsi gete DataBeritaSummarize............ 99
Gambar 5.50 Antarmuka Hallaman Piilih Berita .................................... 100
Gambar 5.51 Antarmuka Halaaman TTrending Topik ............................... 101
Gambar 5.52 Proses Mendapatkkanan Data Trending Topik ................. 102
xiv
Gambar 5.56 Command untuk menjalankan script cronurlberita ........................................................................................................................................ 105
Gambar 5.57 Proses Cron Berita ................................................................. 107
Gambar 5.58 Command untuk menjalankan script cronberita ..... 107
Gambar 5.59 Proses Cron Cek Tags Tidak Aktif ............................... 109
Gambar 5.60 Command untuk menjalankan script croncekaktif 110
Gambar 5.61 Presentase Rekapitulasi Pernyataan 1 Aplikasi KUBERIN memberikan kemudahan dalam membaca berita/melihat sebuah berita dari kumpulan berita berbagai sumber ................. 125
Gambar 5.62 Presentase Rekapitulasi Pernyataan 2 Data berita yang ditampilkan pada aplikasi KUBERIN isinya lengkap .......... 126
Gambar 5.63 Presentase Rekapitulasi Pernyataan 3 Data berita yang ditampilkan pada aplikasi KUBERIN memiliki kesesuaian/saling berkaitan antara judul, gambar, dan berita ........................................................................................................................................ 127
Gambar 5.64 Presentase Rekapitulasi Pernyataan 4 Aplikasi KUBERIN memberikan kemudahan dalam mencari berita berdasarkan kategori yang tersedia ....................................................... 128
Gambar 5.65 Presentase Rekapitulasi Pernyataan 5 Aplikasi KUBERIN memberikan kemudahan untuk mendapatkan ringkasan berita berdasarkan topik yang diinginkan pengguna ................... 129
Gambar 5.66 Presentase Rekapitulasi Pernyataan 6 Aplikasi KUBERIN fitur summarize memberikan ringkasan berita yang kualitasnya sudah baik .................................................................................... 130
Gambar 5.67 Presentase Rekapitulasi Pernyataan 7 Secara keseluruhan, saya puas dengan kinerja aplikasi KUBERIN ....... 131
Gambar 5.68 Presentase Rekapitulasi Pernyataan 1 Aplikasi KUBERIN memiliki tampilan yang menarik .............................................. 133
Gambar 5.69 Presentase Rekapitulasi Pernyataan 2 Aplikasi KUBERIN mudah dipahami fungsionalitasnya dari antarmuka aplikasi ..................................................................................................................... 134
Gambar 5.70 Presentase Rekapitulasi Pernyataan 3 Aplikasi KUBERIN mudah untuk digunakan ................................................................... 135
Gambar 5.71 Presentase Rekapitulasi Pernyataan 4 Cara penggunaan aplikasi KUBERIN ini mudah dipelajari ...................... 136
Gambar 5.58 Command ununttuk menjalankakan script cronberita ..... 107
Gambar 5.59 Prososes Cron Cek Tags Tidak AkAktit f ............................... 109
Gambar 5.600 Command untutuk menjjalankan script ccroncekaktif 110
Gambar 55.61 Presesenentatase RRekekapapiti ululasasii PePernrnyay taan 1 AAplikasiKUBERIRIN memberikkanan kkemudahan dalam memembabacac berita/memelihatsebubuah berititaa dari kumumpupullan be iritata bberbagai susumbm er .................. 125
GGambarr 55.6.622 Presesentase Rekapitulasi Pernyayataann 22 DData beerita yangg ddititaampiillkan pada aplikasi KUBERIN isinyyaa leengngkakapp... ......... 126
Gambmbarar 5.663 Presentase Rekapitulasi Pernyataan 3 Datataa beritta yaangng dittaampilkan pada aplikasi KUBERIN memilikikekesesesuaiaian/saling berkaitan antara judul, gambar, dann beberitaa...... ...................................................................................................................................... .. 127
Gambarar 5.64 Presentase Rekapitulasi Pernyataan 4 AplplikasiKUBERRIN memberikan kemudahan dalam mencari beritaberdaasarkan kategori yang tersedia ........................................................ 1288
Gambmbaar 5.65 Presentase Rekapitulasi Pernyataan 5 ApllikikasiKUBERIIN membbereriikan kemuddaha an unttuuk mendapaatktkana ringkasan berita berdasarkan topik yyaang didiiinginkan pengguna ................... 112929
Gaambm ar 5.66 Presentase Rekapitulasi Pernyataan 6 AplikkaasiiKUKUBEERIRIN fitur summarize memberikan ringkasan beritaa yangng kukualalititasasnynyaa susudadahh babaikik ........ ..... ................................................................................................... 130
GaGambmbarar 5.677 PrPreesenntatasese Rekapapititulassii PePernr yaatataanan 7 Sececararaakeseeluluruhhan, ssaaya puas ddeengan kiinerja apliikakasi KKUBUBERRININ ....... 131
Gambar 5.68 Presentase Reekapitullasi Pernyataan 1 AplikasiKUBERIN memiliki tampilaan yang meenarik.............................................. 133
Gambar 5.69 Presentase Reekapitullasi Pernyataan 2 AplikasiKUBERIN mudah dipahami funngsionnalitasnya dari antarmukaaplikasi ....................................................................................................................... 134
Gambar 5.70 Presentase Rekappiitulasi Pernyataan 3 Aplikasi
xv
Gambar 5.72 Presentase Rekapitulasi Pernyataan 5 Desain warna aplikasi KUBERIN nyaman untuk dilihat dan komposisi warnanya pas ............................................................................................................ 137
Gambar 5.73 Presentase Rekapitulasi Pernyataan 6 Aplikasi KUBERIN memberikan kemudahan dalam melihat tulisan dan gambar .......................................................................................................................... 138
Gambar 5.74 Presentase Rekapitulasi Pernyataan 7 Secara keseluruhan, saya puas dengan tampilan aplikasi KUBERIN ..... 139
Gambar 5.73 Presentase RRekekapapititululasa i Pernyataan 6 AplikasiKUBERIN memberikan kkeemudahan dalam mmele ihat tulisan dan gambar ............................................................................................................................ 138
Gambar 5.74 PPresentase RRekapitulasi Pernyataaanan 7 Secarakeseluruhahan, saya puas ddenngagan n tatampmpili an aplikasii KUBERIN ..... 139
xvi
DAFTAR TABEL
Tabel 2.1 Tabel Perbandingan Sistem ...................... 12
Tabel 5.1 Tabel File KUBERIN Web .........................45
Tabel 5.2 Tabel File KUBERIN Mobile ...................... 48
Tabel 5.3 Hasil Pengujian Perangkat Lunak ............... 112
Tabel 5.4 Tabel Pengujian Fungsionalitas Apikasi KUBERIN Mobile .................................................. 123
Tabel 5.5 Tabel Pengujian Antarmuka Apikasi KUBERIN Mobile ........................................................ 131
Tabel 5.1 Tabel File KKUBUBERIN Web .........................45
Tabel 5.2 Tabel FFile KUBERIN Mobile .......................48
Tabel 5.3 HaHasil Pengujiaian Perangkat Lunak ................112
Tabel 5.5.4 Tabell PePengngujiaann FuFungn sisiononalalititas Apikasii KUBERIN Mobilee ............... .........................................123
Tabebel 5.5 TaTabeb l Penggujujiian Antarmukukaa ApApikasi KUKUBEB RIN MoMobile.......................................................... ....... 131
xvii
DAFTAR LAMPIRAN
I. Spesifikasi Kebutuhan Perangkat Lunak Kumpulan
Berita Indonesia (SKPL KUBERIN)
II. Deksripsi Perancangan Perangkat Lunak Kumpulan Berita Indonesia (DPPL KUBERIN)
p g p
Berita Indonesesiia (SKPL KUBERRINI )
II. Deksripssii Perancangan Perangkatt Lunak Kumpulan Beritaa Indonesiaa (DPPL KUBERIN)