16
SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU Skripsi Disusun sebagai salah satu syarat menyelesaikan jenjang Strata 1 Pada Program Studi Informatika Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta Oleh : Irwan Adi Prianto L200110016 PROGRAM STUDI INFORMATIKA FAKULTAS KOMUNIKASI DAN INFORMATIKA UNIVERSITAS MUHAMMADIYAH SURAKARTA 2016

SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

  • Upload
    others

  • View
    14

  • Download
    0

Embed Size (px)

Citation preview

Page 1: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

MENCEGAH SCANNING PORT OLEH ZENMAP

PADA VPS UBUNTU

Skripsi

Disusun sebagai salah satu syarat menyelesaikan jenjang Strata 1

Pada Program Studi Informatika Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Oleh :

Irwan Adi Prianto

L200110016

PROGRAM STUDI INFORMATIKA

FAKULTAS KOMUNIKASI DAN INFORMATIKA

UNIVERSITAS MUHAMMADIYAH SURAKARTA

2016

Page 2: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

ii

SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

MENCEGAH SCANNING PORT OLEH ZENMAP

PADA VPS UBUNTU

Skripsi

Disusun sebagai salah satu syarat menyelesaikan jenjang Strata 1

Pada Program Studi Informatika Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Oleh :

Irwan Adi Prianto

L200110016

PROGRAM STUDI INFORMATIKA

FAKULTAS KOMUNIKASI DAN INFORMATIKA

UNIVERSITAS MUHAMMADIYAH SURAKARTA

2016

Page 3: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

iii

Page 4: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

iv

Page 5: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

v

Page 6: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

vi

HALAMAN PERSEMBAHAN

Alhamdulillah, penulis panjatkan puji syukur kehadirat Allah SWT yang telah

melimpahkan rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan

skripsi dengan judul “ Simulasi dan Perbandingan PSAD, Suricata Untuk

Mencegah Scanning Port Oleh Zenmap pada VPS Ubuntu”. Shalawat serta salam

peneliti panjatkan kepada Nabi besar Muhammad SAW karena beliaulah yang

telah memimpin Umat Islam dari jaman kebodohan ke jaman pengetahuan. Karya

tulis skripsi ini saya persembahkan kepada :

1. Kedua orang tua saya yang telah mendukung sepenuhnya kepada peneliti

untuk menyelesaikan skripsi ini.

2. Suaudara serta keluarga besar yang telah mendukung dan mendoakan saya

dalam penulisan skripsi ini.

3. Muhammad Kusban, S.T, M.T yang telah membimbing peneliti dalam

pengerjaan skripsi ini.

4. Teman – Teman FKI angkatan 2011

Peneliti menyadari bahwa banyak kekurangan dari penyusunan skripsi ini.

Namun peneliti berharap skripsi ini dapat membantu menjadi referensi ataupun

sebagai informasi yang dapat dimanfaatkan dengan baik oleh orang yang

membacanya.

Page 7: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

vii

KATA PENGANTAR

Assalamu’alaikum Wr. Wb.

Alhamdulillah, Puji syukur kehadirat Allah SWT yang telah melimpahkan

rahmat, taufik, hidayah dan karunia-Nya, sehingga penulis dapat menyelesaikan

laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD,

SURICATA UNTUK MENCEGAH SCANNING PORT OLEH ZENMAP PADA

VPS UBUNTU ”. Shalawat serta salam peneliti panjatkan kepada Nabi besar

Muhammad SAW karena beliaulah yang telah memimpin Umat Islam dari jaman

kebodohan ke jaman pengetahuan.

Penyusunan skripsi ini bertujuan memenuhi sebagian persyaratan untuk

memperoleh gelar sarjana informatika S-1 Jurusan Informatika, Fakultas

Komunikasi dan Informatika Universitas Muhammadiyah Surakarta.

Selama penyusunan skripsi ini telah banyak menerima bantuan dari berbagai

pihak, untuk itu tidak lupa penulis ucapkan terima kasih kepada:

1. Husni Thamrin, S.T., M.T., Ph.D., selaku Dekan FakultasKomunikasi dan

Informatika yang memberi semangat dalam penelitian studi.

2. Dr. Heru Supriyanto, M.Sc., selaku Ketua Program Studi Informatika

Fakultas Komunikasi dan Informatika yang memberi bekal ilmu

pengetahuan kepada penulis selama masa studi.

3. Bapak Muhammad Kusban, S.T, M.T., selaku pembimbing yang selalu

memberi nasehat dan motivasi kepada penulis dalam menyelesaikan

penelitian.

Page 8: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

viii

4. Bapak dan Ibu Dosen Fakultas Komunikasi dan Informatika yang telah

memberi bekal ilmu pengetahuan kepada penulis selama masa studi.

5. Kedua orang tua yang telah memberikan dukungan, doa tulus dan nasihat

dengan sabar kepada penulis dalam berkehidupan.

6. Endang Wahyu Pamungkas, S.Kom., M.Kom. selaku Koordinator Skripsi

Prodi Informatika Fakultas Teknik Informatika yang selalu memberikan

informasi berkaitan dengan proses pembuatan skripsi.

7. Teman-teman kelas angkatan 2011 Fakultas Komunikasi dan Informatika

yang selalu mendoakan, mendukung dan selalu memberikan semangat.

8. Semua pihak yang telah membantu dalam menyusun skripsi ini.

Berakhirnya penyusunan skripsi ini diharapkan selain sebagai syarat

memperoleh gelar sarjana juga agar dapat dipergunakan sebagi penambah

wawasan dan reverensi terhadap pembaca maupun penelitian yang berkaitan

dengan penelitian.

Penulis menyadari bahwa penyusunan ini masih jauh dari sempurna, maka

penulis sangat berterima kasih apabila diantara pembaca ada yang memberikan

saran atau kritik yang membangun guna memperluas wawasan penulis sebagai

proses pembelajaran diri.

Wassalamu’alaikum Wr. Wb.

Surakarta, 10 januari 2016

Penulis,

Irwan Adi Prianto

L200110016

Page 9: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

ix

SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU

Irwan Adi Prianto, L200110016, Fakultas Komunikasi dan Informatika,

Universitas Muhammadiyah Surakarta, 2016

ABSTRAK

Scanning port merupakan suatu kegiatan atau aktifitas untuk mencari

dan melihat serta meneliti Port pada suatu Komputer atau Server. Scanning

Port ini adalah langkah pertama seorang penyerang untuk mencari informasi

Port – Port yang dipakai dalam sebuah Server Sistem Informasi. Karena

dengan mengetahui informasi yang ada maka seorang penyerang dapat

memasuki sistem yang tidak terdapat Firewall didalamnya, oleh karena itu

sebuah Sistem harus dilengkapi Firewall keamanan Scanning Port. Tujuan

penelitian ini untuk simulasi Suricata dan PSAD sebagai Firewall keamanan

pada VPS (Virtual Private Server) serta Zenmap sebagai Scanning Port.

Metode yang digunakan peneliti adalah metode Grounded Research yaitu

penelitian yang berdasarkan kepada pengujian dan menggunakan analisis

perbandingan. Hasil penelitian ini dapat disimpulkan bahwa Aplikasi

Zenmap mampu melakukan Scanning Port pada VPS dengan waktu proses

scan rata – rata yang dibutuhkan 11.01 detik, PSAD dan Suricata mampu

mendeteksi kejanggalan yang terjadi didalam Server seperti Scaning Port dan

memberikan peringatan serta informasi seperti waktu penyerangan,

IPAddress penyerang, serta melakukan Block IPAddress. Sehingga mampu

mengamankan sebuah server dari serangan secara efisien.

Kata kunci : Server, Suricata, PSAD, Zenmap, VPS (Virtual Private Server)

Page 10: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

x

SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

MENCEGAH SCANNING PORT OLEH ZENMAP PADA VPS UBUNTU

Irwan Adi Prianto, Muhammad Kusban

Informatika, Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Email : [email protected]

ABSTRACT

Port scanning is an activity or event to search for and view and examine

the port on a computer or server. Port scanning is the first step an attacker to seek

information Port - Port that is used in a Server System Information. Because

knowing that information exists then an attacker can enter the system that are not

contained there in Firewall, therefore, a system must include Port Scanning

Firewall security. The purpose of this study for the simulation of Suricata and

PSAD as security Firewall on VPS (Virtual Private Server) as well as Scanning

Zenmap Port. Researchers used the method is grounded research method that is

research based on the testing and use of comparative analysis. The results of this

study can be concluded that the application Zenmap capable of doing Scanning

Port on a VPS with the time the scan is average - average it takes 11:01 seconds,

PSAD and Suricata able to detect irregularities that occur within Server as

Scaning Port and provide warnings as well as information such as time of the

attack, IPAddress attacker , as well as perform Block IPAddress. So as to secure a

server from attacks efficiently.

Keywords : Server, Suricata, PSAD, Zenmap, VPS (Virtual Private Server)

Page 11: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xi

DAFTAR ISI

Halaman

Halaman Judul .................................................................................................. ii

Halaman Persetujuan ........................................................................................ iii

Halaman Pengesahan ....................................................................................... iv

Halaman Kontribusi ......................................................................................... v

Halaman Persembahan ..................................................................................... vi

Kata Pengantar ................................................................................................. vii

Abstrak ............................................................................................................. ix

Abstract ... ........................................................................................................ x

Daftar Isi........................................................................................................... xi

Daftar Tabel ...................................................................................................... xiv

Daftar Gambar .................................................................................................. xv

BAB I PENDAHULUAN

1.1. Latar Belakang Masalah ................................................................... 1

1.2. Rumusan Masalah ............................................................................ 2

1.3. Batasan Masalah............................................................................... 3

1.4. Tujuan Penelitian ............................................................................. 3

1.5. Manfaat Penelitian ........................................................................... 4

1.6. Sistematika penulisan ....................................................................... 4

BAB II TINJAUAN PUSTAKA

2.1. Telaah Penelitian ........................................................................... 6

2.2. Landasan Teori .............................................................................. 7

2.2.1. Simulasi ............................................................................ 8

2.2.2. Suricata ............................................................................. 9

2.2.3. PSAD ................................................................................ 10

2.2.4. VPS ................................................................................... 11

2.2.5. Zenmap ............................................................................. 11

Page 12: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xii

2.2.6. Scanning Port .................................................................... 15

2.2.7. Putty .................................................................................. 16

2.2.8. Port .................................................................................... 17

2.2.9. IDS .................................................................................... 18

2.2.10. IPS .................................................................................. 19

2.2.11. Daemon . ......................................................................... 20

2.2.12. Pengertian perintah yang digunakan dalam proses Installasi

dan Konfigurasi PSAD dan Suricata . ........................................ 21

BAB III METODE PENELITIAN

3.1. Metode Penelitian.......................................................................... 22

3.2. Waktu dan Tempat ......................................................................... 22

3.3. Peralatan Utama dan Pendukung .................................................. 22

1. Perangkat Keras ........................................................................ 22

2. Perangkat Lunak ....................................................................... 23

3.4. Alur Penelitian ............................................................................... 23

3.4.1. Installasi PSAD .......................................................................... 25

1. Perintah instal Program PSAD .................................................. 25

2. Configure IPTables Rules .......................................................... 26

3. Configure PSAD to Detect Scans.............................................. 28

4. Implement PSAD Intrusion Detection ...................................... 29

3.4.2. Installasi Suricata ....................................................................... 31

1. Install library dan aplikasi yang dibutuhkan ............................. 31

2. Installasi HTP Library ............................................................... 32

3. Download dan Install Suricata ................................................. 33

4. Membuat folder untuk Suricata dan Log Suricata .................... 33

5. Mengkopi program utama suricata dan melakukan

konfigurasi pada file suricata.yaml .......................................... 34

6. Mengunduh rules dan melakukan Configurasi Rule agar

memberikan Alert ketika di test menggunakan nmap .............. 35

Page 13: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xiii

BAB IV HASIL DAN PEMBAHASAN

4.1. Hasil Penelitian ............................................................................. 37

4.1.1. Hasil Pengujian Scanning port pada PSAD ........................ 37

4.1.2. Hasil Pengujian Scanning Port pada Suricata ..................... 57

4.2. Pembahasan ................................................................................... 70

4.2.1 Analisis pengujian Zenmap .................................................. 70

4.2.2 Analisis pengujian PSAD ..................................................... 72

4.2.3 Analisis pengujian Suricata .................................................. 73

4.2.4 Perbandingan PSAD dan Suricata........................................ 74

BAB V PENUTUP

5.1. Kesimpulan ................................................................................... 76

5.2. Saran .............................................................................................. 77

Dafttar Pustaka .............................................................................................. 78

Page 14: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xiv

DAFTAR TABEL

Halaman

Tabel 4.1 Hasil Keseluruhan Scanning Zenmap .............................................. 56

Tabel 4.2 Hasil Keseluruhan Status PSAD ...................................................... 57

Tabel 4.3 Hasil Keseluruhan Scanning Zenmap .............................................. 68

Tabel 4.4 Hasil Keseluruhan Log Suricata ....................................................... 69

Tabel 4.5 Teknik Scanning. .............................................................................. 70

Tabel 4.6 Perbandingan PSAD dan Suricata . .................................................. 74

Page 15: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xv

DAFTAR GAMBAR

Halaman

Gambar 3.1 Alur Penelitian .............................................................................. 24

Gambar 3.2 Topologi Jaringan Simulasi .......................................................... 25

Gambar 3.3 Proses Install PSAD ..................................................................... 26

Gambar 3.4 Proses Install dan Configurasi IPTables-Persistent ...................... 27

Gambar 3.5 Configure PSAD to Detect Scans................................................. 29

Gambar 3.6 Update Setingan PSAD ................................................................ 30

Gambar 3.7 Restart Service PSAD .................................................................. 30

Gambar 3.8 Status PSAD ................................................................................. 31

Gambar 3.9 Proses Install Library ................................................................... 32

Gambar 3.10 Installasi HTP Library ................................................................ 32

Gambar 3.11 Download dan Install Suricata ................................................... 33

Gambar 3.12 Pembuatan Folder Log Suricata ................................................. 34

Gambar 3.13 Configurasi Rules Alert .............................................................. 35

Gambar 4.1 Serangan Syn Scan pada PSAD ................................................... 38

Gambar 4.2 Hasil Status PSAD dari Serangan Syn Scan ............................... 38

Gambar 4.3 Hasil Status PSAD dari Serangan Syn Scan ................................ 39

Gambar 4.4 Serangan allport pada PSAD ........................................................ 40

Gambar 4.5 Hasil Status PSAD dari Serangan allport ..................................... 41

Gambar 4.6 Hasil Status PSAD dari Serangan allport ..................................... 42

Gambar 4.7 Serangan TCP Connect scan pada PSAD ..................................... 43

Gambar 4.8 Hasil Status PSAD dari Serangan TCP Connect .......................... 44

Gambar 4.9 Hasil Status PSAD dari Serangan TCP Connect .......................... 45

Gambar 4.10 Serangan TCP Syn Scan pada PSAD ......................................... 46

Gambar 4.11 Hasil Status PSAD dari Serangan TCP Syn Scan ...................... 47

Gambar 4.12 Hasil Status PSAD dari Serangan TCP Syn Scan ...................... 48

Gambar 4.13 Hasil Status PSAD dari Serangan TCP Syn Scan ...................... 49

Gambar 4.14 Serangan UDP scan pada PSAD ................................................ 50

Gambar 4.15 Hasil Status PSAD dari Serangan UDP scan ............................. 51

Page 16: SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK …eprints.ums.ac.id/41671/25/Halaman Depan.pdf · laporan skripsi ini yang berjudul ” SIMULASI DAN PERBANDINGAN PSAD, SURICATA UNTUK

xvi

Gambar 4.16 Hasil Status PSAD dari Serangan UDP scan ............................. 52

Gambar 4.17 Serangan Nul scan pada PSAD .................................................. 53

Gambar 4.18 Hasil Status PSAD dari Serangan Nul scan ............................... 54

Gambar 4.19 Hasil Status PSAD dari Serangan Nul scan ............................... 55

Gambar 4.20 Serangan syn scan pada suricata ................................................ 58

Gambar 4.21 Hasil Log Suricata dari Serangan syn scan ................................ 58

Gambar 4.22 Serangan allport pada suricata.................................................... 59

Gambar 4.23 Hasil Log Suricata dari Serangan allport ................................... 60

Gambar 4.24 Serantan Tcp Connect Scan pada Suricata ................................. 61

Gambar 4.25 Hasil Log Suricata dari Serantan Tcp Connect Scan .................. 62

Gambar 4.26 Serangan Tcp Syn Scan pada Suricata ....................................... 63

Gambar 4.27 Hasil Log Suricata dari Serangan Tcp Syn Scan ........................ 64

Gambar 4.28 Serangan UDP Scan pada Suricata ............................................. 65

Gambar 4.29 Hasil Log Suricata dari Serangan UDP Scan ............................. 66

Gambar 4.30 Serangan Nul Scan pada Suricata............................................... 67

Gambar 4.31 Hasil Log Suricata dari Serangan Nul Scan ............................... 67