Upload
maz-aminin
View
79
Download
0
Embed Size (px)
DESCRIPTION
slide show pengolahan parallel
Citation preview
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 1/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Pengolahan ParalelKuliah#2 TSK205 Sistem Digital - TA 2011/2012
Eko Didik Widianto
Teknik Sistem Komputer - Universitas Diponegoro
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 2/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Tentang Kuliah
Sebelumnya dibahas tentang:
Deskripsi, tujuan, sasaran dan materi kuliah TSK-617
Pengolahan Paralel Latar belakang perlunya riset dan teknik pengolahan
paralel: kapasitas prosesor (Moore), manufacturability dan
densitas power Umpan Balik: apa yang melatarbelakangi kenapa
pengolahan paralel diperlukan?
Dalam kuliah ini, akan dibahas konsep pengolahanparalel:
Definisi dan terminologi pengolahan paralel Pemrosesan serial vs paralel Sumber-sumber daya komputer paralel beserta
karakteristiknya Kebutuhan pengolahan paralel untuk computional science Contoh aplikasi yang menggunakan sistem pengolahan
paralel yang ada saat ini Taksonomi Flynn
Arsitektur Memori Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 3/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Kompetensi Dasar
Setelah mempelajari bab ini, mahasiswa akan mampu:
1. [C2] Menjelaskan karakteristik sistem paralel dan
pengolahan paralel
2. [C2] Menjelaskan sumber-sumber daya komputer paralel
dan karakteristiknya
3. [C2] Menjelaskan contoh sistem yang menggunakan
pengolahan paralel dan menjabarkan faktor apa saja yangmelatarbelakanginya
AcknowledmentMateri dan gambar didapat dari: Introduction to Parallel Computing di
h t t p s : / / c o m p u t i n g . l l n l . g o v / t u t o r i a l s / p a r a l l e l _ c o m p /
Link Website: h t t p : / / d i d i k . b l o g . u n d i p . a c . i d / 2 0 1 2 / 0 2 / 2 5 /
k u l i a h - t s k - 6 1 7 - p e n g o l a h a n - p a r a l e l - 2 0 1 1 /
Email: [email protected]
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 4/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan Paralel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 5/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 6/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Definisi Pengolahan Paralel Webopedia.com1
The simultaneous use of more than one CPU to execute a
program
Wikipedia.com2
The simultaneous use of more than one CPU or processor
core to execute a program or multiple computational threads
Oxford Dictionary of Science
A technique that allows more than one process – stream of
activity – to be running at any given moment in a computersystem, hence processes can be executed in parallel. This
means that two or more processors are active among a
group of processes at any instant
Parallel computing: a form of computation in which many
calculations are carried out simultaneously, operating onthe principle that large problems can often be divided intosmaller ones, which are then solved concurrently ("inparallel")3
1http://www.webopedia.com/TERM/P/parallel_processing.html2http://en.wikipedia.org/wiki/Parallel_processing
3Almasi, G.S. and A. Gottlieb (1989). Highly Parallel Computing.Benjamin-Cummings publishers, Redwood City, CA
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 7/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Process, Thread, Multi-CPU
(source:
http://www.javamex.com/tutorials/threads/how_threads_work.shtml)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 8/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 9/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Pemrosesan Tunggal (Serial)
Dijalankan di komputer tunggal dengan 1 CPU
Problem dipecah dalam instruksi dengan eksekusiberurutan, hanya satu eksekusi dalam satu waktu
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 10/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Pemrosesan Paralel
Dijalankan menggunakan banyak CPU
Problem dipecah menjadi bagian yang dapat dikerjakansecara bersamaan
Tiap bagian dipecah menjadi instruksi terurut
Instruksi tiap bagian dieksekusi secara simultan di CPUberbeda
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 11/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Karakteristik Pengolahan Paralel
Mempunyai kemampuan untuk:
Memecah problem ke dalam beberapa task yang dapatdikerjakan secara simultan
Menjalankan multi instruksi program dalam satu waktu
Menyelesaikan problem lebih cepat di multi sumberdaya komputasi daripada sumber daya tunggal
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 12/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Sumber Daya Komputing Paralel
4 5
4http://www.nersc.gov/nusers/resources/franklin/about.php5http://en.wikipedia.org/wiki/Beowulf_%28c omputing%29
P l h P l l
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 13/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 14/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Semesta adalah Paralel
Semesta bersifat paralel, sehingga model paralel memberikan
hasil terbaik -> pengolahan paralel
proses fisik terjadi paralel: aliran fluida, pergerakan planet,
pola cuaca, galaksi proses sosial terjadi paralel: koloni semut, assembly lines,
trafik
Pengolahan Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 15/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Kebutuhan Pemrosesan: Computational
Science Pemrosesan paralel merupakan ’the high end of
computing’
“An important development in sciences is occurring at the intersection of computer science and the sciences that has the potential to
have a profound impact on science. It is a leap from the application of computing . . . to the integration of
computer science concepts, tools,
and theorems into the very fabric
of science .” -Science 2020 Report,March 2006
Pengolahan Paralel
F k P b h
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 16/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Faktor Perubahan
Terus meningkatnya daya komputasi secara eksponensial-> simulasi menjadi pilar ketiga dari science, melengkapiteori dan eksperimen
Terus meningkatnya jumlah data eksperimen secareeksponensial -> teknik dan teknologi analisis data,visualisasi, jaringan dan kolaraborasi menjadi esensialdalam semua data aplikasi science
Pengolahan Paralel
Si l i Pil K i d l S i
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 17/49
Pengolahan Paralel
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Simulasi: Pilar Ketiga dalam Science
Metode scientific dan rekayasa tradisional(1) Mengerjakan teori atau desain di atas kertas
(2) Melakukan eksperimen atau membangun sistem
Kelemahan
Terlalu susah, terlalu mahal, terlalu lambat (menunggu evolusigalaksi), terlalu berbahaya (senjata, cuaca)
Paradigma komputasi:
(3) menggunakan komputer untuk mensimulasi dan menganalisisfenomena
Menggunakan hukum fisik dan metode numerik yang efisien Menganalisis hasil simulasi dengan perangkat dan metode
komputasional
Pengolahan Paralel
D t I t i
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 18/49
e go a a a a e
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Data Intensive
Pengolahan Paralel
P t CMB
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 19/49
g
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Peta CMB
Merekam jejak unik primordial melalui suhu dan polarisasi Mengekstrak fluktuasi suhu uKelvin merupakan tantangan
komputasi serius
Pengolahan Paralel
Content based Image Retrie al (K rt
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 20/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Content-based Image Retrieval (Kurt
Keutzer)
Aplikasi teknik computer vision untuk problem imageretrieval: mencari gambar digital dalam database yang
besar
Pengolahan Paralel
Bahasan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 21/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
Alasan Menggunakan Pengolahan Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 22/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Alasan Menggunakan Pengolahan Paralel
Menghemat waktu dan biaya
Penggunaan lebih banyak resource untuk satu task akanmempercepat waktu pengerjaan, dengan potensi
penghematan biaya Cluster dapat dibangun dengan komponen komoditas dan
murah
Mengerjakan problem yang lebih besar Banyak problem tidak bisa dipecahkan dengan komputer
tunggal, memori terbatas: Grand Challenge, web search
engine yang memproses jutaan transaksi perdetik
Menyediakan concurrency
Sumber daya pararel dapat melakukan banyak hal secarasimultan. Contoh: access grid yang menyediakan jaringan
kolaborasi global 6
6http:// www.accessgrid.org
Pengolahan Paralel
Alasan Menggunakan Pengolahan Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 23/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Alasan Menggunakan Pengolahan Paralel
(Cont.)
Menggunakan sumber daya non-lokal
Menggunakan sumber daya lewat jaringan/internet: BOINC,
SETI@home, Folding@home
Keterbatasan pengolahan serial
Kecepatan transmisi. Limit: kecepatan cahaya (30cm/ns),
kabel tembaga (9cm/ns) Batas miniaturisasi: teknologi pemrosesan IC Batas ekonomis: biaya semakin mahal untuk membuat
prosesor tunggal semakin cepat
Arsitektur komputer menggunakan paralelisme di level hardware
untuk meningkatkan performansi:
Unit eksekusi multiple Pipeline instruksi Multi-core
Pengolahan Paralel
Daya Listrik Terkontrol
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 24/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Daya Listrik Terkontrol
Pergeseran paradigma Old:Mempercepat frekuensi merupakan metode utama
untuk meningkatkan performansi prosesor New: Menambah paralellisme yang menjadi metode utama
Pengolahan Paralel
Bahasan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 25/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
BOINC: Voluntary Computing
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 26/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
BOINC: Voluntary Computing
Berkeley Open Infrastructure for Network Computing(BOINC)7
Active: 323,676 volunteers, 524,265 computers
24-hour average: 5,744.07 TeraFLOPS
7http://boinc.berkeley.edu
Pengolahan Paralel
Folding@Home
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 27/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Folding@Home
Menganalisa data dari protein folding, misfolding, dan related
diseases8
Active: Lebih dari 400rb CPU
8,045 TeraFLOPS
8http://folding.stanford.edu/
Pengolahan Paralel
SETI@Home
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 28/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
SETI@Home Search for Extraterrestrial Intelligence (SETI) 9
Download dan menganalisa data teleskop radion
730 TFlops
http://setiathome.berkeley.edu/ss_graphics.php9http://setiathome.berkeley.edu/
Pengolahan Paralel
Distributed Computing
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 29/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Terminologi
Pemrosesan Serial vs
Paralel
Kebutuhan Komputasi
Benefit Pengolahan Paralel
Aplikasi Pengolahan Paralel
Konsep Pengolahan
Paralel
Umpan Balik
Lisensi
Distributed Computing
Cluster computer: Beowulf
http://en.wikipedia.org/wiki/File:Beowulf.jpg
Grid Computing: Globus
Cloud Computing: Nimbus, Eucalyptus, Openstack
Pengolahan Paralel
Bahasan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 30/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur KomputerTaksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Bahasan
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
@2012 Ek DidikArsitektur von Neumann
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 31/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur KomputerTaksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Arsitektur von Neumann
Paper tentang requirement dasar darikomputer elektronik (1936)
Terdiri atas 4 komponen utama: 1) memori,2) unit kontrol, 3) aritmetic logic unit dan 4)input/output
RAM (R/W) untuk menyimpan instruksi dandata
Instruksi: data terkode yangmemberitahu komputer apa yang harusdikerjakan
data: informasi yang digunakan olehprogram
Unit kontrol mengambil instruksi/data darimemori, decode instruksi danmengkoordinasikan operasi
ALU melakukan operasi aritmetika
I/O interface ke operator
John von Neumann
(1903-1957)
Pengolahan Paralel
@2012 Eko DidikBahasan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 32/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur KomputerTaksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
@2012 Eko DidikTaksonomi Flynn
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 33/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
y
Klasifikasi arsitektur komputer (1966)
Membedakan arsitektur komputermultiprocesor berdasarkan dimensi instruksidan data. Kemudian tiap dimensi dibagimenjadi single atau multiple
Single
Instruction
Multiple
Instruction
Single Data SISD MISD
Multiple
Data
SIMD MIMD
Michael J. Flynn
(1903-1957)
Pengolahan Paralel
@2012 Eko DidikSingle Instruction, Single Data (SISD)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 34/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
g , g ( )
Komputer serial(non-paralel)
Hanya satu instruksi yangdijalankan oleh CPUdalam satu siklus waktu
Hnaya satu data yangdigunakan sebagain inputdalam satu siklus waktu
Eksekusi deterministik
Contoh: PC single-core,mainframe generasi lama
SISD
Pengolahan Paralel
@2012,Eko DidikSingle Instruction, Multiple Data (SIMD)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 35/49
@2012,Eko DidikWidianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
g p ( )
Tipe komputer paralel
Semua processing unit(PU) mengeksekusiinstruksi yang sama dalamsatu waktu
Tiap PU memproses dapatberoperasi dengan datayang berbeda
SIMD
Untuk problem spesial: pemrosesan grafik
Sinkronous dan eksekusi deterministik Tipe: prosesor array, vector pipeline
Contoh: Komputer dengan GPU
Pengolahan Paralel
@2012,Eko DidikMultiple Instruction, Single Data (MISD)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 36/49
@ ,Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Data tunggal diolah olehbeberapa PU
Tiap PU mengolah datasecara independen
Contoh: komputer
experimen Carnigie Mellon(1971)
MISD
Beberapa penggunaan:
Operasi pemfilteran frekuensi secara multiple dari sinyal
tunggal Penerapan algoritma kriptografi multipe untuk memecah
satu pesan terkode (ciphertext)
Pengolahan Paralel
@2012,Eko DidikMultiple Instruction, Multiple Data (MIMD)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 37/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Hampir semua komputer
modern masuk kategoriMIMD
Tiap prosesor mungkinmengeksekusi instruksiyang berbeda
Tiap prosesor mungkinmengolah data yangberbeda
MIMD
Eksekusi bisa sinkronous atau asinkron, deterministik ataunon-deterministik
Eksekusi deterministik di sistem paralel menjadi objek riset
Contoh: multicore PC, cluster computer, grid computer
Pengolahan Paralel
@2012,Eko DidikTerminologi
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 38/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Task adalah bagian-bagian kerja komputasional, bisaberupa program atau set instruksi
Parallel task adalah suatu task yang dapat dieksekusi olehmulti prosesor
Pengolahan paralel: penggunaan multi prosesor secarasimultan
Cluster komputer: kombinasi prosesor/komputerkomoditas sejenis untuk membangun sistem paralel
Symmetric Multi Processor (SMP): arsitektur multiprosesor yang sharing satu space alamat tunggal (shared memory computing)
Dikontrol oleh OS tunggal Di multicore, arsitektur SMP diaplikasikan ke core
Supercomputing: menggunakan mesin tercepat untukmenyelesaikan suatu problem besar
Pengolahan Paralel
@2012,Eko DidikWidi
Bahasan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 39/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
TerminologiPemrosesan Serial vs ParalelKebutuhan KomputasiBenefit Pengolahan ParalelAplikasi Pengolahan Paralel
Konsep Pengolahan ParalelArsitektur KomputerTaksonomi FlynnArsitektur Memori Paralel
Umpan Balik
Lisensi
Pengolahan Paralel
@2012,Eko DidikWidi t
Arsitektur Memori Komputer Paralel
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 40/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Arsitektur memori paralel:
1. Shared memory: prosesor dapat mengakses semuamemori sebagai space alamat global
1.1 Uniform Memory Access (UMA)
1.2 Non-Uniform Memory Access (NUMA)
2. Distributed memory: prosesor mempunyai memori lokalsendiri. Inter-prosesor memori perlu networking
3. Hybrid distributed-shared memory: menggunakan shareddan distributed
Pengolahan Paralel
@2012,Eko DidikWidianto
Process, Thread, Multi-CPU
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 41/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
(source:
http://www.javamex.com/tutorials/threads/how_threads_work.shtml)
Baca juga: Understanding Memory(http://www.ualberta.ca/CNS/RESEARCH/LinuxClusters/mem.html)
Alokasi memori: text, data (initialized ), BSS (uninitialized ),
heap (dinamically ) dan stack
Pengolahan Paralel
@2012,Eko DidikWidianto
Shared Memory (UMA)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 42/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Karakteristik: semua prosesor dapat mengakses semuamemori sebagai ruang alamat global
Multi prosesor dapat beroperasi secara independennamun sharing memori Perubahan di lokasi memori oleh satu prosesor dapat
dilihat oleh prosesor lain
Prosesor identik, misalnya mesin SMP Upto 8 prosesor Mempunyai akses dan waktu akses yang
sama ke memori Kadang disebut CC-UMA (cache
coherent)
cache coherent: jika satu prosesor
update suatu lokasi di memori,semua prosesor mengetahuiupdate tsb
Koherensi dilakukan di level
hardware
Shared Memory (UMA)
Pengolahan Paralel
@2012,Eko DidikWidianto
Shared Memory (NUMA)
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 43/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Karakteristik: prosesor mempunyai bank alamat memori sendiri Prosesor dapat mengakses memori lokal dengan cepat, memori
remote lebih lambat
Meningkatkan throughput memori selama mengakses data
lokal
Seringkali dibuat dengan
menghubungkan secara fisik 2atau lebih SMP
Satu SMP dapat mengakses
memori secara langsung ke SMP
lain NUMA
Tidak semua prosesor mempunyai waktu akses yang sama ke memori Akses memori lewat bus interconnect lebih lambat
Jika cache coherence dilakukan, disebut CC-NUMA
Pengolahan Paralel
@2012,Eko DidikWidianto
Shared Memory: Kelebihan, Kekurangan
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 44/49
Widianto
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Kelebihan: Space alamat memori global menyediakan perspektif
pemrograman user-friendly ke memori Sharing data antar task cepat dan uniform karena dekatnya
memori ke CPU
Kekurangan: Tidak scalable. Menambah CPU dapat meningkatkan trafik
di jalur shared memory-CPU. Di cc-(N)UMA, pertambahan
trafik berkaitan dengan manajemen cache/memori Programmer bertanggung jawab untuk sinkronisasi yang
memastikan akses yang tepat ke memori global Akan bertambah semakin kompleks dan mahal seiring
bertambahnya jumlah prosesor
Pengolahan Paralel
@2012,Eko DidikWidianto
Distributed Memory
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 45/49
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Tiap prosesor mempunyai memori lokal sendiri
Sehingga prosesor dapatberoperasi secara independen
Perubahan ke lokal memori tidakmembawa efek ke memori lain
Konsep cache coherencetidak berlaku
Jika memerlukan interprosesor,
tugas programmer secara
eksplisit mendefinisikan
bagaimana dan kapan data akandikomunikasikan
Distributed
Pengolahan Paralel
@2012,Eko DidikWidianto
Distributed Memory
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 46/49
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Kelebihan:
scalable jumlah prosesor dan ukuran memori dapat ditingkatkan Tiap prosesor dapat mengakses memorinya tanpa interferensi dan
overhead, seperti di koherensi cache Cost effective: dapat menggunakan PC komoditas, off-the-self
processor
Kekurangan:
tugas programmer semakin kompleks terkait detail komunikasi data Mapping data struktur berbasis memori globlal bisa susah
Pengolahan Paralel
@2012,Eko DidikWidianto
Hybrid Memory
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 47/49
Pengolahan Paralel
Konsep PengolahanParalel
Arsitektur Komputer
Taksonomi Flynn
Arsitektur Memori Paralel
Umpan Balik
Lisensi
Terdiri dari arsitektur memori shared dan distributed
Komponen memori shared
biasanya mesin SMP koheren
Prosesor di mesin SMP
mempunyai akses global
ke memori mesin
tersebut
Komponen distributed adalah
jaringan SMP multiple
SMP hanya tahu
memorinya saja Komunikasi jaringan
diperlukan untukmemindahkan data dari
satu SMP ke lainnya
Hybrid
Trend ke depan menggunakan tipe arsitektur memori ini
Pengolahan Paralel
@2012,Eko DidikWidianto
Umpan Balik
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 48/49
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Yang telah kita pelajari hari ini:
Definisi pengolahan paralel, karakteristik dan sumber daya
komputing paralel Perbandingan antara pengolahan serial dan paralel Pemrosesan Paralel diperlukan untuk simulasi yang
computational-intensive
Benefit dan aplikasi pengolahan paralel Taksonomi Flynn: SISD, SIMD, MISD, dan MIMD Arsitektur memori paralel: shared, distributed, hybrid
Yang akan kita pelajari di pertemuan berikutnya adalahmodel pemrograman paralel: shared memory (thread) dandistributed (message-passing)
Pelajari: h t t p : / / d i d i k . b l o g . u n d i p . a c . i d / f i l e s / 2 0 1 2 /
0 2 / T S K 6 1 7 - K u l i a h 3 - M o d e l P e m r o g r a m a n P a r a l e l . p d f
Pengolahan Paralel
@2012,Eko DidikWidianto
Lisensi
7/16/2019 TSK617 Kuliah2 PengolahanParalel v2
http://slidepdf.com/reader/full/tsk617-kuliah2-pengolahanparalel-v2 49/49
Pengolahan Paralel
Konsep PengolahanParalel
Umpan Balik
Lisensi
Creative Common Attribution-ShareAlike 3.0 Unported (CCBY-SA 3.0)
Anda bebas: untuk Membagikan — untuk menyalin, mendistribusikan,
dan menyebarkan karya, dan untuk Remix — untuk mengadaptasikan karya
Di bawah persyaratan berikut:
Atribusi — Anda harus memberikan atribusi karya sesuai
dengan cara-cara yang diminta oleh pembuat karya
tersebut atau pihak yang mengeluarkan lisensi. Pembagian Serupa — Jika Anda mengubah, menambah,
atau membuat karya lain menggunakan karya ini, Anda
hanya boleh menyebarkan karya tersebut hanya denganlisensi yang sama, serupa, atau kompatibel.
Lihat: Creative Commons Attribution-ShareAlike 3.0Unported License