Arkitektuera e Warehouse Computing Server

7/28/2019 Arkitektuera e Warehouse Computing Server

1/18

Arkitektuera e Warehouse computing server

Brezi i ardheshem per bashkimin e ambineteve per depot e kompjuterave.

Pika 1

Strukture e detajuar e percaktimit

Performance e detajuar

Kosto

Modelet e power (energjise)

Pika 2

Volumin e perberesve te nonserver ne

menyren e paketimit

Ndarja e kujteses

Disku flash-base ne Cashe


2/18

Sektori I internetit ka nje rritje te shpejte ne te gjithe tregun e serverave. Infrastruktura e serverit

te internetit ka me mijera perdorues te cilet perdorin me qindra mijera servera. Kostot

motivojne cmimet e mallrave dhe efikasitetin e energjise, gjithashtu reflekton edhe ne vendimet

per te levizur karakteristikat hardware ne raftet e palikimit.

Projekti jone synon te ndermarre nje

fside:

Infrastrukture te detajuar te vleresimit per ngarkesen e

workhouse computing

Performancen e detajuar

Koston

Modeli I Power Modeli I Metriks

Jane identifikuar 4 fusha kyce:

CPU

Paketimi

Memorie

Disk

Zgjidhja e propozuar ka karakteristikat e

meposhteme:

Kosto e ulet

Komponente te ulet energjie

Volum I larte

Hapesire e levizshme ne zgjidhjen e paketimit

Ndarja e memories

Flash disk cache


3/18

Mjedisi i vleresimit

Nje nga pengesat ne studimin e arkitekturave te reja per mjediset warehouse ka qene mungesa e

mundesise per tu futur ne ngarkesat e punes ne sektorin e internetit.

Per te kryer kete studim eshte krijuar nje pike referimi me 4 ngarkesa qe perfaqesojne sherbime

te ndryshme ne qendrat e te dhenave ne sektoret e internetit.

WEBSEARCH (kerkimi ne internet)

Perfaqesuese e te dhenave te pastrukturuara

ne ngarkesen e punes ne internet

Kerkesat me volum te madh te behen brenda

pak sekondave.

Si pike referimi eshte marre nje Nutch engine

ne drejtim te serverit Tomcat dhe APACHE.

Fjalet kyce jane bazuar ne nje shperndarje

ZIPF te frekuences se fjaleve te indeksuara.

Performanca matet me numrin e kerkesave

per sekonde (RPS-requested per second), percilesine e krahasueshme te Sherbimit te

Garanciv e (QoS-quality of service)

WEBMAIL (adresimi)

Perfaqeson sherbimet interaktive ne internet

duke perdorur Web 2.0 aplikim.

Perdor PHP bazuar ne SquirrelMail server qe

eshte ne krye te APACHE.

Serverat SMTP dhe IMAP jane instaluar ne nje

makine qe perdorin korierin imap dhe exim.

(veprim,taria perbehet nga sekuenca e : login,

lexim email dhe attachment,

pergjigje/forward/delete/move, shkruaj dhe

dergo)

Performanca matetsi numer I RPS per garanci te

krahasueshme QoS.


4/18

YTUBE

Eshte perfaqesues I Web 2.0 per tendencat e

perdorimit te mediave te pasura (fotogtafi,video)

Pika jone e referimit behet sipas

SPECweb2005(korporata e vleresimit te

standartit te performances) krahasuar me

karakteristikat e verejtura ne servera.

Keshtu modifikojme faqe,fotografi, madhesite e

shkarkesave dhe zgjerojme kerkesen QOS persjelljen e modelit. Modelet jane modeluar sipas

nje shperndarje ZIPF.

Performanca matet si numri I kerkesave per

sekonde, duke siguruar qe shkeljet QoSjane te

ngjashme ne te gjithe veprimit.

MAPREDUCE model programimi per perpuniminne grupe te medha te te dhenave.

Eshte perfaqeuese e ngarkeses se pune qe

perdorin Web-in si platforme. Modelon drejtimin e nje grupi pune

offline qe grumbullon te dhena te llojit te

pershtatshem per stilin e llogarise.

Perdor opensource Hadoop dhe drejton

dy aplikime :

1. Marpreduce-WC (numerim te fjaleve mbi njepermbledhje te madhe 5Gb)

2. Mapreduce Write (mbush sistemin e dosjes me fjale te

rastesishme)

Performanaca matet si shuma e kohes per te kryer

detyren. Ngarkesa perfshin te dyja :CPU dhe IO (hyrje-

daljet)


5/18

Tabela 1: Permbledhje e detajeve qe prezantojne ngarkesen e internetit.

Workload Emphasize Description Perf metricwebsearch the role of unstructured data Open source Nutch-0.9, Tomcat 6 with clustering, and Apache2. 1.3GB

index corresponding to 1.3 million indexed documents, 25% of index terms

cached in memory. 2GB Java heap size. QoS requires >95% queries take

95% requests take


6/18

Figura 1: Modelet e kostos dhe deshtimeve.


7/18

Metriks dhe Modele

(Karakteristika e vecante e ecurise se nje programi dhe Modelet)

Metriks

Celesi i performances/cmimi metrik per mjedisin esektorit te internetit eshte ecuria e qendrueshme (Perf) e

ndare nga kostoja totale e pronesise ( shkurt njihet si

TCO- $).

Per performancen perdorim perkufizimin specifik si ne

tab1

Per koston totale perdorim koston qe lidhen me bazen

hardware, fuwine e rendeses, ftohjen dhe gjendjen

reale.

Te tjera metrikse jane:

1. Performance-per-Watt (Perf/W) , njesia matese e

energjise

2. Kosto specifike per Infrastrukture (Perf/inf- $),

performanca e kostos specifkie

3. Performanca e kostos per fuqi dhe ftohje, (Perf/P&C-$ ).

Modeli i kostos

Dy komponentet kryesore te modelit tone te kostos

jane:

(1) shpenzimet baze te hardware,

Kemi parasysh ketu komponente si: CPU, memorie, disk, bord,

energji dhe ftohje (Power&Cool).

I grumbullojme keto kosto ne nivelin dysheme, dhe e

konsiderojme kosto shtese te mbylljes ne ate nivel. Te

dhenat I marrim n ga kompani te ndryshme.

(2) shpenzimet baze te energjise se renduar dhe shpenzimet

e ftohjes.

Kemi dy nenkomponente.:

Ne fillim ne perllogarisim konsumin dysheme te nivelit te

energjise (konsumi P), e cila llogaritet si (CPU,

memorie, disk, energji-dhe-ftohje) dhe pjesa tjeter e

bordit ne nivel per server.

Se dyti, u perdor konsumi P si input per te percaktuar koston e

renduar te energjise.

PowerCoolCost (kostoja e energjise se ftohjes) = (1 + K1+L1 +K2 * L1) * Us,

grid * Pkonsumi

Ky model e konsideron energjine renduar dhe kostot e

ftohjes te perbera nga shpenzimet e energjise elektrike

ne nivel dysheme, kostot e infrastruktures se

amortizuar per shperndarjen e energjise (K1), kostot e

energjise elektrike per ftohje (L1) dhe shpenzimet e

amortizuara te kapitaleve per infrastrukturen e ftohjes

(K2) .


8/18

Vleresimi i performances:

Per te vleresuar performancen,eshte perdorur nje simulim COTSon i HP Labs, i cili eshte i bazuar ne

infrastukturen e AMD SimNow. Ky eshte nje sistem i plote i vlefshem per simulatoret x86/x86-64 qe mund

te startoje nje Linux OS (sistem operativ linux) te pamodifikuar dhe te ekzekutoje aplikacionet komplekse.

Simulatori pershtet ne nje procesor 64-bit Debian Linux.


9/18

3. Projektimi i Serverit te Ri

3.1 Analiza e kostos dhe menyrat eMarrjes se te Dhenave.

Figura 1(a) liston kostot ekomponenteve hardware,fuqine bazete konsumit, dhe kostot e renduara teenergjise dhe ftohjes per dykonfigurimet e serverave ekzistuese

(srvr1 dhe srvr2).

Figura 1(b) paraqet nje diagrame terrumbullaket te shpenzimeve totaleper srvr2 e ndare si infrastruktura(HW) dhe energjia e renduar dheftohjes (P&C).

Figura 1: Modelet e kostos dhe deshtimeve.

Te dhenat tona tregojne disa drejtime interesante. Se pari, kostot e energjise dhe ftohjes jane te krahasueshme me kostot e

hardware. Kjo eshte ne perputhje me studimet e fundit nga Ngarkesat e punes te sektorit te internetit qe theksojne te njejten

tendence .Per me teper, hardware CPU dhe energjia dhe ftohja CPU jane dy komponentet me te medha te shpenzimeve totale (duke

kontribuar 20% dhe 22% respektivisht). Megjithate, mund te shihet se nje numer i komponenteve te tjere kontribuojne se bashku ne

menyre te barabarte ne shpenzimet e pergjithshme. Si rrjedhoje, per te arritur me te vertete performanca bindese, zgjidhjet duhet te

adresojne komponente te shumta ne menyre teresore.

Me poshte, shqyrtojme nje zgjidhje te tille teresore.


10/18

Ne menyre te vecante,konsiderojme kater ceshtje kryesore:

1. A Mund te zvogelojme shpenzimet epergjithshme nga CPU (hardwaredhe energji), duke perdorur vellimine larte me kosto te ulet dhe energjite ulet (por edhe me performance-te ulet ) te procesoreve Non-server?

2. A mund te zvogelojme shpenzimet eenergjise se renduar nga zgjidhjet e

paketimit?

3. A mund te zvogelojme shpenzimet e

pergjithshme per Memorjen, duke

bere ndarjen e kujteses?

4. A mund te zvogelojme shpenzimet epergjithshme per komponentin disk

duke perdorur disqe me energji me

te ulet (por edhe performance te

ulet), mundesisht me zhvillim jo te

paqendrueshem te Memorjes?


11/18

Ti pergjigjemi seciles nga keto pyetje ne hollesi nuk eshte e mundur brenda

kufizimeve te hapesires te ketij projekti.

Se pari do te vleresojme, nese fitimet e konsiderueshme jane te mundshme ne

secilen nga keto fusha, kur arkitektura shihet nga perspektiva e ansamblit dhe jo si

nje koleksion i sistemeve individuale.

dhe

Se dyti, ne qofte se kombinimi i permiresimeve ne secilen prej ketyre fushavemund te coje ne nje dizajn te pergjithshem qe permireson ndjeshem gjendjen aktuale

te artit.

Me poshte,do vleresojme secilen prej ketyre ideve ne menyre te izoluar (pika

3.2 - 3.5), dhe pastaj marrim ne konsiderate perfitimet neto kur keto zgjidhje jane

perdorur se bashku (pika 3.6).


12/18

3.2 Energjia-e ulet, kostoja-e ulet te CPU-ve

Ndersa serverat per bazat e te dhenave jane fokusuar tradicionalisht ne marrjen e

performances me te larte per serverin, natyra e shkallezimeve te sektorit te internetit lejon

per nje fokus mbi ecurine e $ duke shfrytezuar sistemet qe ofrojne nje performance

superiore.

Ne te vertete, botime nga kompanite e medha te sektorit te internetit te tilla si Google

shfaqin dobine e ndertimit te serverave duke perdorur pjese nga personal kompjutera

desktop.

Intuita eshte se vellimi drejton koston.

Ne krahasim me serverat qe kane nje treg te kufizuar dhe kufijte me te larte te cmimeve, PC

tregon te kete nje treg shume me te medha qe lejon per cmime me te ulta.

Pervec kesaj, keto procesore nuk perfshijne kostot shtese per karakteristika si mbeshtetje

multiprocessor dhe te avancuara qe jane bere te teperta nga mbeshtetja e besueshmerise ne

rafte software per Ngarkesat e punes te sektorit te internetit.

Per studim jane marre ne konsiderojme gjashte konfigurime te ndryshme te sistemit (Tabela

2).


13/18

Tabela 2: Permbledhje e sistemeve te marra ne konsiderate.

System "Similar to" System Features Watt Inf-$Srvrl Xeon MP, Opteron MP 2p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 340 3,294Srvr2 Xeon, Opteron 1p x 4 cores, 2.6 GHz, OoO, 64K/8MB L1/L2 215 1,689Desk Core 2, Athlon 64 1p x 2 cores, 2.2 GHz, OoO, 32K/2MB L1/L2 135 849Mobl Core 2 Mobile, Turion 1p x 2 cores, 2.0 GHz, OoO, 32K/2MB L1/L2 78 989Emb1 PA Semi, Emb. Athlon 64 1p x 2 cores, 1.2 GHz, OoO, 32K/1MB L1/L2 52 499Emb2 AMD Geode, VIA Eden-N 1p x 1 cores, 600MHz, inord.,32K/128K L1/L2 35 379Srvr1perfaqeson sistemet e serverave me nivel te mesemSrvr2perfaqeson sistemet e serverave mefund te ulet

tavolina(desk) perfaqeson sistemet e serverave desktop,

moblparaqet sistemet mobile

emb1 perfaqeson nje sistem te ilustruar te nivelit te mesem

emb2 perfaqesojne nje sistem te ilustruar te nivelit fund te uletTe gjitha serverat e kane memorjen 4GB, duke perdorur teknologjite e:

FB-DIMM (srvr1, srvr2),

DDR2 (desk, mobl, emb1) ose

DDR1 (emb2).

Srvr1 ka nje disk 15k RPM dhe nje 10 Gigabit NIC, ndersa te gjithe te tjeret kane nje disk 7.2k RPM dhe

nje 1 Gigabit NIC.


14/18

Figura2:Permbledhje e perfitimeve nga perdorimi me kosto te ulet te ulet te energjise se CPU nga

shitja e jo serverave.

Ndarjet e kostove te infrastruktures dhe te energjise te

ngarkuar dhe kostot e ftohjes

(c)Performanca, dhe fuqia e kostos


15/18

3.3 Kompaktet Dhe Ngrohja Totale

Pas proccesorit, efikasiteti i munguar ne sistemin e ftohjes eshte nje faktor tjeter me i madh i kostos.

Sistemet me engjersi te ulet ofrojne mundesine per bordet me forme faktor te vogel, e cila nga ana tjeter lejon

nje optimizim te sistemit te ftohjes.

Per studim jane marre Serverat Blade, pasi jane shume te njohur ne treg.

Hyrje-e dyfishte me drejtim mbylljeje me airflow:

Figura 3 (a) tregon se si nje nivel server mbylljeje mund teriprojektohet per te mundesuar blades (brisqet) per t'u futurnga para dhe prapa qe te bashkengjiten ne nje midplane(Plante mesem). Intuita eshte celesi per ndarjen e rrjedhjes se ajrit,dhe do te lejoje ajrin e ftohte per tu drejtuar vertikalishtneper blades. Kjo eshte bere duke rritur volumin e rrethuarper te krijuar nje gji nga Plenumi i Hyrjes(hapesira e hyrjes)

dhe deri te Plenumi i shkarkimit, dhe per te drejtuar rrjedhjene ajrit ne drejtimet e treguara nga shigjeta ne foto. Rrjedhja eajrit eshte ruajtur neper te gjitha blades ne menyre paralele

nga plenum i konsumit.

Bordi i nivelit te heqjes se ngrohjes:

Figura 3 tregon nje dizajn te paketimit. Ne sisteme me energji

te ulet, mund te konsiderojme blades me forme faktore

shume me te vogla qe jane te integruara ne blades

konvencionale qe i pershtatet ne nje hapesire me te vogel. Si

eshte paraqitur ne figuren 3(b), ne propozojme nje skeme

inovative paketimit qe agregatet e energjise te shperndajne

komponentet ne pajisje dhe ne nivel pakete. Modulet e

serverave me forme faktor me vogel jane pershpjetuar metuba te ngrohjes planare qe transferojne ngrohjen ne nje

percueshmeri efektive tri here me te larte ne vendin qendror

se ajo prej bakri. Ngrohja totale eshte larguar me nje lavaman

ngrohjeje me te madhe te optimizuar qe mundeson

kanalizimin qe rrjedh permes nje lavamani ngrohes te vetem

ne krahasim me lavamane te shumte e te shperndare te

ngrohjes. Perueshmeria e rritur dhe zona e rritur per

nxjerrjen e nxehtesise on ne ftohje me efikase.

Figura 3: Arkitektura e re e propozuar e ftohjes. Ftohjet e grumbulluara dhe te ngjeshura mund te ulin shpenzimettotale pa ndikuar ne performance.


16/18

3.4 Ndarja e memories

Kostot e MEMORJES dhe te energjise jane nje pjese erendesishme e paraqitjes se sistemi

ne nje nivel datacenter, mund te jete e veshtire per tezgjedhur sasine e duhur te Memorjes ne cdo server.

Kerkesat e memorjes neper Ngarkesat e punesndryshojne shume, dhe studimet e fundit kane treguarse masat per-server per ngarkesat e pikut mund te cojene mbledhje te rendesishem te nivelit te paparashikuar.

Projekti yne ofron nje grumbullim memorie e cila eshte endare midis te gjithe serverave te bashkangjitur.

Arkitektura themelore: Projekti yne eshte ilustruar ne Figuren4 (a). Cdo server Blade ka nje memorje te vogel lokale, dheserverat e shumta jane te lidhura me nje memorje Blade, ecila ofron nje grumbullim te memorjes dhe trajton hyrjet nenje faqe me mase te imet. Brenda nje mbyllje te vetme,serveri dhe Memorja Blade jane te lidhura nepermjet nje vije

me shpejtesi te larte dhe te brendshem.Nje kontrollues hardware ne memorjen Blade trajtonmenaxhimin e Blade, dergimin dhe marrjen faqe per faqe ngaprocesori blades, ndersa zbaton alokimin per-server tememories per te siguruar sigurine dhe izolimin e gabimeve.

(a) Arkitektura e memories Blade

(b) Ngadalsime duke prdorur zvendsim t rastit pr 25% t

nivelit t par madhsin e kujtess

(c) Kostoja neto dhe fuqia efficiencies

Figura 4: Arkitektura e ndarjes se memories dhe rezultati.


17/18

3.5 Flash disk si cache-me fuqi te

ulet.

Ky seksion trajton perfitimet nga perdorimi Ienergjise te ulet te disqeve laptop. Pervec

energjise te ulet, keto kane te miren e nje faktorime forme te vogel duke lejuar ngjeshjen madheper ftohje agreguar (si ne piken 3.3), por vijne meperfitime te performances me te ulet dhe cmimme te larte.

Pervec kesaj kemi shqyrtuar perdorimin eteknologjise jo te luhateshme flash.Sic shihet neTabelen 3(a), Flash ka fuqi te deshirueshme,

performance, dhe karakteristikat e kostos qeperputhen me qellimet tona. Megjithate, nje ngakufizimet e perdorimit te flash eshte se ai"lodhet" pas 100.000 shkrimeve , materialeve qeruhen (duke supozuar teknologjine aktuale).

Rezultatet tona ne Tabelen 3 (b) tregojne sevetem duke perdorur disqe laptop me energji teulet nuk eshte e dobishme nga pikepamja e

performances e $ per kriteret tona. Humbja neperformancen dominon kursimet ne energji.Megjithate, duke perdorur nje disk cache flasheshte ne gjendje te siguroje nje permiresim teperformances

Tabela 3:.Diksu me fuqi te ulet , ne memorien Cache

(a) Lista e parametrave te te flash dhe disk.

(b) Kosto neto dhe eficensa e fuqise.


18/18

3.6 Vendosja e te gjitha se bashku

Dy harta te unifikuara: Bazuar nevezhgimet e mesiperme, nekonsiderojme dy arkitektura te reja per

sektorin e internetit. Dizajn jone N1perfaqeson nje zgjidhje praktike neafatshkurter, ai perdor blade celularme hyrje te dyfishte te rrethimit dheairflow drejtuar, por nuk perfshinshkembimin e kujteses ose flash diskcaching baze me disqe te levizshme.Design yne N2 perfaqeson nje zgjidhje

te mundshme afatgjate, ai perdorblades te ngulitur me ftohje teagreguar duke vendosur ne nje murme drejtim te rrjedhjes se ajrit. Neperdorim ndarjen e kujteses dhe disqetme flash disk caching baze me energjite ulet ne distance per te lejuar ketenivel te kontaktit. Disa nga ndryshimete kerkuara per te marre konfigurimin

N2 komponentet doganore, kanemundesi te behen kosto-efektivebrenda pak viteve me volum ne ketetreg.

Figura 5: Kosto dhe fuqia efikase per dy dizajne te unifikuar qe sjellin se bashku zgjidhje individuale.

Vleresimi: Figura 5 tregon se si dy zgjidhjet tona sigurojne

permiresime te konsiderueshme te kostos dhe efikasitetin e

energjise ne krahasim me sistemin srvrlbaze. Duke u ndalur

ne provat e ytube dhe mapreduce, performance/TCO-$

(Figura 5) permireson zgjidhjen aktuale te gjenerates (Nl)

dhe zgjidhjen e gjenerates se ardhshme (N2). Figura 5 tregon

se keto perfitime jane njesoj nga kostot e infrastrukturesdhe kursimeve te energjise.

Documents

Arkitektuera e Warehouse Computing Server