Upload
imalik8088
View
73
Download
0
Embed Size (px)
Citation preview
Hadoop EinführungDev Friday
Frankfurt
Every 2 Days We Create As Much Information As We Did Up To 2003
Eric Schmidt
Weltweit
MongoDBHadoopCassandra
Google Trends
Deutschland
MongoDBHadoopCassandra
Google Trends
Einführung Hadoop Ausblick
Einführung
Big Data3V
Volume
Data in Rest
Velocity
Data in Motion
Variety
Data in Many Forms
Scale up vs. Scale outmany “small” nodesBig single node system
Advantages
Problems
• Transparent for database system • Management complexity constant
• Expensive hardware • Limited scalability
Advantages
Problems
• Less expensive hardware • High scalability
• Load balancing necessary • Distributed lock and replication
protocols • Increased management complexity • Data distribution necessary • Increased error rate
Key-Value-Datenbanken Dokumentenorientierte Datenbanken
Spaltenorientierte Datenbanken Graph Datenbanken
Hadoop
Sqoop
Oozie
Flume
Hadoop Pig
HBase
Mahout
Drill
LuceneHive
SparkAmbari
HDFS
HCatalog
Kafka
Yarn
MapR
Zookeeper
Cassandra
Spark
CO
MPU
TE,
SEAR
CH
ANAL
YTIC
S,
MAC
HIN
E L.
PERS
IST
MO
NIT
OR,
AD
MIN
ISTE
RD
ESC
RIBE
, D
EVEL
OP
ING
EST,
PR
OPA
GAT
E
Mahout Drill
OozieAmbari
FlumeKafka Sqoop
Pig
HBase
Hive
HDFS MapR
HCatalog
Lucene
Zookeeper
Cassandra
Spark
Name Node Secondary Name Node
Data Node Data Node ….. Data Node
Periodic check point
Master
Slave
HDFS
Name Node Secondary Name Node
Data Node Data Node ….. Data Node
Name Node verwaltet Verzeichnisse, Dateien im HDFS und Blöcke in den Data Nodes
Data Nodes enthalten die eigentlichen Dateien und sind zuständig die Auslieferung der Dateien für die Anfragen.
Master
Slave
Second. NN überprüft periodisch den NN und logt die checkpoints um den NN bei Absturz neuzustarten.
HDFS
Job Tracker
Task Tracker Task Tracker ….. Task Tracker
Master
Slave
Map Reduce
Job Tracker
Task Tracker Task Tracker ….. Task Tracker
Master
Slave
Job Tracker verwaltet die Jobs und Ressourcen im Cluster
Task Tracker eigentliche Ausführung von MapReduce-Jobs zuständig.
Map Reduce
http://2.bp.blogspot.com/-o6GdA8CBDv0/T-g_H8Dso6I/AAAAAAAAAY4/B21YgDYvxM8/s1600/MR.png
Map Reduce
Demo
Ausblick
http://de.hortonworks.com/products/hortonworks-sandbox/#install
Ersten Schritte…Download Hortonworks Sandbox
5GB
DankeAkhlaq Malik