Embed Size (px)
Citation preview
Desmistificando Big Data: é possível manipular grandes bases de dados em R?
Samuel Macêdo
2
Definindo Big Data
- Volume- Velocidade- Variedade- Veracidade- Valor
3
Definindo Big Data
- Veracidade- Valor- Volume
4
Quem processa Big Data?
5
Arquitetura
6
Como funciona o R?
7
R roda Big Data?
Claro que NÃO
8
É possível trabalhar com Big Data em R?
DefinitivamenteSIM
9
E qual mágica?
10
Pacotes em R
- SparkR
11
Pacotes em R
- sparklyr
12
Invoke
\\ scala
package au.csiro.variantspark.api
class VSContext(val spark:SparkSession) {…}
\\ r
sparklyr::invoke_new(sc, "au.csiro.variantspark.api.VSContext", spark_session(sc))
13
Configuração
sparklyr::spark_install()
14
Eu preciso do R?
15
E porque R?
- Fácil
- Concentrado
- Aprender uma linguagem
16
Quando eu devo usar spark?
- Use o R sempre que possível!!!
- Spark em versão local
- Spark em cloud
17
Resumo
- Trate bem seus dados
- R como interface para o spark
- Só use spark quando realmente precisar
- E o principal…
É possível trabalhar em Big Data com R !!!
