Embed Size (px)
Citation preview
COMUNICAÇÃODIGITAL
CRP-0420
AULA 04: BIG DATA
PROGRAMA:4/8 - CONTEXTO
11/8 - PÓS-MODERNO E EMERGÊNCIA
18/8 - DEBATES 1
25/8 - BIG DATA
1/9 - DATA SCIENCE E LIVRE ARBÍTRIO
8/9 - SEMANA DA PÁTRIA
15/9 - INTELIGÊNCIA ARTIFICIAL
22/9 - VR, AR
29/9 - DEBATES 2
6/10 - IoT E SMART CITIES
13/10 - DATASFERA E DATACRACIA
20/10 - CIBERATIVISMO, HACK E CODE
27/10 - DEBATES 3
3/11 - EDUCAÇÃO
10/11 - INTERFACES
17/11 - UX/UI, VR, AR
24/11 - PECHA KUCHA 1
1/12 - PECHA KUCHA 2
BIG DATA
FUCKIN’ BIG DATA.
BIG FUCKIN’ DATA.
FERORMÔNIOTRANSAÇÕES ONLINE DEIXAM RASTRO OU
DIGITAL
DADOS ESTRUTURADOS PARA OPERAÇÕES AUTOMÁTICAS,
SÃO INFORMAÇÕES COM ALTO GRAU DE ORGANIZAÇÃO, DE FORMA QUE SUA INCLUSÃO EM UM BANCO DE
DADOS É TRANSPARENTE E FACILMENTE ACESSÍVEL.
NÃO ESTRUTURADOS JÁ OS DADOS
PARECEM FICÇÃO CIENTÍFICA: NÃO TEM UM MODELO DE REGISTRO, ESTÃO MISTURADOS OU NÃO ESTÃO
ORGANIZADOS DA FORMA ESPERADA, SUA LEITURA TEM IRREGULARIDADES E
AMBIGUIDADES QUE OS TORNAM DIFÍCIL DE ENTENDER POR VIAS TRADICIONAIS.
DADOSESTRUTURADOS
• 2.7 ZETABYTES NO MUNDO DIGITAL
• FACEBOOK ARMAZENA E ANALISA MAIS DE 30 PETABYTES DE DADOS GERADOS POR USUÁRIOS.
• AKAMAI (MÍDIA PUBLICITÁRIA) ANALISA 75 MILHÕES DE EVENTOS POR DIA PARA DESCOBRIR
OS MELHORES LOCAIS PARA ANÚNCIOS.
• A MAIOR BASE DE DADOS DA AT&T TEM UM BANCO DE DADOS DE 312 TERABYTES, COM 1,9 TRILHÕES DE ITENS, INCLUINDO REGISTROS TELEFÔNICOS.
DADOSNÃO ESTRUTURADOS
• A CADA MINUTO, USUÁRIOS DO YOUTUBE AGREGAM CERCA DE 300H DE NOVOS VÍDEOS.
• DROPBOX RECEBE DIARIAMENTE CERCA DE UM BILHÃO DE DOCUMENTOS.
• ESTIMA-SE QUE A PRODUÇÃO DE DADOS EM 2020 SERÁ 43 VEZES MAIOR DO QUE ERA EM 2009.
• A CADA SEGUNDO CERCA DE 6000 MENSAGENS ENVIADAS PARA O TWITTER, 500 MILHÕES/DIA.
• A NSA ESTÁ CONSTRUINDO UM DATA CENTER EM
UTAH COM CAPACIDADE ESTIMADA ENTRE 5 ZETTABYTES E "ALGUNS YOTTABYTES”
FACEBOOK:• 1,4 BILHÃO DE USUÁRIOS, 890 MILHÕES ATIVOS
DIARIAMENTE. 6% DO TEMPO GASTO NA INTERNET.
• 250 BILHÕES DE FOTOS, CRESCE A CERCA DE 350
MILHÕES POR DIA.
• USUÁRIOS COMPARTILHAM 4,75 BILHÕES DE ITENS DE CONTEÚDO E 10 BILHÕES DE MENSAGENS/DIA.
• EMPRESAS TEM CERCA DE 50 MILHÕES DE PÁGINAS ARMAZENADAS NO SERVIÇO DIGITAL.
• 100 TERABYTES DE DADOS ENVIADOS DIARIAMENTE PARA O FACEBOOK.
(DADOS DE 2015)
BASE DE DADOS:CPU DE COMPUTADOR VS.
COMO FUNCIONA?
BASE DE DADOS:ALIMENTAÇÃO DE UMA
1ª FASE: FUNCIONÁRIOS 2ª FASE: USUÁRIOS 3ª FASE: MÁQUINAS
MUITOS DADOSE QUANDO SE TEM
QUASE INSTANTÂNEOS?
YOUTUBE E FACEBOOKOU SEJA: COMO FAZEM
ENTRE OUTROS?
COMO EVITAR UMA SOBRECARGA DO SISTEMA?
TRANSFERIDOSOS DADOS NÃO SÃO
PARA O PROCESSADOR
PROCESSADORES DIVERSOS ANALISAM CONJUNTOS DE DADOS.
HADOOPTECNOLOGIAS DE BIG DATA:
COMMODITY HARDWARE(QUALQUER LINUX BOX COM JVM BASTA)
FLEXÍVEL, ESCALÁVEL E BARATA
É O LEGO DOS DATA CENTERS
MAPREDUCETECNOLOGIAS DE BIG DATA:
TABELA DE REFERÊNCIA (INDICA O QUE CADA MÁQUINA FAZ COM OS DADOS)
TODAS AS TRANSAÇÕES SÃO REGISTRADAS E ANALISADAS
POR PROCESSADORES EM PARALELO
REVOLUCIONAMHADOOP E MAPREDUCE
A ANÁLISE DE DADOS
RÁPIDOS (SEM ENTRADA E SAÍDA) COMPATÍVEIS (DADOS BRUTOS, CRUS) ARMAZENÁVEIS EM MEMÓRIA FLASH
TODAS AS TRANSAÇÕES SÃO REGISTRADAS E ANALISADAS.
BIG DATA:APRENDIZADO DE MÁQUINA E VISÃO COMPUTACIONAL
NOVO EMPIRISMO• TEORIA QUE DEFINE QUE O CONHECIMENTO
VEM PRIMARIAMENTE DA EXPERIÊNCIA.
• ELA ENFATIZA O PAPEL DA EVIDÊNCIA, DE PREFERÊNCIA SENSORIAL, NA FORMAÇÃO DAS IDEIAS SOBRE A NOÇÃO DE IDEIAS INATAS OU TRADIÇÕES.
• É A BASE DO MÉTODO CIENTÍFICO
BIG DATA: PREVISÕESAPLICA ANÁLISES ESTATÍSTICAS PARA ENORMES QUANTIDADES DE DADOS, A
FIM DE INFERIR PROBABILIDADES: PROCURAR OS MELHORES SINAIS E
PADRÕES À MEDIDA QUE MAIS DADOS SÃO ALIMENTADOS, O QUE LEVA A UMA NATURAL MELHORIA DE SEUS
RESULTADOS AO LONGO DO TEMPO.
RECOMENDAÇÕES• AMAZON: LIVRO IDEAL
• GOOGLE: WEBSITE MAIS RELEVANTE
• FACEBOOK: CONTEÚDOS COM BASE NAS
PREFERÊNCIAS DE SEUS USUÁRIOS
• WAZE: INDICAR CAMINHOS
• NETFLIX: NOVOS FILMES
• AS MESMAS TECNOLOGIAS PODERÃO SER APLICADAS PARA DIAGNOSTICAR DOENÇAS E
RECOMENDAR TRATAMENTOS.
SCHRÖDINGER: EFEITO
OBSERVAÇÃO E INFLUÊNCIA.
PRECISO?BIG DATA É
ISSO É RELEVANTE?
AMOSTRAGEM E ESCASSEZ
• A AMOSTRAGEM É FRUTO DE ESCASSEZ DE INFORMAÇÃO, TÍPICA DE TEMPOS ANALÓGICOS.
• AMOSTRAS MUITO MAIORES, NA ORDEM DE
BILHÕES DE REGISTROS, OU ATÉ A BASE DE DADOS INTEIRA, É POSSÍVEL VER DETALHES QUE AMOSTRAS PEQUENAS NÃO AVALIARIAM SEM UMA GRANDE MARGEM DE ERRO.
• BASES DE DADOS MAIORES DESOBRIGAM A BUSCA
POR EXATIDÃO. QUANDO O VALOR É ENORME, NÃO É POSSÍVEL NEM RELEVANTE CONTÁ-LO. O RESULTADO SATISFATÓRIO É APROXIMADO.
BIG DATA E EXATIDÃO
• PENSE NA QUANTIDADE DE AUTOMÓVEIS, CRIANÇAS OU ANIMAIS EM UMA CASA (VALORES PEQUENOS, DISCRETOS E IMPORTANTES) EM
COMPARAÇÃO COM O NÚMERO DE GRÃOS DE AREIA, MOLÉCULAS OU ESTRELAS.
• VOLUMES PEQUENOS PRECISAM SER COMPUTADOS COM EXATIDÃO. VALORES MUITO GRANDES PRECISAM DE UM SENSO DE DIREÇÃO GERAL, EM
VEZ DE SUA ANÁLISE EM DETALHE.
BIG DATA: DIREÇÃO GERAL
O QUE SE PERDE EM PRECISÃO NO NÍVEL MICRO, GANHA-SE EM
PERCEPÇÃO NO NÍVEL MACRO.
PRINCÍPIOS: IMPRECISÃO
• AUMENTAR O VOLUME FACILITA A INEXATIDÃO.
• NÚMEROS ERRADOS E AMOSTRAS CORROMPIDAS SEMPRE PENETRARAM CONJUNTOS DE DADOS.
• O QUE NUNCA FOI CONSIDERADO, APESAR DE INEVITÁVEL, ERA APRENDER A VIVER COM ELES.
• AO PARTIR DE AMOSTRAS PEQUENAS, BUSCAVA-SE A MAIOR PRECISÃO POSSÍVEL. EM AMOSTRAGEM, A BUSCA POR EXATIDÃO ERA
CRÍTICA, O QUE FAZIA COMPLETO SENTIDO.
• UM NÚMERO LIMITADO DE DADOS PODERIA INCORRER NA AMPLIFICAÇÃO DOS ERROS E REDUZIR A PRECISÃO DOS RESULTADOS GLOBAIS.
PRINCÍPIOS: CORRELAÇÃO
• CORRELAÇÕES QUANTIFICAM RELAÇÕES ESTATÍSTICAS ENTRE DOIS VALORES DE DADOS.
• CORRELAÇÃO FORTE: QUANDO UM DOS VALORES
DE DADOS MUDA, HÁ GRANDE PROBABILIDADE DO OUTRO TAMBÉM MUDAR.
• CORRELAÇÃO FRACA: QUANDO UM VALOR MUDA, O OUTRO POUCO SE ALTERA.
CORRELAÇÕES FORTES NÃO SÃO PERFEITAS.É POSSÍVEL QUE DOIS FATOS SE COMPORTEM DE FORMA SEMELHANTE POR COINCIDÊNCIA.
PRINCÍPIOS: REUTILIZAÇÃO
• ÀS VEZES O VALOR DE UMA BASE DE DADOS SÓ PODE SER DESENCADEADO QUANDO COMBINADO COM OUTRA, GERANDO RELAÇÕES IMPENSADAS.
• OS RESULTADOS NÃO ERAM DESCOBERTOS ANTES PORQUE A AMOSTRA ESTUDADA ERA PEQUENA, O PERÍODO DE TEMPO COBERTO ERA CURTO, OU OS DADOS NÃO ERAM MEDIDOS, MAS RELATADOS.
• COM BIG DATA A SOMA É MAIS VALIOSA DO QUE
SEUS COMPONENTES INDIVIDUAIS.
QUATRO Vs: VOLUMEO TAMANHO DA BASE DE DADOS DETERMINA O VALOR
E POTENCIAL DOS DADOS EM QUESTÃO. EXEMPLOS:
• TRANSAÇÕES ARMAZENADAS AO LONGO DOS ANOS
• INTERAÇÕES DE MÍDIA SOCIAL
• SENSORES E COMUNICAÇÃO MÁQUINA-A-MÁQUINA
• SE NO PASSADO O VOLUME EXCESSIVO DE DADOS GERAVA UM PROBLEMA DE ARMAZENAMENTO, COM
A DIMINUIÇÃO DOS CUSTOS OUTRAS QUESTÕES EMERGEM, COMO A RELEVÂNCIA DAS RELAÇÕES EM GRANDES VOLUMES DE DADOS.
QUATRO Vs: VELOCIDADE
• NOVOS DADOS SÃO ACUMULADOS A UMA VELOCIDADE SEM PRECEDENTES, PRECISAM
SER ADMINISTRADOS EM TEMPO HÁBIL.
• SISTEMAS DE BIG DATA PRECISAM LIDAR COM ENXURRADAS DE DADOS EM TEMPO QUASE REAL;
QUATRO Vs:VARIEDADE
• DADOS HOJE CHEGAM EM DIVERSOS TIPOS E FORMATOS. ESTRUTURADOS E NÃO-
ESTRUTURADOS, EM DIVERSAS MÍDIAS, FORMATOS, TAMANHOS E FORMAS DE INTERCONEXÃO.
• GERIR, FUNDIR E ADMINISTRAR DIFERENTES VARIEDADES DE DADOS É FUNDAMENTAL;
QUATRO Vs:VERACIDADE
• A QUALIDADE DOS DADOS CAPTURADOS PODE VARIAR MUITO.
• A PRECISÃO DA ANÁLISE DEPENDE DA QUALIDADE DOS DADOS DE ORIGEM.
MAIS Vs:• VARIABILIDADE - FLUXOS DE DADOS PODEM SER
ALTAMENTE INCONSISTENTES, TANTO EM VOLUME, COM PICOS PERIÓDICOS, QUANTO EM QUALIDADE.
• VALOR DA INFORMAÇÃO - INFORMAÇÕES PASSÍVEIS DE ANÁLISE E CONVERSÃO EM MATERIAL APLICÁVEL NA TOMADA DE DECISÃO.
• VIABILIDADE - A GESTÃO DE DADOS PODE SE TORNAR UM PROCESSO MUITO COMPLEXO. OS
DADOS TEM QUE SER CONECTADOS E CORRELACIONADOS, PARA QUE SEJA POSSÍVEL SE EXTRAIR A INFORMAÇÃO DESEJADA.
METADADOS • "DADOS SOBRE DADOS"
PODEM SER DE DOIS TIPOS:
• ESTRUTURAIS, DIZEM RESPEITO AO PROJETO E ESPECIFICAÇÕES DA ESTRUTURA DOS DADOS; E
• DESCRITIVOS, QUE DIZEM RESPEITO AO CONTEÚDO DOS DADOS.
• UMA DAS PRIMEIRAS APLICAÇÕES DE METADADOS FORAM FICHAS CATALOGRÁFICAS DE BIBLIOTECAS. À MEDIDA QUE A INFORMAÇÃO
TORNOU-SE CADA VEZ MAIS DIGITAL, METADADOS TAMBÉM PASSARAM A SER USADOS PARA DESCREVER DADOS DIGITAIS.
RADICAL.Precisamos de transparência
Quero saber QUEM usa meus dados,COMO e QUANDO.
PROPRIEDADECOMO RESOLVER O PROBLEMA DA
DOS DADOS?
IDENTIFICÁ-LOS COMPLETAMENTE PODE SER UMA SOLUÇÃO?
BOLHA DE FILTRO.ISSO SEM LEVAR EM CONTA A
LIBERDADE E PRIVACIDADE?
TUDO É MUITO LINDO, MAS COMO FICAM
BIG DATA, PARA TER VALOR, PRECISA SER BEM ADMINISTRADA.
ELA NÃO SIGNIFICA INFINITUDE
AUTOMÁTICA NEM SUBSTITUTO PARA A VISÃO. MUITO PELO CONTRÁRIO.
MÁS ANÁLISES PODEM GERAR RESULTADOS CATASTRÓFICOS.
VANTAGENS
VANTAGENS• DETECÇÃO DE FRAUDES - ANALISA TRANSAÇÕES
EM TEMPO REAL, IDENTIFICANDO PADRÕES DE COMPORTAMENTO ANÔMALO
• ANÁLISE DE REGISTRO DE CHAMADAS DE SUPORTE TELEFÔNICO – REGISTROS E DADOS DE
RASTREAMENTO PODEM SER BEM APROVEITADOS, IDENTIFICANDO OPORTUNIDADES DE OTIMIZAÇÃO DE DESEMPENHO INCREMENTAL;
• SEGMENTAÇÃO – PARA ENTENDER MELHOR OS CLIENTES, COMPORTAMENTOS E PREFERÊNCIAS.
AS EMPRESAS OS UTILIZAM PARA EXPANDIR BANCOS DE DADOS COM DADOS DE MÍDIA SOCIAL.
VANTAGENS• CRIAÇÃO DE MODELOS PREDITIVOS – GOVERNOS E
EMPRESAS OTIMIZAM CAMPANHAS UTILIZANDO ANÁLISE DE BIG DATA;
• COMPREENSÃO E OTIMIZAÇÃO DE PROCESSOS –OTIMIZAR VAREJO E DESCOBRIR TENDÊNCIAS, DE
MARKETING A LOGÍSTICA
• QUANTIFICAÇÃO PESSOAL – DE RELÓGIOS A PRIVADAS, SENSORES PODEM DAR A SEUS USUÁRIOS RICOS INSIGHTS. MAS O VALOR REAL ESTÁ NA ANÁLISE DOS DADOS COLETIVOS.
SERVIÇOS DE RELACIONAMENTO ONLINE APLICAM FERRAMENTAS DE BIG DATA E ALGORITMOS PARA ENCONTRAR OS PARES MAIS ADEQUADOS.
DESVANTAGENS
http://www.google.com.br/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&docid=_drQP5Vo8ilLpM&tbnid=4ioKWlxpf3DKaM:&ved=0CAUQjRw&url=http%3A%2F
%2F981theriver.com%2Fhand-picked%2F&ei=4zbZU8i8JpHgsASRy4HgDA&bvm=bv.
71778758,d.cWc&psig=AFQjCNHdbi0P8BkMh3YNi9xamMBcSFReWA&ust=1406830683992231
CEGUEIRA SISTÊMICA: A ILUSÃO DA
COMPREENSÃO.O que é correlação?
O que é coincidência?
O que é erro estatístico?
99,9% NÃO É 100%NÚMEROS SÃO MAIS FALÍVEIS DO QUE
APARENTAM. DADOS NÃO REPRESENTAM A VERDADE, SOMENTE UMA AMOSTRA ESTATÍSTICA.
MENSURAÇÃO E ANÁLISE DE DADOS
SÃO ÓTIMAS. SEM ELAS É QUASE IMPOSSÍVEL PROGREDIR. MAS É PRECISO CAUTELA NO USO.
A IGNORÂNCIA NUNCA É UMA BÊNÇÃO. OS BENEFÍCIOS DO CONHECIMENTO SÃO ÓBVIOS.
NÃO BASTACOLETAR OS DADOS
DEVE-SE REFLETIR E PLANEJAR NOVAS METAS PERIODICAMENTE, IDENTIFICANDO PADRÕES DE COMPORTAMENTO NOCIVOS E RECORRENTES NA
BASE DE DADOS E NO PESQUISADOR.
PROBLEMAS• REUTILIZAÇÃO DE DADOS
• RECOMBINAÇÃO DE DADOS
• PUNIÇÃO PREVENTIVA (PROFILING)
• SEGREGAÇÃO E PRECONCEITO
• PESSOAS VERSUS PREVISÕESDITADURA DE DADOS (FETICHE)
• RISCOS DE PRIVACIDADE E SEGURANÇA
• PRIVACIDADE VS. PRESTAÇÃO DE CONTAS
• CORRELAÇÃO NÃO É CAUSALIDADE.
DATACRACIA• BIG DATA PODE ÚTIL PARA A TOMADA DE DECISÕES
RACIONAIS. USADA DE FORMA IMPRUDENTE, PODE SE TORNAR UM INSTRUMENTO DE REPRESSÃO,
CONTROLE OU RETALIAÇÃO.
• DECISÕES ESTRATÉGICAS SÃO TIRADAS DE DADOS VÁLIDOS EM UM CONTEXTO VÁLIDO. QUANDO ALGUMA DESSAS CONDIÇÕES NÃO É VERDADEIRA OU NÃO PODE SER VERIFICADA, O RESULTADO PODE
SER, NO MÍNIMO, IRRELEVANTE. OU PIOR, PERIGOSO.
QUESTÃO ÉTICACOMO FICA A
DE BIG DATA?
DADOS:FONTE DE RENDAQUANDO VOCÊ NÃO PAGA PELO PRODUTO VOCÊ É O PRODUTO.
QUANDO PAGA TAMBÉM É.
DATA BROKERSFACEBOOK E GOOGLE SÃO BONZINHOS.
SÃO OS CORRETORES DE DADOS QUE OS COLETAM DADOS DE VÁRIAS
FONTES, EM GRANDE PARTE SEM CONHECIMENTO DE QUEM OS FORNECE.
DATA BROKERS COMBINAM DADOS ONLINE E OFF-LINE.
• COMBINAM E ANALISAM DADOS PARA FAZER INFERÊNCIAS, INCLUINDO RELAÇÕES POTENCIALMENTE SENSÍVEIS.
• ALEGAM TER: • INFORMAÇÕES SOBRE 1,4 BILHÃO DE TRANSAÇÕES
REALIZADAS E MAIS DE 700 BILHÕES ELEMENTOS DE DADOS AGREGADOS
• UM TRILHÃO DE DÓLARES EM TRANSAÇÕES DE CONSUMO;
• TRÊS BILHÕES DE NOVOS REGISTROS POR MÊS A SEUS
BANCOS DE DADOS;
• CERCA DE 3000 REGISTROS DE DADOS PARA QUASE TODOS OS CONSUMIDORES DOS ESTADOS UNIDOS;
ACXIOMFATURAMENTO ENTRE 800 MILHÕESE 1,1 BILHÃO DE DÓLARES POR ANO, O QUE REPRESENTA MAIS DE 12% DO SETOR DE MARKETING E SERVIÇOS
DIRETOS NOS EUA.
SERASAÉ UM DOS MAIORES CORRETORES DE
DADOS FINANCEIROS NO BRASIL. COMPRADO PELA IRLANDESA
EXPERIAN EM 2007.
EM 2014, A RECEITA DA FILIAL BRASILEIRA US$ 819 MILHÕES, 17% DO FATURAMENTO GLOBAL DA EMPRESA.
DADOS COLETADOS• DADOS DE IDENTIFICAÇÃO:
• NOME ANTERIOR, HISTÓRICO DE ENDEREÇO, TELEFONE, IDENTIFICAÇÃO
GOVERNAMENTAL, DATA DE NASCIMENTO DE CADA MEMBRO DA FAMÍLIA
• DADOS DEMOGRÁFICOS: • RAÇA E ETNIA, PAÍS DE ORIGEM, RELIGIÃO, LÍNGUA FALADA, PAI IDOSO,
CRIANÇAS, ESCOLARIDADE, LAÇOS FAMILIARES, DEMOGRAFIA DOS MEMBROS
DA FAMÍLIA EM CASA, NÚMERO DE SOBRENOMES EM CASA, CHEFE DE FAMÍLIA HISPÂNICO OU LATINO, EMPREGO E OCUPAÇÃO DE CADA MEMBRO DA FAMÍLIA, DURAÇÃO DA POSSE OU ALUGUEL DA RESIDÊNCIA, DISTRITO ELEITORAL,
FAMÍLIAS SOMENTE COM PAI OU MÃE, FILIAÇÕES RELIGIOSAS OU ÉTNICAS
• DADOS JURÍDICOS: • FALÊNCIAS, INFRAÇÕES PENAIS E CONDENAÇÕES, JULGAMENTOS, REGISTROS,
LICENÇAS (CAÇA OU PROFISSIONAL), IDENTIFICAÇÃO PARTIDÁRIA;
• DADOS DE TECNOLOGIA E MÍDIAS SOCIAIS: • COMPRAS DE ELETRÔNICOS, AMIGOS E CONEXÕES, TIPO DE CONEXÃO,
PROVEDOR DE ACESSO, NÍVEL DE USO E EXPERIÊNCIA, PARTICIPAÇÃO EM REDES SOCIAIS, MEMBRO DE MAIS DE 5 REDES SOCIAIS, INFLUENCIADOR ON-LINE,
SISTEMA OPERACIONAL, COMPRAS DE SOFTWARE, TIPO DE MÍDIA PUBLICADA
DADOS COLETADOS• DADOS RESIDENCIAIS E DE VIZINHANÇA:
• MORADIA PÚBLICA OU GOVERNAMENTAL, TIPO DE HABITAÇÃO, AQUECIMENTO E
REFRIGERAÇÃO, VALOR DA RESIDÊNCIA, HIPOTECA E JUROS, TAMANHO DA CASA, CRIMINALIDADE NO BAIRRO, NÚMERO DE CÔMODOS, ANO DE CONSTRUÇÃO
• DADOS DE INTERESSE GERAL: • PREFERÊNCIAS DE VESTUÁRIO, PARTICIPAÇÃO EM EVENTOS ESPORTIVOS,
DOAÇÕES, HÁBITO DE JOGO - CASINOS, LOTERIAS, ACONTECIMENTOS DA VIDA (APOSENTADORIA, CASAMENTO, GRAVIDEZ), ASSINATURAS DE REVISTAS, CANAIS DE TV ASSISTIDOS, ANIMAIS DE ESTIMAÇÃO, INCLINAÇÕES POLÍTICAS,
CELEBRIDADES DE PREFERÊNCIA, GÊNEROS DE FILME E MÚSICA PREDILETOS, HOBBIES, ESTILO DE VIDA (MOTOCICLISMO, OUTDOOR / CAÇA E TIRO, NATIVO,
NEW AGE / ORGÂNICO), MEMBRO DE MAIS DE 5 SITES DE COMPRAS, DADOS FINANCEIROS, INADIMPLÊNCIA, CATEGORIA DE CRÉDITO DO CARTÃO, DIFICULDADES FINANCEIRAS, NÍVEL DE RENDA, CRÉDITO ATIVO
• DADOS DO VEÍCULO: • PREFERÊNCIAS DE MARCA, RENOVAÇÃO DO SEGURO, MARCA E MODELO,
NÚMEROS DE IDENTIFICAÇÃO DE CADA VEÍCULO DE PROPRIEDADE, PROPENSÃO À COMPRA DE VEÍCULO NOVO OU USADO, PROPRIETÁRIO DE MOTOCICLETA,
DATA DE AQUISIÇÃO, INFORMAÇÕES DE COMPRA, INTENÇÃO DE COMPRA
DADOS COLETADOS• DADOS DE VIAGENS:
• PREÇO MAIS ALTO PAGO POR UMA VIAGEM, DATA DA ÚLTIMA VIAGEM,
PASSAGEIRO FREQUENTE, PROPRIEDADE DE FÉRIAS, TIPO DE FÉRIAS (CASINO, TIME SHARE, CRUZEIROS), DESTINO PREFERIDO, COMPANHIA AÉREA PREFERIDA
• DADOS DE COMPORTAMENTO DE COMPRA: • MONTANTE GASTO EM BENS, FORMA DE PAGAMENTO PREFERIDO, CANAL DE
PREFERÊNCIA (INTERNET, CORREIO, TELEFONE), TIPO DE ENTRETENIMENTO COMPRADO, TIPO DE ALIMENTOS ADQUIRIDOS, MÉDIA DE DIAS ENTRE COMPRAS, ÚLTIMA COMPRA (ON-LINE E OFF-LINE), COMPRAS EM CATÁLOGOS POPULARES E
ENCOMENDAS EM CATÁLOGOS DE ALTO PADRÃO, TAMANHOS DAS ROUPAS, VOLUME E TIPO DE LIVROS COMPRADOS
• DADOS DE SAÚDE: • PROPENSÃO A BUSCA POR DADOS DE SAÚDE, DOENÇAS E PRESCRIÇÕES ONLINE,
FUMANTE EM CASA, SUPRIMENTOS GERIÁTRICOS, USO DE LENTES CORRETIVAS, ALERGIAS, PLANO DE SAÚDE INDIVIDUAL, USUÁRIO DE SAÚDE PÚBLICA, MARCA
MAIS USADA DE REMÉDIO, PERDA DE PESO E SUPLEMENTOS, COMPRAS EM TÓPICOS DE SAÚDE INCLUINDO: ALERGIAS, ARTRITE, COLESTEROL, DIABETES, DIETA, FISICULTURISMO, MEDICINA ALTERNATIVA, PRODUTOS DE BELEZA,
REMÉDIOS HOMEOPÁTICOS, ORTOPEDIA ETC
FONTE: GOVERNO• A. GOVERNO FEDERAL
• CENSO: DEMOGRAFIAS DE BAIRROS, COMO A ETNIA, IDADE, NÍVEL DE ESCOLARIDADE, COMPOSIÇÃO FAMILIAR, RENDA, OCUPAÇÕES, E O TEMPO DE DESLOCAMENTO. ESTRADAS, ENDEREÇOS, DISTRITOS ELEITORAIS E LIMITES DAS
CIDADES, MUNICÍPIOS, SUBDIVISÕES, E DISTRITOS DE VOTO
• ADMINISTRAÇÃO DE SEGURIDADE SOCIAL: NOMES DE CONSUMIDORES,
REGISTROS FEDERAIS (EQUIVALENTES A CPFS) E DATAS DE ÓBITO
• SERVIÇO POSTAL: ENDEREÇO E MUDANÇAS
• FBI E SERVIÇO SECRETO: LISTAS DE TERRORISTAS E CRIMINOSOS PROCURADOS;
• AGÊNCIAS FEDERAIS E INTERNACIONAIS: INDIVÍDUOS INELEGÍVEIS PARA RECEBER CONTRATOS COM O GOVERNO OU OUTROS BENEFÍCIOS
• TRIBUNAIS FEDERAIS FORNECEM INFORMAÇÕES SOBRE FALÊNCIAS
FONTE: GOVERNO• B. GOVERNOS ESTADUAIS E MUNICIPAIS:
• LICENÇAS PROFISSIONAIS (PILOTOS, MÉDICOS, ADVOGADOS, ARQUITETOS)
• LICENÇAS RECREATIVAS (CAÇA E PESCA)
• IMÓVEIS E REGISTROS: IMPOSTOS, PATRIMÔNIO, DÉBITOS, HIPOTECAS,
INFORMAÇÕES SOBRE PROPRIEDADES (ÁREA, CÔMODOS, BENEFÍCIOS)
• INFORMAÇÕES ELEITORAIS (NOME, ENDEREÇO, E FILIAÇÃO PARTIDÁRIA);
• REGISTROS: DE VEÍCULOS, JUDICIAIS, CRIMINAIS, AÇÕES CÍVEIS E JUÍZOS, CERTIDÕES DE NASCIMENTO, CASAMENTO, DIVÓRCIO E ÓBITO.
• NA MAIOR PARTE DAS VEZES OS CORRETORES DE DADOS CONTRATAM PESSOAS PARA VISITAR REGISTROS LOCAIS E COMPILAR A INFORMAÇÃO.
FONTE: COMERCIAL• DADOS ESPECÍFICOS DE TRANSAÇÕES DETALHADAS SOBRE
COMPRAS DIRETO DE VAREJISTAS. POR EXEMPLO: • SAPATOS DE LUXO, ALIMENTOS NATURAIS, CREME DENTAL, ITENS
RELACIONADOS A DEFICIÊNCIAS OU PROBLEMAS ORTOPÉDICOS), O VALOR DA COMPRA, A DATA E O TIPO DE PAGAMENTO UTILIZADO. VÁRIOS DOS
CORRETORES DE DADOS TAMBÉM OBTER INFORMAÇÕES DE EDITORAS DE REVISTAS SOBRE OS TIPOS DE ASSINATURAS VENDIDAS.
• OUTRAS FONTES: • LISTAS DE CLIENTES DE SITES DE VAREJO, NOTÍCIAS E VIAGENS, COMPRAS
RELACIONADAS À SAÚDE
• EMPRESAS DE TELEFONIA
• EMPRESAS DE SERVIÇOS BANCÁRIOS
• CONCESSIONÁRIAS DE VEÍCULOS E CORRETORES DE IMÓVEIS
• GRANDES VAREJISTAS
• PESQUISAS DE MARKETING, REGISTROS DE GARANTIA, CONCURSOS.
AXCIOM VS. NSAQUAL É PIOR?
VIESES E HEURÍSTICAS
DANIEL KAHNEMAN: • DOIS MODOS DE PENSAMENTO:
• SUBCONSCIENTE, RÁPIDO, EMOCIONAL, AUTOMÁTICO, FREQUENTE, INSTINTIVO E
ESTEREOTÍPICO; E
• CONSCIENTE, MAIS LENTO, DELIBERATIVO, CALCULADO, LÓGICO E POUCO FREQUENTE.
HEURÍSTICAS: ATALHOS MENTAIS
INFERIMOS RESULTADOS A PARTIR DA EXPERIÊNCIA VIVIDA.
VIESES: ERROS NOS ATALHOS
NEM SEMPREO CAMINHO MAIS RÁPIDO É O MELHOR
VIESES:• ANCORAGEM
• O CÉREBRO HUMANO BUSCA POR COMPARAÇÕES. PONTOS DE REFERÊNCIA PARA
DEFINIR TAMANHOS, PESOS, PREÇOS, CONFORTO, VIABILIDADE ETC. PREÇOS MUITO ALTOS EM UM CARDÁPIO, PODEM LEVAR SEUS CLIENTES A CONSIDERAR OS
VALORES MENORES COMO OPORTUNIDADES
• DISPONIBILIDADE • JULGAMOS A PROBABILIDADE DE EVENTOS DE ACORDO COM A FACILIDADE DE
IMAGINÁ-LOS."SE ALGO PODE SER IMAGINADO, DEVE SER IMPORTANTE." A
PERCEPÇÃO DAS CONSEQUÊNCIAS ASSOCIADAS A UMA AÇÃO ESTÁ DIRETAMENTE RELACIONADA À PERCEPÇÃO DE SUA MAGNITUDE
• SUBSTITUIÇÃO • SUBSTITUIR UMA IDEIA OU QUESTÃO DIFÍCIL POR OUTRA MAIS SIMPLES.
JULGAMENTO INTUITIVO AUTOMÁTICO, EM VEZ DO REFLEXIVO.
• OTIMISMO E AVERSÃO À PERDA • O VIÉS OTIMISTA GERA A ILUSÃO DE CONTROLE, QUE PODE TER UMA UTILIDADE
NA ADAPTAÇÃO DA ESPÉCIE AOS DIFERENTES AMBIENTES. O OTIMISMO PROTEGE
O INDIVÍDUO DA AVERSÃO À PERDA, A TENDÊNCIA DE TEMER A PERDA MAIS DO QUE SE VALORIZA OS GANHOS.
VIESES:• ENQUADRAMENTO (FRAMING)
• AS PESSOAS REAGEM A UMA ESCOLHA DE ACORDO COM O CONTEXTO EM QUE
ELA É APRESENTADA
• CUSTOS IRRECUPERÁVEIS • QUANDO UMA DESPESA JÁ FOI REALIZADA E NÃO PODERÁ SER RECUPERADA, A
MAIORIA CONTINUA A INVESTIR EM VEZ DE RECONSIDERAR. NÃO É
SURPREENDENTE QUE O MERCADO TENHA DIFICULDADES EM SE COMPORTAR DE MANEIRA QUE OS ECONOMISTAS CONSIDERARIAM "RACIONAL".
• VIESES COGNITIVOS • “ATALHOS” DE PENSAMENTO, COMO EXCESSO DE CONFIANÇA; PESSIMISMO;
EFEITO PLACEBO; RACIONALIZAÇÃO PÓS-COMPRA; PROCRASTINAÇÃO; RECIPROCIDADE; E ESTEREÓTIPOS.
VIESES COGNITIVOS:• APOIO À ESCOLHA
• TENDÊNCIA A SE SENTIR BEM APÓS UMA TOMADA DE DECISÃO POR TER RESOLVIDO
UM CONFLITO
• AVESTRUZ • AVERSÃO A FATOS PERIGOSOS OU NEGATIVOS
• CLUSTERING • BUSCAR PADRÕES EM EVENTOS ALEATÓRIOS
• CONFIRMAÇÃO • ESCUTAR SOMENTE A INFORMAÇÃO QUE CONFIRMA CERTEZAS E PRECONCEITOS
• CONFORMIDADE • ADAPTAÇÃO AO GRUPO
• CONSERVADORISMO • DAR PREFERÊNCIA A FATOS ANTERIORES DO QUE A ELEMENTOS QUE OS CONTESTEM
VIESES COGNITIVOS:• DESCOMPASSO DE EMPATIA
• QUEM ESTÁ EM UM ESTADO DE ESPÍRITO NÃO CONSEGUE ENTENDER QUEM ESTÁ
EM OUTRO ESTADO DE ESPÍRITO
• DISPONIBILIDADE HEURÍSTICA • SUPERESTIMAR A IMPORTÂNCIA DA INFORMAÇÃO DISPONÍVEL
• EXPECTATIVA • INFLUENCIA INCONSCIENTEMENTE A PERCEPÇÃO DE UM RESULTADO
• FREQUÊNCIA • PALAVRA, PESSOA OU OBJETO QUE SE ACABOU DE APRENDER PARECE ESTAR
EM TODOS OS LUGARES
• HALO • UM ATRIBUTO POSITIVO DE ALGUÉM É ASSOCIADO COM A PESSOA COMO UM
TODO
• MANADA • ADOTAR UMA CRENÇA COM BASE EM SUA POPULARIDADE
VIESES COGNITIVOS:• NEGAÇÃO DE DURAÇÃO
• A DURAÇÃO DE UM EVENTO TRAUMÁTICO É MENOSPREZADA
• NEGATIVIDADE • COLOCAR MAIS ÊNFASE EM EXPERIÊNCIAS NEGATIVAS DO QUE
POSITIVASPERCEPÇÃO SELETIVA
• EXPECTATIVAS INFLUENCIAM A VISÃO DE MUNDO
• PONTO CEGO • DEIXAR DE RECONHECER VIESES COGNITIVOS
• RESULTADO • JULGAR DECISÕES COM BASE EM SEUS RESULTADOS, MESMO QUE TENHAM SIDO
EFEITO DE SORTE A PARTIR DE DECISÕES IMPRUDENTES, TÍPICOS DE HISTÓRIAS VISTAS EM RETROSPECTO
• RETORNO IMEDIATO • PARECE MAIS INTERESSANTE DO QUE UM GANHO MAIOR NO FUTURO;
FIM
TAREFAS:
PALESTRAS TED:HANS ROSLING: LET MY DATASET CHANGE YOUR MINDSET
DAVE DEBRONKART: MEET E-PATIENT DAVE ALESSANDRO ACQUISTI: WHAT WILL A FUTURE WITHOUT
SECRETS LOOK LIKE? JOEL SELANIKIO: BIG-DATA REVOLUTION IN HEALTHCARE
JESSICA DONOHUE: THE UP-SIDE OF DATA CHRISTOPHER SOGHOIAN: GOVERNMENT SURVEILLANCE —
THIS IS JUST THE BEGINNING ANNE MILGRAM: WHY SMART STATISTICS ARE THE KEY TO
FIGHTING CRIME
MALTE SPITZ: YOUR PHONE COMPANY IS WATCHING
LEITURASDATABASE NATION - CAPS 2, 8, 11
TAMING THE BIG DATA TIDAL WAVE - CAPS 3 E 4 DATACLYSM - CAPS 13, 14
SOCIAL PHYSICS - CAPS 1, 3, 10 BIGA DATA: A REVOLUTION - CAPS 2, 3 E 9
FICÇÃOTHE TRUMAN SHOW MINORITY REPORT
ENEMY OF THE STATE
DOCUMENTÁRIOS:HORIZON: THE AGE OF BIG DATA THE HUMAN FACE OF BIG DATA
THE WALL STREET CODE
