Embed Size (px)
Citation preview
Faculdade de Engenharia da Universidade do Porto
Big Data Aplicações e Desafios
Projeto FEUP 2016/2017 – MIEIC:
Manuel Firmino Torres José Magalhães Cruz
Equipa 1MIEIC03_3:
Supervisor: Jorge Barbosa Monitora: Anaís Dias
Estudantes e Autores:
Christopher Abreu [email protected] Duarte Faria [email protected]
Duarte Oliveira [email protected] Maria Soares [email protected]
Maria Viana [email protected] Ricardo Teixeira [email protected]
Resumo O termo Big Data tem sido muito falado recentemente, no entanto não existe
uma definição específica do que é Big Data . Ainda assim, este conceito aparece
sempre relacionado com 5 fatores essenciais, os “5 V’s”: Volume, Variedade,
Velocidade, Valor e Veracidade. Estes 5 V’s são ambos as características e os
desafios que as tecnologias de Big Data enfrentam. No entanto, existem mais
desafios, como a segurança e as questões morais da privacidade.
As tecnologias de Big Data podem ser usadas em diversos contextos, como no
mundo empresarial, nas indústrias, e até mesmo na ciência e na saúde. No entanto, o
custo de desenvolvimento e de implementação de tais tecnologias continua muito
elevado, mas ainda assim é um dos mercados em mais rápida expansão mundial, e
poderá vir a mudar o estilo de vida das populações.
Palavras-Chave Big Data, tecnologias, dados, 5 V’s, volume, variedade, velocidade, valor, veracidade, desafios, segurança, privacidade, empresas, indústria, social media, saúde, ciência, economia, áreas governamentais, dados estruturados, dados não-estruturados.
2
Big Data - Aplicações e Desafios
Índice
Introdução……………………………………………………………………………………..4
O que é a Big Data?............................................................................................................................5
Aplicação de Big Data em diversos contextos……………………………………………6
- Contexto Empresarial………………………………………………………………6 - Indústrias…………………………………………………………………………….7 - Redes Sociais……………………………………………………………………….8 - Saúde……………………………………………………………………………….10 - Ciência……………………………………………………………………………...11 - Economia…………………………………………………………………………..13 - Áreas Governamentais…………………………………………………………...16
Os desafios técnicos e tecnológicos……………………………………………………..22
Outras aplicações possíveis do serviço Big Data………………………………………25
Privacidade e segurança…………………………………………………………………..25
Superprodução e subconsumo…………………………………………………………...26
A nossa sugestão para o uso da Big Data………………………………………………27
Conclusão…………………………………………………………………………………...28
Bibliografia…………………………………………………………………………………..29
3
Big Data - Aplicações e Desafios
Introdução: De uma ou outra forma, o termo Big Data tem sido um tópico muito popular nos
dias de hoje. No entanto, ainda não existe um conceito sólido sobre o que realmente é
a Big Data . Mesmo em palestras, existe por vezes definições completamente
diferentes de o que é a Big Data , mas ela é principalmente resumida a 5 fatores
essenciais, ou os “5 V’s”: Volume, Variedade, Velocidade, Valor e Veracidade.
(Gordon, 2013)
De uma forma ou de outra, podemos dizer que big data são grupos de dados
que são tão grandes ou tão complexos que as aplicações tradicionais para
processamento de dados são inadequadas para lidar com eles. Os desafios que se
enfrentam são sempre relacionados com os “5 V’s” falados anteriormente, e incluem a
análise, captura, procura, armazenamento, visualização, transferência e privacidade.
(Cavanillas et al , 2016 http://link.springer.com/book/10.1007%2F978-3-319-21569-3)
Apesar de todas as vantagens económicas e competitivas que as tecnologias
de Big Data podem trazer para as organizações, muitas preocupações surgem, como
em que ponto é que estas coletas de dados por empresas passam a linha da invasão
de privacidade, como por exemplo quando uma aplicação regista qual o restaurante a
que uma certa pessoa vai e a que horas. Muitos afirmam que pode ser o início de uma
sociedade ao estilo “Big Brother”.
4
Big Data - Aplicações e Desafios
O que é a Big Data ? O nome de Big Data já teve muitos usos e por vezes significados muito
distintos, mas acaba sempre por rodar à volta de uma combinação das cinco seguintes
características:
• Volume – a quantidade de dados que precisam de ser armazenados e analisados é
suficientemente grande para serem necessárias condições especiais, pois os métodos
de armazenamento tradicionais não conseguem absorver tanta informação, ou não
performam de forma adequada, e os custos tornam-se demasiado elevados.
• Variedade – a variedade dos dados consiste em diversos tipos de informações e de
fontes variadas. Aqui precisamos de considerar os dados estruturados tradicionais,
mas também os semi-estruturados como documentos e os dados não-estruturados,
que podem ser fotografias ou qualquer outra forma de dados binários.
• Velocidade – a velocidade com que estas informações são produzidas faz com que
sejam necessárias grandes capacidades de processamento, e processar dados
antigos e/ou desatualizados não são úteis para a organização que a utiliza, pelo que é
necessário manter um fluxo constante de dados.
• Valor – os dados recebidos tem de ter um real ou potencial valor, e que traga
benefícios para a sua própria organização, caso contrário tornam-se uma despesa
desnecessária.
• Veracidade – a veracidade dos dados pode ser avaliada, mas nem sempre isto é
uma tarefa fácil, pois no meio de tanta informação torna-se difícil identificar falsidades
ou mesmo simples erros de escrita ou cálculo.
5
Big Data - Aplicações e Desafios
Aplicações do uso de Big Data O aparecimento de Big Data aumentou tanto a procura de especialistas em
gestão e manuseamento de dados que a Software AG, Oracle Corporation, IBM,
Microsoft, SAP, EMC, HP e Dell já gastaram mais de 15 biliões de dólares em firmas
que se especializam nessas áreas. Em 2010, esta indústria valia mais de 100 biliões
de dólares, e crescia cerca de 10% ao ano, quase o dobro que as empresas de
software no global (The Economist, 2010).
Num mundo cada vez mais desenvolvido, a quantidade de informação
produzida aumenta exponencialmente. Existem cerca de 4.6 bilhões de telemóveis
subscritos mundialmente, e como se sabe, muita gente tem mais do que um telemóvel,
pelo que este número ainda pode crescer muito, para os 7 biliões de pessoas que
existem no planeta. Além disso, entre 1 e 2 biliões de pessoas usa a internet (The
Economist, 2010).
Com tanta informação disponível e com cada vez mais formas de a obter mais
facilmente, as tecnologias de Big Data podem ser cada vez melhor aplicadas aos mais
diversos contextos, desde o comércio à saúde, passando pela indústria, ciência e até
os próprios governos dos diversos países.
Contexto Empresarial Como referido anteriormente, a grande maioria da pesquisa e de
desenvolvimento de tecnologias nesta área é financiada pelas grandes empresas e é
para as grandes empresas. As empresas procuram sempre uma vantagem sobre os
seus concorrentes, e as tecnologias de análise de Big Data fazem isso mesmo, dão
uma vantagem competitiva às empresas, visto que com base na informação que
recebem são capazes de fazer decisões mais informadas, e por isso com um risco
muito mais reduzido, levando à tomada de melhores decisões.
6
Big Data - Aplicações e Desafios
Exemplo da Big Data em ação: UPS
Sendo uma empresa com muitos ativos e encomendas constantemente em
movimento, a UPS armazena grandes quantidades de dados - sendo que muitos deles
vêm de sensores dos seus veículos. Estes dados não somente monitoram o
desempenho diário, mas também desencadeiam uma grande reformulação de
estruturas nas rotas dos motoristas da UPS. A iniciativa foi chamada de ORION
(On-Road Integration Optimization and Navigation), e até se pode considerar como um
dos maiores projetos de pesquisa operacional do mundo. Este projeto dependeu
fortemente dos dados de mapas on-line para reconfigurar em tempo real as cargas e
descargas dos motoristas.
O projeto levou a uma poupança de mais de 8,4 milhões de litros de
combustível, cortando 85 milhões de milhas de rotas diárias. A UPS estima que
cortando apenas uma milha por dia de cada motorista, economiza US $30 milhões
para a empresa, portanto as economias financeiras são substanciais. (SAS, 2016)
Indústrias Sendo uma tecnologia emergente, espera-se que a Internet das Coisas
(Internet of Things em inglês, ou IoT) ofereça soluções promissoras para transformar o
funcionamento e o papel de muitos sistemas industriais existentes, como os sistemas
de transporte e sistemas de manufatura. Por exemplo, quando a IoT é usada para a
criação de sistemas de transporte inteligentes, a autoridade de transporte será capaz
de rastrear a localização de cada veículo, acompanhar o seu movimento, e prever a
sua localização futura e eventual tráfego rodoviário. O termo IoT foi inicialmente
proposto para se referir a objetos conectados interoperáveis exclusivamente
identificáveis com a tecnologia de identificação por radiofrequência (RFID). Mais tarde,
os investigadores fundiram a IoT com mais tecnologias, como sensores, atuadores,
dispositivos GPS e dispositivos móveis. Hoje, uma definição regularmente aceite para
a Internet das coisas é uma infraestrutura de rede global dinâmica com capacidades
de auto-configuração com base em protocolos de comunicação padrão e
interoperáveis, onde "coisas" físicas e virtuais têm identidades, atributos físicos e
7
Big Data - Aplicações e Desafios
personalidades virtuais e usam interfaces inteligentes, e são perfeitamente integradas
na rede de informação.
Especificamente, a integração de sensores e atuadores, etiquetas RFID e
tecnologias de comunicação servem como base da Internet das Coisas, e explicam
como uma variedade de objetos físicos e dispositivos à nossa volta podem ser
associados à Internet, de forma a permitir que esses objetos e dispositivos cooperem e
comuniquem para alcançar objetivos comuns.
Há um interesse crescente nas tecnologias que sustentam a Internet das
Coisas em várias indústrias. Uma série de projetos industriais relacionados com a IoT
têm sido conduzidos em áreas como a agricultura, a indústria de processamento de
alimentos, meteorologia, vigilância de segurança, entre outros (Li Xu et al , 2014)
Redes Sociais
A quantidade de informação agora disponível para ser processada, para
analisar todos os temas possíveis, é imensa e está a crescer a todos os segundos.
Face a esta imensidão de dados, um dono de um negócio individual ou um
comerciante que trabalhe com base nas redes sociais pode se sentir incapaz para
fazer alguma coisa com tanta informação, quanto mais fazer algo produtivo. Mas com
qualquer mudança ou evolução repentina, com um pouco de ajustamento e de
estratégia, pode ajudar até a mais pequena das empresas a competir com as
multinacionais e absorver esta gigantesca quantidade de informação a seu favor.
Redes Sociais são exemplos de Big Data
O conceito fundamental a entender é que as redes sociais é parte do Big Data .
Ou seja, as redes sociais é uma das fontes mais importantes. De acordo com
especialistas da indústria, 90 por cento dos dados disponíveis no mundo foram
8
Big Data - Aplicações e Desafios
recolhidos nos últimos dois anos , e além disso, 80% dos dados vêm de fontes "não
estruturadas", como as redes sociais.
Se Big Data é a água que derrama para fora de sua torneira, em seguida, as
redes sociais é o reservatório de onde fluxo vem. Pode-se argumentar, portanto, que o
fluxo interminável de conteúdo nas redes sociais é de facto o que permitiu que as
análises de dados do passado aumentasse para Big Data .
O conteúdo é a informação. Mas também são os pontos de vista, gostos,
ações, segue, retweets, comentários e downloads. As redes sociais permitem que os
comerciantes vejam a vida de uma história de uma forma até agora impossível de
imaginar. Então, quando pensamos em Big Data em relação às redes sociais, é
preciso primeiro perceber que eles não estão separados.
As redes sociais não é apenas uma opção para as empresas, mas um
componente necessário para o sucesso. Por isso, qualquer análise de dados de
marketing das redes sociais, para ser eficaz, deve ser visto num contexto mais amplo
para uma melhor integração de uma empresa no mercado, Brand engagement , e
métricas de investimento.
Felizmente, esta inseparabilidade dos meios de comunicação social e Big Data
cria novas estratégias de marketing. Por um lado, a enorme amplitude e o alcance de
Big Data permite a criação de abordagens mais previsíveis para análise. Isso significa
que os comerciantes podem agora avaliar a eficácia de uma futura estratégia, em vez
de confiar exclusivamente no desempenho passado. Isto irá promover o
desenvolvimento de novas abordagens para prever o comportamento do cliente, e
pode ajudar a limitar a quantidade de despesas e perda de tempo em testes que um
comerciante teria que executar. Um relatório da McKinsey & Company , por exemplo,
revelou que, utilizando Big Data, um negócio de retalho pode potencialmente aumentar
as margens operacionais mais de 60 por cento.
9
Big Data - Aplicações e Desafios
Saúde A “saúde digital” encontra-se cada vez mais garantida tanto em termos de
sanidade pública como privada e esta abrange um amplo número de inovações e
ferramentas que permitem oferecer atenção médica personalizada. É cada vez mais
extenso o uso de sensores, dispositivos móveis e outro tipos de ferramentas para receber
informação, permitir realizar estatísticas, desenhar estratégias, realizar diagnósticos e
elaborar tratamentos com maior detalhe e sofisticação. (FHF, 2014)
Contextos:
http://www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf
Dados obtidos através de dispositivos móveis, submetidos quer por
trabalhadores especializados em saúde, quer por pessoas que são analisadas até à
sua exaustão, são uma ferramenta crucial para perceber a as tendências da saúde
populacional ou mesmo parar surtos. Quando agrupados em registos de saúde
electrónicos individuais, estes dados não só estimulam a continuidade de cuidado da
saúde dos individuais, como podem ser usados para serem criados grandes conjuntos
de dados em que o seu tratamento e resultado pode ser comparado de uma maneira
mais eficiente e económica do que os métodos tradicionais.
Ao analisar padrões de utilizadores de telemóvel, uma equipa de
investigadores de São Francisco é capaz de profetizar a magnitude de um surto de
uma doença do outro lado do mundo. Semelhantemente, as agências de ajuda
humanitárias veem antecipadamente sinais preocupantes de secas numa remota área
do Sahara, permitindo à agência começar o mais cedo possível a mobilizar os seus
recursos e salvar muitas vidas.
A saúde pública oferece uma das áreas mais convincentes onde a análise de
dados móveis e da internet podem levar a grandes ganhos. A Global Viral Forecasting
Initiative (GVFI), fundada em S. Francisco, usa avançados métodos de análise de
dados ao analisar informação extraída da internet para identificar detalhadamente a
localização, origens e o que levou à propagação do surto antes de se tornarem
10
Big Data - Aplicações e Desafios
epidemias globais. Esta técnica consegue prever surtos até uma semana antes das
organizações que usam métodos tradicionais.
Utilizar uma nova recolha de dados e métodos de análise, pode ser muito
menos dispendioso e um modo mais eficiente de desenvolver um mercado mais
inteligente para grandes organizações tais como o Banco Mundial que já gasta
milhões de dólares todos os anos em estatísticas relacionadas com as necessidades
dos mais pobres. Ainda assim, existem vários problemas que precisam de ser
resolvidos antes de o puzzle ficar completo.
Ciência As experiências do Large Hadron Collider representam cerca de 150 milhões
de sensores fornecendo dados 40 milhões de vezes por segundo.
Como resultado, a trabalhar com menos do que 0,001% do fluxo de dados dos
sensores, o fluxo de dados de todas as quatro experiências do LHC representam 25
petabytes por ano antes da sua recreação (em 2012). Isto torna-se cerca de 200
petabytes após a recreação.
Se toda a data sensorial fosse gravada no LHC (Large Hadron Collider), o fluxo
de dados seria extremamente difícil de se trabalhar. O fluxo de dados excederia os
150 milhões de petabytes por ano, ou quase 500 exabytes por dia, antes de
replicação. Para pôr o número em perspectiva, isto equivale a 500 quintilhões (5×1020)
bytes por dia, quase 200 vezes mais que todas as outras fontes combinadas no
mundo.
O Square Kilometre Array é um radiotelescópio construído por milhares de
antenas. Espera-se que esteja operacional em 2024. Coletivamente, estimam-se que
estas recolham 14 exabytes e armazenem 1 petabyte por dia. É considerado um dos
mais ambiciosos projetos científicos alguma vez tentados.
Genética
A questão é em parte uma questão da escala dos conjuntos de dados de hoje
em dia. Administrar essa quantidade massiva de bits forçou cada vez mais empresas,
11
Big Data - Aplicações e Desafios
indústrias e campos de trabalho a se deslocarem para centros de dados de escala
industrial e com tecnologias de rede de informação de ponta. Mas os conjuntos de
dados também estão a ficar cada vez mais complexos. Por exemplo, quando os
cientistas estudam o funcionamento interno da célula, eles recolhem dados das
sequências dos genes, sequências de proteínas, a estrutura e função das proteínas,
interações biomoleculares e por aí adiante.
Não admira que mesmo os cientistas mais inteligentes vêm como um alívio as
novas ferramentas avançadas de recolha de dados, e a colaboração da comunidade
on-line e técnicas sofisticadas de visualização.
A falta de normas, por exemplo, confunde muito um cientista que tenta
aproveitar a diversidade de conhecimento que já está disponível em qualquer tópico
que ele escolha nesta área.
Em biologia, por exemplo, a “Gene Ontology Consortium” passou a última
década a elaborar descrições consistentes de produtos de genes em diferentes bases
de dados. Enquanto isso, os recursos disponibilizados pela “Mouse Genome
Informatics” é uma boa demonstração dos desafios e soluções da complexidade.
Agências de financiamento têm sido lentas para apoiar as infra-estruturas para os
dados e esta é uma mudança cultural que precisa de acelerar - embora os esforços
recentes dos “EUA National Science Foundation” e da alemã DFG sejam um bom
começo. Mas acima de tudo, essas normas requerem o apoio de pesquisadores, que
devem adotar-las e implantá-las de forma consistente. Isso necessita de um grau de
comprometimento intelectual e prático para algo que pode parecer-se com
contabilidade tediosa.
Pesquisa
Quando o Sloan Digital Sky Survey (SDSS) começou a recolher dados
astronômicos em 2000, acumulou mais nas primeiras semanas do que todos os dados
recolhidos na história da astronomia. Continuando a uma taxa de cerca de 200 GB por
noite, SDSS acumulou mais de 140 terabytes de informação. Em 2020 quando o Large
Synoptic Survey Telescope, sucessor do SDSS, tiver on-line, os seus criadores
esperam adquirir essa quantidade de dados a cada cinco dias.
A descodificação do genoma humano levou inicialmente 10 anos para
processar, mas agora pode ser feita em menos de um dia. Os sequenciadores de ADN
12
Big Data - Aplicações e Desafios
têm dividido o custo de sequenciação por 10.000 nos últimos dez anos, que é 100
vezes mais barato do que a redução do custo previsto pela Lei de Moore.
O centro da NASA para simulação climática (NCCS) armazena 32 petabytes de
observações climáticas e simulações sobre o aglomerado de supercomputação da
Discover.
A DNAStack do Google compila e organiza amostras de ADN de dados
genéticos do mundo inteiro para identificar doenças e outros defeitos médicos. Estes
cálculos rápidos e exatos eliminam quaisquer erros no processo, ou erros humanos
que poderiam ser feitos por um dos muitos especialistas de ciências e biologia que
trabalham com o ADN. A DNAStack, parte do Google Genomics, permite aos
cientistas usar as vastas fontes de informação do servidor de busca do Google para
acelerar experiências sociais que normalmente levariam anos, mas que agora são
instantâneas.
Economia Ao longo dos últimos anos, o Big Data conseguiu acelerar o desenvolvimento
da economia.
A ascensão da economia industrial nos Estados Unidos é feita através do
fornecimento de bases de dados de algumas instituições. Como por exemplo, as
agências de crédito que recolhem informações sobre pessoas e empresas, com o
objetivo de saber se se pode financiar ou não estas entidades. Com estes dados, as
empresas e as pessoas conseguem ter maior confiança nos seus negócios.
Uma das grandes ambições económicas são os negócios estrangeiros, nestes
casos as bases de dados são confidenciais, ou seja, são utilizadas no mercado
interno. No entanto, muitos países arriscam a segurança dos dados para fazer
grandes negócios e obter recursos baratos, como a matéria prima e mão-de-obra.
Assim, maior desenvolvimento implica um aumento de dados, ou seja a
economia cresce progressivamente com o Big Data .
https://www.wired.com/insights/2013/03/big-data-the-key-to-economic-development/
13
Big Data - Aplicações e Desafios
http://science.sciencemag.org/content/346/6210/1243089.full
O crescimento da informação digital teve um grande efeito na pesquisa
económica, como já tinha sido referido.
Os economistas, cada vez mais, usam os dados recentes administrativos
disponíveis, que muitas vezes são obtidos através de colaborações com empresas
privadas, dando origem a novas oportunidades e desafios.
O uso crescente de dados não acessíveis ao público na investigação económica. Percentagem de artigos publicados na American Economic Review
(AER) que obteve uma distinção de política de disponibilidade de dados da AER
como uma partilha de todos os artigos publicados pela AER que contavam com
qualquer tipo de dados (excluindo simulações e experimentos de laboratório).
Avanços
Estes novos dados afetam a pesquisa económica em várias dimensões.
Muitos campos passaram de uma confiança em inquéritos governamentais de amostra
relativamente pequena a dados administrativos com cobertura populacional universal
ou quase universal. Esta mudança é transformadora, já que permite aos economistas
examinar rigorosamente a variação nos salários, saúde, produtividade, educação e
outras medidas em diferentes subpopulações; construção de índices estatísticos de
14
Big Data - Aplicações e Desafios
longo prazo consistentes; gerar novos projetos de pesquisa quase-experimental; e
acompanhar diversos resultados de experimentos naturais e controlados.
Talvez ainda mais notável é a expansão do setor privado na atividade
económica. Esta informação, por vezes disponível de fontes públicas mas outras
vezes obtida pela partilha de informação com empresas privadas, pode ajudar a criar
medições em tempo real e mais refinadas sobre estatísticas económicos agregados.
Os dados também oferecem aos investigadores um olhar dentro da "caixa negra" de
empresas e mercados, fornecendo estatísticas significativas sobre o comportamento
económico, tais como busca e recolha de informações, comunicação, tomada de
decisão e micro-transações. As colaborações com empresas orientadas a dados
também criam novas oportunidades para conduzir e avaliar experiências aleatórias.
A teoria económica desempenha um papel importante na análise de grandes
conjuntos de dados com estrutura complexa. Pode ser difícil organizar e estudar esse
tipo de dados (ou mesmo decidir quais as variáveis a construir) sem uma estrutura
conceitual simplificadora, que é onde os modelos económicos se tornam úteis.
"Melhores" dados também permitem testes mais precisos de modelos existentes e
testes de teorias que anteriormente eram difíceis de avaliar.
Perspetiva em economia
A implementação do Big Data já está a permitir uma melhor medição dos
efeitos económicos e resultados, e está a permitir que novos projetos de pesquisa
através de uma variedade de tópicos. Ao longo do tempo, estes dados são
susceptíveis de afetar os tipos de perguntas que os economistas colocam, ao focalizar
mais na variação populacional e na análise de uma gama mais ampla de atividades
económicas e interações. Esperamos também que os economistas adotam cada vez
mais os métodos estatísticos do Big Data que têm sido desenvolvidos nos campos
vizinhos e que muitas vezes podem complementar técnicas econométricas
tradicionais.
As oportunidades que o Big Data fornece, também levantam alguns desafios
importantes. Talvez o principal seja o desenvolvimento de métodos para que os
pesquisadores acedam e explorem dados de maneira que respeitem as preocupações
de privacidade e confidencialidade. Esta é uma questão importante ao trabalhar com
15
Big Data - Aplicações e Desafios
dados administrativos do governo e empresas do setor privado. Outros desafios
incluem o desenvolvimento da gestão de dados apropriada e das capacidades de
programação, assim como o desenvolvimento de abordagens criativas para resumir,
descrever e analisar conjuntos de dados de grande escala e relativamente não
estruturados. Não obstante estes desafios, as próximas décadas provavelmente serão
um momento muito importante para a pesquisa económica.
“Big data” tornou-se numa palavra da moda, que engloba a subida dramática
do uso da tecnologia computacional que permite a análise de dados em tudo desde
sistemas industriais até às nossas interações online. O big data está a transformar
como os responsáveis políticos e os líderes empresariais tomam decisões. Grandes
reservas de dados abrem novas portas e aventuras aos investigadores que procuram
confrontar e perceber os desafios económicos e estatísticos do dia a dia.
(https://bfi.uchicago.edu/events/how-big-data-changing-economies)
Áreas Governamentais Big Data pode melhorar as decisões e a eficiência de organização, mas apenas
se as organizações empregarem uma variedade de ferramentas analiticas e métodos
para fazer sentido da informação. Por exemplo, análise descritiva produz relatórios
padrão, a ad hoc reporta, e alerta, análise preditiva está preocupada com previsão e
modelagem estática; e análise prescriptiva foca na otimização e testagem aleatória.
Além disto, as organizações têm de saber como aplicar os resultados estatísticos para
melhorar funções organizacionais. Por razões de lucro é urgente que as empresas do
setor privado aprendam como manipular tanta informação, mas e no sector público?
Em particular, os serviços governamentais poderiam ser grandemente
melhorados através do uso de big data e as suas associadas análises. Aqui,
descrevemos alguns dos fatores e barreiras que afetam o uso de big data num
e-governo, um governo eletrónico. Grandes dados podem aumentar a eficiência e a
eficácia do e-governo, ajudando-o a evoluir para um governo transformador
(t-governo), que é visto como o estágio evolutivo final do c-governo." Nós ilustramos
esse potencial usando dados do US Department of Veterans Affairs (VA).
16
Big Data - Aplicações e Desafios
Big Data no Governo
O governo federal dos EUA é composto por três ramos - executivo, legislativo e
judicial - todos os quais geram grandes volumes de dados. Aqui, nós nos
concentramos em dados no poder executivo. A Tabela 1 lista os 15 departamentos
executivos federais e algumas fontes que geram grandes dados para esses
departamentos.
Tabela 1. Departamentos executivos do governo federal e algumas das suas fontes de dados
grandes.
Por exemplo, nos Veteran Affairs, 312.878 empregados produzem informação.
Além disso, ao aceder ao Veteran Affairs através da plataforma eletrónica do governo
é gerado grandes quantidades de dados também, com uma média de 2.700.000
visitantes por mês no site da Veteran Affairs. Acumular dados - tais como o tempo
gasto na página, frequência de visitas, transações concluídas por visita, e assim por
diante - impulsiona a necessidade de análise da Web.
17
Big Data - Aplicações e Desafios
Explorar Análise da Web
A análise da Web fornece uma visão abrangente das interações dos usuários
on-line com uma organização. Em sites de negócios, menos de 2% dos visitantes
fazem compras, Q5, mas todos os visitantes contribuem com informações, pois esses
sites recolhem dados sobre itens como pontos de destino dos visitantes, visualizações
de página, tempo na página, carrinhos de compras abandonados e downloads.
Pesquisa. Empresas baseadas na Web, como Alexa, Compete, Comscore, Google e
Quantcast, também fornecem uma variedade de métricas da Web, incluindo o tráfego
do site, rankings globais e locais e dados de reputação do site úteis para analíticas
Web.
Devem ser recolhidos tipos de informação semelhantes para sites
governamentais que oferecem serviços. Embora esses sites normalmente tenham
muito menos tráfego do que sites comerciais, ainda podemos usar o Web analytics
para extrair informações suficientes dos dados recolhidos para melhorar o atendimento
ao cliente. Analisando quais informações estão sendo consumidas, podemos
desenvolver métricas para monitorar a eficácia das plataformas de governo eletrónico.
T-Government
Com o e-government , as instituições governamentais estão a adotar
tecnologias de informação e comunicação (TICs) para melhorar os serviços do setor
público. Transformar os serviços governamentais usando as TIC pode ser uma tarefa
complexa e cara, mas tem o potencial de retornos significativos no investimento. Um
T-government bem sucedido pode levar à inovação de produtos, à melhoria da
prestação de serviços ao cliente, a uma melhor gestão das infraestruturas do setor
público e a custos operacionais mais baixos.
O T-government pode ocorrer através de:
18
Big Data - Aplicações e Desafios
● Agregação: formar alianças cooperativas com outras agências governamentais
para facilitar o fluxo de informações;
● Sindicalização: explorar as competências essenciais para melhorar a prestação
de serviços aos cidadãos ou a outras agências;
● Consumo: envolver diferentes entidades, como universidades e empresas,
como fontes externas de dados;
● Co-criação: inovação com parceiros externos para melhorar os processos e a
gestão da propriedade intelectual.
Há muitos benefícios para o T-government , mas ele encontrará muitos desafios
associados à implementação e ao uso da tecnologia, incluindo acesso limitado devido
à divisão digital, disponibilidade limitada de mão-de-obra qualificada, custos elevados
e problemas de integração com sistemas legados organizacionais e políticos. Um
caminho a seguir é migrar dados para plataformas alternativas, como uma arquitetura
em nuvem, e analisar os grandes conjuntos de dados para melhorar a tomada de
decisões.
Contextos:
https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_
sabe_o_que_e_big_data?lang=en
Para tratar dados na escala de volume, variedade e velocidade do Big Data
precisamos de outros modelos. Surgem os softwares de banco de dados NoSQL,
desenhados para tratar imensos volumes de dados estruturados e não estruturados.
Existem diversos modelos como sistemas colunares como o Big Table, usado
internamente pelo Google (é a base de dados sob o Google App Engine),o modelo
Key/value como DynamoDB da Amazon, o modelo “document database” baseado no
conceito proposto pelo Lotus Notes da IBM e aplicado em softwares como MongoDB,
e o modelo baseado em grafos como o Neo4j. Em resumo, não faltam opções...
Interessante lembrar que antes do modelo relacional já existia um software de banco
dados que lidava com grandes volumes que é o IMS da IBM, modelo hierárquico,
criado para suportar o projeto Apollo de conquista da Lua e que ainda hoje é base da
maioria das transações financeiras que circulam pelo mundo.
19
Big Data - Aplicações e Desafios
Por outro lado, esta diversidade de alternativas demanda que os líderes dos
projetos de Big Data escolham a mais adequada ou mesmo demandem mais de uma
opção, de acordo com as necessidades específicas.
Depois da infraestrutura é necessário atenção aos componentes de analytics,
pois estes é que transformam os dados em algo de valor para o negócio. Big Data
Analytics não significa eliminar os tradicionais sistemas de BI que existem hoje, mas
pelo contrário, devem coexistir. Recomendo enfaticamente a leitura do livro
“Competing on Analytics: the new science of winning”, de Thomas H. Davenport,
publicado pela Harvard Business School Press. Um bom exemplo de uso de Hadoop
para analytics é o BigInsights da IBM.
Aliás, ao lado destas alternativas surgem outras opções, como o uso de
eletrodomésticos, como o Netezza da IBM, que embarcam em um hardware adaptado
todos os softwares necessários para criar projetos de Big Data. Os appliances
queimam etapas nos projetos de Big Data.
Quanto ao aspecto velocidade o conceito de stream processing permite
tratamento em tempo real de dados. Concretamente, o InfoSphere Streams da IBM é
um exemplo muito interessante. A ideia de stream computing é fantástica. Um novo
paradigma. No modelo de data mining tradicional uma empresa filtra dados dos seus
vários sistemas e após criar um Data Warehouse, dispara “queries”. Na prática faz-se
garimpagem em cima de dados estáticos, que não refletem o momento, mas sim o
contexto de horas, dias ou mesmo semanas atrás. Com stream computing esta
garimpagem é efetuada em tempo real. Em vez de disparar queries em cima de uma
base de dados estática, coloca-se uma corrente contínua de dados (streaming data)
atravessando um conjunto de queries. Podemos pensar em inúmeras aplicações,
sejam estas em finanças, saúde e mesmo manufatura. Vamos ver este último
exemplo: um projeto em desenvolvimento com uma empresa de fabricação de
semicondutores pode monitorar em tempo real o processo de detecção e classificação
de falhas. Com stream computing as falhas nos chips sendo fabricados são
detectados em minutos e não horas ou mesmo semanas. Os wafers defeituosos
podem ser reprocessados e, mais importante ainda, pode-se fazer ajustes em tempo
real nos próprios processos de fabricação.
20
Big Data - Aplicações e Desafios
Adicionalmente, podemos pensar que a computação em nuvem é também um
impulsionador para Big Data, pois pode-se usar nuvens públicas para suportar
imensos volumes de dados e as características de elasticidade das nuvens permitem
que acionem servidores virtuais sob demanda, apenas no momento de tratar estes
dados.
Por fim, Big Data já está batendo nas nossas portas. Seu potencial ainda não
está sendo plenamente reconhecido, mas já vemos os sinais claros dessa importância
quando lemos relatórios como o “Big Data, Big Impact: new possibilities for
International Development”, publicado pelo World Economic Forum. Este relatório
mostra como a sociedade mundial pode usufruir do imenso volume de dados gerado
por ela para ajudar a resolver problemas diversos como questões sócio-econômicas e
mesmo prevenção de epidemias.
Quanto às empresas, Big Data abre um novo e ainda inexplorado território.
Carecemos de conhecimentos, experiências e mesmo de expertise profissional.
Começa-se a se falar em novas funções como “data scientists” (escrevi sobre isso em
post anterior), mas é inevitável que os CIOs tenham que colocar Big Data na tela dos
seus radares. As oportunidades que os cinco “V”s trazem não podem e nem devem
ser desperdiçados.
Os desafios técnicos e tecnológicos do Big
Data Recentemente, após a revelação de Edward Snowden, o americano delator, o
Washington Post publicou um artigo explicando como a Agência de Segurança
Nacional é capaz de armazenar e analisar as quantidades maciças de dados globais
recolhidas em chamadas e conversas on-line. Nos dias de hoje, estas tecnologias
tornaram-se globais. Mas, não é apenas as agências governamentais que estão
interessadas em usar "big data". As grandes companhias que usam dados
intensivamente, tais como a Amazon e a Google, foram as líderes do desenvolvimento
a lidar com grandes quantidades de dados. As nossas clássicas bases de dados SQL,
21
Big Data - Aplicações e Desafios
com base no modelo relacional dos dados, não conseguem escalar facilmente para
lidar com as quantidades crescentes de dados estruturados e têm recursos muito
limitados para lidar com dados semi-estruturados e não estruturados. Existe, portanto,
uma necessidade de modelos alternativos de armazenamento de dados. Em geral, as
bases de dados construídas em torno destes modelos de armazenamento alternativos
tornaram-se conhecidos como bases de dados "NoSQL", onde isto pode significar
"NotOnlySQL" ou "No,NeverSQL", dependendo do modelo de armazenamento
alternativo a ser considerado (ou, na verdade, a percepção pessoal de SQL como uma
linguagem para bases de dados).
Big data tem estado sempre presente, se o considerarmos como uma questão
de volume, uma questão de variedade, uma questão de velocidade, uma questão de
valor ou uma questão de veracidade, ou até, uma combinação entre qualquer um
destes. O que difere é que agora, possuímos as tecnologias para armazenar e analisar
grandes quantidades de dados estruturados, semi-estruturados e não estruturados.
Para alguns, isto é tecnicamente desafiador. Outros vêem o surgimento das
tecnologias do big data como uma ameaça e a chegada da verdadeira sociedade ao
estilo "Big Brother", isto é, onde todos são constantemente vigiados, por governos ou
empresas. [tirado de Keith Gordon, Oxford Journals]
Mudança governamental
Departamentos governamentais são grandes burocracias que podem ser muito
tradicionais e resistentes à mudança. A inércia organizacional pode dificultar o
crescimento de novas idéias e novas metodologias. No entanto, à medida que o valor
dos dados é revelado, mais campeões verá o valor dos grandes dados como uma
ferramenta para melhorar a administração pública. Nas entidades do setor público, os
ciclos eleitorais também podem influenciar o ritmo de mudança e a adoção de novas
formas de operação, acelerando a adoção das tecnologias atuais ou retardando os
gastos necessários para implementá-las.
22
Big Data - Aplicações e Desafios
Análise de Data Não-Estruturada Em primeiro lugar, os sistemas de banco de dados tradicionais não são
adequados para gerir as grandes quantidades de dados recolhidos a partir de fontes
não-estruturadas, como imagens, blogs, smartphones, GPS, dispositivos móveis e
social networks. Na verdade, cerca de 85 por cento dos dados gerados hoje é
desestruturado .Os governos precisarão de manter repositórios de dados que podem
suportar a manipulação e análise de dados não estruturados.
Em segundo lugar, será necessário para os departamentos e agências do
governo adotar a infra-estrutura técnica adequada para gerir big data. As agências
como a NASA e o IRS estão a usar o armazém de otimização , streaming de dados,
Hadoop e outras tecnologias para gerir a big data. Hadoop é uma solução open source
que usa grandes aglomerados de computadores para analisar big data para as
indústrias que variam de varejo para bioinformática .Ferramentas de tecnologia
inovadora pode reduzir o excesso de produção de dados e disparidade de
subconsumo.
Os 5 V’s:
● Volume- refere-se à vasta quantidade de dados que têm de ser armazenados
e que são gerados segundo a segundo. Todos estes dados precisam de
condições especiais para poderem ser guardados e analisados, pois os
métodos de armazenamento tradicionais não conseguem absorver tanta
informação, ou não performam de forma adequada, ou também os custos
tornam-se demasiado elevados. Como por exemplo, as mensagens e
notificações do facebook que cada pessoa recebe, ou os famosos tweets e
mails que pessoas de todo o mundo recebem. Isto tudo são mais do que
brontobytes. Devido à grande quantidade de informação, o big data usa a
tradicional base de dados tecnológica. Com a tecnologia do big data
conseguimos armazenar dados e usá-los através da distribuição de sistemas,
onde partes dos dados são armazenados em locais diferentes e reunidos pelo
software. a quantidade de dados que precisam de ser armazenados e
analisados é suficientemente grande para serem necessárias condições
especiais, pois os métodos de armazenamento tradicionais não conseguem
23
Big Data - Aplicações e Desafios
absorver tanta informação, ou não performam de forma adequada, ou os
custos tornam-se demasiado elevados.
● Variedade- refere-se aos diferentes tipos de dados que usamos. No passado,
focava-se em dados estruturados, que se encaixavam perfeitamente em
tabelas e bases de dados relacionais, tais como dados financeiros (por
exemplo, vendas por cada produto ou região), mas na verdade, 80% dos dados
mundiais estão desestruturados, logo não é nada fácil colocá-los em tabelas
(imagine nas imensas fotografias e vídeos ou até mesmo atualizações dos
social media). Com a tecnologia do big data podemos aproveitar vários tipos de
dados, os estruturados e os não estruturados, incluindo mensagens, conversas
dos social media, fotografias, sensor de dados, gravações de vídeo e de voz,
etc, assim pode-se juntar todos, com o objetivo de transformá-los em dados
mais tradicionais e estruturados.
● Velocidade- refere-se a velocidade com que cada novo dado é gerado e à
velocidade com que estes se movem. Imagine a rapidez em segundos com que
uma mensagem dos social media se torna viral, ou até mesmo a velocidade da
transação de cartões de crédito, bem como os milissegundos que os sistemas
de negociação levam para analisar as redes sociais com o objetivo de captar
os sinais que desencadeiam decisões de compra ou de venda de ações.
Agora, o big data permite-nos analisar os dados enquanto estes são gerados,
mas sem nunca colocá-los em bases de dados.
● Veracidade- refere-se à confusão de confiabilidade de dados. Com tantas
formas de dados diferentes, qualidade e precisão são menos controladas
(basta pensar nos posts com hash tags do Twitter, e a quantidade de
abreviações usadas, erros de escrita e linguagem vulgar, tal como a
confiabilidade e precisão de conteúdo) mas a Big Data e as suas tecnologias
para análise dos dados permitem-nos agora trabalhar com estes tipos de
informações. O volume maciço de dados também ajudam a análise ao “diluir”
erros como a falta de qualidade ou precisão.
● Valor- É muito bom ter acesso à Big Data, mas a menos que se possa tornar
esses dados em algo que valorize a organização tudo isto é inútil. Por isso
pode-se facilmente dizer que Valor é o V mais importante do Big Data. É
importante que as empresas façam “business cases” para qualquer tentativa de
reunir e usar Big Data. É tão fácil cair na armadilha de usar Big Data sem
entender completamente os custos e os benefícios.
24
Big Data - Aplicações e Desafios
[tirado de Bernard Marr, Keynote Speaker and Leading Business and Data
Expert ]
Outras aplicações do serviço Big Data O armazenamento e tratamento de dados volumosos já não é um obstáculo e
hoje em dia tem a oportunidade de ter uma melhor visão da sua atividade, uma
vantagem concorrencial que ajuda a tomar decisões. Eis uma lista não exaustiva de
utilizações possíveis do serviço Big Data:
● Transformar os dados em informações exploráveis;
● Analisar os fluxos de dados (ex: stocks);
● Analisar a "e-reputação";
● Analisar e prever os comportamentos dos consumidores;
● WebAnalytics para o seu site que gera bastante tráfego.
Privacidade e segurança Os dados são usados de inúmeras maneiras e nunca para cumprir uma e só
uma função, esta é uma das falhas do big data.
A privacidade nas bases de dados não existe, como exemplo o facebook, onde
cada um fornece a sua informação pessoal que é usada posteriormente, por qualquer
pessoa.
Problemas de privacidade podem inibir a adoção do Big Data no setor público.
Obter e manipular dados sensíveis é um tema controverso que interessa a vários
grupos dentro e fora do governo. Departamentos governamentais podem não querer
partilhar dados, que eles se consideram proprietários, com outras agências
governamentais. Supervisão e boa organização é essencial para reduzir esta barreira
potencial.
À medida que a tecnologia móvel, as redes sociais e as atividades de TIC
crescem, a análise de Big Data no setor público é um resultado natural. Com mais
25
Big Data - Aplicações e Desafios
agências governamentais usando o Big Data para transformar a administração pública
e as políticas públicas, os executivos devem fazer perguntas-chave: Que informação
podemos extrair do Big Data? Que análises foram feitas nos dados? Quão confiantes
estamos sobre os resultados?
Além disso, à medida que as tecnologias usadas para analisar o Big Data
avançam, mais opções irão surgir para visualizar os dados de ângulos diferentes. Os
governos podem reduzir os custos operacionais usando as novas informações que
emergem de grandes dados e análises, e devem procurar adotar as melhores práticas
do setor privado para melhorar os resultados. Para aumentar ainda mais o valor
transformador dos grandes dados no governo, a apropriada alocação de recursos
também deve ocorrer, garantindo que os dados sejam devidamente capturados e
gerenciados.
Superprodução e subconsumo
A teoria económica da superprodução e do subconsumo ajuda a enquadrar o
potencial e os desafios de usar a análise do big data para melhorar o governo federal.
A superprodução refere-se à "instabilidade da distribuição da produção de tempos em
tempos e à desigualdade de distribuição da atividade produtiva de um lugar para
outro". A acumulação de muitos dados pode resultar em um excedente de informação
que está sendo sub consumida no domínio do governo eletrônico. Esta
superprodução, acompanhada de um subconsumo sustentado de um bem físico,
resultaria normalmente numa situação de crise, caracterizada por uma diminuição dos
preços e uma desvalorização do produto. No entanto, grandes dados apresentam uma
anomalia a esta lógica econômica.
Neste caso, devido ao baixo, nível de consumo, acumula-se mais dados não
consumidos. À medida que mais dados são produzidos, em vez dos dados perderem
valor, há um valor aumentado no potencial insight que pode ser obtido a partir da
análise desses dados. Através da transformação de big data em conhecimentos úteis
e métricas quantificáveis através de análises adequadas, este potencial lucro da
sobreprodução de dados pode ser acessado e as taxas de produção e consumo de
dados trouxe taxas mais semelhantes. Mesmo que o consumo de grandes
informações possa continuar a ficar aquém da taxa de produção, o valor pode
26
Big Data - Aplicações e Desafios
continuar a aumentar devido a oportunidades de análise e afetará o modo como a
informação é tecnicamente processada e organizada.
A nossa sugestão para o uso da Big Data O uso dos sinais de câmeras de tráfego para calcular uma estimativa do
tráfego nas diversas zonas de uma cidade, o que permitiria que, caso houvesse
ligação desse sistema com os recentes carros autónomos, estes tomassem rotas que
não tivessem tanta utilização, reduzindo assim os tempos de viagem e os
congestionamentos dentro das cidades.
Os engarrafamentos são um grande problema para muitas cidades a um nível
global. Por exemplo, a empresa TomTom recentemente organizou algumas cidades do
mundo em relação aos níveis de congestionamento sentidos nas respectivas cidades.
A cidade do México foi uma das que saiu no topo e os investigadores descobriu que os
condutores na capital Mexicana pode esperar gastar em média:
● 59% tempo extra preso no trânsito em qualquer hora do dia.
● Até 103% nos períodos noturnos contra uma situação fluxo livre, ou
sem trânsito.
● Isto adiciona até 219 horas de tempo extra de viagem por dia
Claramente, o tráfego tem um grande impacto sobre a eficiência nas cidades. A
utilização eficaz de dados e sensores será fundamental para gerir melhor o tráfego à
medida que as cidades se tornam cada vez mais densamente povoadas. Isto é o que
uma equipe do TM Forum Catalyst está focada.
O sistema de suporte à decisão do smart-traffic baseia-se em análise do Big
Data. Quebra os armazéns de informações e ajuda a compartilhar informações entre
vários departamentos / sistemas. A solução recolhe todos os tipos de informações de
trânsito através de sensores para permitir monitoramento e controle de tráfego em
tempo real. Além disso, suporta a capacidade de prever as tendências de tráfego com
base em modelos de simulação prática e matemática. O objectivo do sistema é ajudar
os decisores através de informações científicas. (https://inform.tmforum.org/tag/smart-mobility/)
27
Big Data - Aplicações e Desafios
Conclusão Em conclusão, o Big Data é um assunto de grande discussão. Os “5 V’s” que
definem o Big Data são: Volume, Variedade, Velocidade, Valor e Veracidade, e
através deles pode reparar-se na ambiguidade do tema em questão.
A complexidade do Big Data é tão grande que os dados por vezes chegam a
ser usados de uma maneira negativa, enfrentando problemas de análise, captura,
procura, armazenamento, visualização, transferência e privacidade.
Apesar das vantagens económicas e competitivas que o Big Data proporciona
através das tecnologias, muitas preocupações surgem, devido ao mau uso e à falta de
privacidade dos utilizadores.
Na atualidade, o Big Data está em expansão e no futuro poderá ser a base
para muitas aplicações, podendo mesmo mudar o estilo de vida do ser humano.
28
Big Data - Aplicações e Desafios
Bibliografia Keith Gordon, Oxford Journals - ITNOW, 2016. What is Big Data? [online]. Disponível
em: http://itnow.oxfordjournals.org/content/55/3/12.short [consultado em: 3 de Outubro
de 2016, 10:24]
Cavanillas, J., Curry, E., Wahlster, W., 2016. New Horizons for a Data-Driven
Economy . Springer International Publishing. Também em versão digital em:
http://link.springer.com/book/10.1007%2F978-3-319-21569-3 [consultado em: 5 de
Outubro de 2016, 15:47]
The Economist , 2010. Data, data everywhere [online]. Special report - Feb 27th, 2010.
Disponível em: http://www.economist.com/node/15557443 [consultado em 9 de
Outubro de 2016, 17:38]
SAS, 2016. Big Data - O que é e por que é importante? [online]. Disponível em:
http://www.sas.com/pt_br/insights/big-data/what-is-big-data.html [consultado em: 10 de
Outubro de 2016, 14:53]
Andrea De Mauro, Marco Greco, and Michele Grimaldi, AIP Publishing,
http://cloudtribes.com/docstation/com_docstation/24/what_is_big_data__a_consensual
_definition_and_a_review_of_key_research_topics.pdf [consultado em: 29 de
Setembro de 2016, 15:00]
Richard L. Villars Carl W. Olofson Matthew Eastwood, IDC,
http://www.tracemyflows.com/uploads/big_data/idc_amd_big_data_whitepaper.pdf
[consultado em: 30 de Setembro de 2016, 15:34]
OVH, https://www.ovh.pt/servidores_dedicados/HG/porque-big-data-ovh.xml
[consultado em: 29 de Setembro de 2016, 15:40]
Joni Hoppen e Mario A. F. Baptista, Aquarela
https://aquare.la/pt/artigos/2015/05/26/14-setores-para-aplicacao-de-big-data-e-dados-
necessarios-para-analises/ [consultado em: 28 de Setembro de 2016, 14:40]
Li Da Xu, Wu He, Shancang Li, 2014. Internet of Things in Industries: A Survey
[online]. Disponível em: http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6714496 [consultado em: 7 de Outubro de 2016]
29
Big Data - Aplicações e Desafios
Judith Hurwitz, Alan Nugent, Dr. Fern Halper e Marcia Kaufman, Big Data For
Dummies http://eecs.wsu.edu/~yinghui/mat/courses/fall%202015/resources/Big%20data%20for%
20dummies.pdf [28 de Setembro de 2016, 14:50]
Import.io, https://www.import.io/post/all-the-best-big-data-tools-and-how-to-use-them/
[28 de Setembro de 2016, 15:00]
The World Economic Forum,
http://www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf
http://www.infowester.com/big-data.php [27 de Setembro de 2016, 15:12]
Harvard Business Review, May 2009,
http://www.rosebt.com/uploads/8/1/8/1/8181762/big_data_the_management_revolution
.pdf [28 de Setembro de 2016, 15:15]
Harvard Business Review, by Michael Schrage,
https://hbr.org/2016/08/how-the-big-data-explosion-has-changed-decision-making [28
de Setembro de 2016, 14:20]
Big Data Analytics , by Philip Russom
http://www.tableau.com/sites/default/files/whitepapers/tdwi_bpreport_q411_big_data_a
nalytics_tableau.pdf [30 de Setembro de 2016, 15:47]
Software ,
http://blog.gtiportugal.pt/software/os-3-principais-desafios-da-tecnologia-big-data/ [2 de
Outubro de 2016, 14:54]
Privacidade em tempos de Big Data, by Cezar Chede, IBM
https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/privacidade_em_
tempos_de_big_data?lang=en [9 de Outubro de 2016, 16:58]
Big Data: Principais desafios e possíveis soluções, por Miguel Veloso
http://tek.sapo.pt/opiniao/artigo/opiniao_big_data_principais_desafios_e_possiveis_sol
ucoes-1305522tek.html[9 de Outubro de 2016, 17:34]
30
Big Data - Aplicações e Desafios
Big Data: The 5 Vs Everyone Must Know, by Bernand Marr
https://www.linkedin.com/pulse/20140306073407-64875646-big-data-the-5-vs-everyon
e-must-know [10 de Outubro de 2016,22:54]
Big Data: The Key to Economic Development?, by Josh Green
https://www.wired.com/insights/2013/03/big-data-the-key-to-economic-development/
[12 de Outubro de 2016, 15:42]
Uganec, Cameron, 2013. Social Media, Big Data and Visualization [online]. Disponível
em: https://blog.hootsuite.com/social-media-big-data/ [consultado em: 4 de Outubro de
2016, 20:12]
Dennis Hung, The Impact of Big Data on Social Media Marketing Strategies [online].
Disponível em:
http://tech.co/impact-big-data-social-media-marketing-strategies-2016-01 [Consultado
em: 12 de Outubro de 2016, 20:25]
FHF, 2014. Utilidades del Big Data [online]. Disponível em:
http://www.factorhumanoformacion.com/utilidades-del-big-data/ [consultado em: 6 de
Outubro de 2016, 11:05]
Rhoda C. Joseph e Norman A., Big Data and Transformational Government [online].
Disponível em: Johnsonhttp://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6560044
31
Big Data - Aplicações e Desafios
