4
Los desafíos del Big Data El filósofo y pensador Francis Bacon acuñó allá por el año 1597 una frase que nos ha acompañado hasta nuestros días: “Scientia potestas est”, que generalmente utilizamos como “el conocimiento (o la información) es poder”. Bacon nunca pudo imaginar la enorme cantidad de información que el ser humano sería capaz de generar. Si se analiza la información almacenada en internet, de acuerdo con la información suministrada por el site worldwidewebsize; se puede ver que hay alrededor de 4,46 miles de millones de páginas web indexadas. La información global se mide en Zettabytes, que equivale a un uno seguido de 21 ceros en bytes. Más concretamente, se estima que en 2021 toda la información global tendrá un tamaño superior a 3.3 Zettabytes. Una película en resolución HD a 1080p que ocupara 1 ZB tendría una duración de 36 millones de años. Como se puede apreciar, el ser humano es una “máquina” de crear información. ¿Qué hacemos con todos esos datos? Hace unos años apareció el concepto de Big Data, una forma de expresar que al almacenar grandes cantidades de información simplemente teníamos un problema. La explotación de los datos y extraer valor añadido de los mismos conlleva soluciones multidisciplinares: informática, matemática, estadística, lingüística, … todas ellas tienen que ver con el Big Data y con el manejo de la información. Una de las grandes claves del desarrollo de Big Data es que toda la información generada por el ser humano tiene una lectura directa o indirecta. Así, se puede hacer seguimiento de propagación de epidemias de gripe mediante los mensajes de los usuarios de Twitter o bien determinar (o modificar) la intención de voto con buena exactitud a través de las redes sociales y análisis de sentimiento de los mensajes. De aquí su importancia, la extracción de información tanto de forma directa como indirecta. El valor de los datos No tenemos que irnos a Internet para hablar de grandes volúmenes de datos. En las empresas de hoy en día se almacena una gran cantidad de información. Información que en un principio provenía de clientes, ventas, productos, servicios… y que podemos considerar fuentes estructuradas de datos. Pero el conocimiento de los clientes y usuarios da una nueva dimensión a las posibilidades de negocio, lo que se denomina datos no estructurados. Hasta hace años probablemente los datos de las empresas se consideraban más un “inconveniente” que una fuente de información. Mantener la cartera de clientes, la contabilidad u otra información no dan un beneficio a la empresa, salvo que dichos datos se exploten de otra manera. La no valoración de los datos como fuente de información adicional más allá del propio dato en sí también se debía a que no se contaba con herramientas ni con la competencia adecuada. Ya no se trata de almacenar datos en bruto, ni de la estructura o repositorios a utilizar, ni del pre o post procesado de los datos…. se trata de cómo hacer una gestión integral de toda la información para obtener un valor añadido.

Los desafios del big data - Berocamberocam.com/noticias/Los-desafios-del-big-data.pdfTodo$ esto$ no$ hace$ más$ que$ poner$ en$ evidencia la necesidad$ de$ contar$ con$ profesionales$

  • Upload
    others

  • View
    6

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Los desafios del big data - Berocamberocam.com/noticias/Los-desafios-del-big-data.pdfTodo$ esto$ no$ hace$ más$ que$ poner$ en$ evidencia la necesidad$ de$ contar$ con$ profesionales$

   Los  desafíos  del  Big  Data    El  filósofo  y  pensador  Francis  Bacon  acuñó  allá  por  el  año  1597  una  frase  que  nos  ha  acompañado  hasta  nuestros  días:  “Scientia  potestas  est”,  que  generalmente  utilizamos  como  “el  conocimiento  (o  la  información)  es  poder”.  Bacon  nunca  pudo  imaginar  la  enorme  cantidad  de  información  que  el  ser  humano  sería  capaz  de  generar.      Si  se  analiza  la  información  almacenada  en  internet,  de  acuerdo  con  la  información  suministrada  por   el   site   worldwidewebsize;   se   puede   ver   que   hay   alrededor   de   4,46   miles   de   millones   de  páginas   web   indexadas.   La   información   global   se   mide   en   Zettabytes,   que   equivale   a   un   uno  seguido  de   21   ceros   en   bytes.  Más   concretamente,   se   estima  que   en   2021   toda   la   información  global   tendrá  un   tamaño   superior   a  3.3   Zettabytes.  Una  película  en   resolución  HD  a  1080p  que  ocupara  1  ZB  tendría  una  duración  de  36  millones  de  años.   Como  se  puede  apreciar,  el  ser  humano  es  una  “máquina”  de  crear   información.  ¿Qué  hacemos  con  todos  esos  datos?  Hace  unos  años  apareció  el  concepto  de  Big  Data,  una  forma  de  expresar  que   al   almacenar   grandes   cantidades   de   información   simplemente   teníamos   un   problema.   La  explotación   de   los   datos   y   extraer   valor   añadido   de   los   mismos   conlleva   soluciones  multidisciplinares:   informática,  matemática,   estadística,   lingüística,  …   todas   ellas   tienen  que   ver  con  el  Big  Data  y  con  el  manejo  de  la  información.      Una  de  las  grandes  claves  del  desarrollo  de  Big  Data  es  que  toda  la   información  generada  por  el  ser  humano  tiene  una  lectura  directa  o  indirecta.  Así,  se  puede    hacer  seguimiento  de  propagación  de   epidemias   de   gripe  mediante   los  mensajes   de   los   usuarios   de   Twitter   o   bien   determinar   (o  modificar)   la   intención   de   voto   con   buena   exactitud   a   través   de   las   redes   sociales   y   análisis   de  sentimiento  de  los  mensajes.  De  aquí  su  importancia,  la  extracción  de  información  tanto  de  forma  directa  como  indirecta.   El  valor  de  los  datos   No  tenemos  que  irnos  a  Internet  para  hablar  de  grandes  volúmenes  de  datos.  En  las  empresas  de  hoy   en   día   se   almacena   una   gran   cantidad   de   información.   Información   que   en   un   principio  provenía   de   clientes,   ventas,   productos,   servicios…   y   que   podemos   considerar   fuentes  estructuradas  de  datos.  Pero  el  conocimiento  de  los  clientes  y  usuarios  da  una  nueva  dimensión  a  las  posibilidades  de  negocio,  lo  que  se  denomina  datos  no  estructurados.      Hasta   hace   años   probablemente   los   datos   de   las   empresas   se   consideraban   más   un  “inconveniente”  que  una  fuente  de  información.  Mantener  la  cartera  de  clientes,  la  contabilidad  u  otra   información  no  dan  un  beneficio  a   la  empresa,   salvo  que  dichos  datos   se  exploten  de  otra  manera.  La  no  valoración  de  los  datos  como  fuente  de  información  adicional  más  allá  del  propio  dato   en   sí   también   se   debía   a   que   no   se   contaba   con   herramientas   ni   con   la   competencia  adecuada.    Ya  no  se  trata  de  almacenar  datos  en  bruto,  ni  de  la  estructura  o  repositorios  a  utilizar,  ni  del  pre  o  post  procesado  de  los  datos….  se  trata  de  cómo  hacer  una  gestión  integral  de  toda  la  información  para  obtener  un  valor  añadido.    

Page 2: Los desafios del big data - Berocamberocam.com/noticias/Los-desafios-del-big-data.pdfTodo$ esto$ no$ hace$ más$ que$ poner$ en$ evidencia la necesidad$ de$ contar$ con$ profesionales$

La  información  de  los  usuarios  de  un  determinado  servicio  no  se  limita  a  los  datos  de  contratación  o  activación,  sino  que  otros  elementos  tales  como  la  localización,  utilización  en  determinados  días  y   horarios,   interacción   del   usuario   con   los   servicios,   actividad   en   redes   sociales,   compras  efectuadas,  artículos  depositados  en  el  carro  de   la  compra  en  medios  digitales   (y  no  adquiridos)  cobran  una  importancia  fundamental  en  el  mundo  del  Big  Data.      Tendencias  de  Big  Data   Si   la   utilización   de   los   datos   ha   variado   con   el   tiempo,   también   se   pueden   ver   determinadas  tendencias  dentro  del  Big  Data:      

• Así,  vemos  un  aumento  del  análisis  y  la  presencia  de  datos  no  estructurados  en  la  toma  de  decisiones,  y  una  extensión  del  machine   learning  y   la  analítica  avanzada  a  otros  procesos  en  la  empresa  más  allá  de  los  relacionados  con  clientes  y  mercados.  

 • Mayor  presencia  de  soluciones  analíticas  basadas  en  Big  Data  en  otros  sectores  donde  su  

presencia   no   era   demasiado   fuerte.   Así,   la   industria   pesada,   agricultura   y   ganadería,  logística  …se  beneficiarán  de  la  explotación  de  los  datos  para  la  extracción  de  información  y  toma  de  decisiones  de  negocio.    

 • Mayor  concienciación  con  las  nuevas  leyes  de  protección  de  datos  en  todos  los  ámbitos  y  

sectores,  mejorando  el  control  y  el  manejo  de  la  información.    

• Elevada  demanda  de  profesionales  con  competencia  en  Big  Data  y  transformación  digital.  Abrazar   tecnologías   de   Big   Data   no   sólo   se   limita   a   la   gestión   y   explotación   de   la  información,   sino   también   al   cambio   en   procesos,   herramientas   y   cambios   culturales  dentro  de  la  empresa.    

 • Incremento  de  Inteligencia  de  Negocio  (BI)  en  todas  las  empresas,  independientemente  del  

tamaño  de  las  mismas.  Muchas  empresas  han  comenzado  por  la  visualización  y  análisis  de  los  datos   como  parte   importante  de   su   toma  de  decisiones,  pero  esto  no  es  más  que   la  punta   del   iceberg   del   modelo   Big   Data.   Las   soluciones   de   visualización   y   software   de  autoservicio   incorporarán   más   características   de   Machine   Learning   y   en   general   de  Inteligencia  Artificial.  

Herramientas    El   universo   de   aplicaciones   de   Big   Data   no   para   de   crecer   cada   año.   Así,   se   pueden   encontrar  aplicaciones  especializadas  en  diversos  ámbitos,  como  pueden  ser:    

• Infraestructura  (almacenamiento,  transformación    y  gestión  de  la  información)    • Analítica   (plataformas   de   análisis   orientadas   a   distintos   sectores,   Business   Intelligence,  

Visualización,  Machine  Learning,  IA)  • Aplicaciones  específicas  para  determinados  sectores  empresariales  • Aplicaciones  transversales  • Fuerte  presencia  del  Open  Source  • Conectividad  con  IOT,  y  un  largo  etcétera.    

   

Page 3: Los desafios del big data - Berocamberocam.com/noticias/Los-desafios-del-big-data.pdfTodo$ esto$ no$ hace$ más$ que$ poner$ en$ evidencia la necesidad$ de$ contar$ con$ profesionales$

Todo   esto   no   hace   más   que   poner   en   evidencia   la   necesidad   de   contar   con   profesionales  especializados   a   la   hora   de   elegir   qué   tipo   de   soluciones   implementar.   Aquí   son   claves   la  competencia   y   la   experiencia   de   cara   a   tomar  decisiones   adecuadas   y   en  base   a   una   estrategia  clara.   Y   debido   a   la   amplitud   del   ecosistema,   externalizar   dichos   servicios   a   empresas  especializadas  puede  ser  la  clave  para  el  éxito.  En  la  Figura  1  se  puede  apreciar  la  gran  variedad  de  herramientas  que  presenta  el  ecosistema  del  Big  Data:    

Figura  1.  Tuck  M,  Obayomi  D,  First  Mark.  2018.  Big  Data  &  IA  Landscape  2018.  Recuperado  de  la  web  http://mattturck.com/.      Generar  Beneficios  con  Big  Data   En   la   actualidad   sólo   las   grandes  empresas   con  departamentos  especializados  están  preparadas  para   afrontar   tareas   de   transformación   digital   y   muchas   veces,   dichas   empresas   externalizan  servicios  de  asesoría  o  desarrollo  debido  a   la  complejidad  que  conlleva  un  cambio  de  paradigma  hacia  el  Big  Data.        No  hay  que  menospreciar  el  ahorro  en  tiempo  y  costes  de  contar  con  empresas  especializadas  en  Big  Data.  Es  necesaria  una  elevada  competencia  para  abordar  con  garantías  la  transformación  de  la  empresa,  desde  la   introducción  de  los  datos  estructurados  en  las  bases  de  datos  y  captura  de  los   no   estructurados   hasta   la   explotación   y   visualización   de   dichos   datos   utilizando   todos   los  medios  posibles.    Pese  a  que  el  almacenamiento  de  los  datos  es  cada  vez  más  barato,  sobre  todo  debido  a  la  caída  de  los  costes  del  hardware  y  a  las  soluciones  de  almacenamiento  en  la  nube,  una  buena  estrategia  desde   el   principio   puede   suponer   desde   un   ahorro   importante   en   almacenamiento   hasta   una  

Page 4: Los desafios del big data - Berocamberocam.com/noticias/Los-desafios-del-big-data.pdfTodo$ esto$ no$ hace$ más$ que$ poner$ en$ evidencia la necesidad$ de$ contar$ con$ profesionales$

ingesta  y  procesado  de  datos  mucho  más  rápida.  Así,  para  soluciones  “casi  en  tiempo  real”,  contar  únicamente  con  los  datos  necesarios  y  suficientes  es  más  que  una  necesidad.    Herb   Edelstein,   uno   de   los   gurús   de   la  minería   de   datos,  data  warehousing   y   CRM,   afirma:   “Si  tienes   terabytes  de  datos,  y   confías  en   técnicas  de  minería  de  datos  para  encontrar   información  interesante,   has   perdido   antes   de   empezar”.  Mejor   confiar   este   tipo   de   soluciones   en   expertos  desde  el  comienzo.