Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
¿QUIENES SOMOS?
Morris & Opazo es un Partner Advanced de AWS, con más de 15 años de experiencia en Desarrollo de Aplicaciones a la Medida, y 4 años de experiencia operando con servicios de la Nube de AWS
Somos una empresa especializada en proveer soluciones de negocio en el área de Tecnología de la Información
Nuestro objetivo es facilitar la adopción de tecnologías modernas, que aporten valor a las soluciones de negocio de nuestros clientes
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
COMPETENCIAS DE NUESTROS LÍDERESEstamos preparados para enfrentar grandes desafíos
Experto en Tecnologías de la Nube
Experto en Arquitectura de Soluciones
Experto en Metodologías Ágiles
Experto en Infraestructura
Experto en Data Science
Carnegie Mellon UniversityMaster of Information Systems ManagementBusiness Intelligence and Data Analytics
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Big Data & Analytics: Insights de Redes Sociales
CASOS DE ÉXITO
Big Data & Analytics: Rimac – Data Lake Aguas Altiplano - Data Lake Aguas Araucania – Reconocimiento de Imágenes y Video usando Aprendizaje Automático
Aguas Magallanes – Análisis de Sentimientos en Redes Sociales en
Tiempo Real
Aguas Chañar – Análisis de Llamadas a Call Center con Aprendizaje Automático
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
BENEFICIOS DE TRABAJAR CON NOSOTROS
● Implementaciones de Pruebas-de-Concepto (POC).
● Entrenamiento para aprender más sobre las posibilidades que la Nube AWS le puede ofrecer.
● Optimice su facturación mensual.
● Consultoría en los múltiples servicios de AWS con nuestro experimentado equipo.
● Diseñe y valide sus soluciones con nuestros Arquitectos Certificados.
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
BIG DATA
● ¿Qué es Big Data?
● ¿Estoy en un escenario de Big Data?
● ¿Cómo me ayudan las herramientas de Big Data?
● ¿Qué servicios de AWS puedo usar en un escenario de Big Data?
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Big Data es como el sexo en la adolescencia:todos hablan sobre él,
nadie sabe realmente cómo hacerlo,todos piensan que alguien más lo está haciendo,
así que todos dicen que lo están haciendo…
(Dan Ariely, Universidad de Duke)
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Definiendo Big Data
es un amplio término para describir conjuntos de datos tan grandes o complejos que las herramientas y soluciones tradicionales son inadecuadas para procesar y realizar análisis.
Big Data
Las Características de Big Data: Las Tres V’s
Volumen Velocidad Variedad
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Las Características de Big Data
Las tres V’s
Volumen Velocidad Variedad
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Volumen
Los datos están aumentando a una rápida velocidad
Terabytes de datos Petabytes de datos
Las soluciones deben trabajar eficientemente en sistemas distribuidos y deben ser fácilmente expandibles para acomodarse a incrementos en el tráfico
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Velocidad
Velocidad aumentada de usuarios, dispositivos, aplicaciones
75 billones de dispositivos conectados para el 2020
Las soluciones deben poder administrar esta velocidad eficientemente, y los sistemas de procesamiento deben poder retornar resultados en un rango de tiempo aceptable
MB/s es normal, GB/s es común
Un millón de transacciones por segundo
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Variedad
Las soluciones necesitan ser lo suficientemente sofisticadas para administrar todos los diferentes tipos de datos, y al mismo tiempo proveer un análisis preciso
Diversos conjuntos de datos, múltiples fuentes
La mayoría de fuentes está en la Nube
Sistemas ‘Legacy’ aún están presentes
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
La Evolución del Análisis de Datos
Descriptivo
Por qué sucedió “X”. El Análisis Descriptivo utiliza agregación de datos y técnicas de minería de datos para proporcionar insight en el pasado para proporcionar respuestas.
Descriptivo Predictivo Prescriptivo
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
La Evolución del Análisis de Datos
Predictivo
¿Cuál es la probabilidad de que “X” suceda? El Análisis Predictivo utiliza modelos estadísticos y tecnologías de pronósticos para entender qué podría suceder en el futuro.
Descriptivo Predictivo Prescriptivo
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
La Evolución del Análisis de Datos
Prescriptivo
¿Qué hacer si sucede “X”? Este tipo de análisis utiliza algoritmos de optimización y simulación para asesorar posibles resultados y contestar “¿Qué debería hacerse?”
Descriptivo Predictivo Prescriptivo
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
¿Qué es Dark Data?
En esta era de iluminación impulsada por la tecnología, los datos son nuestra moneda competitiva.
La información bruta, enterrada en los volúmenes alucinantes generados por los sistemas transaccionales ... son perspectivas estratégicas, de clientes y operativas críticas que, una vez iluminadas por el análisis, pueden validar o aclarar suposiciones, informar la toma de decisiones y ayudar a trazar nuevos caminos hacia el futuro.
- Tracie Kambies, Nitin Mittal, Paul Roma, Sandeep Kumar SharmaTech Trends 2017, from https://www2.deloitte.com/content/dam/Deloitte/au/Documents/technology/deloitte-au-technology-dark-analytics-061017.pdf
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Tres Tipos de Riesgos de Dark Data
Riesgo RegulatorioFuga o pérdida de información sensible, datos latentes e Información Personal de Identificación (PII)
Riesgo de Propiedad IntelectualFallo al proteger Propiedad Intelectual
Riesgo de OportunidadPerder oportunidades de mejora
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
El Valor de Big Data
Big Data no es sólo sobre datos, es sobre el valor que las organizaciones pueden obtener de él y las decisiones de la vida real que pueden tomarse basadas en estos datos.
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Workflow de Big Data
Datos en bruto
Ingesta / Recolección
Almacenamiento Procesamiento / Análisis
Consumir / Visualizar
Respuestas & Hallazgos
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Workflow Simplificado de Big Data
Ingesta / Recolección
Almacenamiento
Procesamiento / Análisis
Consumir / Visualizar
Aplicación Big Data
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Workflow de Big Data: Tipos de Datos
Datos
Ingesta / Recolección
Almacenamiento Procesamiento / Análisis
Consumo / Visualización
Respuestas & Hallazgos
Archivo Stream Transaccional
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Recolectar Datos – Datos de Archivo
Datos
Ingesta / Recolección
Almacenamiento Procesamiento / Análisis
Consumo / Visualización
Respuestas & Hallazgos
Datos de Archivos
Archivos CSV Logs Transcripciones Fotos Archivos de Audio
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Recolectar Datos – Datos de Streaming
Datos
Ingesta / Recolección
Almacenamiento Procesamiento / Análisis
Consumo / Visualización
Respuestas & Hallazgos
Stream de Datos
Aplicaciones Web
Dispositivos Móviles
PortablesSensores
IndustrialesAplicaciones y
Servicios
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Recolectar Datos – Datos Transaccionales
Datos
Ingesta / Recolección
Almacenamiento Procesamiento / Análisis
Consumo / Visualización
Respuestas & Hallazgos
Estos tipos de datos son usualmente administrados por servicios de bases de datos
Financieros LogísticosDatos
relacionados con trabajo
Órdenes de compra
Información de envíos
Entregas
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
ACELERANDO LA CONSTRUCCIÓN DE UN DATA LAKE EN AWS
● ¿Qué es un Data Lake?
● ¿Cuáles son los beneficios de un Data Lake?
● ¿Qué servicios de AWS puedo utilizar con mi Data Lake?
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Un data lake no está destinado a reemplazar los data warehouses existentes, más biencomplementarlos. Si ya se está utilizando un data warehouse, o se está buscando implementar uno, undata lake puede ser usado como una fuente tanto para datos estructurados como no estructurados, loscuales pueden ser fácilmente convertidos a un esquema bien definido antes de ser consumidos en eldata warehouse.
Un data lake es un enfoque arquitectónico que permite almacenar cantidades masivas de datos en unaubicación central, de manera que estén fácilmente disponibles para ser categorizados, procesados,analizados y consumidos por diversos grupos dentro de una organización.
Ya que los datos - estructurados y no estructurados - pueden ser almacenados como se encuentren, nohay necesidad de convertirlos a un esquema predefinido y ya no se necesita saber con anticipación quépreguntas se van a hacer a los datos.
¿Qué es un Data Lake?
Desacople del Almacenamiento del Cómputo y Procesamiento de Datos
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Un Data Lake debería soportar las siguientes capacidades
• Recolectar y almacenar cualquier tipo de dato, a cualquier escala y a bajo costo
• Asegurar y proteger todos los datos almacenados en el repositorio central
• Buscar y encontrar los datos relevantes en el repositorio central
• Frameworks de administración para gobernar los datos, incluyendo mover, transformar y catalogar datos
• Rápida y fácilmente realizar nuevos tipos de análisis de datos en los conjuntos de datos
• Motores avanzados para consultar y analizar datos; y construir, probar y ejecutar modelos en una variedad de formas, incluyendo Machine Learning e Inteligencia Artificial.
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Beneficios de un Data Lake en AWS
• Almacenamiento de Datos a Bajo Costo
• Seguridad y Cumplimiento
• Fácil Recolección e Ingestión de Datos
• Categorizar y Administrar Sus Datos
• Construido para Analytics
• Inteligencia Artificial
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Optimización de Costo y DesempeñoParquet es un formato de archivos para almacenar datos de forma columnar y comprimido, diseñado para consultargrandes cantidades de datos, independiente de la plataforma de procesamiento, el modelo de datos, o el lenguaje deprogramación. Comparado con formatos tradicionales no refinados como CSV, JSON o TXT, Parquet puede reducir elespacio de almacenamiento requerido, mejorar el desempeño de las consultas significativamente, y reducirinmensamente los costos de las consultas para servicios AWS, los cuales se cobran por cantidad de datos escaneados.
Pruebas de Amazon comparando los formatos CSV y Parquet usando 1 TB de datos de log almacenados en formato CSVcontra el formato Parquet mostraron lo siguiente:
● Ahorros de espacio de 87% con Parquet (1 TB de datos de log almacenados en formato CSV comprimidos contra 130GB con Parquet)
● Un tiempo de respuesta para una consulta representativa en Athena fue 34 veces más rápida con Parquet (237segundos para CSV contra 5.13 segundos para Parquet), y la cantidad de datos escaneados para esa consulta deAthena fue 99% menor (1.15TB escaneados para CSV contra 2.69GB para Parquet)
● El costo para correr esa consulta de Athena fue 99.7% menor ($5.75 para CSV contra $0.013 para Parquet)
Parquet tiene el beneficio adicional de ser un formato abierto de datos que puede ser usado por múltiples herramientasde consultas y analytics en un data lake basado en Amazon S3, particularmente Amazon Athena, Amazon EMR, AmazonRedshift, y Amazon Redshift Spectrum.
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
• Pensar en paralelo.
• Perder acoplamiento te libera.
• Automatización del Despliegue.
• Automatizar la Infraestructura.
• Abrace las restricciones de hardware.
• Diseña para el fallo y Nada fallará.
• Implementar Elasticidad.
• Diseñar aplicaciones sin estado.
• Aprovechar diferentes opciones de almacenamiento.
• Construir seguridad en cada capa.
Mejores Prácticas de Arquitectura Para
la Nube
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Casos de Uso de Big Data
Medios / Publicidad
• Procesamiento de imágenes y video.
• Publicidad digital / ofertas de publicidad.
• Soporte al cliente
Servicios Financieros
• Análisis de portafolio/comercio
• Detección de Fraude
• Análisis de Riesgo
Petróleo / Gas
• Medidores de gas
• Sensores de tuberías
Salud del Consumidor
• Bio-sensores
• Analytics de datos clínicos
Retail
• Recomendaciones
• Análisis de transacciones
Redes Sociales
• Demográficas
• Análisis de uso
• Métricas en-juego
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Ecosistema de Servicios para Big Data
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Construcción de una Solución Big Data
DEMOAnálisis en Tiempo Real de
Sentimiento en Redes Sociales
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Análisis en Tiempo Real de Sentimiento en Redes Sociales
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
● Un Stream es un flujo de Datos que, de forma análoga a una señal de televisión o de radio, transmite constantemente paquetes de datos permitiendo una difusión y lectura continua del contenido, sin interrupciones
● Habitualmente se usa para la difusión de audio y/o video, pero puede utilizarse para cualquier tipo de contenido
● Los datos se transmiten una única vez, y sólo los clientes conectados en ese momento reciben la transmisión
● Redes sociales populares como Facebook y Twitter proveen una excelente oportunidad de poner a prueba el concepto de Stream de Datos, ya que están constantemente produciendo nuevos datos, toda vez que un usuario escribe un nuevo post o mensaje
● Un cliente (programa) conectado al Stream para capturar los datos y redirigirlos a otro destino (por ejemplo Kinesis) se conoce como Data Producer
Fuente de Datos: Stream de Redes Sociales
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Ingesta de Datos: Amazon Kinesis
● Amazon Kinesis permite recolectar, procesar, y analizar en tiempo real datos provenientes de un Stream de Datos
● Es el mecanismo ideal para ingesta de datos que requieren de una reacción rápida por parte del usuario de la información
● Ejemplos de uso para Kinesis son video, audio, logs de aplicaciones, clickstreams de sitios web, telemetría de IoT, entre otros
● Permite operar en modalidades de trabajo en tiempo real (Kinesis Streams) sobre una ventana de tiempo predefinida (ej: 24 horas), y también de procesamiento por lotes (Kinesis Firehose) que se pueden definir en función del tiempo y/o tamaño de cada lote
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Procesamiento Serverless: Lambda
● Lambda es un servicio de cómputo sin servidores (serverless) que permite ejecutar código implementado en una variedad de lenguajes en respuesta a eventos de la plataforma de AWS
● Un evento indica la ocurrencia de actividad de algún tipo, que puede ser atendida por la función Lambda para alcanzar algún objetivo en relación al evento (ej: alguien sube un archivo a S3, y Lambda reacciona enviando una alerta al administrador a través de un sistema de notificaciones como SNS)
● Administra de forma automática los recursos de cómputo necesarios para ejecutar la lógica implementada
● Ideal para responder a escenarios de procesamiento en tiempo real con carga de trabajo variable, y cuyas tareas se pueden ejecutar en corto tiempo
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Procesamiento de Lenguaje Natural:
Amazon Comprehend
● Con Amazon Comprehend es posible analizar el contenido de texto escrito por humanos, para humanos, y extraer metadata indicando factores como
○ Lenguaje○ Frases clave○ Lugares
● A través de las APIs de Comprehend es posible realizar este procesamiento rápidamente, asociado a procesos en tiempo real o casi-tiempo real
● Múltiples lenguajes soportados○ Alemán○ Inglés○ Español
○ Personas○ Marcas○ Eventos
○ Sentimiento○ Tema○ Etc...
○ Francés○ Italiano○ Portugués
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Almacenamiento: S3
● Servicio de almacenamiento ilimitado de objetos, que permite almacenar, rescatar, consultar y analizar cantidades ilimitadas de datos
● Diseñado para proveer la más alta durabilidad y disponibilidad de los datos, a la vez que incorpora la más extensiva lista de cumplimiento y certificaciones de seguridad, capaz de cumplir con los más exigentes requerimientos y regulaciones
● Ofrece distintos niveles de almacenamiento, para operar de acuerdo a la temperatura de los datos, logrando con ello ofrecer importantes ahorros en los costos para los escenarios de almacenamiento de datos fríos
● Ampliamente soportado por proveedores de soluciones en todo el mundo● En el ecosistema de AWS representa la piedra angular del escenario de Big Data, ya que es capaz
de interactuar con todos los servicios de análisis y procesamiento de datos, logrando desacoplar por completo el almacenamiento del cómputo. Este servicio aloja en definitiva el Data Lake
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Visualización de BI: QuickSight
● Servicio de consumo y visualización para Data Analytics y Business Intelligence● Facilita la creación de gráficos y paneles que permiten entregar visualizaciones de la información● Excelente integración con los servicios de almacenamiento de datos de AWS, así como Bases de
Datos tradicionales y Archivos● Plataforma serverless, capaz de escalar de forma automática para adaptarse al nivel de uso y
actividad
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
CONTENIDO EXTRA
Análisis de Audio de las Llamadas de un Call Center con Machine learning
Reconocimiento de Imágenes y Video usando Machine Learning
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Análisis de Audio de las Llamadas de un Call Center con Machine learning
www.morrisopazo.com / [email protected] - Temuco - Santiago
Agregamos valor a su negocio
Reconocimiento de Imágenes y Video usando Machine Learning