Embed Size (px)
Citation preview
1
Software Design Document
SENTINEL: Analítica sobre percepción de corrupción en
Trabajo de grado 2017-30
Ingeniería de Sistemas
Pontificia Universidad Javeriana
Manuela Forero Pedreros
Jeffrey Torres Arango
Sebastián Gracia Valderrama
Alexandra Pomares Quimbaya Ph.D.
2
Historial de Cambios
Responsable Descripción Fecha Versión
Manuela Forero,
Jeffrey Torres,
Sebastián Gracia
Secciones 5, 6 7 01/10/2017 1.0
Manuela Forero,
Jeffrey Torres,
Sebastián Gracia
Corrección
revisiones
24/10/2017 2.0
3
1. Tabla de Contenidos
Contenido
1. Historial de Cambios ............................................................................................................. 2
2. Tabla de Contenidos ............................................................................................................. 3
3. Tabla de Ilustraciones ........................................................................................................... 4
4. Introducción .......................................................................................................................... 7
5. Arquitectura .......................................................................................................................... 8
5.1. Vista Lógica del Sistema............................................................................................... 8
5.2. Vista Física del Sistema .............................................................................................. 10
6. Diseño Detallado ................................................................................................................. 10
6.1. Estructura del Sistema ................................................................................................. 11
6.2. Comportamiento del Sistema ...................................................................................... 16
6.3. Persistencia ................................................................................................................. 18
6.4. Interfaz de Usuario ...................................................................................................... 20
7. Referencias .......................................................................................................................... 30
4
2. Tabla de Ilustraciones
Ilustración 1 Vista lógica del sistema ........................................................................................... 8
Ilustración 2 Vista física del sistema .......................................................................................... 10
Ilustración 3 Modelo de analítica. ............................................................................................... 11
Ilustración 4 Modulo de análisis de sentimientos con requerimientos........................................ 12
Ilustración 5 Modulo de agregadas con requerimientos. ............................................................ 13
Ilustración 6 Modulo de sesgo con requerimientos..................................................................... 14
Ilustración 7 Modulo de correlaciones con requerimientos. ....................................................... 14
Ilustración 8 Diagrama de secuencia de análisis de sentimientos. .............................................. 17
Ilustración 9 Diagrama de secuencia de agregadas. .................................................................... 17
Ilustración 10 Diagrama de secuencia de correlaciones. ............................................................ 18
Ilustración 11 Diagrama de secuencia de sesgo. ......................................................................... 18
Ilustración 12 Modelo de datos ................................................................................................... 19
Ilustración 13 Proceso de guardado y carga ................................................................................ 20
Ilustración 14 Visualización del prototipo - descubre (Asociación de palabras) ........................ 20
Ilustración 15 Visualización del prototipo – líder 1 estadísticas de Facebook ........................... 21
Ilustración 16 Visualización del prototipo líderes de opinión – acciones .................................. 21
Ilustración 17 Visualización del prototipo líderes de opinión - nube de palabras de publicaciones
realizadas por el líder .................................................................................................................. 21
Ilustración 18 Visualización del prototipo líderes de opinión – tendencias de los comentarios 22
Ilustración 19 Visualización del prototipo líderes de opinión - Reacciones en noticias sobre líder de
opinión ........................................................................................................................................ 22
Ilustración 20 Visualización del prototipo líderes de opinión - Comentarios populares sobre el líder en
el mes .......................................................................................................................................... 23
Ilustración 21 Visualización del prototipo Medios - casos de corrupción .................................. 23
Ilustración 22 Visualización del prototipo Medios - Cantidad de publicaciones sobre líderes de opinión
vs cantidad de publicaciones de corrupción que mencionan a líderes de opinión ...................... 24
Ilustración 23 Visualización del prototipo Medios - Cantidad de publicaciones sobre partido político vs
cantidad de publicaciones de corrupción que mencionan a partido político ............................... 24
Ilustración 24 Visualización del prototipo Medios - Cantidad de publicaciones sobre la institución vs
cantidad de publicaciones de corrupción que mencionan a la institución................................... 25
Ilustración 25 Visualización del prototipo Medios – medios que publican más sobre la institución vs
medios que publican menos sobre la institución ......................................................................... 25
Ilustración 26 Visualización del prototipo Medios – cantidad de publicaciones hecha por un medio de
comunicación vs otro medio de comunicación ........................................................................... 25
5
Ilustración 27 Visualización del prototipo Medios – cantidad de publicaciones sobre un caso de
corrupción hecho por dos medios ............................................................................................... 26
Ilustración 28 Visualización del prototipo Medios – cantidad de publicaciones sobre un líder de opinión
hecho por dos medios .................................................................................................................. 26
Ilustración 29 Visualización del prototipo Medios – cantidad de publicaciones sobre un partido político
hecho por dos medios .................................................................................................................. 27
Ilustración 30 Visualización del prototipo Medios – cantidad de publicaciones sobre una institución
hecho por dos medios .................................................................................................................. 27
Ilustración 31 Visualización del prototipo Medios - Publicaciones sobre corrupción por cada medio
.................................................................................................................................................... 28
Ilustración 32 Visualización del prototipo partidos políticos - Sentimientos expresados en los
comentarios ................................................................................................................................. 28
Ilustración 33 Visualización del prototipo partidos políticos – actividad ................................... 28
Ilustración 34 Visualización del prototipo partidos políticos - reacciones en noticias sobre este partido
político ........................................................................................................................................ 29
Ilustración 35 Visualización del prototipo casos de corrupción – cantidad de publicaciones sobre el caso
vs cantidad de comentarios sobre el caso .................................................................................... 29
Ilustración 36 Visualización del prototipo casos de corrupción – reacciones en noticias sobre este carro
de corrupción .............................................................................................................................. 29
6
3. Índice de tablas
Tabla 1 Algoritmo nucleo ........................................................................................................... 16
7
4. Introducción
Este documento conocido como SDD (por sus siglas en inglés Software Design Document),
contiene la descripción detallada del diseño del SENTINEL. Este proyecto es realizado como trabajo
de grado de la carrera de ingeniería de sistemas de la Pontificia Universidad Javeriana. Este documento
permite identificar los principales componentes que construyen al sistema, su relación y principal medio
de comunicación.
8
5. Arquitectura
5.1. Vista Lógica del Sistema
A continuación, en la ilustración 1 se presenta el diagrama de arquitectura de componentes;
identificando capas, controladores e interfaces propuestas y requeridas [1][2].
Ilustración 1 Vista lógica del sistema
A continuación, se detallan las capas y sus componentes:
1. Fuente de datos – Facebook
a. Datos: Representa la fuente principal de datos a extraer: el origen y forma inicial
provendrá de la red social Facebook, el sistema accede constantemente a los datos
abiertos de Facebook y por medio de HTTPS/REST se extraen los datos al sistema.
2. RART 2.0
a. Extracción de datos: Es el componente encargado de extraer datos de Facebook, es
un código desarrollado e implementado en Python que permite por medio de métodos
POST y GET extraer los datos de Facebook y los deja a disposición del sistema de
manera local.
3. Base de datos no relacional: Debido a la forma y estructura de los datos, junto con la
naturaleza del proyecto, los datos extraídos no cumplen con una forma estándar para
almacenarlos en una base de datos relacional, por el contrario, los datos deben ser tratados y
almacenados en base de datos no relacionales, una de las razones principales es que el formato
de intercambio de datos está en formato JSON.
4. Componente de analítica
Todos los módulos del componente de analítica fueron desarrollados e implementados en
Python 3.5+ y R 3.1+
9
a. Módulo de análisis de sentimientos
i. Algoritmos de sentimientos: es una colección de algoritmos enfocados a
realizar análisis de sentimientos sobre los datos extraídos.
b. Módulo de sesgos
i. Algoritmos de sesgos: es una colección de algoritmos enfocados y
desarrollados a realizar sesgos de los datos extraídos.
Bajo este contexto, el sesgo se mide por medio del rango intercuartil, en donde
los valores atípicos son aquellos medios que publican menos sobre un caso de
corrupción.
c. Módulo de agregadas
i. Algoritmos de agregadas: es una colección de algoritmos enfocados y
desarrollados a realizar funciones básicas de agregados, tales como suma,
restar, contar, entre otros.
d. Módulo de correlaciones
i. Algoritmos de correlaciones: es una colección de algoritmos enfocados a
realizar correlaciones sobre los datos extraídos.
5. Componente de visualización
El componente de visualización está definido bajo una arquitectura Cliente-Servidor,
donde el servidor está implementado en Node.js y el cliente con las tecnologías HTML5, CSS3
y JavaScript. El servidor se encarga de buscar los resultados del proceso de analítica y enviarlos
al cliente para su posterior visualización.
Para la visualización se utilizaron una serie de librerías web que proveen herramientas
gráficas para poder visualizar los resultados obtenidos del componente de visualización. A
continuación, se listan las librerías utilizadas:
1. Vis.js: Librería dinámica de visualización web (http://visjs.org/)
2. Chartist.js: Librería desarrollada en JavaScript que permite graficar datos en diferentes tipos
de graficas en cavas HTML5 (https://gionkunz.github.io/chartist-js/)
3. Chart.js: Librería desarrollada en JavaScript que permite graficar datos en diferentes tipos de
graficas en canvas HTML5 (http://www.chartjs.org/)
4. Word_cloud: Generador de nube de palabras desarrollado en Python.
(https://github.com/amueller/word_cloud)
10
5.2. Vista Física del Sistema
A continuación, en la ilustración 2 se muestra la vista física del sistema en donde se ubican los
componentes de software y cómo estos se despliegan en diferentes unidades de hardware, mostrando
sus protocolos de comunicación.
Ilustración 2 Vista física del sistema
A continuación, se detallan los nodos:
1. Servidor SENTINEL: Este servidor genérico almacena todos los componentes del sistema de
información Sentinel.
a. Base de datos no relacional.
b. Analítica.
c. RART 2.0.
d. Visualización.
2. Device: representa el dispositivo que podrá visualizar los resultados finales de Sentinel, solo
se necesita de un navegador web para desplegar la interfaz, ya sea desde un dispositivo móvil
o un computador personal.
3. Facebook: Es la red social de donde se extraerán los datos. Diseño Detallado.
11
5.3. Estructura del Sistema
Inicialmente el sistema busca ser una herramienta que permita a los interesados tener una
perspectiva real de los casos de corrupción más populares en ambientes virtuales sociales como lo es
Facebook. Para esto es necesario entender qué es la corrupción y cómo se comporta en ambientes
sociales, para esto el grupo de trabajo se asesoró de expertos en el negocio y el tema principal de la
corrupción en Colombia.
Teniendo en cuenta el orden en que los requerimientos van a ser desarrollados e implementados,
por medio de la priorización, se procede a crear un modelo de analítica el cual se muestra en la
ilustración 3 en donde se ubican los algoritmos a utilizar, identificando la firma del método a
implementar.
Ilustración 3 Modelo de analítica.
Finalmente, con ánimos de llevar una trazabilidad completa se identifican cuatro módulos generales
dentro del componente de analítica del sistema, dentro de cada módulo se identifican los algoritmos
mencionados en el modelo de analítica y las preguntas correspondientes a cada módulo.
12
1. Módulo de análisis de sentimientos.
Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes herramientas y
lenguajes de desarrollo:
1. Python 3.5
2. R Studio 3.3.3 o superior
Adicionalmente se cuenta con un trabajo de grado desarrollado por estudiantes de pregrado de la
Pontificia Universidad Javeriana y liderado por el Ingeniero Jorge Andrés Alvarado Valencia
denominado "Análisis del sentimiento político mediante la aplicación de herramientas de minería de
datos a través del uso de redes sociales" para llevar a cabo el análisis de sentimientos sobre las
publicaciones que el sistema extrae.
A continuación, en la ilustración 4 se presentan los requerimientos correspondientes al módulo de
análisis de sentimientos:
Ilustración 4 Modulo de análisis de sentimientos con requerimientos.
2. Módulo de agregadas
Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes
herramientas y lenguajes de desarrollo:
13
1. Python 3.5
2. R Studio 3.3.3 o superior.
A continuación, en la ilustración 5 se presentan los requerimientos correspondientes al módulo de
agregadas:
Ilustración 5 Modulo de agregadas con requerimientos.
3. Módulo de sesgo
Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes
herramientas y lenguajes de desarrollo:
1. Python 3.5
2. R Studio 3.3.3 o superior.
A continuación, en la ilustración 6 se presentan los requerimientos correspondientes al módulo de
agregadas:
14
Ilustración 6 Modulo de sesgo con requerimientos.
4. Módulo de correlaciones
Para el desarrollo del módulo de análisis de sentimientos se utilizarán las siguientes
herramientas y lenguajes de desarrollo:
1. Python 3.5
2. R Studio 3.3.3 o superior.
A continuación, en la ilustración 7 se presentan los requerimientos correspondientes al módulo de
agregadas:
Ilustración 7 Modulo de correlaciones con requerimientos.
15
Ahora, se detallan los algoritmos a implementar por cada categorización de minería de datos
en la tabla 1, indicado la técnica, nombre del algoritmo núcleo, entrada y salida. Es necesario mencionar
que en este documento solo se detalla la entrada y salida mas no como se utiliza a nivel del sistema.
Tarea Técnica Algoritmo
núcleo
Entrada Salida
Predictiva Análisis de
sentimientos
Bag-of-
words
Cadena de
caracteres
-1 negativo, 0 neutral, 1
positivo
Descriptiva Sesgo Rango
Intercuartil
Lista de
cada medio.
Lista de medios, la cantidad
de publicaciones de cada
medio y una descripción
indicando si es un outlier o
no según la cantidad de
publicaciones que ha hecho
comparado al resto de
medios.
Descriptiva Asociación
de palabras
Matriz de
correlación
Una matriz
M cuyas
filas i
representan
cada
documento
(ej:
comentario
o
publicación)
y las
columnas j
son cada
palabra que
aparece en
todo el
corpus de
documentos.
El valor de
cada celda
M[i, j] de la
matriz es el
peso TF-
IDF del
término j
para el
documento
i.
Una estructura de datos que
representa un grafo, con cada
nodo representando las
palabras y las aristas
representan la asociación
entre las palabras.
El tamaño del nodo indica
qué tan fuerte es la
asociación entre las palabras.
Entre más grande el nodo
significa que la asociación
para esa palabra es mayor y
si el nodo es de menor
tamaño indica que la
asociación es más pequeña.
16
Descriptiva Suma sum Lista de
elementos
del mismo
tipo;
enteros,
decimales,
entre otros.
Descriptiva Promedio avg Lista de
elementos
del mismo
tipo;
enteros,
decimales,
entre otros.
Descriptiva Frecuencia count Lista de
elementos
del mismo
tipo; cadena
de
caracteres,
enteros,
decimales,
entre otros.
Descriptiva Mínimo min Lista de
elementos
del mismo
tipo;
enteros,
decimales,
entre otros.
Descriptiva Máximo max Lista de
elementos
del mismo
tipo;
enteros,
decimales,
entre otros.
Tabla 1 Algoritmo núcleo
5.4. Comportamiento del Sistema
En esta sección se presentan los diagramas de secuencia, mediante estos diagramas de secuencia se
identifica el flujo general del usuario al momento de usar el sistema para consultar y observar resultados,
es necesario aclarar que la gran mayoría de componentes identificados en estos diagramas hacen parte
de la arquitectura previamente descrita mas no los algoritmos utilizados bajo cada módulo.
17
Módulo análisis de sentimientos
Ilustración 8 Diagrama de secuencia de análisis de sentimientos
Módulo agregadas
Ilustración 9 Diagrama de secuencia de agregadas.
18
Módulo de correlaciones
Ilustración 10 Diagrama de secuencia de correlaciones.
Módulo sesgo
Ilustración 11 Diagrama de secuencia de sesgo.
5.5. Persistencia
El sistema maneja una base de datos no relacional y se presenta a continuación en la ilustración
12 la manera en que se representan los datos y su relación.
19
Ilustración 12 Modelo de datos
1. Post
a. _id: representa el ID del post.
b. created_time: representa la fecha de creación del post.
c. message: representa la cadena de caracteres que representa el post.
d. name: representa el nombre del post.
e. description: representa una descripción del post.
f. shares: representa la cantidad de veces que un post fue compartido.
g. link: representa la url del post.
h. reactions:
i. sad: representa la reacción Sad.
ii. haha: representa la reacción haha.
iii. love: representa la reacción love.
iv. like: representa la reacción like.
v. wow: representa la reacción wow.
vi. angry: representa la reacción angry.
2. Comments
a. _id: representa el ID del post.
b. created_time: representa la fecha de creación del comentario.
c. message: representa la cadena de caracteres del mensaje.
d. like_count: representa la cantidad de veces que los usuarios le han dado like a ese
comentario.
Para almacenar los resultados los algoritmos en la base de datos y garantizar un procesamiento
adecuado y eficiente de los datos que continuamente se extraen, se deben seguir una serie de pasos que
se muestran en la ilustración 13:
20
Ilustración 13 Proceso de guardado y carga
1. Recopilar datos de base de datos: En esta parte del proceso, el componente de analítica
consume los datos ya extraídos por parte de RART 2.0.
2. Aplicar algoritmos del componente de analítica: Una vez los datos son consumidos por parte
del componente de analítica, los algoritmos empiezan su propio procesamiento y previamente
entregan los resultados y salidas de los algoritmos.
3. Generar y guardar resumen del día: Este es uno de los pasos más importantes del proceso
debido a que es en esta actividad que el sistema almacena resúmenes del día con ánimos de no
repetir los pasos anteriores. El sistema consulta el resumen del día y posteriormente entrega los
resultados acumulados finales hasta la fecha actual.
5.6. Interfaz de Usuario
Ilustración 14 Visualización del prototipo - descubre (Asociación de palabras)
21
Ilustración 15 Visualización del prototipo – líder 1 estadísticas de Facebook
Ilustración 16 Visualización del prototipo líderes de opinión – acciones
Ilustración 17 Visualización del prototipo líderes de opinión - nube de palabras de publicaciones realizadas por el líder
22
Ilustración 18 Visualización del prototipo líderes de opinión – tendencias de los comentarios
Ilustración 19 Visualización del prototipo líderes de opinión - Reacciones en noticias sobre líder de opinión
23
Ilustración 20 Visualización del prototipo líderes de opinión - Comentarios populares sobre el líder en el mes
Ilustración 21 Visualización del prototipo Medios - casos de corrupción
24
Ilustración 22 Visualización del prototipo Medios - Cantidad de publicaciones sobre líderes de opinión vs cantidad de
publicaciones de corrupción que mencionan a líderes de opinión
Ilustración 23 Visualización del prototipo Medios - Cantidad de publicaciones sobre partido político vs cantidad de
publicaciones de corrupción que mencionan a partido político
25
Ilustración 24 Visualización del prototipo Medios - Cantidad de publicaciones sobre la institución vs cantidad de
publicaciones de corrupción que mencionan a la institución
Ilustración 25 Visualización del prototipo Medios – medios que publican más sobre la institución vs medios que publican
menos sobre la institución
Ilustración 26 Visualización del prototipo Medios – cantidad de publicaciones hecha por un medio de comunicación vs
otro medio de comunicación
26
Ilustración 27 Visualización del prototipo Medios – cantidad de publicaciones sobre un caso de corrupción hecho por dos
medios
Ilustración 28 Visualización del prototipo Medios – cantidad de publicaciones sobre un líder de opinión hecho por dos
medios
27
Ilustración 29 Visualización del prototipo Medios – cantidad de publicaciones sobre un partido político hecho por dos
medios
Ilustración 30 Visualización del prototipo Medios – cantidad de publicaciones sobre una institución hecho por dos
medios
28
Ilustración 31 Visualización del prototipo Medios - Publicaciones sobre corrupción por cada medio
Ilustración 32 Visualización del prototipo partidos políticos - Sentimientos expresados en los comentarios
Ilustración 33 Visualización del prototipo partidos políticos – actividad
29
Ilustración 34 Visualización del prototipo partidos políticos - reacciones en noticias sobre este partido político
Ilustración 35 Visualización del prototipo casos de corrupción – cantidad de publicaciones sobre el caso vs cantidad de
comentarios sobre el caso
Ilustración 36 Visualización del prototipo casos de corrupción – reacciones en noticias sobre este carro de corrupción
30
6. Referencias
[1]. Mendoza, Calambás, (2016). Documento de Diseño de Software, RART, Trabajo de Grado,
recuperado de http://pegasus.javeriana.edu.co/~CIS1630AP06/Documentacion/SDD/RART_SDD.pdf
11 de abril de 2017
[2]. López, Iannini, Forero, Torres, Guerrero, Gracia (2015). Software Design Document, JaveShop,
Ingeniería de Software.
[2] 1016-2009 - IEEE Standard for Information Technology--Systems Design--Software Design
Descriptions
![JUSTIFICACIÓN NECESIDAD MODELO DE MEJORA DE PROCESOS DE ...pegasus.javeriana.edu.co/~CIS1030IS04/documents/Rigor_Entregable 2... · CMMI (Capability Maturity Model Integration) [11];](https://img.pdfslide.net/doc/110x75/5ba3d1d509d3f2a9218c2831/justificacion-necesidad-modelo-de-mejora-de-procesos-de-cis1030is04documentsrigorentregable.jpg)
