Embed Size (px)
Citation preview
![Page 1: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/1.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
Information tracking with
Seguridad de la Información eficiente e inteligente - [email protected]
siguiendo la pista por la red
3 de marzo de 2011
Daniel Solís AgeaJose Antonio Lancharro
@blueliv
#optos #rooted2011#blueliv
![Page 2: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/2.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
2Information tracking with OPTOS
“Eres aquello que proyectas”, por lo que es necesario:
Detectar nuestro nivel de visibilidad en Internet:
– Activos tecnológicos (mapa tecnológico)– Información de la Organización (qué hay de nosotros)– Imagen y reputación (qué opinan de nosotros)– Personas vinculadas a nuestra Organización (qué hacemos nosotros)
Determinar nuevos vectores de ataques y abuso
– Excesiva visibilidad en Internet g0t r00t3d– Detección proactiva de acciones maliciosas: phishing, DDoS, etc.– Fugas de información (documentos, emails, comentarios en foros…)
¿Qué está pasando?
![Page 3: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/3.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
3Information tracking with OPTOS
Es herramienta que recolecta información de forma “inteligente” y permite hacer un tracking de la información.
¿Por qué funciona OPTOS?
– Gracias al pecado preferido del diablo….
¿Qué es OPTOS?
![Page 4: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/4.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
4Information tracking with OPTOS
Es herramienta que recolecta información de forma “inteligente” y permite hacer un tracking de la información.
¿Por qué funciona OPTOS?
– Gracias al pecado preferido del diablo….
¿Qué es OPTOS?
![Page 5: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/5.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
5Information tracking with OPTOS
Es herramienta que recolecta información de forma “inteligente” y permite hacer un tracking de la información.
¿Por qué funciona OPTOS?
– Gracias al pecado preferido del diablo…. – Gracias a que la mayoría de la población votaría a…
¿Qué es OPTOS?
![Page 6: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/6.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
6Information tracking with OPTOS
Es herramienta que recolecta información de forma “inteligente” y permite hacer un tracking de la información.
¿Por qué funciona OPTOS?
– Gracias al pecado preferido del diablo…. – Gracias a que la mayoría de la población votaría a…
¿Qué es OPTOS?
![Page 7: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/7.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
7Information tracking with OPTOS
Necesitábamos una herramienta que:
– Pudiésemos manejar y modificar a nuestro antojo– Nos ayudara a mapear activos tecnológicos Visibilidad (pentest)– Nos apoyase en la investigación de fraudes y fugas de información (!)
Por las limitaciones de las herramientas actuales:
– Funcionalidades (explotación de los resultados)– Privacidad– Compartir el conocimiento con la comunidad (es de bien nacido…)
– Costes (de 0,8k euros a 900k euros)
¿Por qué OPTOS?
![Page 8: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/8.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
8Information tracking with OPTOS
Necesitábamos una herramienta que:
– Pudiésemos manejar y modificar a nuestro antojo– Nos ayudara a mapear activos tecnológicos Visibilidad (pentest)– Nos apoyase en la investigación de fraudes y fugas de información (!)
Por las limitaciones de las herramientas actuales:
– Funcionalidades (explotación de los resultados)– Privacidad– Compartir el conocimiento con la comunidad (es de bien nacido…)
– Costes (de 0,8k euros a 900k euros)
¿Por qué OPTOS?
![Page 9: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/9.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
9Information tracking with OPTOS
Necesitábamos una herramienta que:
– Pudiésemos manejar y modificar a nuestro antojo– Nos ayudara a mapear activos tecnológicos Visibilidad (pentest)– Nos apoyase en la investigación de fraudes y fugas de información (!)
Por las limitaciones de las herramientas actuales:
– Funcionalidades (explotación de los resultados)– Privacidad– Compartir el conocimiento con la comunidad (es de bien nacido…)
– Costes (de 0,8k euros a 900k euros)
¿Por qué OPTOS?
![Page 10: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/10.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
10Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Módulos de Asociación
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Si E_idorigen ≅ E_idtransformada existe relación Excepción si se encuentra a si misma
Transformadas
![Page 11: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/11.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
11Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Transformadas
![Page 12: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/12.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
12Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Transformadas
![Page 13: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/13.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
13Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Módulos de Asociación
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Transformadas
![Page 14: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/14.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
14Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Módulos de Asociación
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Transformadas
![Page 15: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/15.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
15Information tracking with OPTOS
El algo que buscar… La entidad
Los rastredores…
La inteligencia…
Módulos de Asociación
Tracking down by an Entity
Entidad {dominio, ip, email, nickname, persona, marca, organización, palabra/s…}E_id = {tipo, valor}
Crawler {google, linkedin, fb, twitter, yahoo, bing, pgp server, p2p…}
Si E_idorigen ≅ E_idtransformada existe relación Excepción si se encuentra a si misma
Transformadas
![Page 16: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/16.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
16Information tracking with OPTOS
¿Cómo funciona OPTOS?
T
EC
T = TransformadaE = EntidadC = Conjunto de condiciones
![Page 17: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/17.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
17Information tracking with OPTOS
¿Cómo funciona OPTOS?
T
EC
T = TransformadaE = EntidadC = Conjunto de condiciones
![Page 18: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/18.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
18Information tracking with OPTOS
¿Cómo funciona OPTOS?
T
EC
T = TransformadaE = EntidadC = Conjunto de condicionesT
EC|
|= |info|
![Page 19: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/19.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
19Information tracking with OPTOS
¿Cómo funciona?
![Page 20: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/20.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
20Information tracking with OPTOS
Servidor Java EE 6 (p.e. Glassfish v3) Java 6 MySQL >= 5. Jython 2.5.2 RC4 Cytoscapeweb 0.7.2
– Lo usan otras herramientas del mercado (modo cliente)– No tienes que enviar los datos a nadie (gephi/ open platform graphviz)
¿Qué utilizamos para ello?
![Page 21: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/21.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
21Information tracking with OPTOS
Prohibición legal del scrapping…
La velocidad del crawling… ¿Cómo superar los cuellos de botella?
En los crawlers:– Limitados por las compañías– Restricciones del acceso– Restricciones de la API, si existe…
Asociar información de diferentes fuentes, normalizarla, asociarla y realizar nuevas búsquedas GRAN RETO
Análisis semántico de contenidos… o eso dicen…
El desafío
![Page 22: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/22.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
22Information tracking with OPTOS
Prohibición legal del scrapping…
La velocidad del crawling… ¿Cómo superar los cuellos de botella?
En los crawlers:– Limitados por las compañías– Restricciones del acceso– Restricciones de la API, si existe…
Asociar información de diferentes fuentes, normalizarla, asociarla y realizar nuevas búsquedas GRAN RETO
Análisis semántico de contenidos… o eso dicen…
El desafío
![Page 23: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/23.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
23Information tracking with OPTOS
Prohibición legal del scrapping…
La velocidad del crawling… ¿Cómo superar los cuellos de botella?
En los crawlers:– Limitados por las compañías– Restricciones del acceso– Restricciones de la API, si existe…
Asociar información de diferentes fuentes, normalizarla, asociarla y realizar nuevas búsquedas GRAN RETO
Análisis semántico de contenidos… o eso dicen…
El desafío
![Page 24: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/24.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
24Information tracking with OPTOS
El desafío
Yahoo Query Language
Rate limits in YQL are based on your authentication. If you use IP based authentication then you are limited to 1000 calls/day/IP. If you use OAuth based authentication then you are limited to 100,000 calls/day/key*. However, in order to make sure the service is available for everyone we ask that you don't call YQL more than 0.2 times/second or 1,000 times/hour for IP authenticated users and 2.7 times/second or 10,000 times/hour.
*Please don't create multiple keys to 'avoid' rate limits. If you would like us to increase your limit please contact us with details of your project and we'll do our best to accommodate you.
![Page 25: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/25.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
25Information tracking with OPTOS
El desafío
Yahoo Query Language
Rate limits in YQL are based on your authentication. If you use IP based authentication then you are limited to 1000 calls/day/IP. If you use OAuth based authentication then you are limited to 100,000 calls/day/key*. However, in order to make sure the service is available for everyone we ask that you don't call YQL more than 0.2 times/second or 1,000 times/hour for IP authenticated users and 2.7 times/second or 10,000 times/hour.
*Please don't create multiple keys to 'avoid' rate limits. If you would like us to increase your limit please contact us with details of your project and we'll do our best to accommodate you.
![Page 26: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/26.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
26Information tracking with OPTOS
El desafío
Anonymous calls are based on the IP of the host and are permitted 150 requests per hour. This classification includes unauthenticated requests (such as RSS feeds), and authenticated requests to resources that do not require authentication.
OAuth calls are permitted 350 requests per hour.
![Page 27: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/27.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
27Information tracking with OPTOS
Bing
Restrict your usage to less than 7 queries per second (QPS) per IP address. You may be permitted to exceed this limit under some conditions, but this must be approved through discussion with [email protected]
El desafío
![Page 28: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/28.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
28Information tracking with OPTOS
El desafío
4.5 You acknowledge and agree that while Google may not currently have set a fixed upper limit on the number of transmissions you may send or receive through the Services or on the amount of storage space used for the provision of any Service, such fixed upper limits may be set by Google at any time, at Google’s discretion.
5.3 You agree not to access (or attempt to access) any of the Services by any means other than through the interface that is provided by Google, unless you have been specifically allowed to do so in a separate agreement with Google. You specifically agree not to access (or attempt to access) any of the Services through any automated means (including use of scripts or web crawlers) and shall ensure that you comply with the instructions set out in any robots.txt file present on the Services.
![Page 29: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/29.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
29Information tracking with OPTOS
El desafío
4.5 You acknowledge and agree that while Google may not currently have set a fixed upper limit on the number of transmissions you may send or receive through the Services or on the amount of storage space used for the provision of any Service, such fixed upper limits may be set by Google at any time, at Google’s discretion.
5.3 You agree not to access (or attempt to access) any of the Services by any means other than through the interface that is provided by Google, unless you have been specifically allowed to do so in a separate agreement with Google. You specifically agree not to access (or attempt to access) any of the Services through any automated means (including use of scripts or web crawlers) and shall ensure that you comply with the instructions set out in any robots.txt file present on the Services.
![Page 30: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/30.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
30Information tracking with OPTOS
El desafío
4.5 You acknowledge and agree that while Google may not currently have set a fixed upper limit on the number of transmissions you may send or receive through the Services or on the amount of storage space used for the provision of any Service, such fixed upper limits may be set by Google at any time, at Google’s discretion.
5.3 You agree not to access (or attempt to access) any of the Services by any means other than through the interface that is provided by Google, unless you have been specifically allowed to do so in a separate agreement with Google. You specifically agree not to access (or attempt to access) any of the Services through any automated means (including use of scripts or web crawlers) and shall ensure that you comply with the instructions set out in any robots.txt file present on the Services.
![Page 31: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/31.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
31Information tracking with OPTOS
Versión libre Septiembre 2011 ( twitter:blueliv)
Abriremos la tool previamente a algunos betatesters
Nuevos crawlers y transformadas
– Shodan– Duck, duck go!– Malware– …
Apertura de transformadas a la comunidad transformers :P
Next steps
![Page 32: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/32.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
Information tracking with
Seguridad de la Información eficiente e inteligente - [email protected]
Casos de uso y DEMO
siguiendo la pista por la red
![Page 33: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/33.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
33Information tracking with OPTOS
Caso 1: Mapeo de activos Caso 2: Detección de sistemas comprometidos, y potencial detección de malware Caso 3: Detección de información sensible y anticipación a incidentes
Wacth the avi at:
http://www.youtube.com/watch?v=xYIJyoA2-Tw
DEMO
![Page 34: Blueliv - Information Tracking with Optos [Rooted CON 2011]](https://reader035.pdfslide.net/reader035/viewer/2022062503/58ed66611a28ab99108b4727/html5/thumbnails/34.jpg)
© 2010 Leap In Value S.L., con marca registrada blueliv. Todos los derechos reservados.
Muchas gracias
¡Muchas gracias!
@blueliv @danielsoliagea
