Analýza DAT Pro infosec

Teradata Confidential1

ANALÝZA DAT PRO INFOSECLuboš MusilSolution architect


Big Data, Analýza dat pro InfosecVýzvy kybernetické bezpečnosti

oKybernetické útoky rostou závratným tempem. Aktuální systémy a procesy obtížně drží krok.o Limitovaná granularita a nízké samplovací frakvence ohrožují schopnost analyzovat data a

reagovatoPomalé reakční doba na identifikaci nových neznámých událostí v síti snižuje schopnost učinné

reakce.oHackeři neustále hledají nové způsoby, jak napadnout sítě, což vede k vysokým investicím do

kontroly a zabezpečení sítí.Problémy kybernetické bezpečnosti

oNeschopnost rozpoznat a reagovat na předzvěsti DDoS (Distributed Denial of Service) a další škodlivé počítačové útoky, než dojde k nějakému poškození.

oNeschopnost zabránit narušení legitimního provozu v síti.oŠpatná informovanost o škodlivém provozu na siti oproti obvyklému provozuoStávající řešení se zaměřují buď na základní analýzu v reálném čase nebo na sběr dat pro

pozdější forenzní analýzu.oV době, kdy Bezpečnostní innženýr (SOC) nebo Síťový inženýr (NOC) zjistí, identifikuje,

analyzuje, reaguje a blokuje kybernetický útok, je obvykle příliš pozdě.Cílem je zvýšit znalost a reakční čas

o Implementovat řešení, které poskytuje vysokorychlostní, detailní monitorování provozu sítě, korelaci událostí téměř v reálném čase a analýzy dat s cílem zlepšit povědomí o situaci

oZkrátit dobu odezvy na události o provozu na sítioZvýšit účinnost kontroloAnalyzovat a hodnotit příchozí a odchozí provoz „Co, kdo, jak, kdy téměř v reálném čase“o Aktivně reagovat na dosud neznámé riziko

To vše jsou obvyklé výzvy pro řešení z oblasti „Big dat“


Analýza dat pro InfoSecJak problematiku řešit?

oIntegrací bezpečnostních datTradiční přístup hiearchie vrstev v zabezpečení lze významně zefektivnit díky integraci a korelaci událostí síťových aktivit vznikajících ve stávajících bezpečnostních nástrojích, jako jsou např. firewally, IDS / IPS, proxy servery, routery a další nástroje nebo referenční zdroje dat.

oIntegrací siťových dat (Big Data & Analytics Integration w/ Near-Real-Time Performance)Použití analýz velkých dat integrovaných s běžnými bezpečnostními produkty, široké zachycování paketů a jejich kontrola.

oVyužitím prověřených řešení z oblasti BI/DWH

Řešení poskytujeo Jedno, komplexní a autorizované, prostředí integrující InfoSec a Cyber Security datové infrastruktury.

Analyzy a reporty, které poskytují nové pohledy na podporu zjednodušení procesů a zvýšení urovně zabezpečení.

oPodporu CISO výstupy datových analýz v Near-Real-Time rychlosti nad výše uvedenými integrovanými daty

oLepší, rychlejší, žalovatelné bezpečnostní informace - zmenšující kritický čas od detekce po nápravu (sanaci) umožňující odborníkům aktivně bránit a chránit vaši síť v dnešní „kybernetické válce „

Technologické požadavky• Extrémní rozšiřitelnost• Extrémní výkon• Vysoká dostupnost • Výkonný load dat a přístup k datůmMission Critical 7 x 24

Data Volume(Raw, User Data)

SchemaSophistication

QueryFreedom

QueryComplexity

QueryConcurrency

MixedWorkload

Query Data Volume

DataFreshness


Koncepce přítupu: Session, Vector

421029792443108623|172.33.0.51|0|ndsta1|1169099420|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|START|1489|25|88|173|0|85|2|2|0|0|0|0||4268602930|0|TCP

421029792443108623|172.33.0.51|0|ndsta1|1169099421|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|END|1489|25|1692|935|1244|407|11|13|0|0|1|0||243385948|0|TCP

(START of Session) (END of Session)

SessionID 421029792443108000 421029792443108000

AnalyzerIP 172.33.0.51 172.33.0.51

AnalyzerID 0 0

PopNm ndsta1 ndsta1

TimeStamp 1169099420 1169099421

TimeStampFrac 4268602930 243385948

Date 1/18/2007 1/18/2007

Hour 5 5

Minute 50 50

TzOfstMins -300 -300

TzDst 0 0

TzNm EST EST

TzDstNm EDT EDT

ClientIP 10.1.69.211 10.1.69.211

ServerIP 10.2.69.216 10.2.69.216

Protocol SMTP SMTP

EventNm START END

ClientPort 1489 1489

ServerPort 25 25

BytesSent 88 1692

BytesRecv 173 935

DataSent 0 1244

DataRecv 85 407

PktsSent 2 11

PktsRecv 2 13

DataRtrSent 0 0

DataRtrRecv 0 0

ConnectTime 0 1

EndStatus 0 0

Layer2InfoEndFlags 0 0

L4Proto TCP TCP

Příklad: Start a End Session Vector pro jednu SMTP Session

Tabular View of same Session Vectors

Start...

End

Každá jednotlivá Session má n Vectorů


Koncepce přítupu shromažďování dat


LANGUAGES MATH & STATS DATA MINING BUSINESS INTELLIGENCE APPLICATIONS

Security Engineers (SOC)

Data Scientists Network Engineers (NOC) CISO Fraud Analysts

Legal / ComplianceForensic Analysts Executives

Aktuální stav InfoSec architektury

E-MAIL GATEWAYS

SIEM DATA APT DATA

URL FILTERING DATA

SYS LOGS DEEP PACKET INSPECTION

INTERNET GATEWAY DATA

SNIFFER TOOLS

Netflow/IPFIX, Firewall, IDS/IPS, Router & Uživatelské aktivity log data, Referenční & produční data z vícero zdrojů, aplikací a zařízení

Koncoví uživatelé používají preferované vizualizací nástroje, programovací jazyky, skripty, reporty a statistické balíčky k analýze a reakci na bezpečnostní síťové událostí


DISCOVERY PLATFORM

CAPTURE | STORE | REFINE


E-MAIL GATEWAYS

SIEM DATA APT DATA

URL FILTERING DATA



SNIFFER TOOLS

Internet

Gateway RouterInternal Network

INTEGRATEDDATA ANALYTICS




Nové prvky InfoSec architektury

Discovery platforma

• Specializovaná platforma na bázi MapReduce s MapReduce SQL rozhraním

• Vlastní databáze, opuštění HDFS

• Anylýzy časových řad jedním průchodem

• Předdefinované analitycké funkce nPath,Graph analyses

Integrovaná data

• Masivně parallení databázová platforma

• Linearně skálovatelná ve všech dimenzích

• Indusrty data modely a IDW business model

• Mixovaná workload, Garantovaný výkon

• Vysoká dostupnst (HA)

Hadoop

• Uložení velkého objemu dat za nízké náklady na 1 TB v HDFS

• Výkonný batch load

• Není – plnohodnotné SQL, interaktivni session, konkurenční workload, HA


DISCOVERY PLATFORM

CAPTURE | STORE | REFINE


Analýza Infosec

E-MAIL GATEWAYS

SIEM DATA APT DATA

URL FILTERING DATA



SNIFFER TOOLS

Internet

Gateway Router Ukládání packet & Inspekce a

analýza s partnerskými

produkty (Narus, SAS,Aster,...)

Interní Síť

INTEGRATEDDATA ANALYTICS




Krok 2:

• Užití Discovery Platformy s konektory do Integrovaných dat nebo Hadoop pro extrakci podmnožiny dat vzorů chování síťových aktivit v Discovery platformě

• Používá „Path“ analýzu pro identifikaci vzoru útoku na vector „malicious codu“ a jeho šíření;

• Použítí Graf analýzy k forensní identifikaci infikovaných systémů v rámci sítě

Krok 3:

• Přesun zjištění discovery platformy do integrovaných dat

• Kombinuje pohled na síťové aktivity v Integrovaném datovém engine s daty jiných bezpečnostních aktivit jako jsou SIEM, SysLog a compliance řešení společně se statickými daty jako jsou konfigurace, prvky sítě, různé metriky atd..

• Vytvoření síťových benchmarků a ‘normal’ limitů (threshold) založených na historických trendech (ročních a sezonních)

• „Cold” data uložena v Hadoop

• Data čištěna a předzpracována pro analýzu posloupností

• Použitelná pro budoucí forensní analýzy a dlouhodobé vyšetřování možných narušení

Krok 1:

• Uložení TAP/PCAP, Netflow, log files, sensors, nebo jiné vysoko objemové, měnící se síťová data v Hadoop


Shrnutí koncepce

Integrace Bezpečnostních &Síťových dat:• Identity & Authentication• Firewall• Anti-virus/Anti-Malware• Anti-DoS/DDoS• SIEM• IDS/IPS• Endpoint Security System• Mobile Device Management• Data Loss Prevention• Secure Network Gateway• Zachycení Packet & Inspekce• …Toto není kompletní list

Integrace Big Dat & Analýz• MapReduce

o Sessionizationo Path Analysiso Graph / Network Analysis

• Stat nástrojeo SAS & R

• Programovací Scriptyo Java, C/C++, Pythono SQLo BI (BOBJ, Tableau, etc.) o Visualization Tools

• …To není kompletní list

Integrace dat umožňuje odpovědět kdo, co, kde, kdy, jak a proč dělá v probíhajícím provozu na síti v Near-Real-Time módu

Monitoring a chápání kybernetických útoků – Zkracuje čas na nápravu (sanaci)

Co se děje v mé síti?Kdo komunikuje s kým a o čem je komunikace?Jaké údaje „unikají“ ze sítě?Jsou mé stávající bezpečnostní opatření účinná?Jsem v soludu s standardy?Kolik proxy, DNS, SMTP a web serverů běží dnes? ....


Příklad vizualizace síťových dat

10


Bezpečnostní scenař: HTTP únik dat

11

• Obvykle HTTP komunikace je mnohem větší ve směru Server Client

• HTTP je často užit pro přenos dat pomocí webmail nebo file-sending utilit (jako je yousendit.com)

• Detekční algoritmus hledá HTTP kde Send-Receive poměr zatížení je 100:1 v směru Client Server


Bezpečnostní scenař: HTTP únik dat

12

Následně je zkoumáno HTTP URL pro odvození chování


Příklady bezpečnostních scénářů • Firma Associate ve snaze zjednodušení práce, dokončuje nezabezpečené nastavení bezdrátového přístupového bodu k připojení do podnikové sítě. Nezabezpečený bezdrátový přístupový bod (WAP) je nastaven bez hesla a vysílá identifikátor SID. Hloubková inspekce paketů společně s analýzou dat, umožňuje síťovým a bezpečnostním inženýrům rychle identifikovat nezabezpečený WAP, izolovat a vypnout WAP téměř v reálném čase. Také je schopna prokázat, zda datové pakety byly buď příchozí nebo odchozí. Tím je snazší rozpoznat, zda nezabezpečený WAP byl použit k download dat nebo k proniknutí do dat.

• Hacker připojený do firemní sítě se pokouší zpřístupnit řídící command line serveru umístěného na internetu. SNMP trap z bezpečnostních zařízení, jako jsou specilizované zařízení, firewally, IPS, antiviry detekují a upozorní na tyto pokusy a případně blokují IP. Integrované bezpečnostní data s hloubkovou inspekci paketů a analýzou dat umožňuje síťovému a bezpečnostnímu týmu rychle identifikovat systémy v síti zapojené do nebezpečné komunikace, dát je do karantény a udělat nápravu v téměř reálném čase.


Přínosy• Nový daty akcelerovaný pohled na kybernetické útoky• Analýzy a nápravu (sanaci) v reálném čase• Redukce nákladů• Zvýšení efektivity

Akcelerace hodnoty odvozené z integrovaných dat(Firewall, ID/IPS, Anti-Virus, Cyber Analytics, atd.)

Jeden pohled na všechny exitující prvky infrastruktury a bezpečnostní nástroje

• Vylepšení Risk ProfiluDemonstrace zvýšení schopnosti řídit bezpečnostní auditRedukce ekonomických a reputačních rizikPotenciál pro redukci pojištění proti kybernetickým útokům

Kybernetické analytické nástroje dovolují bezpečnostním inženýrům, sítovým inženýrům a analytikům sítě snadněji rozpoznat a reagovat na vzory aktivit reprezentující síťové útoky.


DĚKUJI!Pro další informace kontaktujte Luboše Musila

Luboš Musil Solution ArchitectTeradata Corporation

+420 602 227899 Mobile [email protected]


Big Data Analytics + Cyber Defense = Stronger Cyber Security Posture

• Greatest areas of cyber security risk are attributed to lack of visibility, multiple global interconnected network systems and mobility.

• Cyber-attacks are getting worse – however, only 20 percent state their organizations are more effective at stopping them.

Big Data Analytics in Cyber DefenseReport by Ponemon is available..


Reference - NCDOC

• The Navy Cyber Defense Operations Command (NCDOC) coordinates, monitors, and oversees the defense of the Navy’s computer networks and systems. NCDOC provides Computer Network Defense (CND) services to protect, monitor, analyze, detect and defensively respond to unauthorized activities against and within the Navy’s numerous information systems and computer networks. Teradata is at the heart of the NCDOC project as a “system of systems” that receives, aggregates, processes, correlates, and fuses real-time and near-real-time information from multiple network sources to provide network domain awareness (NDA). Data is collected from hundreds of sensors on the Navy’s networks, intrusion protection systems, compliance reporting databases, and all types of network logging.

• When Teradata initially implemented a pilot project at NCDOC late in 2010, the customer called Teradata’s performance "simply blazing.” Load times were reduced from 24+ hours to updates every 5 minutes. Queries that ran in hours took less than a second on Teradata.

Documents

Analýza DAT Pro infosec