Чем может быть полезен стек ELK

Чем может быть полезен стек ELK

Aleksandr Stankevic

Systems Wrangler@Automattic

2012 - NOW()

Проблема● >4000 серверов● сервер недоступен● сервер взломан● десятки терабайт логов в день

Решение● оставить как есть● удаленный syslog - медленный поиск, не достаточно функциональный● splunk - 600$ / GB ?!?!● ELK

Что такое ELK?Elasticsearch:

- Поисковый движок (Lucene)- Распределенная и масштабируемая система

Logstash:

- Обработка логов

Kibana:

- Визуализация и поиск логов

Logstash - inputinput {

file { path => … }

syslog { }

}

inputs: tcp, udp, syslog, file, eventlog, imap, irc, rss, redis, stdin, 0mq и т.д*

* https://www.elastic.co/guide/en/logstash/2.3/input-plugins.html

Logstash - filterfilter {

json { source => … }

grok { match => [ “message”, “/^%{IP:user_ip} (?<username>\w+)/”

]

}

Filters: cidr, geoip, date, grok, json, kv, ruby, xml, useragent, mutate и т.д*

* https://www.elastic.co/guide/en/logstash/2.3/filter-plugins.html

Logstash - outputoutput {

stdout {}

elasticsearch {}

}

Outputs: file, email, exec, graphite, jira, nagios, pagerduty, redis, zabbix и т.д*

* https://www.elastic.co/guide/en/logstash/2.3/output-plugins.html

Примерinput { courier { port => 1234 } file { path => ‘/tmp/php-memory.log’ } }

filter {

json => { source => “message” }

date => { match => [ “timestamp”, “UNIX”, “dd/MMM/YYYY:HH:mm:ss Z"

}

output {

elasticsearch { hosts => “localhost:9200”, index => “logs-%{+YYYY.MM.dd}

}

Kibana

Kibana

Визуализация

Kibana dashboard

ELK кластерElasticsearch:

8 archive nodes (HDD, 128GB RAM )

13 active (SSD, 64GB RAM )

87 TB

Logstash:

14 (16GB RAM ) + 1 per POP ( 6GB RAM, 4 vCPU )

Электронная почта● > 30 миллионов писем в день● 70-80 GB логов в день● несколько запросов в день● распределено по нескольким серверам● до 5 дней

Электронная почта

Электронная почта

Электронная почта

Электронная почта

PHP● 50-150 миллионов php сообщений в день● ~ 2400 серверов● бесконечный цикл :(

PHP

PHP

Netflows

Тепловая карта России

Города и провайдеры

nginx- ~2000 серверов- Более 2 миллиардов запросов в день- Не включая кэшированные запросы- Не включая лоад балансеры

nginx

Запросы из России

Отфильтрованные запросы из России

Понравилось?

https://automattic.com/work-with-us/

Вопросы?