Евгений Потапов, генеральный директор ITSumma https://www.youtube.com/watch?v=H__ayxFZlz0 Каждый веб-разработчик когда-то хотел сделать свой фреймворк. Каждый админ хотел написать свой мониторинг. Шестилетняя история разработки нашей собственной системы мониторинга, причины ее создания, каким образом мы обеспечиваем хранение данных, отказоустойчивость и масштабирование. Шишки, которые мы набили. Чем наша система отличается от стандартных систем.

1. Евгений Потапов / ITSumma
Изобретая колесо: как
мы писали свой
мониторинг

2. Работаем с 2008 года
Штат 60 человек
250 клиентов
ITSumma
круглоcуточное удаленное
администрирование серверов
и техническая поддержка
сайтов;
оборота российского
e-commerce проходит через
сайты на нашей поддержке.

3. миллионов уникальных посетителей
в сутки на поддерживаемых сайтах:

4. начало
2014 2015
28%

7.  rrdtool
начало

9.  rrdtool
 cacti
начало

11.  графики не зумятся
 данных много
 алерты доставляются ненадежно
начало

13.  графики с zoom-ом
 выборка до 200мс
 надежное хранение данных и
отказоустойчивость
 система дежурств и эскалации
задача:

14.  первая версия: переписанный atop +
protobuf
 агент на c + bson
 передача данных через udp
 приемник на ruby, eventmachine –
проблемы с udp polling, переписали на
node
 фрагментированные udp, добавили tcp
агенты и приемник:

16. Надо как-то
хранить
данные

18. mysql:

19. mysql:

20. 19193522

21. Как их
рисовать?

22.  у opensource аналогов нет хороших
графиков
 highcharts - тормозит
 надо написать свое!
графики:

23.  графики – на canvas
 если глючит – ничего страшного
 данные только по порядку
 таймстемп – отклонение от предыдущего
графики:

24. графики:

25. графики:

26.  в компании ввели 8-и часовые дежурства
 алерты – на экране
 график дежурств
дежурства:

28. Как это все
быстро
отдавать?

29.  dedicated в softlayer
 очень хорошие
 $200 в месяц за каждый 200gb SSD
серверы:

30.  2 б/у dell r610 128 gb RAM на ebay за
$2000
 +4x500gb SSD, RAID 10
 colocation в constant.com и где-то в
калифорнии
 =$200 в месяц за colocation
серверы:

31.  горячие данные в statistics1
 buffer_pool в 90GB
 выдача <200ms
выдача:

32.  web: vrrp/global ip/etc
 агенты: запросы к route53
отказоустойчивость:

33.  colocation -> арендованные машины
 хочется APM
что дальше?

34. Евгений Потапов
facebook.com/eapotapov
eapotapov@itsumma.ru
itsumma.ru