Как эффективно анализировать логи при DDOS атаке
Доброго времени друзья! Сегодня я хочу поделиться заметкой о том, как можно быстро проанализировать логи веб-сервера Apache на предмет самых активных IP адресов с которых идут запросы(например в случае DDOS атаки) или самых активных сайтов на вашем сервере, к которым идут запросы.
Анализ логов
Нам понадобиться утилита logtop (которая умеет считать количество одинаковых строк и сортировать их), если в системе она не установлена, то быстренько устанавливаем её, выполнив следующее:
yum install git ncurses-devel uthash-devel git clone https://github.com/JulienPalard/logtop.git cd logtop make make install |
Проанализируем лог доступа Apache, в моем случае он имеет путь /etc/httpd/vhost_logs/access.log (кастномный путь расположения, у вас он может быть /var/logs/httpd/access.log или /home/sites/www/logs/access.log). Для этого выполним команду:
tail -f /etc/httpd/vhost_logs/site.ru_access | awk {'print $1; fflush();'} | logtop |
После запуска видим следующее(данные будут обновляться в реальном времени):
Чтобы вывести проанализировать подобный образом все Apache логи сайтов, можно выполнить команды tail с перечислением всех путей к лог файлам с данными access, вот так:
tail -f /etc/httpd/vhost_logs/SITE1.ru_access /etc/httpd/vhost_logs/SITE2.ru_access | awk {'print $1; fflush();'} | logtop |
Где в данном случае колонки означают:
1 — порядковый номер
2 — количество запросов с данного IP
3 — количество запросов в секунду с данного IP
4 — собственно сам IP
Но вручную конечно прописывать пути к логам всех сайтов, что у вас есть на сервере неудобно, поэтому напишем небольшой скрипт на bash, который будет обрабатывать все файлы логов(содержащих в названии access) в директории, и передавать в команду tail.
#!/bin/bash SEARCH_DIR=/etc/httpd/vhost_logs DESTINATIONS="" for entry in $(find . -type f -mtime -1 -name "*_access" -not -name "*default*") do if [ -f "$SEARCH_DIR/$entry" ];then DESTINATIONS+=" $entry" fi done # Раскомментируйте одну из строк ниже, для получения информации активности в режиме реального времени # Список активных IP tail -f $DESTINATIONS | awk {'print $1; fflush();'} | logtop # Список активных сайтов #tail -f $DESTINATIONS | awk {'print $2; fflush();'} | logtop # Список активных GET/POST запросов #tail -f $DESTINATIONS | awk {'print $6; fflush();'} | logtop # Список активных URL #tail -f $DESTINATIONS | awk {'print $7; fflush();'} | logtop |
Мы видим список IP встречающихся в логах по всем сайтам, список обновляется в режиме реального времени. По каждому IP мы видим количество — сколько раз он встречается, и вообще с какой скоростью растет его счетчик. Таким образом мы можем вычислить список самых активных IP адресов, с целью их дальнейшей блокировки файрволлом (например ТОП-10 самых активных).
Узнать географию и принадлежность IP адреса можно с помощью моей онлайн утилиты Информация о Домене и IP.
Похожие записи
Оставить комментарий
Full Stack
Senior, Architect
предложить оффер
- jQuery: как получить значение атрибута?
- PHP работа с изображением, класс SimpleImage
- Интеграция с API ОСАГО сайта sravni.ru
- Комментарии на PHP, Ajax, mySQL
- PHP: Категории бесконечного уровня вложенности.
- Nginx редирект на другой сервис с сохранением URL спросил (а) Сергей
- Исполнитель пропал, почему такое случается и понять с кем работать? спросил (а) Артем
- Можно ли WordPress считать универсальным движком? спросил (а) Андрей
- Что такое самописный скрипт или CMS? спросил (а) Антон
- Как при поиске в linux используя grep, добавить исключения? спросил (а) Алексей
- Консольный скрипт(JavaScript) для автоматических заказов на OZON к записи
- Консольный скрипт(JavaScript) для автоматических заказов на OZON к записи
- Как создать Telegram-бота с авторизацией через сайт к записи
- PHP скрипт: каталог закладок на сайты к записи
- Валидация на PHP к записи
- Сколько зарабатывают в бизнесе на совместных покупках к записи
- Сколько зарабатывают в бизнесе на совместных покупках к записи
Archive
- +2024 (25)
- Ноябрь 2024 (10)
- Октябрь 2024 (8)
- Сентябрь 2024 (1)
- Август 2024 (5)
- Май 2024 (1)
- +2023 (27)
- Ноябрь 2023 (1)
- Октябрь 2023 (13)
- Сентябрь 2023 (10)
- Апрель 2023 (1)
- Март 2023 (1)
- Февраль 2023 (1)
- +2022 (21)
- Декабрь 2022 (11)
- Ноябрь 2022 (1)
- Май 2022 (2)
- Апрель 2022 (2)
- Март 2022 (3)
- Февраль 2022 (1)
- Январь 2022 (1)
- +2021 (17)
- Декабрь 2021 (5)
- Ноябрь 2021 (2)
- Июль 2021 (1)
- Июнь 2021 (2)
- Май 2021 (5)
- Апрель 2021 (1)
- Март 2021 (1)
- +2020 (20)
- Декабрь 2020 (6)
- Сентябрь 2020 (2)
- Август 2020 (1)
- Июль 2020 (2)
- Май 2020 (2)
- Апрель 2020 (2)
- Март 2020 (2)
- Февраль 2020 (1)
- Январь 2020 (2)
- +2019 (18)
- Декабрь 2019 (3)
- Ноябрь 2019 (2)
- Октябрь 2019 (2)
- Сентябрь 2019 (1)
- Август 2019 (2)
- Июль 2019 (1)
- Июнь 2019 (1)
- Апрель 2019 (2)
- Март 2019 (1)
- Февраль 2019 (3)
- +2018 (44)
- Декабрь 2018 (4)
- Ноябрь 2018 (7)
- Октябрь 2018 (8)
- Сентябрь 2018 (1)
- Август 2018 (4)
- Июль 2018 (5)
- Май 2018 (3)
- Апрель 2018 (7)
- Март 2018 (1)
- Февраль 2018 (2)
- Январь 2018 (2)
- +2017 (19)
- Декабрь 2017 (2)
- Ноябрь 2017 (1)
- Октябрь 2017 (1)
- Сентябрь 2017 (2)
- Июль 2017 (1)
- Июнь 2017 (1)
- Май 2017 (2)
- Апрель 2017 (3)
- Март 2017 (2)
- Февраль 2017 (1)
- Январь 2017 (3)
- +2016 (36)
- Декабрь 2016 (3)
- Ноябрь 2016 (3)
- Октябрь 2016 (2)
- Сентябрь 2016 (3)
- Август 2016 (7)
- Июнь 2016 (3)
- Май 2016 (3)
- Апрель 2016 (3)
- Февраль 2016 (1)
- Январь 2016 (8)
- +2015 (36)
- Ноябрь 2015 (5)
- Октябрь 2015 (4)
- Сентябрь 2015 (1)
- Август 2015 (8)
- Июнь 2015 (1)
- Май 2015 (4)
- Апрель 2015 (8)
- Март 2015 (3)
- Февраль 2015 (2)
- +2014 (26)
- Ноябрь 2014 (2)
- Октябрь 2014 (5)
- Сентябрь 2014 (6)
- Июль 2014 (1)
- Июнь 2014 (2)
- Май 2014 (3)
- Апрель 2014 (6)
- Февраль 2014 (1)
- +2013 (27)
- Декабрь 2013 (2)
- Ноябрь 2013 (1)
- Октябрь 2013 (1)
- Август 2013 (1)
- Июль 2013 (3)
- Июнь 2013 (10)
- Май 2013 (1)
- Апрель 2013 (2)
- Февраль 2013 (3)
- Январь 2013 (3)
- +2012 (41)
- Декабрь 2012 (2)
- Ноябрь 2012 (3)
- Октябрь 2012 (7)
- Сентябрь 2012 (2)
- Август 2012 (1)
- Июль 2012 (3)
- Июнь 2012 (2)
- Май 2012 (6)
- Апрель 2012 (2)
- Март 2012 (7)
- Февраль 2012 (5)
- Январь 2012 (1)
- +2011 (57)
- Декабрь 2011 (6)
- Ноябрь 2011 (2)
- Октябрь 2011 (3)
- Сентябрь 2011 (5)
- Август 2011 (4)
- Июль 2011 (3)
- Июнь 2011 (3)
- Май 2011 (3)
- Апрель 2011 (4)
- Март 2011 (10)
- Февраль 2011 (5)
- Январь 2011 (9)
- +2010 (43)
- Декабрь 2010 (7)
- Ноябрь 2010 (21)
- Октябрь 2010 (14)
- Сентябрь 2010 (1)
Свежие записи
- Интеграция платежной системы MoonPay на сайт по API 10.11.2024
- Парсер товаров с Taobao 08.11.2024
- Упаковка и минификация кода JavaScript онлайн 07.11.2024
- Как эффективно анализировать логи при DDOS атаке 07.11.2024
- Бот для автоматических заказов на OZON (плагин для Chrome) 07.11.2024