11
Февраль
2016
Итак, имея инструмент блокировки по black-list и вручную ковыряя логи, обнаружил что практически DDOS устраивают куча всяких «левых» ботов.
Например «SemrushBot www.semrush.com/bot.html» — какой то иностранный SEO инструмент — думаю мой сайт ему вообще не пригодится, собирает всё на автомате создавая лишнюю нагрузку.
«megaindex.com» туда же — я на мегаиндексе ни ссылки ни статьи не закупаю, и не продаю.
«libcurl» — кто, то парсит curl-ом — тоже в сад
Анализ своих логов может проявить ещё много ненужных вам ботов.
Блокировать можно в 2 уровня — дописать в анализаторо логов по вхождению в user-agent, а так же непосредственно в nginx в начало секции server { … } добавляем:
if ($http_user_agent ~ SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
return 403;
}
Список проверяем вручную!
Как видно в списке присутствуют программы качающие сайт целеком — они так же создают сильную нагрузку! Вот ещё Список ботов и программ качающих сайт целиком.
рубрики: security, Администрирование |
10
Февраль
2016
В посте Защита от DDOS — первые шаги я закончил фразой «Теперь вот жду второго пришествия» — собственно, второе пришествие недавно заглянуло в виде очень дохленького DDOSa который все же забил канал так, что провайдерам пришлось отрубили порт.
Кэширование nging вообще тут не участвовало т.к. ддосили POST запросами.
Ограничение зоны на количество запросов с одного IP NGINX — защита от DDOS с одного IP. Параметры limit_zone и limit_req тоже не спасли!
Принял решение — полностью задействовать фаервол в связке с nginx, в моём случае фаервол ipfw т.к. операционная система FreeBSD, но это не суть, т.к. смысл остаётся тем же:
Анализируем логи, вычисляем злодеев, загоняем IP злодеев в blacklist который кушает фаервол.
Читать полностью »
рубрики: NIX, security, Администрирование |
10
Февраль
2016
Поражает, что до сих пор в коробке Битрикс интернет-магазинах (редакция Бизнесс и Малый Бизнесс) нет инструмента по массовому изменению цен.
Собственно, сваял «на коленке» скрипт изменения цен раздела
Может кому и пригодиться 🙂
Не забываем менять ID инфоблока с торг.предложениями.
Если тор.предложений нет, скрипт придётся чуток подкорректировать (вырезать серединку, где цикл по предожениям).
рубрики: Bitrix, Полезности |
9
Февраль
2016
# Закрываем доступ к файлам начинающимся с точки
location ~ /\.
{
deny all;
access_log off;
log_not_found off;
}
# Закрываем доступ к файлам заканчивающиеся old
location ~ \. old
{
deny all;
access_log off;
log_not_found off;
}
# Отключаем логи для favicon и robots.txt
location = /favicon.ico
{
log_not_found off;
access_log off;
}
location = /robots.txt
{
allow all;
log_not_found off;
access_log off;
}
рубрики: NIX, Администрирование |