-
Блокировка ботов по user-agent – blacklist список
Итак, имея инструмент блокировки по black-list и вручную ковыряя логи, обнаружил что практически DDOS устраивают куча всяких “левых” ботов. Например “SemrushBot www.semrush.com/bot.html” – какой то иностранный SEO инструмент – думаю мой сайт ему вообще не пригодится, собирает всё на автомате создавая лишнюю нагрузку. “megaindex.com” туда же – я на мегаиндексе ни ссылки ни статьи не…