Уж не знаю чем полюбил один из моих проектов робот MegaIndex но сообщения о блокировке “На сайте …..ru посетитель превысил установленный лимит активности.” уже сильно притомили. Если учесть, что Мегаиндек это даже не поисковик, и данные собираются роботом только для работы линк-биржи я решил полностью блокировать этого робота. А представляется он следующим образом: “UserAgent –…