Решил записать мысль — ничего особенного, просто констатация факта 🙂
Собственно, для быстрого чека сайтов на определённой системе управления надо чекать какую нибудь статику, свойственную только для этой CMS — отдача будет практически мгновенная т.к. обрабатывать будет препроцессор nginx.
Например, для Битрикса можно проверять /bitrix/js/main/core/css/core.css
Например, так можно прочекать целиком доменные зоны (.ru .su .рф и т.д.)
Правда для таких объёмов придётся какой нить многопоточный чекер заюзать… но это уже тема для другого поста

PS
Млин, ниша уже занята 🙁
Чел чекает базы с доменных зон, распределяет по признакам и продаёт
http://shop.fe-play.ru/svn53-142350/
747 продаж ! (в основном джумла и вордпресс — ценник за 2 т.р.) — короче на полтора ляма уже наторговал! Молодец!
Жаль мне эта мысль в голову не пришла 🙁
Готовая база Битрикс сайтов всего 1350 руб. http://shop.fe-play.ru/2128005-baza-saytov-na-cms-1c-bitrix/

PPS
Если записаться в конкуренты, прикинем требования: 300 млн. доменов нужно чекать за месяц, это по 10 млн в сутки! Делим на 24*60*60 = нужно чекать 116 сайтов в секунду! однако!!!
Тут одним сервером не обойтись! Ну и как писал выше — многопоточка + статические признаки
Тут ещё момент — для статических признаков разные запросы, так что количество доменов нужно умножать на количество признаков! (начинаю сомневаться в ежемесячной актуальности баз)
Хотя, для повторной проверки, когда CMS ранее уже была определена — потребуется только один запрос, так что если с умом — реально! (правда ещё момент не учёл — время на работу с БД! база то не хилая получается!)