Тружусь — соображаю, парсеры всякие пишу для выуживания доменов (см. предыдущий пост) — а оказывается всё гораздо проще ! — нужно было просто просить у Яши 🙂

Итак — полные актуальные базы данных доменов зоны RU и SU:

RU — на текущий момент 3 249 344 записи

• https://partner.r01.ru/ru_domains.gz
• https://panel.reghouse.ru/ru_domains.gz

SU — на текущий момент 93 304  записи

• https://partner.r01.ru/su_domains.gz
• https://panel.reghouse.ru/su_domains.gz

РФ — на текущий момент 794 400  записи

• https://partner.r01.ru/rf_domains.gz
• https://panel.reghouse.ru/rf_domains.gz

Может конечно уже ни для кого не новость — но я в шоке !

Полезность данной БД в «правильном» использовании трудно недооценить — пора браться за супер быстрый многопоточный чекер, дабы всю базу прочекать (этот вопрос пока открыт — на сей момент мой чекер прочекал 4250 доменов за 79 минут — это в районе 1 домен в секунду — хреновая скорость).

Давеча сваял парсер Ajax выдачи (с помощью которого выудил 36к доменов начинающихся со слова forum*), кто читает мои публикации — не сложно вычислит откуда именно дёрнул 😉

Раньше, кстати,  не приходилось распарсивать ajax-выдачу …

Итак, что же навело меня на написание скрипта ?

Поле для ввода (input) — где после ввода нескольких символов, выскакивала подсказка для выбора из 15-ти доменов, начинающихся с введённых символов (где нашел — не скажу). Конечно же первые символы были forum, далее перебор всех вариантов и складывание результата в файл (к счастью никаких защит от подобного перебора не обнаружилось).

Кто знаком с принципом Ajax запросов — понимает, что эта технология  — те же запросы и те же результаты, что и обычные, но передаваемые скриптом javascript. Соответственно, дабы не копаться в JS коде я открыл встроенный в браузер http сниффер LiveHTTPHeaders «Просмотр http заголовков» — где и глянул на какой адрес и какой именно запрос отправляется. Далее дело техники …

P.S.

Как наверное многие догадались — снова осуществляется попытка подзаработать с помощью чёрных SEO методов.

Для осуществления оной понадобился многопоточный чекер ссылок — оживил старые наработки асинхронного php чекера на базе AunoAsyncHttp, но в нём немного разочаровался — при установке в 100 потоков, в процессе работы он поднимал максимум одновременно 15 потоков (зато всё это из одного потока) — решил как появится время всё же заняться java — там эта задача имхо решилась бы более правильно, так же наверное ещё поэксперементирую с многопоточным курлом.

Дабы снова не изобретать велосипед — спрошу — кто чем пользуется для массовой проверки страниц ?

Вчера на блоге проекта MegaIndex нашел весьма интересный материал как для людей интересующихся поисковой оптимизацией, также и полезный уже состоявшимся оптимизаторам.

Речь идёт о пяти видео-роликов, записанных MegaIndex совместно с SEOMOSCOW, на реальной конференции.

Цитата с офсайта: «Этот курс позволяет узнать основные вехи эффективного продвижения сайтов, последние тенденции в мире поисковых алгоритмов, поискового продвижения, а также выбрать оптимальную стратегию для развития своего проекта.»

Рекомендую посмотреть всем !

Ну и собственно, мои комментарии по всем частям курса: Читать полностью »

Если бы год назад меня попросили назвать несколько самых стабильных и прибыльных партнерских программ, одной из них, без всяких сомнений, стал бы limoncash.com. Раньше там действительно водились деньги, делались интересные платники, производившие революцию в нише, траф конвертировался в доллары. Кто-то и вправду заработал там не один лимон. Теперь мне очень печально, что все перевернулось с ног на голову. Лимонов можно назвать если не самой худшей партнерской системой на смс и подписках, то одной из самых худших уж точно. От былой славы не осталось и следа. Как же такое могло произойти? Читать полностью »

Достался мне проектик, целью которого заказчик поставил мне монетизацию ресурса.

Более всего страниц досталось на форум (сапа увидела в районе 3к).

Собственно первоочередной задачей я обозначил — преобразование всех существующих внешних ссылок во внутренние (для чего — думаю понятно).

Сразу к реализации: Читать полностью »

Один из текущих проектиков на старом хостинге стал совсем плох — сервак еле еле тянет казалось бы простейшие запросы. Какое там железо узнать так и не удалось … хостинг добывался клиентом по какому великому «знакомству» 🙂

В общем «разруливать» ситуацию доверили мне.
Думать тут особо не пришлось — первым же делом наметил переезд сайта на свой выделенный сервачек.
Как ни странно для нашего времени весь кроме форума сайт был свёрстан в чистом html (сам не верил пока лично не увидел !!! около 20к html файлов) — тут без проблем.

А вот форум оказался на Postgres SQL !

Решений пришло в голову сразу 2  первый очень простой — поднять Postgres и вуаля.
Но одновременно в памяти крутить 2 SQL сервера, причём Postgres только из за одного форума мне показалось не правильным, поэтому решил делать по второму варианту — это перенос данных с Postgres на MySQL. К тому же для форума фичи Postgres, которых нет в MySQL (хранимы процедуры и пр.) абсолютно не нужны. Читать полностью »