Производство фотообоев в Новосибирске. Интернет магазин фотообоев. Изготовление - один день! Каталог 10 000 изображений!
6 Май 2008

Очень простой php парсер

posted in SEO, Полезности, Программирование |

Вор

Не в первый раз ко мне обращаются с вопросом как распарсить/сграбить то или сё.

Плагиат — дело конечно не доброе, но порой необходимое.

Для примера рассмотрим задачу воровства кейводров 🙂

По хорошему кеи добываются приблизительно так (если конечно не покупать готовую базу) — сначала грабим с какого нить подходящего ресурса (вордтрекер, увертюра и т.д. для англоязычных кеев) (директ, майл для русскоязычных) в глубь — это поисковые запросы с указанным кеем 2х, 3х словники и в ширь — это кеи синонимы или просто кеи, которые часто ищут вместе с исходым. Потом вся эта куча (либо только однословник) чекается на биды и возможно конкуренцию. Ненужное выкидываем, по остальному лепим доры.

Но можно пойти и другим путём — ищем дор, а лучше сетку доров. И распарсиваем уже готовые коммерческие кеи 🙂 Как то делать было нечего — за день работы с разных сеток скоммуниздил 500 тыс уникальных русских кеев. Ру доры конечно же лучше искать в Раме 🙂

Ну и скриптик в студию:

<?php

//error_reporting(E_ALL); // врубал дя отладки

set_time_limit(0); // чтоб успело дограбить всё

ignore_user_abort(); // грабить не смотря на ошибки клиента

fp = fopen(«./keys.out»,»w+»); // складываем награбленное в keys.out

for($i=0;true;$i++) { //цикл для счётчика паг

$buf = file(‘http://xxxxxxx.ru/?p=’.$i); // конкретный дор я решил не светить

preg_match(«!\<title\>(.*?)\<\/title>!ism»,$buf[3],$match); // кей в данном случае сидел только в тайтле, причем в анкорах внутренних линков кеев не было 🙂

$key = trim($match[1],» \r\n\t»); //режем переводы строк и прочую хуйню

echo $i.» «.$key; flush(); //выводим на экран процесс грабинга (можно убрать), в принципе нужно только для начала — как только процесс пошел браузер можно закрывать

if (empty($key)) break; // условие останова (для этого конкретного дора)

fputs($fp,$key.»\n»); // пишем в файл выдранный кей

}
fclose($fp); // закрываем файл

?>

Скрипт я привел Очень простой — так сказать «5ти минутка» — ни обработки ошибок, ни через проки (на случай если не дают с одного айпишника грабить), ни многопоточный (если нужна максимальная скорость) даже пагу и ту через file дёргаю (по идее после получения кея дальше сокет можно закрывать). Чисто дёрнуть дор или ещё чего нибудь — для промышленного парсинга данный скрипт явно не подойдет. Вообще имхо, для промышленного, нужно на сях писать — и быстро и память не жрет и с многопоточностью всё в порядке (хотя в былые времена, когда шпамилок еще не продавали, мой скриптик-шпамила довольно шустро и на php работал).

Если интересно можно будет поднакрутить до многопоточности и работы через прокси 🙂

Ну и конечно не забываем, что приведенный скрипт не универсален — под каждую задачу затачиваем уже сами (формат страниц, выдирание нужного контента и т.д.)

P.S.

Кстати сегодня с новой офлайн работы первый раз на свой сервачек цеплялся — возникли каки то непонятные проблемы с пробросом фтп трафика — решил сильно не заморачиваться (разберусь как время будет)- поставил SFTPDrive — очень забавная софтина — в винду по ssh протоколу мапит виртуальный драйв с сервака — если не нужно расшаривать доступ нескольким юзерам (работаешь на серваке монопольно) то имхо — очень удобно! ФТП сервак на машинке вообще поднимать и настраивать не нужно !

И, на последок, пару рекламных ссылочек:

И для подтверждения авторства моего блога, секретный код: 2004163.53afaf17fa3bb99abb5f0a8b9a97fe6a.1210728395.d4c9e1895936ca00a60a1aedf7f8b9d1

У нас 36 комментариев на запись “Очень простой php парсер”

Почему бы Вам не высказать своем мнение! Позвольте нам узнать, что Вы думаете...

  1. 1 On 22.03.2010, Антон said:

    Классный парсер, возьму его за основу.

  2. 2 On 22.03.2010, Антон said:

    Какие синонимайзеры посоветуете для уникализации контента ? Желательно на php .

  3. 3 On 05.04.2010, Александр said:

    учусь парсить
    спасибо за пример

  4. 4 On 15.11.2010, Sergey said:

    Статья о том как написать парсер сайта http://webdevart.ru/articles/entry,pishem-parser-sayta

  5. 5 On 02.12.2010, fox_white said:

    Код не работает. Перепечатал вручную символ в символ.
    Выдает: Notice: Undefined offset: 1 in…

  6. 6 On 02.03.2011, Антон said:

    Товарищ! Надо было БОЛЬШУЩИМИ буквами на видном месте написать, что скрипт заточен под конкретный дор и с другими сайтами он будет работать только при наличии некоторых совпадений в коде страниц. 1,5 часа из-за этого потерял, хотя, конечно, новичку в ПХП это полезно. Спасибо за скрипт.

Оставить комментарий