Введение

Приветствую тебя, счастливый обладатель Aura SE Parser!
Этот мануал поможет тебе установить Ауру, настроить ее и научиться с ней работать. А пока, для удовлетворения твоего самолюбия, я опишу список функций, который ты приобрел всего за 80 американских президентов.

Итак, функционал Aura SE Parser:

  • парсинг результатов выдачи Google, Yahoo, Live, возможность установки глубины просматриваемых страниц. количество результатов на странице для всех поисковых систем - 100.
  • многопоточность - произвольное число потоков на SE, отдельные списки запросов для каждой SE, параллельный парсинг нескольких SE, возможность установки таймаута потока
  • прокси - HTTP, установка таймаута соединения, возможность парсинга без прокси
  • вращение выдачи - буквы, цифры, дополнительные запросы, ALD (Any Level Domain, подстановка конструкции site:домен_любого_уровня в запросы Google)
  • принудительная задержка потоков (для парсинга без прокси)
  • postmortem-механизм - продолжение парсинга после ребута/выключения сервера
  • развернутая статистика - процент выполнения потоков, парсинга в целом, время парсинга
  • скачивание выдачи поисковых систем в gzip
  • макроподстановки в запросах
  • очистка мусора из выдачи
  • фильтрация результатов:
    • поддержка 4-х текстовых буферов для сохранения промежуточных результатов
    • удаление дубликатов
    • выборка по регулярным выражениям
  • возможность скачивания текстовых буферов в zip-архиве

В ближайшее время планируется добавление следующих функций:

  • отложенный старт парсинга (по таймеру)
  • возможность паузы парсинга
  • перебор языков
  • парсинг выдачи Google с разных датацентров
  • фильтрация результатов:
    • замены по регулярным выражениям
    • проверка ресурсов на 200 ОК
    • сортировка ресурсов по Google PR
    • проверка ссылок на наличие форм
  • возможность редактирования отсылаемых заголовков
  • встроенный граббер и чекер прокси

Aura SE Parser - живой и постоянно развивающийся продукт. И растет он только благодаря вашим отзывам и предложениям! Если у тебя возникла идея, не стесняйся, сообщи о ней мне, и если идея действительно стоящая, ты увидишь ее воплощение в ближайших обновлениях программы.

Спасибо за использование Aura SE Parser и удачи в бизе!