31 Март 2010

Принципиальность или мелочность ?

Последнее время стали бесить различные ситуации где, как говориться «не стоит мараться», «мелочиться», но прямо бесит, то что инициаторы таких ситуаций так и остаются безнаказанными именно потому, что большинству просто в лом заморачиваться по мелочам.

На некоторые подобные ситуации я чисто принципиально решил реагировать, но уже то же сомневаюсь — жаль потраченные нервы и убитое время, которое можно реализовать с гораздо более эффективной отдачей — НО собственно поэтому и осозная, что БОЛЬШИНСТВО сделает те же самые умозаключения и гад останется безнаказанным 🙁

Например, с чем лично я заморочелся совсем недавно:
Читать полностью »

рубрики: Размышления | 11 комментариев

29 Март 2010

Фриланс — парсинг сайтов

Давелось давеча фрилансером себя почувствовать 🙂

Стукнул в асю человек — обратился за помощью — а парсинг для меня слабое место !
Люблю тырить информацию в большом количестве в автоматическом режиме, люблю кодить такое дело.

Ну собственно чтоб себя не обижать и не наглеть сильно — сошлись на 100 wmz за рабочий скрипт (если покупать туже информацию у источника — вышло бы гораздо дороже).

Так, что кому нужно — стучите 🙂 !

рубрики: SEO, Программирование | 19 комментариев

25 Март 2010

Быстрая и эффективная оптимизация сервера

Собственно в продолжение предыдущего поста Upgrade выделенного сервера на keyweb.ru — жестокие условия:
Так как «слёту» решить проблему путем апргейда железа у меня не вышло, а пойти на предложенные условия рука не поднялась (не люблю чувствовать себя лохом — а в кейвебе поначалу именно так предлагали себя почувствовать), остался ещё один эффективный для меня вариант (эффективный — потому, что ранее оптимизацией работы сервера я не занимался и 100% был уверен, что выполнив такую работу можно добиться значительного снижения нагрузки).
Не являясь гуру в unix администрировании я отправился гуглить — собственно нагуглил простой и эффективный способ снижения нагрузки — поставить фронтендом nginx — отказоустойчивый сервер для ресурсов с высоким трафиком.
О возможностях этого сервера я был ранее наслышан и сомнений в принятом решении у меня не возникло.
Сказано — сделано:
Поставил из портов nginx, снял индейца с 80ого порта — поставил nginx слушать 80й и обрабатывать всю статику — динамику перенаправил апачу.
Тесты поразили ! Читать полностью »

рубрики: NIX | Комментарии (1)

24 Март 2010

Upgrade выделенного сервера на keyweb.ru — жестокие условия

Эххх — с чего бы начать 🙂

В общем на днях прилично так сервачек мой замёрз — еле как по ssh зацепился и запустил top да ps дабы глянуть в чем трабла!

Процессор как ни странно отдыхал (load average меньше единички было) — а вот оперативки катастрофически не хватало — причиной тому было довольно большое количество процессов моего индейца — httpd с показателями SIZE 50 мегабайт RES тоже в районе 30 мегабайт на каждый процесс (думаю это много — надо будет поотключать неиспользуемые модули)

Какие именно запросы он обрабатывал в текущий момент времени я пока не знаю как оперативно выяснить — вопрос пока остаётся открытым и очень интересным для меня в качестве анализа загрузки — надо будет видимо какие то локальные анализаторы поставить с возможность анализа логов на всех доменах сразу, либо ещё какие то способы продумать ….

В общем для решения проблемы поначалу решил пойти самым простым путём — увеличить оперативку. Зашел на keyweb.ru (Германский провайдер — у них уже давненько арендую сервачек) и увидел, что моей конфигурации KM 5100 за которую я плачу 49 евро уже нет — за те же деньги уже покруче серваки, а дедик моей конфигурации предлагают по 39 евро.

Собственно возникло естественное желание выровнять конфигурацию и оплату до актуального уровня.
Вот что из этого получилось:
Читать полностью »

рубрики: NIX, Железо | 5 комментариев

18 Март 2010

Причина абуз – в идиотизме и жадности!

Палю темы, ищу новые партнерки, а получается хрень какая-то. Если я буду описывать весь шлак, который нарыл в сети, то не хватит букв, поэтому расскажу только об одной системе. На серче прочитал новый топик про очередную партнерку. Вот она: http://123cash.ru/ Что в ней хорошего или плохого, спросите вы. Отвечу. Хорошего – ничего, плохого – само ее существование. И особенно ее основной платник, который, якобы, помогает пользователю осуществлять поиск файлов в сети. Казалось бы, идея неплохая. Что может быть лучше, чем поисковик, в базе которого находится столько полезной информации. В чем же вред и подвох?
Читать полностью »

рубрики: SEO, Новости / Обзоры | 9 комментариев

10 Март 2010

GET запрос в PHP с разных IP адресов

Всем привет!

2 недели ничего не писал — был в отпуске — времени совсем на онлайн не было !
Отдохнул в кавычках — с двумя детьми ( 01.02.2010 девочку Катю родили ) отдых получается специфический 😉

Ладно — потихоньку нужно входить в рабочее русло, и первый пост после отпуска я решил написать в помощь программистам пишущим разнообразные парсеры и граберы реазизующим сию задачу на PHP и ещё не ведающим как же можно организовать GET запрос с разных IP адресов.

Про эту задачу вспомнил при реализации Яндекс Wordstat парсинга (сервис будет «прикручен» к моему сервису MySEO для управления ссылками на своих ресурсах), кстати ноль ноль ноль первая бета версия уже готова 🙂

ИТАК на PHP мне известны 2 метода запроса с разных айпишников:

Первый с использованием библиотеки curl — нужно заюзать опцию CURLOPT_INTERFACE
Второй на сокетах — для привязки айпишника нужно использовать socket_bind

вот рабочий код:

<?php
	$url = "http://gtalex.ru/seo/ip.php";

	echo "<h1>CURLOPT_INTERFACE</h1>";

	$get = curl_init();
	curl_setopt($get, CURLOPT_URL, $url); 
//	curl_setopt($get, CURLOPT_INTERFACE,'87.118.116.130'); 
	curl_setopt($get, CURLOPT_INTERFACE,'87.118.117.130'); 
	curl_setopt($get, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($get, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($get, CURLOPT_TIMEOUT, 60);

	$buf = curl_exec($get);
	echo $buf;

	echo "<h1>socket_bind</h1>";

	$sock = socket_create(AF_INET, SOCK_STREAM, SOL_TCP) or die("Unable to create socket\n");
//	socket_bind($sock, '87.118.116.130');
	socket_bind($sock, '87.118.117.130');
	socket_connect($sock, 'gtalex.ru', 80);

	$request  = "GET /seo/ip.php HTTP/1.1\r\n";
	$request .= "Host: gtalex.ru\r\n";
	$request .= "Connection: Close\r\n\r\n";

	socket_write($sock, $request);

	$buff= "";
	do {
		$recv = "";
		$recv = socket_read($sock, '1400');
		if($recv != "") {
			$buff .= $recv;
		}
	} while($recv != ""); 

	socket_close($sock);

	echo $buff;
?>

<?php

$url = "http://gtalex.ru/seo/ip.php";

echo "<h1>CURLOPT_INTERFACE</h1>";

$get = curl_init();

curl_setopt($get, CURLOPT_URL, $url);

// curl_setopt($get, CURLOPT_INTERFACE,'87.118.116.130');

curl_setopt($get, CURLOPT_INTERFACE,'87.118.117.130');

curl_setopt($get, CURLOPT_FOLLOWLOCATION, 1);

curl_setopt($get, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($get, CURLOPT_TIMEOUT, 60);

$buf = curl_exec($get);

echo $buf;

echo "<h1>socket_bind</h1>";

$sock = socket_create(AF_INET, SOCK_STREAM, SOL_TCP) or die("Unable to create socket\n");

// socket_bind($sock, '87.118.116.130');

socket_bind($sock, '87.118.117.130');

socket_connect($sock, 'gtalex.ru', 80);

$request = "GET /seo/ip.php HTTP/1.1\r\n";

$request .= "Host: gtalex.ru\r\n";

$request .= "Connection: Close\r\n\r\n";

socket_write($sock, $request);

$buff= "";

do {

$recv = "";

$recv = socket_read($sock, '1400');

if($recv != "") {

$buff .= $recv;

}

} while($recv != "");

socket_close($sock);

echo $buff;

В моем случае имею два подопытных айпишника 87.118.117.130 и 87.118.116.130
По умолчанию используется 87.118.116.130. В вышеупомянутом скриптике я двумя способами подменяю айпишник на 87.118.117.130
Для просмотра результатов использую скриптик отображающий откуда его дёргают http://gtalex.ru/seo/ip.php

Приятного граббинга !

рубрики: SEO, Полезности, Программирование | 13 комментариев

к содержанию »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
« Фев				Апр »
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31