Производство фотообоев в Новосибирске. Интернет магазин фотообоев. Изготовление - один день! Каталог 10 000 изображений!
23 Сентябрь 2015

wget — скачиваем сайт целиком

Репост для себя. Источник.

С помощью wget можно скачивать сайты, включая картинки, всего лишь указав адрес сайта и определенные параметры. wget будет автоматически переходить по ссылкам на сайте и скачивать страницу за страницей. Рассмотрим несколько примеров от простых к более сложным использования wget для скачивания сайтов.

Чтобы скачать сайт целиком с помощью wget нужно выполнить команду:

После выполнения данной команды в директорию site.com будет загружена локальная копия сайта http://site.com. Чтобы открыть главную страницу сайта нужно открыть файл index.html.

Рассмотрим используемые параметры:

-r указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-k используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-p указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-l определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.
-E добавлять к загруженным файлам расширение .html.
-nc при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.

 

Мы рассмотрели лишь одно из возможных применений утилиты wget. На самом деле область применения wget значительно шире и wget обладает большим числом дополнительных параметров. За более подробной информацией обращайтесь к руководству, выполнив в командной строке: man wget.

Для записи результата в лог файл -o logfile

рубрики: Администрирование, Полезности | 2 комментария

21 Сентябрь 2015

Бесплатные домены 2го уровня

На днях столкнулся с доменом в зоне .gq — заинтересовался, немного покопал — делюсь результатами:
1. whois на него у меня не получилось глянуть, что прикольно 🙂
2. домен оказался бесплатным (судя по статьям 14 ого в рунете) — решил проверить и информация подтвердилась (по крайней мере первый год — бесплатно). Правда почему-то практически нигде не пишут где именно можно зарегать эти домены нахаляву! Собственно, я регнул тут
3. регистратор предоставляет свои бесплатные NS сервера! в панельке регистратора доменов, есть простенький интерфейс, где можно прикрутить A, MX, TXT записи.

рубрики: Полезности | Комментарии (1)

21 Сентябрь 2015

Перенос сайта на Битрикс — настраиваем 301 редирект

Всем привет!

В данный момент работаю над проектом по переносу рабочего интернет магазина Кемпинговая мебель МЕБЕК с самописного движка на Битрикс (пока на домене висит старый сайт), новый тестирую на mebek.gtalex.ru (ссылку не поставил специально, дабы поисковики не полезли).

Основная часть работ уже выполнена (движек, дизайн, вёрстка, отработал скриптик по переносу всего контента), а вот на редиректе я решил остановиться отдельно.
Итак, как заявит каждый SEO оптимизатор — важнейшая часть при смене движка, это 301 редирект со страничек которые участвовали в продвижении (да и вообще любых страничек которые были на сайте).
Для осуществления такого переноса, я все старые ID и CODE секций и элементов так же перенёс в поля инфоблока Битрикса.

Таким образом с детальных страниц товара вида
http://www.mebek.ru/13/1506/kacheli_sadovye_otdyx_3_r
необходимо сделать редирект на страницы вида (конечно же с ЧПУ вида …./код раздела/код продукции/)
http://mebek.ru/cat/kacheli-sadovye/kacheli_sadovye_otdyx_3_r/

И страниц категорий товара вида
http://www.mebek.ru/7/stoly-skladnye
на новый
http://www.mebek.ru/cat/stoly-skladnye/

Непосредственно, для переноса в urlrewrite.php добавляем правило
array(
"CONDITION" => "#^/\d*/#",
"RULE" => "",
"ID" => "mebek:catalog",
"PATH" => "/redirect301.php",
),

всё что, начинается с цифры — отправляем скрипту, который уже будет разбираться, что за страница пришла и редиректить куда нужно.

Код скрипта чуть ниже, в принципе там всё просто и понятно — определили страницу и отредиректили 301м кодом, единственное на что обращу внимание — это использование кэша (тоже думаю понятно зачем).

Проверить в работе получится, только при осуществлении перехода, либо вместо www.mebek.ru используем mebek.gtalex.ru

Исходник скрипта:
Читать полностью »

рубрики: Bitrix, SEO | Комментарии (0)

11 Сентябрь 2015

Bootstrap Sublime Text Emmet FontWeb и другие полезняшки для вёрстки

Решил сделать репост полезных ссылок с http://webdesign-master.ru для себя, дабы не потерялось 🙂

рубрики: Вёрстка, Сайтостроение | Комментарии (0)

10 Сентябрь 2015

Просто находка webdesign-master.ru

Получив ТЗ на вёрстку PSD макета в кроссбраузерный адаптивный шаблон, и осознав свою отсталость в этом вопросе (верстал довольно давно, вручную, причём сугубо «дедовскими» методами в FAR-e с подсветкой синтаксиса — вот такой я «динозавр») решил почитать о современных подходах в данном вопросе…

Собственно, томить не буду — Видео BOOTSTRAP: Как создаются современные адаптивные сайты

зацепило сильно! отличное изложение материала, автор супер! рекомендую!

ну и как следствие — настройка «инструментов рабочего пространства» для удобства работы с фронтендом — Видео Настройка Sublime Text 3 для веб-разработки: LiveReload, плагины, фишки

Оба ролика подкреплены доходчивым описанием и рабочими ссылками!
В общем я под впечатлением! Подписался на рассылку, будет время — изучу весь старый материал!

Чего у меня получится с моим проектом — покажу по окончании вёрстки.

рубрики: Вёрстка, Полезности, Программирование, Сайтостроение | Комментарии (0)

9 Сентябрь 2015

Bitrix — установка решений marketplace когда лицензия закончилась

Стоимость Битрикс лицензий и их продлений для ещё не раскрутившегося интернет магазина довольно «кусучая», а кое-какие работы проводить необходимо, для чего зачастую требуются разработки из маркетлейса.
Собственно, мне понадобилась разработка Долганина Антона «Инфоблоки» (нужно копирнуть инфоблок в другой тип) — но как её поставить если лицензия не продлена?
Решение — ставим её на сайт с рабочей лицензией (на тестовый не поставится), смотрим как называется модуль в «Marketplace — Установленных решениях»
Далее просто копируем папку /bitrix/asd.iblock/ на сайт куда нужно воткнуть это решение, идём в «Marketplace — Установленных решениях» уже на новом сайте (в списке должно появиться это решение) и жмём «Установить»
Well Done! Use it!

рубрики: Bitrix | 3 комментария

4 Сентябрь 2015

NGINX — запрещаем доступ к служебным файлам .git .bak .old .htaccess и других по расширению

Нередко, в движках используют в скриптах подключаемые файлы с расширением отличным от php, что имхо очень неправильно и опасно.
Например в одном из движков (не буду тыкать пальцем каком именно) в темлейте подключают файлы с расширением .tpl которые не являясь активкой по умолчанию (интерпретатор настроен по умолчанию как правило на htm html php php5 и подобные), которые спокойно открываются в браузере в исходных кодах! а там уже есть чего поанализировать «плохим парням» 🙂
Другой пример — служебные файлы .git, старые резервные копии .bak .old … всё это часто забывают запретить в настройках аппача или nginx-а.

Соответственно, добавляем в nginx следующие строки, и спим спокойно

404

рубрики: security, Администрирование | Комментарии (0)

3 Сентябрь 2015

SEO — используем свои ресурсы

Давно была идейка автоматизации использования своих ресурсов (старых аптек) в качестве доноров для продвижения какого либо нового проекта (новой аптеки).
В ручную всё понятно — наметил страничку для продвижения, придумал анкор — ссылка готова, поставил на страничке сайта донора.

Как бы хотелось:
* есть база страниц, на каждую необходимо сгенерировать несколько разных анкоров, желательно окруженных разным тематическим текстом -> генерируем кучу разных ссылок, используя ранее созданный скриптик multiplier.php (механизм работы описан ранее)
* далее на сайте доноре, где нужно будет разместить ссылочку в темлейте, реализуем через клиентский api запрос обращение за базой сгенерированных ссылок в предыдущем пункте, выбираем псевдослучайный в зависимости от страницы (на каждой конкретной странице сайта донора будет случайная ссылка из базы, НО всегда одна и та же — «мигание» ссылок будет исключено

В работе можно посмотреть на моём старенькой аптеке ycan.ru (ссылка в левом сайдбаре) и довольно новой, но почему-то никак в индекс не залезающей, аптеке rutab.ru (ссылка внизу) — проставлены бэклинки на свежую разработку men-aptekar.ru Что важно: на каждой! странице сайтов доноров ссылки с разным окружающим текстом, анкором и самой ссылкой! (в принципе продвигать можно разные сайты — просто создать несколько баз ссылок и перемешать в одном месте, всё равно api запрос будет брать случайную).

На подобную перелинковку долго не решался, т.к. по бэкам «палится» вся сетка, и соответственно в бан уедут все дружно 🙁
Но как говориться «лучше сделать и пожалеть, чем потом жалеть о несделанном» — может и «стрельнет» положительно в плане поискового продвижения (внешние бэклинки ещё вроде не отменили).
Перелинковка однонаправленная — не кольцевая, поэтому имхо есть шанс на положительный эффект, плюс к тому ссылки многословны и не однотипны — склейки быть не должно.
Через месяцок, другой будет видно…

В любом случае api реализация, общения сайтов доноров с центром управления ссылками ИМХО может ещё пригодиться на каких то других проектах …

рубрики: SEO | Комментарии (0)