Зеркала сайта и распространенные ошибки

Опубликовал Рысев Игорь в разделе Оптимизация. (03 мая 2015)

Предположим, вы создали красивый и полезный сайт, выложили его на свой домен «web-parsing.ru» в сети интернет.И, если к разработке сайта был подключен хороший seo-специалист, все будет хорошо – поисковые системы найдут сайт и начнут его индексировать – сайт полезет в выдачу.

Верстка сайта на тестовом поддомене

Одной из самых распространенных ошибок в разработке сайтов является их верстка на тестовом поддомене сайта компании-разработчика в том случае, если она не закрыла к поддомену доступ поисковым системам файле robots.txt.

Тем самым содержимое сайта прекрасно может проиндексироваться поисковыми системами и, когда компания перенесет готовый и наполненнеый сайт на выбранный вами домен, в индексе с большой вероятностью может оказаться именно тот сайт, который лежит на тестовом поддомене – тестовое зеркало, а не ваш ресурс, вследствие чего вы потратите не менее 2 месяцев на переиндексацию зеркал в индексе.

Немного резюмирую: чтобы такого не было – проследите за наличием строчки запрета индексации тестового домена в файле robots.txt.

Как найти файл robots.txt

Допишите к адресу сайта фразу «robots.txt»(прим.: http://site1.div.net.ua/robots.txt) и найдите в нем строчку: «Disallow: /», которая и будет означать запрет индексации поддомена. Если файла нет, дайте задачу программистам создать этот файл.

Дубли сайта с www

Зачастую компании не указывают основное зеркало для разрабатываемого сайта – их дело создать сайт, а заказчик в свою очередь не говорит программистам о нем в силу незнания того, что сайты web-parsing.ru и www.web-parsing.ru – два разных сайта с точки зрения поисковой системы (зеркала).

До тех пор, пока поисковая система сама не решит выбрать одно из зеркал как главное (а это может длиться до 3-х, а-то и 6-ти месяцев, и не факт, что это не аукнется через пару лет), сайт не займет сколько-либо стоящие места в поисковой выдаче. В поиске будут конкурировать между собой страницы с одинаковым наполнением с www и без www и, соответственно. оба типа страниц будут от этого страдать.

  • Выбрать основной домен – с www или без www.
  • Прописать его в файле robots.txt строкой: «Host: web-parsing.ru».
  • Сделать на него 301 редирект с сайта-зеркала в файле «.htaccess».
  • В Яндекс.Вебмастере в разделе «Главное зеркало» установить галочку в соответствии с выбранным вами доменом – с «www» или без «www».

Дубли страниц с «/» и другими окончаниями

Зачастую в поисковых системах у сайта появляются страницы, как такие: www.web-parsing.ru, так и такие: www.web-parsing.ru/, www.web-parsing.ru/index.html, www.web-parsing.ru/index.php - вся разница в слеше в окончании адреса ссылки, ведущей на одну и ту же страницу.

Для поисковых систем это 4 разных адреса для одной и той же страницы… а ведь если не был сделан редирект с «www» на без «www» (или наоборот, в зависимости от вашего выбора) может появиться и 8 разных адресов на одну и ту же страницу – 8 дублей! И пока в поисковой системе созданные завалы не будут разобраны, сайт будет пессимизироваться по пункту за «качество ресурса».

Как этого избежать?

Необходимо всего лишь определиться, какое окончание будет у страниц сайта, сделать на него со всех остальных вариантов окончаний маску 301 редиректа и прописать ее в файле .htaccess.

    Комментарии

    ОтменитьДобавить комментарий