Предположим, вы создали красивый и полезный сайт, выложили его на свой домен «web-parsing.ru» в сети интернет.И, если к разработке сайта был подключен хороший seo-специалист, все будет хорошо – поисковые системы найдут сайт и начнут его индексировать – сайт полезет в выдачу.
Одной из самых распространенных ошибок в разработке сайтов является их верстка на тестовом поддомене сайта компании-разработчика в том случае, если она не закрыла к поддомену доступ поисковым системам файле robots.txt.
Тем самым содержимое сайта прекрасно может проиндексироваться поисковыми системами и, когда компания перенесет готовый и наполненнеый сайт на выбранный вами домен, в индексе с большой вероятностью может оказаться именно тот сайт, который лежит на тестовом поддомене – тестовое зеркало, а не ваш ресурс, вследствие чего вы потратите не менее 2 месяцев на переиндексацию зеркал в индексе.
Немного резюмирую: чтобы такого не было – проследите за наличием строчки запрета индексации тестового домена в файле robots.txt.
Допишите к адресу сайта фразу «robots.txt»(прим.: http://site1.div.net.ua/robots.txt) и найдите в нем строчку: «Disallow: /», которая и будет означать запрет индексации поддомена. Если файла нет, дайте задачу программистам создать этот файл.
Зачастую компании не указывают основное зеркало для разрабатываемого сайта – их дело создать сайт, а заказчик в свою очередь не говорит программистам о нем в силу незнания того, что сайты web-parsing.ru и www.web-parsing.ru – два разных сайта с точки зрения поисковой системы (зеркала).
До тех пор, пока поисковая система сама не решит выбрать одно из зеркал как главное (а это может длиться до 3-х, а-то и 6-ти месяцев, и не факт, что это не аукнется через пару лет), сайт не займет сколько-либо стоящие места в поисковой выдаче. В поиске будут конкурировать между собой страницы с одинаковым наполнением с www и без www и, соответственно. оба типа страниц будут от этого страдать.
Зачастую в поисковых системах у сайта появляются страницы, как такие: www.web-parsing.ru, так и такие: www.web-parsing.ru/, www.web-parsing.ru/index.html, www.web-parsing.ru/index.php - вся разница в слеше в окончании адреса ссылки, ведущей на одну и ту же страницу.
Для поисковых систем это 4 разных адреса для одной и той же страницы… а ведь если не был сделан редирект с «www» на без «www» (или наоборот, в зависимости от вашего выбора) может появиться и 8 разных адресов на одну и ту же страницу – 8 дублей! И пока в поисковой системе созданные завалы не будут разобраны, сайт будет пессимизироваться по пункту за «качество ресурса».
Необходимо всего лишь определиться, какое окончание будет у страниц сайта, сделать на него со всех остальных вариантов окончаний маску 301 редиректа и прописать ее в файле .htaccess.
Copyright © 2004-2017гг. Рысев Игорь ВасильевичПодняться наверх