Robots.txt – что за зверь?
Ср 9 Июнь 2010
Сегодня бы хотелось обратить Ваше внимание, уважаемые читатели блога, на такой файл как robots.txt. Прежде всего, к написанию этого поста меня побудил недавний случай у моего знакомого. Его блог бесплатная музыка не индексировался в течении двух месяцев. Он и Платону писал – не помогло. Хотя они ответили
«Не переживайте, с Вашим сайтом всё в порядке, он уже начал индексироваться роботом и должен появиться в поиске после одного-двух обновлений поисковой базы.»
Однако прошел один ап, потом другой – и ничего. Вот тогда он и обратился ко мне. Честно говоря я не сразу допер в чем проблема, но когда в панели вебмастера в яндексе сделал запрос на анализ Robots.txt, все стало ясно. У него в Host: был указан другой домен. Когда все исправили, в следующий ап выдачи сайт влетел в индекс. И такое бывает. Как оказалось потом, товарищ просто скопировал на каком - то сайте данный файл, а разбираться, что к чему не стал, а просто залил его на хост. (далее...)
