Чудо зверь

Сегодня бы хотелось обратить Ваше внимание, уважаемые читатели блога, на такой файл как robots.txt. Прежде всего, к написанию этого поста меня побудил недавний случай у моего знакомого. Его блог бесплатная музыка не индексировался в течении двух месяцев. Он и Платону писал – не помогло. Хотя они ответили

«Не переживайте, с Вашим сайтом всё в порядке, он уже начал индексироваться роботом и должен появиться в поиске после одного-двух обновлений поисковой базы.»

Однако прошел один ап, потом другой – и ничего. Вот тогда он и обратился ко мне. Честно говоря я не сразу допер в чем проблема, но когда в панели вебмастера в яндексе сделал запрос на анализ Robots.txt, все стало ясно. У него в Host: был указан другой домен. Когда все исправили, в следующий ап выдачи сайт влетел в индекс. И такое бывает. Как оказалось потом, товарищ просто скопировал на каком - то сайте данный файл, а разбираться, что к чему не стал, а просто залил его на хост.

Возможно многие знают, что существует такой важный файл, как Robots.txt. Но есть и те, кто и не догадывается о его существовании. Однако это именно тот файл, который поисковые роботы пытаются найти в первую очередь на вашем сайте или блоге. Особенно важно знать о назначении этого файла начинающим вебмастерам.

Попытаемся вкратце дать представление об этом файле.

Итак, файл robots.txt – это специальный текстовый файл, который размещается в корневой директории Вашего сайта и в котором записаны специальные инструкции для поисковых роботов. Одни из инструкций запрещают индексацию некоторых разделов, другие дают указание на правильное «зеркаливание» домена, третьи – дают «рекомендации» роботу на соблюдение определенных временных интервалов между скачиванием документов с сервера.

Создается файл robots.txt в любом текстовом редакторе. В случае если Вам не надо ничего запрещать к индексации, можете оставить этот файл пустым.

Для правильного составления файла robots.txt Вам будет необходимо изучить синтаксис данного файла. В принципе там нет ничего сложного.

Ниже я приведу Вам код файла robots.txt для wordpress. Вам останется только скопировать данный код и вставить в любой текстовый редактор, а затем сохранить с соответствующим названием (robots.txt).

Вот сам код:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.yourdomain.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: http://yourdomain.ru/sitemap.xml

Конечно же не забудьте сменить yourdomain.ru на адрес именно Вашего блога.

Так же уже готовый файл Вы можете скачать здесь.

Удачи и быстрой индексации.