Записи с меткой "robots.txt"

Файл robots.txt. С чем его едят?

Автор: Soldat · Дата: 7 августа 2009 · Есть 5 коммент.

моя фотография
Приветствую всех. Сегодня хочу поделиться своим мнением о целесообразности использования файла robots.txt для ваших сайтов и персональных блогов. Я думаю что это за robots.txt многим объяснять не надо. Если же кто еще не в курсе, то это текстовый файл, находящийся в корневой директории вашего сайта (http://yuosite/robots.txt) и позволяющий вам запретить к индексации поисковым роботам какие-либо страницы или целые директории. Для чего же их запрещать? Дело в том, что если на вашем сайте множество динамических страниц, глубоких директорий или просто плагиат и вы не хотите, чтобы все это дело было доступно для индексации поисковым роботам, то запрет для индексации вы можете прописать в файле robots.txt. Конечно для запрещения индексации вы всегда можете использовать тег noindex , но насколько я знаю он используется для Яндекса и прописывать его везде просто устанешь. Использование robots.txt просто удобнее. Я, например, всегда закрываю от индексации новостные блоки если они имеют место быть на сайте.
читать далее про файл robots.txt

Метки:, ,

Также рекомендую почитать по этой теме:

Рубрика: Создание сайтов · Запись имеет метки: , ,



jAntivirus