Приветствую всех. Сегодня хочу поделиться своим мнением о целесообразности использования файла robots.txt для ваших сайтов и персональных блогов. Я думаю что это за robots.txt многим объяснять не надо. Если же кто еще не в курсе, то это текстовый файл, находящийся в корневой директории вашего сайта (http://yuosite/robots.txt) и позволяющий вам запретить к индексации поисковым роботам какие-либо страницы или целые директории. Для чего же их запрещать? Дело в том, что если на вашем сайте множество динамических страниц, глубоких директорий или просто плагиат и вы не хотите, чтобы все это дело было доступно для индексации поисковым роботам, то запрет для индексации вы можете прописать в файле robots.txt. Конечно для запрещения индексации вы всегда можете использовать тег noindex , но насколько я знаю он используется для Яндекса и прописывать его везде просто устанешь. Использование robots.txt просто удобнее. Я, например, всегда закрываю от индексации новостные блоки если они имеют место быть на сайте.
читать далее про файл robots.txt
Создав свой сайт и выложив его в интернете Вам конечно же нужно чтобы видимость его в интернете, то есть индексация или индексирование сайта в поисковых системах произошла как можно быстрее. Проблемы обычно возникают с самым популярным поисковиком рунета, великим и могучим Яндексом. Не забудем и про всемирный поисковик Google.
Время – деньги, господа. В этом посте я решил изложить самые актуальные и быстрые методы ускорения индексации сайта. Каждый из них актуален в отдельности, но для большего эффекта лучше использовать их вместе. Многие из них уже известны широкой общественности сео и блогосферы, а гуру используют их повсеместно. Повторение пройденного, я думаю, будет для них полезно. Ну а для новичков методы, которые дают ответ на вопрос как ускорить индексацию сайта, будут прекрасным пособием и руководством. Итак начнем…
читать далее про индексация сайта, ускорение индексации.