Приветствую всех. Сегодня хочу поделиться своим мнением о целесообразности использования файла robots.txt для ваших сайтов и персональных блогов. Я думаю что это за robots.txt многим объяснять не надо. Если же кто еще не в курсе, то это текстовый файл, находящийся в корневой директории вашего сайта (http://yuosite/robots.txt) и позволяющий вам запретить к индексации поисковым роботам какие-либо страницы или целые директории. Для чего же их запрещать? Дело в том, что если на вашем сайте множество динамических страниц, глубоких директорий или просто плагиат и вы не хотите, чтобы все это дело было доступно для индексации поисковым роботам, то запрет для индексации вы можете прописать в файле robots.txt. Конечно для запрещения индексации вы всегда можете использовать тег noindex , но насколько я знаю он используется для Яндекса и прописывать его везде просто устанешь. Использование robots.txt просто удобнее. Я, например, всегда закрываю от индексации новостные блоки если они имеют место быть на сайте.
читать далее про файл robots.txt
На днях ехал я по своим делам в метро. Стою, никого не трогаю. На одной из остановок заходит парень. Весь при делах. В ушах как в последствии оказалось наушники от мобилы. Начинают двери закрываться и вдруг… Взрыв эмоций. Шум, гам. Парень рвет стоп-кран, а эффекта никакого, поезд катит дальше. Стою в непонятках. Оказалось, как только двери начали закрываться просунулась чья-то ручка и телефон был сорван с груди крутого парняги на раз два. И ищи ветра в поле. Смотрю на смурного беднягу и понимаю, что чувства мне его очень знакомы. Бывало и деньги крали и телефон. Но прежде всего мне подумалось о воровстве моего выстраданного собственноручно написанного контента, т. е. уникального текста моих статей. Эмоции в таких случаях у меня через край. И по началу помню преобладало всегда чувство безысходности. Потом кое-что напридумывал, почитал мысли и действия братьев по несчастью и стал с этим делом потихоньку бороться.
читать далее про воровство контента и как с этим воровством бороться.