Авторизация

Я забыл пароль

Регистрация

Пару статей

Партнеры

Robots.txt глазами SitemapGenerator.ru

SitemapGenerator.ru поддерживает robots.txt и для того, что бы он правильно определял ссылки, описаные в robots.txt, Вам необходимо прочитать данный очерк и, возможно, сделать некоторые изменения в самом robots.txt.

В певую очередь, robots.txt должен соответсвовать стандарту, описание которого можно почитать здесь.

Но, поскольку в наше время стандарта придерживаются лишь единицы, я влючил в обработку несколько нестандартных, но популярных методов описания robots.txt, которые для многих стали уже стандартом.

Итак, robots.txt должен лежать в корне сайта, названый в нижнем регистре латинским алфавитом.
По стандарту в нем должны находиться только 2 команды: User-Agent и Disallow. Что это, для чего и как им пользоваться Вы можете почитать на сайте описания стандарта. Помимо них SitemapGenerator поддерживает команду Allow. Она имеет преимущетсво над командой Disallow, тоесть код

User-Agent: *
Disallow: /dir/
Allow: /dir/

будет разрешать сканировать и добавлять в сайтмап страницы, которые найдены в директирии dir.

Все не стандартные значения в robots.txt заменяются на обобщающие, тоесть код

User-Agent: 
Disallow: *

будет восприниматься, как

User-Agent: *
Disallow: /

Но для избежания непредсказуемых ситуаций я советую проверить свой robots.txt на валидность на сайте Яндекса

Будте внимательны при оформлении robots.txt!