В рубрике : 
Июль.11,2010У многих возникает вопрос: Нужен ли файл robots.txt и каким должно быть его содержание?
Для себя я сделал следующий вывод: если ваш сайт маленького объема и у на нем нет папок и файлов, которые не должны индексироваться поисковиками, то файл robots.txt можно не делать. Когда поисковик заходит на ваш сайт и не находит файл роботс.тхт, то это говорит поисковому боту о том, что все страницы сайт можно индексировать.
Если у вашего сайт большое количество страниц, то для более лучшей индексации стоит создать файл robots.txt и прописать в нем путь к карте сайта.
На многих форумах пишут, что в роботс обязательно надо писать структуру Disallow. По моим наблюдениям поисковые боты бегают по всем страницам сайта (и соответственно страницы попадают в серп) даже если Disallow не прописан.
Теги :
Вы можете оставить комментарий внизу страницы. Пинги запрещены.
Огромное человеческое спасбо!
Спасибо! У Вас часто замечательные посты!
Ваш пост навел меня на мысль *ушел много думать*