Для чего нужен этот файл robots
txt? Если вспомнить предыдущую статью о дублировании контента, этот файл не
дает поисковым системам индексировать страницы с повторяющимся материалом.
А также можно запретить даже заходить в зоны с приватным и служебным
материалом , закрыть его для просмотра.
Читать полностью: - Зачем нужен файл robots.txt?
Комментариев нет:
Отправить комментарий