Файл robots.txt

Файл robots.txt — это обычный текстовый файл, размещенный на сайте, который используется для регулирования процесса индексации сайта поисковыми системами.

Понравилась статья? Поделиться с друзьями:
Блог
Добавить комментарий

Нажимая на кнопку "Отправить комментарий", я даю согласие на обработку персональных данных и принимаю политику конфиденциальности.