Руководство по использованию robots.txt

robots.txt — файл с ограничениями доступа к веб-серверу для поисковых роботов.Должен находится только в корневой директории сайта, и содержать буквы только нижнего регистра, то есть «robots.txt», а не «Robots.txt». Приведу несколько примеров.Чтобы запретить доступ всем поисковым роботам, то есть чтобы сайт не индексировался, укажем в robots.txt: Разрешить индексацию всем: Допустим мы хотим сообщить поисковым ботам, […]