Смотреть урок

Дополнительные файлы из урока

В уроке разбирается вкладка настроек robots.txt в Screaming Frog: где она находится, чем отличаются режимы «учитывать», «игнорировать» и «игнорировать, но записывать статус», как показывать или скрывать заблокированные URL в отчётах. Отдельно показано, как подставить свой robots.txt и как проверять правила для разных user-agent, например Googlebot, GPTBot и Яндекс-бота. Урок пригодится тем, кто сканирует тестовые и закрытые от индексации сайты, а также тем, кто отлаживает…