В этом уроке я разбираю вкладку Limits в настройках Screaming Frog. Лимиты позволяют не парсить сайт целиком, а собрать из него продуманную выборку: например, по несколько товаров из каждой категории. По важности для больших сайтов я ставлю их на третье место после настроек памяти и скорости. Я прохожу по каждой настройке: общий лимит страниц, глубина и уровни, папки, параметры, субдомены, редиректы, длина URL, размер страницы и лимиты по путям. Урок пригодится тем, кто настраивает парсинг больших сайтов и хочет сначала быстро проверить конфигурацию на небольшой порции страниц.
0:00–1:29 Зачем нужны лимиты. Пример сайта с двумя миллионами товаров и тысячей категорий: можно взять по три товара из каждой категории и по трём тысячам страниц понять, где есть проблемы. Отдельно упоминаю параметрические URL, которые могут бесконечно генерироваться. 1:29–3:14 Limit Crawl Total: максимум страниц за парсинг. Удобно при настройке Frog: поставить лимит на 200 страниц или на пару тысяч для больших сайтов, отладить скорость, ресурсы и отчёты и только потом запускать большой…
🔒
Этот материал доступен участникам Клуба. Войдите или оформите доступ,
чтобы читать целиком, открывать видео и комментировать.
