В уроке разбираю настройки Include и Exclude в Screaming Frog: чем они отличаются, как их записывать и на что они влияют при обходе. Показываю, как они похожи на директивы в robots.txt, и объясняю, почему Frog не проверяет статус страниц, которые попали под исключение. Рассказываю о практических задачах: исключение меток и UTM, пагинации, парсинг крупного сайта по разделам на слабом ноутбуке. В конце пробегаюсь по основным элементам регулярных выражений и по таблице с примерами, которую я приложил к уроку. Урок пригодится тем, кто сканирует большие сайты и хочет экономить память и время.
0:00–1:06 Вступление: о чём урок, база и таблица регулярок. Регулярки проще всего писать с помощью нейросети, но понимать, как они работают, полезно самому.
1:06–2:07 Include обрабатывает только URL, попадающие под правила. Exclude игнорирует URL, попадающие под правила, а всё остальное обрабатывается. Include работает как директива в robots.txt,…
🔒
Этот материал доступен участникам Клуба. Войдите или оформите доступ,
чтобы читать целиком, открывать видео и комментировать.
