Смотреть урок

Дополнительные файлы из урока

В уроке разбирается функция URL Rewriting в настройках Crawl. Она переписывает адреса во время парсинга, а не исключает их из обхода. Я показываю кейс со внутренней перелинковкой, размеченной трекинговыми параметрами с уникальным ID у каждой ссылки, и объясняю, почему исключение таких ссылок ломает связи между страницами. Дальше разбираются удаление параметров и замена по регулярным выражениям, например смена HTTP на HTTPS. В конце на примере замены домена видно, как Screaming Frog обращается к переписанному адресу. Урок пригодится тем, кто парсит сайты с параметрическими ссылками и смешанными типами URL.

Оглавление с…