В уроке разбираются две вкладки настроек Screaming Frog: User Agent и HTTP Header. Я показываю, когда стоит менять User Agent, как сравнить контент для смартфонного и десктопного Googlebot через хеш и как проверить, пускает ли сервер разных ботов. Затем разбираю заголовки Accept-Language и cookies на примерах мультиязычного сайта и сайта на Bitrix. Урок пригодится тем, кто делает технические аудиты сайтов с серверным рендерингом, региональностью и баннерами.
0:00–2:25 Зачем менять User Agent. На сайтах с серверным или динамическим рендерингом контент может отличаться для смартфонов и десктопов. Показываю переключение между Googlebot для мобильных и десктопных версий, отдельно упоминаю React и SPA-приложения. 2:25–4:11 Проверка различий через хеш. Парсим сайт ботом для…
🔒
Этот материал доступен участникам Клуба. Войдите или оформите доступ,
чтобы читать целиком, открывать видео и комментировать.
