Начинаем блок про парсинг больших сайтов. Урок построен на официальной справке Screaming Frog с моими комментариями из практики. Я показываю, чем отличаются Database Storage и Memory Storage и когда нужен каждый из них. Дальше разбираем Memory Allocated: сколько оперативной памяти отдавать программе и сколько оставлять системе. Затем настройки потоков и ограничения скорости, и на живом примере сравниваем сканирование в один и в двадцать потоков, с рендерингом и без него. Урок пригодится тем, кто делает аудит крупных сайтов и хочет сканировать быстро, не роняя ни свой компьютер, ни чужой сервер.
0:00–1:09 Storage Mode: где находится (File, Settings) и чем отличаются режимы. При быстром SSD по умолчанию включен Database Storage, при жестком диске включен Memory Storage. Memory Storage пишет весь краулинг в оперативную память, Database Storage сохраняет его на диск. 1:09–1:58 Пример Database Storage: в списке краулов виден краулинг на 15 гигабайт, в оперативную память такой объем не поместится. Небольшие сайты можно парсить в память, анализ тогда работает быстрее. Database Storage включаем, когда…
🔒
Этот материал доступен участникам Клуба. Войдите или оформите доступ,
чтобы читать целиком, открывать видео и комментировать.
