Разбираем батчинг — пакетную обработку данных. Когда страниц в работе 30, 40, 50, 100, 200, отправлять их по одной смысла мало: современные краулеры спокойно принимают пачку за раз, вопрос только в тарифе. Беру workflow из прошлого урока и обвешиваю его тем, что превращает его в пакетный: Split Out, цикл Loop Over Items с batch size и нода Wait между итерациями. Заодно меняется сама задача парсинга — подаём в map материнскую категорию, получаем подкатегории, и с каждой подкатегории забираем сразу массив товаров, поэтому в схеме ответа появляется тип array. На живом прогоне из 16 подкатегорий получаем 207 товаров в Google-таблице, и видно, как wait в 15 секунд помогает уложиться в ограничения бесплатного аккаунта. В конце — домашка на summary.
0:00–0:29 Пакетная обработка данных, так называемый батчинг. Workflow подготовлен заранее, это чуть апгрейженный вариант предыдущего: ноды mapping и scraping остались на месте, вокруг них появилось немного обвеса. Суть в том, что при массиве в 30, 40, 50, 100, 200 страниц отправлять их по одной бессмысленно, можно отправлять пакетами — так быстрее.
0:29–1:30 Заходим в ноду map, помним, что map — это сбор ссылок. Берём категорию iPhone, главную, материнскую: у неё есть подкатегории — Air, 17, 16, 15. Раз подали главную категорию, map будет собирать из неё именно подкатегории, а не товары.
1:30–2:02 Для первого быстрого прогона ставлю специально маленький лимит — 3 странички, и включаю всё: и sitemap, и остальное. По умолчанию это и так включено, но на всякий случай воткнул сюда, чтобы повторить.
2:02–2:40 Дальше splitout — разделение, и стандартный цикл Loop Over Items. Внутри цикла практически ничего нет, кроме batch size: сколько страниц уйдёт за одну итерацию. Здесь стоит 3, потому что всё демонстрируется на бесплатном тарифе, а там максимум…
🔒
Этот материал доступен участникам Клуба. Войдите или оформите доступ,
чтобы читать целиком, открывать видео и комментировать.
