Чем собирать данные с сайта на бесконечной прокрутке

Прогон большой, машина не слабая, а результат странный.

На маленьком объёме всё работает, разница начинается после ста тысяч. Ставил 200 потоков, потом снижал до 80, разница по времени невелика. Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие.

Как считаете вы? Интересует порядок, а не общие слова.

Добавлю то, что обычно вылезает на второй месяц работы.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Скорость решает не всё, но и терять её не хочется. Я перешёл на адреса с безлимитным трафиком, когда старый поставщик начал резать канал на длинных прогонах.

Начните с малого объёма и растите постепенно.

Начинал с того же, потом переделал.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.

Если поможет, напишите здесь же, пригодится следующим.

Начните с малого объёма и растите постепенно.