Чем собирать данные с сайта на бесконечной прокрутке

Прогон большой, машина сильная, результат всё равно странный.

Скорость держится первые два часа, потом падает. Ставил 200 потоков, потом снижал до 80, разница по времени невелика. Список на 120 тысяч адресов, окно на прогон шесть часов.

Хочется услышать цифры от практиков.

Один момент упущен, и он важный.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Настройка применилась вообще?

Какие паузы между запросами?

Скорость решает не всё, но и терять её не хочется. Я перешёл на адреса с безлимитным трафиком, когда старый поставщик начал резать канал на длинных прогонах.

Один замер стоит десяти рассуждений.

Начинал с готовых сервисов, потом ушёл на своё.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

Забрал себе в заметки.

Ставьте таймаут, иначе висит вечно.