Свой парсер на requests против готового софта: что считаете

До вчерашнего дня всё шло ровно, потом началось.

Прогон рассчитан на восемь часов, встаёт примерно на середине. На маленьком объёме всё работает, разница начинается после ста тысяч. Список на 120 тысяч адресов, окно на прогон шесть часов.

Если у кого есть цифры, покажите.

Дополню, потому что важная деталь потерялась.

Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.

Сохранил, пригодится в следующем проекте.

Что показывает простой запрос из консоли?

Сколько потоков стоит на прогоне?

Всё правильно расписано, повторю своими словами.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Замечание по существу, иначе расчёт поедет.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Почти так, но одна деталь меняет вывод.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Начинал с готовых сервисов, потом ушёл на своё.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Было такое прошлой осенью, разбор занял вечер.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Будет результат, напишите сюда.

Так и работает, проверено не один раз.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Интересно, чем закончится.

Проверьте на второй машине, это отсекает половину версий.

Ставьте паузу с разбросом, не ровную.