Сбор ассортимента у 40 конкурентов раз в неделю, расчёт нагрузки

Пробовал три варианта, ни один не устроил до конца.

Вводные, чтобы не гадать.

Три машины, на каждой своя часть списка. Данные собираются, но при сверке не хватает примерно пятнадцати процентов записей. Пробовал разбивать список на части по пятьдесят тысяч, стало ровнее.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хочется услышать, чем это заканчивается на практике.

Это верно для одной площадки и неверно для другой.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Мы упирались в то же, пока не поменяли подход.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Такие темы и держат форум.

Работает, пока не выросли объёмы.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Отпишитесь, что получилось.

Пишите состояние построчно.

Проверьте, что настройка вообще применилась.

У коллеги было то же самое, причина оказалась смешной.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Мы упирались в то же, пока не поменяли подход.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Присоединяюсь, схема рабочая.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Прочитал и узнал свой прошлый год.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Пусть висит, такие вопросы всплывают постоянно.

Считайте на адрес. Общая цифра по прогону вводит в заблуждение.

Что показывает простой запрос из консоли?

Что в логах в этот момент?

Уберите лишние потоки, толку от них нет.

Не совсем так, и разница тут существенная.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Разнесите нагрузку по времени.