Парсинг цен конкурентов: как не сорвать сбор на середине

Пробовал три варианта, ни один не устроил до конца.

Детали такие.

Список на 120 тысяч адресов, окно на прогон шесть часов. Проверял на двух версиях программы, поведение одинаковое. На маленьком объёме всё работает, разница начинается после ста тысяч.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Кто как это обходит?

Начните с малого объёма и растите постепенно.

Прочитал и узнал свой прошлый год.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Добавлю то, что обычно выясняется поздно.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Пишите, если понадобится уточнить.

Прогон падает всегда в одном месте?

Это началось после какого-то изменения?

Добавьте адресов, потоки трогать не надо.

Считайте по темпу, всё остальное вторично.

Начинал с того же, потом переделал.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Разбейте задачу на части.

Подтверждаю по своей практике.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Отпишитесь, что получилось.

Это верно для одной площадки и неверно для другой.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Дополню, потому что важная деталь потерялась.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хороший вопрос, редко разбирают.