Прогон на 2 миллиона адресов: как разбить и не потерять состояние

Прогон большой, машина сильная, результат всё равно странный.

Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие. Три машины, на каждой своя часть списка.

Подскажите, с чего начать разбор.

Уточню, иначе можно уйти не в ту сторону.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Полгода назад ловил то же самое.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

Прочитал и узнал свой прошлый год.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

До этого работало? Что менялось перед тем, как сломалось?

Какой объём и за какое окно?

Верно, и это не единичный случай.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

У меня это вскрылось только на сверке данных.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

У меня картина совпадает почти полностью.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Присоединяюсь, схема рабочая.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Тут стоит разделить два вопроса, их часто путают.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хороший разбор, добавлю в закладки.

Похоже на правду, у меня цифры близкие.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842