Netpeak Checker и списки адресов: как раздавать по потокам

Пишу подробно, потому что вопрос всплывает у всех, кто работает с объёмами.

Что есть на руках.

Проверял на двух версиях программы, поведение одинаковое. Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Интересно, как это решают у вас.

Сколько адресов и из скольких подсетей?

Ответ приходит пустой или с содержимым?

Проверить это можно бесплатно: у серверные адреса IPv4 есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Сверяйте полноту после каждого прогона.

Проверял на трёх проектах подряд, картина устойчивая.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Тема нужная, подписался.

Добавлю то, что обычно вылезает на второй месяц работы.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Данные теряются равномерно или кусками?

Это началось после какого-то изменения?

Верно по сути, дальше нюансы.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Такие темы и держат форум.

Какая версия программы и что с настройками по умолчанию?

Половина верна, вторую половину поправлю.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Будет результат, напишите сюда.