Netpeak Checker и списки адресов: как раздавать по потокам

Пробовал три варианта, ни один не устроил до конца.

Сначала обстановка, вопрос в конце.

Прогон рассчитан на восемь часов, встаёт примерно на середине. Данные собираются, но при сверке не хватает примерно пятнадцати процентов записей.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Кто сталкивался, поделитесь опытом.

На другой машине воспроизводится?

На другой машине воспроизводится?

Проверить это можно бесплатно: у серверные адреса IPv4 есть тест на пару часов, за это время как раз успеваете прогнать пробу и посмотреть, как ведут себя ваши потоки.

Начните с малого объёма и растите постепенно.

Расскажу, чем закончилось у меня.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Отпишитесь, чем закончится, тема полезная.

Одно уточнение, иначе расчёт уедет.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Это на всех площадках или на одной?

На другой машине воспроизводится?

Так и есть, проходил через это в прошлом году.

Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хороший разбор, добавлю в закладки.

А что показывают логи в момент падения?

Работает, пока объём небольшой. Дальше правила другие.

Перед большим прогоном всегда гоняю пробу на тысяче адресов. Три минуты времени, и сразу видно, где посыплется.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Если поможет, напишите здесь же, пригодится следующим.