Прокси в работе падают после двух часов: как делить список

Пишу подробно, потому что вопрос всплывает у всех, кто работает с объёмами.

Сначала обстановка, вопрос в конце.

Скорость держится первые два часа, потом падает. На маленьком объёме всё работает, разница начинается после ста тысяч. Пробовал разбивать список на части по пятьдесят тысяч, стало ровнее.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Поделитесь, кто как выкручивается.

Был похожий случай, разбирали неделю.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.

Пул под такие объёмы держу постоянный. Беру адреса IPv4 и SOCKS5 без лимита по трафику, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.

Наступал на это в прошлом сезоне.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Первый раз списал на случайность, второй раз уже нет.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Полгода назад ловил то же самое.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Ставьте паузу с разбросом, не ровную.

Пишите состояние построчно.

Всё верно написали выше, добавлю от себя пару деталей.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Смотрите разброс подсетей.

Подтверждаю, у нас было ровно то же самое.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

Хороший разбор, добавлю в закладки.

Разбейте прогон на части, станет ровнее.