Прокси не работает на середине прогона Key Collector

Собираю данные регулярно, софт привычный, и вот на чём споткнулся.

Прогон рассчитан на восемь часов, встаёт примерно на середине. Проверял на двух версиях программы, поведение одинаковое.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Поделитесь, кто как выкручивается.

Проверял на четырёх проектах, вывод один.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Что менялось за последнюю неделю?

У нас на прошлом проекте это выглядело так.

Не гоняйте один список сразу на всех машинах. Разбейте его заранее, иначе получите дубли и потери на стыках.

Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.

Какие паузы между запросами?

Сколько адресов и какой темп при этом стоит?

Мы держали старую схему год, зря.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

На маленьких объёмах верно, на больших уже нет.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Забрал себе в заметки.

Подтверждаю по своей практике.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Разметка на маркетплейсах меняется регулярно. Держите разбор в одном месте, чтобы правка занимала минуту вместо полдня.

Пришёл к этому не сразу, сначала сделал ошибку.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.