Мониторинг цен на Авито встал: парсер перестал видеть цены

До вчерашнего дня всё шло ровно, потом началось.

По порядку.

Прогон рассчитан на восемь часов, встаёт примерно на середине. Ставил 200 потоков, потом снижал до 80, разница по времени невелика. На маленьком объёме всё работает, разница начинается после ста тысяч.

Готов сам проверить, скажите только что.

Логи в помощь, без них это гадание.

Всё сходится с тем, что вижу у себя.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

От себя добавлю по железу под адреса: своё оборудование у поставщика заметно ровнее аренды чужого. Беру серверные прокси с целыми подсетями как раз поэтому.

Это на всех площадках или на одной?

Сохраняйте сырое, пересчитать успеете.

Пробовали снизить темп вдвое?

Половина верна, вторую половину поправлю.

Сборщик, который умеет продолжить с места обрыва, стоит вдвое дороже по времени разработки и вдесятеро дешевле в работе.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Проверяйте из той же программы. Браузер показывает своё.

Проходил ровно этот путь года полтора назад.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Большие каталоги не надо гонять одним куском. Разбейте на части по пятьдесят тысяч, каждую с отдельным состоянием, и падение одной части перестанет ронять весь прогон.