Лучшие прокси для парсинга: по каким признакам выбираете

Пишу подробно, потому что вопрос всплывает у всех, кто работает с объёмами.

Сразу к делу, чтобы не растекаться.

На маленьком объёме всё работает, разница начинается после ста тысяч. Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие. Список на 120 тысяч адресов, окно на прогон шесть часов.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Хочется услышать цифры от практиков.

Сверяйте полноту после каждого прогона.

Смотрите подсети, число адресов само по себе мало что даёт.

Добавьте адресов, потоки трогать не надо.

У нас на прошлом проекте это выглядело так.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

Добавьте адресов, потоки трогать не надо.

Смотрите подсети, число адресов само по себе мало что даёт.

Помню, как искал причину два дня подряд.

Проверка полноты обязательна. Берите случайные сто записей и сверяйте руками с площадкой, это пятнадцать минут и полная ясность.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

Всё сходится с тем, что вижу у себя.

Если данные отдаются скриптом, обычный сбор их не увидит. Смотрите, откуда страница берёт содержимое: часто рядом есть простой запрос, который отдаёт то же самое в удобном виде.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

У нас это вылезло на проекте с большим каталогом.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Полгода назад ловил то же самое.

Если программа ест память, дело почти всегда в накоплении результата. Настройте запись на диск пачками, и потолок исчезнет.

Хороший вопрос, редко разбирают.

Так же считаю, и коллеги считают так же.

Скорость упирается в темп, который держит площадка, программа тут ни при чём. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Один момент упущен, и он важный.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Жду продолжения.

Первый раз списал на случайность, второй раз уже нет.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

Хороший вопрос, редко разбирают.

Добавьте адресов, потоки трогать не надо.