Key Collector встал на сборе, адреса ушли в проверку на робота

Софт менял трижды, вопрос остался.

Даю всё, что есть, вдруг зацепитесь за деталь.

Данные собираются, но при сверке не хватает примерно пятнадцати процентов записей. Проверял на двух версиях программы, поведение одинаковое. Три машины, на каждой своя часть списка.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Если у кого есть цифры, покажите.

Осторожнее с обобщением, случаи бывают разные.

Перед сменой поставщика адресов сделайте контрольный прогон на одинаковой задаче. Иначе разницу в скорости будете объяснять чем угодно, кроме настоящей причины.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватные прокси IPv4 и SOCKS5.

Ставьте таймаут, иначе висит вечно.

Тут ничего нового не скажу, только подтвержу.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Состояние прогона держите отдельно от результата. Тогда падение процесса стоит вам минуты вместо всей ночи.

$ ./sbor --potokov 120 --spisok chast-01.txt --proksi pool.txt
обработано: 48 210 / 50 000
пустых ответов: 1 842

Какая версия программы и что с настройками по умолчанию?

Наступал на это в прошлом сезоне.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Спасибо за подробное описание, так отвечать проще.

Так и есть, проходил через это в прошлом году.

Память ест хранение всего собранного до конца прогона, число потоков тут ни при чём. Пишите результат на диск пачками, и потолок пропадёт.

Сайты с обязательным входом требуют аккуратного хранения сессии и своевременного обновления. Хитрости тут лишние.

Полезный разбор получился.

Прочитал и узнал свой прошлый год.

Скорость сбора упирается в самое слабое звено. Обычно это темп, который держит площадка. Программа и канал ни при чём.

Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.

Совпадает с моим опытом до цифры.

Бесконечная прокрутка обычно означает отдельный запрос за каждой порцией. Найдите его, и сбор становится обычным.

Полезный разбор получился.

Смотрите подсети, число адресов само по себе мало что даёт.