Разделы · Парсеры и сбор данных
Прогон большой, машина сильная, результат всё равно странный.
Ниже вводные, дальше сам вопрос.
Проверял на двух версиях программы, поведение одинаковое. Ставил 200 потоков, потом снижал до 80, разница по времени невелика. Логи ведутся, в них видно, что запросы уходят, а ответы приходят короткие.
Жду любых мыслей, даже сырых.
Сохраняйте сырое, пересчитать успеете.
Верно по сути, дальше нюансы.
Разметку разбирайте по устойчивым признакам. Классы оформления для этого не годятся. Классы меняют при каждом обновлении, смысловые атрибуты живут дольше.
Пул под такие объёмы держу постоянный. Беру приватные прокси IPv4 и SOCKS5, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Это следствие, а причина лежит глубже.
Потери записей чаще всего идут из-за коротких ответов, которые программа считает успешными. Заведите проверку на минимальный размер ответа и на наличие обязательного куска разметки.
Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.