Разделы · Парсеры и сбор данных
Прогон большой, машина не слабая, а результат странный.
Опишу по порядку, что есть и чего не хватает.
Прогон рассчитан на восемь часов, встаёт примерно на середине. Ставил 200 потоков, потом снижал до 80, разница по времени невелика. Пробовал разбивать список на части по пятьдесят тысяч, стало ровнее.
Хочется услышать цифры от практиков.
Начните с малого объёма и растите постепенно.
Так и есть, проходил через это в прошлом году.
Скорость упирается не в программу, а в темп, который держит площадка. Ставить 300 потоков на 20 адресов бессмысленно, отказы съедят весь выигрыш.
Пул под такие объёмы держу постоянный. Беру приватные прокси IPv4 и SOCKS5, потому что там разброс по подсетям нормальный, а это на съёме важнее скорости.
Тут легко перепутать два разных момента.
Память ест не число потоков, а хранение всего собранного в памяти до конца прогона. Пишите результат на диск пачками, и потолок пропадёт.