Разделы · Код и программные интерфейсы
Код рабочий, но ведёт себя не так, как я задумывал.
Сначала обстановка.
Повторы стоят три раза с паузой, которая растёт вдвое. Пишу на питоне, обвязка своя, библиотек минимум.
Может, кто-то уже проходил это.
Пара оговорок, без них совет неполный.
Состояние прогона храните построчно. Один кусок в конце вас не спасёт. Тогда обрыв на девяностом проценте не стоит вам всего прогона.
Cookie при массовом сборе лучше сбрасывать. Накопленное состояние делает поведение непредсказуемым.
Был случай, когда всё сошлось только на третий день разбора.
Ошибки разделяйте по типам. Отказ по сети и отказ площадки требуют разного поведения.
Что менялось за последнюю неделю?
Проверяли на маленькой выборке?
Пробовали на другой машине?
Что менялось за последнюю неделю?
Совпадает с моим опытом до цифры.
Не держите весь список в памяти на больших объёмах. Читайте потоком, пишите пачками.
async with aiohttp.ClientSession() as s:
for i in range(3):
try:
r = await s.get(url, proxy=adres, timeout=30)
break
except Exception:
await asyncio.sleep(2 ** i)Набор новых участников сейчас приостановлен. Читать форум можно без учётной записи, все темы открыты.
Когда набор откроют, объявление появится в разделе с короткими вопросами.
Форма работает в браузере и никуда ничего не отправляет.