Серверные прокси для SEO: по каким признакам выбираете поставщика

Меняли поставщика, и после этого пошли странности.

Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. При 300 потоках на 30 адресах проверки начались через двадцать минут.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Хочется услышать цифры от практиков.

Проверял на трёх проектах подряд, картина устойчивая.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Начните с малого объёма и растите постепенно.

На такой задаче адреса надо держать свои, а не общие. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру адреса IPv4 и SOCKS5 без лимита по трафику и сплю спокойно.

Смотрите подсети, а не только число адресов.

Уменьшите потоки вдвое и замерьте заново.

Поправлю: дело не в объёме, а в темпе.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Долго держал старую схему, пока не упёрся.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Осторожнее с этим выводом, он верен не всегда.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Если поможет, напишите здесь же, пригодится следующим.

У нас на прошлом проекте это выглядело так.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тут ничего нового не скажу, только подтвержу.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Добавлю то, что обычно вылезает на второй месяц работы.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.