Серверные прокси для SEO: по каким признакам выбираете поставщика

Меняли поставщика, и после этого пошли странности.

Пул на 120 адресов, четыре подсети. Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Что тут вообще считается нормой?

Был похожий случай, разбирали неделю.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Один замер стоит десяти рассуждений.

На такой задаче адреса надо держать свои. Общий пул тут подведёт. Общий пул делится с незнакомыми людьми, и лимит вы никогда не контролируете. Я беру адреса IPv4 и SOCKS5 без лимита по трафику и сплю спокойно.

Добавьте адресов, потоки трогать не надо.

Пишите состояние построчно.

Тут легко перепутать два разных момента.

Одинаковые адреса у двух исполнителей это верный способ получить отказы у обоих. Пул должен быть свой.

До сих пор помню, чем это закончилось.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Это верно для одной площадки и неверно для другой.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Тема на будущее пригодится многим.

Проверял на трёх проектах подряд, картина устойчивая.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Так же считаю, и коллеги считают так же.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют. Ширина канала на это влияет слабо.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Поправлю цифру, остальное верно.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.