Серверные адреса против прочих: где проходит граница задач

Работаю с адресами давно, но этот момент до конца не понял.

Что имеем на входе.

Проверял скорость до покупки, на прогоне цифры оказались другими. При 300 потоках на 30 адресах проверки начались через двадцать минут. Держу пул на 60 адресов, задачи разные, нагрузка неровная.

Может, есть более простой путь, которого я не вижу.

До этого работало? Что менялось перед тем, как сломалось?

Добавлю то, что обычно вылезает на второй месяц работы.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Хороший разбор, добавлю в закладки.

Проверял два поставщика на одинаковой задаче. Тот, где не режут трафик, дал прогон в полтора раза быстрее. Сейчас работаю через приватный пул IPv4.

Начните с малого объёма и растите постепенно.

Начните с малого объёма и растите постепенно.

А что показывают логи в момент падения?

Долго держал старую схему, пока не упёрся.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Был случай, когда всё сошлось только на третий день разбора.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406