Скорость упала после смены поставщика

Ниже мой опыт и вопрос к тем, кто гоняет большие объёмы.

Пара цифр для понимания.

При 300 потоках на 30 адресах проверки начались через двадцать минут. Держу пул на 60 адресов, задачи разные, нагрузка неровная.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Жду любых мыслей, даже сырых.

Есть возможность повторить прогон и сравнить?

Сколько адресов и из скольких подсетей?

Какая версия программы и что с настройками по умолчанию?

Расскажу, чем закончилось у меня.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Держите нас в курсе.

Согласен с предыдущим ответом, но с одной оговоркой.

Перед покупкой проверяю три вещи: скорость отдачи на реальной странице, разброс подсетей и поведение под нагрузкой в сто потоков. Пинг смотрю последним, он мало что решает.

Пусть висит, такие вопросы всплывают постоянно.

Тут не всё так однозначно, смотря какой объём.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Добавлю то, что обычно вылезает на второй месяц работы.

Одинаковые адреса у двух исполнителей это верный способ получить отказы у обоих. Пул должен быть свой.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Прогон падает всегда в одном месте?

На другой машине воспроизводится?

Начинал с того же, потом переделал.

Разбирайте счета по задачам. Общая сумма ничего не показывает. Тогда видно, какой прогон обходится дороже данных, которые приносит.

Проверьте на второй машине, это отсекает половину версий.

Тут есть тонкость, о которой обычно забывают.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Держите нас в курсе.

Один замер стоит десяти рассуждений.

У нас на прошлом проекте это выглядело так.

Число адресов считается от темпа. Возьмите допустимый темп на адрес для конкретной площадки и разделите на него общий темп прогона. Полученное умножьте на два, это и будет рабочий пул.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Тут легко перепутать два разных момента.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.