Отвалилась четверть адресов посреди прогона, ищем причину

Вопрос простой на вид, а ответы у всех разные.

Вводные, чтобы не гадать.

Сравнивал два пула на одинаковой задаче, разница по времени вышла в полтора раза. Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят.

Кто как это обходит?

До сих пор помню, чем это закончилось.

Пул под мониторинг и пул под разовый прогон устроены по-разному: первому важна ровность, второму запас по объёму.

Считайте не только пул, но и запас на замену. Часть адресов выбывает по естественным причинам, и это надо закладывать.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Дополню, потому что важная деталь потерялась.

Проверяйте адреса на той площадке, с которой будете работать. Общая проверка на сервисе показа адреса ничего не говорит о поведении под нагрузкой.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.

Забрал себе в заметки.

Тут стоит разделить два вопроса, их часто путают.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Тема на будущее пригодится многим.

У меня картина совпадает почти полностью.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Проверял это на своей задаче, вывод такой же.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Пусть висит, такие вопросы всплывают постоянно.

Какая версия программы стоит?

Прогон падает всегда в одном месте?

Поправлю: дело в темпе, объём тут вторичен.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.

Всё верно написали выше, добавлю от себя пару деталей.

Безлимитный трафик выгоднее пакетов на любом регулярном сборе. Два терабайта в месяц набегают незаметно, а на пакетах это отдельная статья расходов.

Тут не всё так однозначно, смотря какой объём.

Если поставщик не говорит про подсети, это уже ответ. Спрашивайте прямо и просите разброс.

Ответ приходит пустой или с содержимым?

Был похожий случай, разбирали неделю.

Скорость канала важна там, где вы качаете тяжёлые страницы. На сборе выдачи она почти не влияет на общее время.

Сколько по времени занимает один запрос?