Прокси для аналитики цен: какие требования отличаются от SEO

Пробовал два подхода, разница вышла заметная.

При 300 потоках на 30 адресах проверки начались через двадцать минут. Трафик за месяц вышел около двух терабайт, поэтому пакеты гигабайтов не подходят. Проверял скорость до покупки, на прогоне цифры оказались другими.

$ for a in $(cat pool.txt); do curl -s -o /dev/null -w "%{time_total} " -x $a https://example.org/; done
0.412 0.398 1.884 0.421 0.406

Как считаете вы? Интересует порядок, а не общие слова.

А что показывают логи в момент падения?

А что показывают логи в момент падения?

Был случай, когда всё сошлось только на третий день разбора.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Пришёл к этому не сразу, сначала сделал ошибку.

Скорость адреса и скорость прогона это разные вещи. Прогон упирается в темп, который вам позволяют, а не в ширину канала.

Держать свой пул постоянно выгоднее, если сборы идут чаще раза в неделю. Разовая аренда под задачу оправдана только на редких больших прогонах.

Если поможет, напишите здесь же, пригодится следующим.

Это на всех площадках или на одной?

Сколько адресов и какой темп при этом стоит?

Какая версия программы и что с настройками по умолчанию?

Согласен с предыдущим ответом, но с одной оговоркой.

Подсети важнее числа. Сорок адресов из одного диапазона площадка видит как одну руку, а десять из разных диапазонов ведут себя как десять разных посетителей.

Серверные адреса берут скоростью и стабильностью. Для съёма позиций, обхода каталогов и мониторинга цен этого хватает с запасом.

Был случай, когда всё сошлось только на третий день разбора.

Приватный адрес отличается от общего тем, что его темп расходуете только вы. На общем вы делите лимит с незнакомыми людьми и никогда не знаете, сколько осталось.

Тема нужная, подписался.