Настройка прокси для Screaming Frog на Windows

Пишу подробно, чтобы не пришлось переспрашивать.

Опишу по порядку, что есть и чего не хватает.

Список адресов лежит в файле, программа его читает, но берёт только первый. Проверял через простой запрос к сервису, который показывает адрес: адрес свой. На хосте всё работает, внутри контейнера запросы идут напрямую.

Хочется услышать цифры от практиков.

Совет по выбору: просите подсети из разных диапазонов, а не сотню подряд. У приватные прокси IPv4 и SOCKS5 это в порядке вещей, поэтому и остался.

Согласен с предыдущим ответом, но с одной оговоркой.

Проверка одна: сделайте запрос к сервису, который показывает адрес, из той же программы, а не из браузера. Всё остальное догадки.

Локальные адреса выносите в исключения сразу, иначе внутренние запросы пойдут через посредника и всё встанет.

Тема нужная, подписался.

Полгода назад ловил то же самое.

Контейнер не наследует окружение хоста. Передавайте настройки при сборке образа отдельно и при запуске отдельно, это два разных момента.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Если поможет, напишите здесь же, пригодится следующим.

Разбейте прогон на части, станет ровнее.

Это на всех площадках или на одной?

Уточните пару моментов, иначе гадаем.

Считайте по темпу, всё остальное вторично.

Считаю так же, и цифры у меня близкие.

Авторизация по адресу удобнее в бою: ничего не хранится в конфигах и не утекает в логи. Логин с паролем берите там, где адрес выхода плавает.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Тут ничего нового не скажу, только подтвержу.

Контейнер не наследует окружение хоста. Передавайте настройки при сборке образа отдельно и при запуске отдельно, это два разных момента.

Проверка одна: сделайте запрос к сервису, который показывает адрес, из той же программы, а не из браузера. Всё остальное догадки.

Был случай, когда всё сошлось только на третий день разбора.

Настройки в системе и настройки в программе это два разных хранилища. Программа почти всегда перекрывает системные, поэтому проверяйте оба.

Отпишитесь, чем закончится, тема полезная.

Так и есть, проходил через это в прошлом году.

Настройки в системе и настройки в программе это два разных хранилища. Программа почти всегда перекрывает системные, поэтому проверяйте оба.

Если настройка слетает после перезагрузки, значит она внесена в сеанс, а не в постоянное хранилище. Смотрите автозапуск и службы.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Пришёл к этому не сразу, сначала сделал ошибку.

Если настройка слетает после перезагрузки, значит она внесена в сеанс, а не в постоянное хранилище. Смотрите автозапуск и службы.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Расскажу, чем закончилось у меня.

Проверка одна: сделайте запрос к сервису, который показывает адрес, из той же программы, а не из браузера. Всё остальное догадки.

Авторизация по адресу удобнее в бою: ничего не хранится в конфигах и не утекает в логи. Логин с паролем берите там, где адрес выхода плавает.

Работает, пока объём небольшой. Дальше правила другие.

Авторизация по адресу удобнее в бою: ничего не хранится в конфигах и не утекает в логи. Логин с паролем берите там, где адрес выхода плавает.

Настройки в системе и настройки в программе это два разных хранилища. Программа почти всегда перекрывает системные, поэтому проверяйте оба.