Настройка прокси для Screaming Frog на Windows

Второй день ковыряю, помогите взглядом со стороны.

Опишу по порядку, что есть и чего не хватает.

Настройка держится до перезагрузки, после неё слетает. Пробовал три разных менеджера, поведение у всех одинаковое. Логин с паролем приняты, а при обращении приходит отказ по авторизации.

Что тут вообще считается нормой?

Совет по выбору: просите подсети из разных диапазонов. Сотня подряд толку не даст. У приватные прокси IPv4 и SOCKS5 это в порядке вещей, поэтому и остался.

Плюсую, сам пришёл к тому же через полгода проб.

Исключения для локальных адресов вносите сразу при настройке, потом про них забывают и ловят странные обрывы.

Проверьте, что список адресов читается целиком. Программы часто берут первую строку и молча игнорируют остальные.

Жду продолжения.

Был похожий случай, разбирали неделю.

Проверка одна: сделайте запрос к сервису, который показывает адрес, из той же программы. Браузер показывает своё, и это догадки.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Будет результат, напишите сюда.

Начните с малого объёма и растите постепенно.

Сколько это длится и с какой частотой повторяется?

Уточните пару моментов, иначе гадаем.

Проверьте, что настройка вообще применилась.

Всё верно написали выше, добавлю от себя пару деталей.

После любой правки делайте контрольный запрос из самой программы. Это тридцать секунд и полная уверенность.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Соглашусь, хотя пришёл к этому через неприятность.

Переменные окружения читает не весь софт. Часть программ смотрит только свои поля, часть только системные. Проверять надо на самой программе. Консоль тут показывает своё окружение.

Автозапуск проверяйте перезагрузкой. На словах он работает всегда. Половина настроек живёт до первого перезапуска.

У коллеги было то же самое, причина оказалась смешной.

Переменные окружения читает не весь софт. Часть программ смотрит только свои поля, часть только системные. Проверять надо на самой программе. Консоль тут показывает своё окружение.

Тема нужная, подписался.

Так и делаю, работает без сюрпризов.

Настройки в системе и настройки в программе это два разных хранилища. Программа почти всегда перекрывает системные, поэтому проверяйте оба.

Настройку в контейнере передавайте при запуске. Зашитая в образ она быстро устареет. Образ переживёт смену адресов, а зашитые настройки нет.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

У меня это вскрылось только на сверке данных.

Если программа читает только свои поля, системная настройка её не касается вовсе. Это частый источник путаницы.

export http_proxy=http://user:pass@10.0.0.5:8000
export https_proxy=$http_proxy
export no_proxy=localhost,127.0.0.1,.local
curl -s https://example.org/ip

Был случай, когда всё сошлось только на третий день разбора.

Цепочка из двух посредников оправдана редко и почти всегда добавляет задержку без пользы.

После любой правки делайте контрольный запрос из самой программы. Это тридцать секунд и полная уверенность.

Схема рабочая, но у неё есть предел.

Держите настройки в одном месте и раздавайте оттуда. Ручная правка на пяти машинах заканчивается расхождением через месяц.

Переменные окружения читает не весь софт. Часть программ смотрит только свои поля, часть только системные. Проверять надо на самой программе. Консоль тут показывает своё окружение.