Настройка прокси в Screaming Frog SEO Spider

Screaming Frog краулит с вашей машины, поэтому когда большой аудит должен идти с другого IP — или офисный адрес постоянно упирается в ограничения — SEO Spider направляют через прокси в настройках. Сама настройка занимает две минуты; чаще всего упускают две вещи: чтобы прокси применился, программу нужно перезапустить, и она принимает только один прокси за раз — это меняет подход к ротации.

Перед настройкой: данные прокси и порты

Вам понадобятся IP-адрес прокси и порт. И то и другое есть в личном кабинете — откройте активную подписку, там указаны все данные для подключения. Для Screaming Frog используйте HTTP-порты:

Авторизация	Порт HTTP	Кому подходит
Логин / пароль данные из личного кабинета	`8080`	Обычный выбор — в настройках есть встроенная опция Use Proxy Credentials
Привязка по IP логин и пароль не нужны	`8085`	Машины со статическим IP — опцию логина и пароля не включайте

При работе с привязкой сначала добавьте IP-адрес машины в привязку в личном кабинете — после этого прокси принимает подключения с неё без логина и пароля.

Шаг 1. Откройте настройки прокси

На Windows и Linux — File → Settings → Proxy. На macOS — Screaming Frog SEO Spider → Settings → Proxy в строке меню. В старых версиях программы то же окно находится в Configuration → System → Proxy.

Шаг 2. Введите прокси и перезапустите программу

1. Поставьте галочку Use Proxy Server.

2. Введите Address (IP вашего прокси) и Port — например 123.45.67.89 и 8080.

3. Включите Use Proxy Credentials и заполните Username и Password из личного кабинета. На порту привязки 8085 эту опцию не включайте.

4. Нажмите OK и перезапустите программу — настройки прокси применяются только после перезапуска. Именно этот шаг все забывают.

Шаг 3. Проверьте подключение

После перезапуска запустите краулинг любого URL — если страницы возвращаются с нормальными ответами 200, трафик идёт через прокси. О проблеме именно с настройкой говорят два кода: 407 Proxy Authentication Required — данные для входа не дошли до прокси или не совпадают, а мгновенные таймауты на каждом URL обычно значат, что адрес или порт указаны неверно.

Один прокси за раз: как всё-таки ротировать IP

Списки прокси Screaming Frog не поддерживает — один адрес в настройках, и всё. Для аудита сайтов этого достаточно: запросы к одному сайту с одного стабильного IP выглядят естественно. Когда этого мало — огромные краулы, сайты с жёсткими лимитами на IP — впишите в то же поле настроек ротационные прокси: для Screaming Frog это по-прежнему один адрес шлюза, но выходной IP меняется на каждом запросе, и целевой сайт видит краул размазанным по целому пулу.

Для регулярных аудитов экономичный вариант — персональный прокси, купить можно от одного IP: адрес закреплён только за вами, и его репутация у целевых сайтов остаётся в ваших руках.

Если что-то не работает

Самые частые причины: прокси будто игнорируется после сохранения — программа не перезапущена, начните с этого; ответы 407 — неверные логин и пароль либо данные для входа отправлены на порт привязки 8085 (эта комбинация не работает) — сверьте порт со способом авторизации по таблице; таймауты на каждом URL — опечатка в адресе или порту, либо на порту 8085 IP машины не добавлен в привязку в личном кабинете; а краул, который начинается нормально и скатывается в ответы 429/403, — это целевой сайт ограничивает ваш единственный IP, и это случай для ротационной схемы выше. Если дело не в этом — напишите нам в онлайн-чат прямо на этой странице, поможем подключиться.