Русский
EnglishНастройка прокси в Octoparse
Octoparse — парсер без кода, и прокси в нём настраиваются тоже без кода: список адресов вставляется в настройки задачи, к нему выбирается интервал ротации. Перед началом стоит знать две вещи из официальной справки: свои прокси работают только при локальных запусках (облачные используют встроенный пул Octoparse), а программа рассчитана на HTTP-прокси в формате IP:порт — поэтому надёжный способ авторизации здесь — привязка по IP.
Перед настройкой: данные прокси и порты
Вам понадобится список прокси из личного кабинета — откройте активную подписку, там указаны все данные для подключения. Для Octoparse используйте HTTP-порты:
| Авторизация | Порт HTTP | Формат строки списка |
|---|---|---|
| Привязка по IP логин и пароль не нужны — рекомендуем |
8085 |
123.45.67.89:8085 |
| Логин / пароль официально не поддерживается, см. заметку ниже |
8080 |
123.45.67.89:8080:логин:пароль |
При работе с привязкой сначала добавьте IP-адрес машины в привязку в личном кабинете. После этого прокси принимает запросы с этой машины без логина и пароля — ровно те простые строки IP:порт, которые описаны в документации Octoparse.
Официальная справка Octoparse заявляет, что прокси с логином и паролем не поддерживаются. При этом несколько прокси-провайдеров описывают рабочий четырёхчастный формат IP:порт:логин:пароль в том же окне настройки. Наша рекомендация: не строить рабочий процесс на недокументированном поведении — добавьте IP в привязку и используйте порт 8085. Если IP машины часто меняется, четырёхчастный формат можно попробовать как запасной вариант.
Шаг 1. Включите прокси в настройках задачи
Откройте задачу парсинга, дальше:
1. Перейдите в Task Settings и выберите раздел Anti-blocking.
2. Отметьте Access websites via proxies.
3. Поставьте галочку Use my own proxies и нажмите Configure.
Альтернатива здесь — Use Octoparse proxies, встроенный пул: для облачных запусков это единственный вариант, можно выбрать страну и время ротации, но платите за него по тарифам Octoparse, а IP делятся с другими пользователями. Со своим пакетом вы управляете адресами, локациями и тем, кто ещё ими пользуется (никто).
Шаг 2. Вставьте список и задайте интервал ротации
В окне настройки вставьте прокси — по одному на строку, поля через двоеточие. Выгрузите список из личного кабинета: порядок полей и разделитель настраиваются при выгрузке, так что файл получается готовым для вставки:
Задайте интервал переключения — как часто Octoparse будет переходить к следующему прокси из списка. Для большинства задач разумная отправная точка — около 60 секунд: достаточно коротко, чтобы размазать запросы по пулу, и достаточно долго, чтобы не рвать многостраничные сессии. Нажмите Confirm и сохраните задачу.
Наши пакеты серверных прокси начинаются от 100 IP, так что сам пул ротации узким местом не станет, а когда целевой сайт начнёт ограничивать запросы — обновите список по запросу, выгрузите файл заново и вставьте поверх старого.
Шаг 3. Проверьте подключение
Запустите задачу локально и посмотрите, как встроенный браузер загружает страницы. Для прямой проверки создайте быструю тестовую задачу на https://api.ipify.org — страница показывает одну строку с IP, который видит целевой сайт; там должен быть адрес из вашего списка, а не ваш собственный. Помните, что облачный запуск проверкой не считается: он игнорирует ваши прокси по определению.
Если что-то не работает
Самые частые причины: прокси будто игнорируются — обычно задача запущена в облаке, где свои прокси не применяются, — запустите локально; страницы не загружаются на порту 8085 — IP машины не добавлен в привязку в личном кабинете (перепроверьте после смены адреса провайдером); строки с логином и паролем не работают — это ожидаемое поведение по официальной документации, переходите на привязку; а если страницы грузятся, но медленно, — попробуйте увеличить интервал переключения, чтобы сессии не обрывались на середине страницы. Если дело не в этом — напишите нам в онлайн-чат прямо на этой странице, поможем подключиться.