Прокси для работы с Яндексом

Двумя механизмами. Первый — распределение частоты: SmartCaptcha считает темп на каждый адрес, и пакет от 100 IP позволяет держать нужный суммарный объём запросов, пока каждый отдельный IP остаётся ниже порога. Второй — региональная точность: геолокация выходного адреса участвует и в скоринге доверия, и в самом ранжировании, поэтому выход из того же региона, что и параметр lr, возвращает ту выдачу, которую видит местный пользователь, а не искажённую картину из чужого дата-центра.

Чего прокси не делают — не отменяют остальную дисциплину пайплайна: проверку тела ответа на разметку /showcaptcha, консервативный темп и вывод помеченных адресов из работы. Эти детали разобраны в соседних вопросах; пакеты с российскими адресами и IP стран СНГ стоят от $19/мес, трафик в них безлимитный.

Вы архивируете страницы с капчей. Когда SmartCaptcha помечает запрос, Яндекс переадресует его на заглушку /showcaptcha, которая отвечает кодом HTTP 200, — и любой пайплайн, ориентирующийся на статус-коды, записывает страницу с проверкой как успешно собранную. Лечится это проверкой содержимого до разбора: считайте ответ заблокированным, если итоговый URL содержит /showcaptcha или в теле есть разметка SmartCaptcha, а на XML-интерфейсах следите за полем капчи в самом ответе. Когда проверка сработала, не долбите тем же адресом дальше — сделайте паузу, переключитесь на свежий выходной IP и верните запрос в очередь. И после починки детектора проведите ревизию накопленных данных: каждая «пустая» выдача, уже лежащая в базе, — точка данных, которую придётся собрать заново.

Потому что lr — входной параметр ранжирования, а ваш IP — входной параметр и ранжирования, и доверия. Яндекс учитывает идентификатор региона при выборе того, что показать, но адрес запроса всё равно влияет на персонализацию и на скоринг SmartCaptcha: запрос с lr=213 (Москва), прилетающий из немецкого дата-центра, — несостыковка сразу по двум фронтам: лёгкий сигнал бота плюс выдача, которая может расходиться с тем, что увидело бы московское подключение. Для исследовательской выборки это терпимо; для съёма позиций, по которому клиенты принимают решения, — нет: отчёт о позициях стоит ровно столько, сколько стоит региональная точность за ним. Правило простое: берите выходной адрес из того же региона, который запрашиваете, — ровно для этого и нужен пакет с миксом российских адресов и IP стран СНГ.

Для чистого отслеживания позиций — честно говоря, часто да. Search API в Yandex Cloud — официальный, структурированный, быстрый и обычно дешевле сторонних SERP-API; с капчей бороться не приходится, потому что вы клиент, а не нарушитель. Мы лучше скажем это прямо, чем продадим вам прокси под задачу, с которой API справляется лучше. Парсинг через прокси выигрывает, когда результатом должно быть то, чего API не возвращает: рекламные объявления и их порядок, локальный блок в том виде, как он отрисован, колдунщики и их раскладка, внутренности поиска по картинкам или попиксельная копия того, что реально видит пользователь из Казани. Многие агентства совмещают оба подхода: API — для ежедневной ленты позиций, обход через прокси — для еженедельного аудита визуала и рекламы. Это не конкуренты — они отвечают на разные вопросы.

Адреса подойдут, но антибот-давление у сервисов разное — планируйте темп соответственно. Яндекс Маркет — самый строгий из набора: это поле битвы за цены, за которым следит каждый конкурент, и он опирается на тот же стек SmartCaptcha с меньшей терпимостью к частоте запросов. Карты и карточки организаций переносят умеренный сбор — полезно для локальных SEO-аудитов рейтингов и отзывов. Мониторинг рекламы в Директе сидит посередине и несёт то же требование региональной точности, что и поиск: объявления таргетируются по местоположению, и выход из чужого региона покажет вам другой аукцион. Wordstat для сбора семантики переносит аккуратный автоматизированный съём частотностей, но чувствителен к темпу — прокси для парсинга Wordstat берите с запасом по числу адресов, чтобы распределять запросы. Отдельная категория запросов — прокси для Яндекс Музыки и Яндекс Сплита: это уже не сбор данных, а доступ к сервисам, рассчитанным на российскую аудиторию, и здесь достаточно одного стабильного российского IP из того же пакета. Один пакет закрывает всё это; практичный подход — сегментировать список и выделить каждому сервису своё подмножество адресов, чтобы пометка за частоту, заработанная на Маркете, не перетекала на отслеживание поиска.