Как парсить поисковую выдачу яндекса
SE::Yandex: Парсер поисковой выдачи Yandex
Обзор парсера Yandex
Парсер поисковой выдачи Яндекса по праву входит в ТОП-5 самых востребованных парсеров. Одно из главных конкурентных преимуществ нашего парсера это его колоссальная производительность. Благодаря многопоточной работе A-Parser’a, скорость обработки запросов может достигать 3000-7000 запросов в минуту, что в среднем позволяет получать до 5000000 ссылок в минуту, при этом потребление ресурсов минимальное, для работы подойдет любой офисный или домашний компьютер, а также любой VDS начального уровня. Наш парсер поддерживает все поисковые операторы Яндекса, что позволяет значительно расширить возможности парсинга. Стабильность и бесперебойность парсинга выдачи обеспечивается за счет распознавания капчи через AntiCaptcha или любой другогой поддерживающего их API (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha и другие).
Гибкость в настройках позволяет указывать тип выдачи (мобильная/десктоп), регион, язык, сортировку выдачи по дате и многое другое. Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера Yandex
Выдача Yandex и номер позиции
Получаем выдачу Yandex и номер позиции результата. Результат записывается в файл csv.
Используем Яндекс.XML на примере парсера сниппета поисковой системы Яндекс
Что такое Яндекс.XML
Яндекс.XML — сервис, позволяющий отправлять запросы к поисковой базе Яндекса и получать ответы в формате XML.
Полезные ссылки :
Сервис является бесплатным и позволяет:
Для того чтобы воспользоваться сервисом Яндекс.XML необходимо перейти по адресу: https://passport.yandex.ru/auth?mode=auth&retpath=https%3A%2F%2Fxml.yandex.ru%2Fsettings%2F и ввести в форме авторизации данные вашей учетной записи в поисковой системе, проще говоря — доступы от почтового ящика. После авторизации, вы окажитесь в разделе «Настройка».
Интерфейс сервиса интуитивно понятен и вам не составит труда разобраться в нём. Обратите внимание на пункт «URL для запросов». В нем вы можете увидеть следующие параметры:
Каждый раз при отправке запросов, вам необходимо будет указывать эти параметры.
Поле «Основной IP-адрес» — вводим IP, с которого будут отправляться запросы. Например: IP-адрес домена сайта.
Яндекс.XML предоставляет доступы к трем типам поиска:
В отличие от прямого парсинга страницы поиска, Яндекс.XML предотвращает различные запреты поисковой системы в виде капчи, но существуют лимиты на запросы.
Яндекс.XML лимиты
Лимит Яндекс.XML — ограничение на количество запросов к базе поисковой системы. Каждому подтвержденному в вебмастере сайту поисковая система выделяет определенное количество лимитов, это число зависит от качества сайта.
Обращаем ваше внимание, если право на управление сайтом подтвердили несколько пользователей, лимиты получает только первый владелец сайта.
Перейдем в раздел «Лимиты». Здесь можно увидеть общее количество лимитов в день, а также количество лимитов по подтвержденным сайтам.
Также существует ограничение по количеству отправляемых запросов в сутки. Внизу страницы представлена диаграмма, в которой указано количество лимитов, которое можно потратить каждый час.
Как пользоваться Яндекс.XML: парсер поисковой выдачи Яндекс
Каждый день SEO-специалист анализирует большой объем информации с совершенно разных источников: это могут быть как сайты конкурентов, так и результаты выдачи поисковых систем и тд. Использование Яндекс.XML в своей работе может значительно упростить процесс анализа выдачи.
Для того чтобы понять принципы использования Яндекс.XML на практике мы реализуем простое и популярное приложение «Парсер подсветок сниппета», но помните — все зависит от ваших целей, поэтому анализировать выдачу можно по совершенно различным критериям.
Для реализации парсера (кроме Яндекс.XML и основ знаний по языку PHP) необходимо будет скачать библиотеку PHP Simple HTML DOM Parser. А также нам нужен домен и место на хостинге, на котором будут хранится файлы скриптов. И так, приступим.
Этап 1. Яндекс.XML: настройка
Сначала пройдите авторизацию. Для этого переходим в сервис xml.yandex.ru, нажимаем на кнопку «Начать работу» и вводим свои доступы.
Переходим в раздел «Настройки». В поле «Основной IP-адрес» вводим IP сайта с которого будут отправляться запросы, поле «Тип поиска» выбираем «русский», ставим галочку «Я принимаю условия Лицензионного соглашения» и нажимаем на кнопку «Сохранить».
2 Этап. Формирование тестового запроса
Переходим в раздел «Тестовый запрос». Формируем значения параметров и получаем конечный запрос.
В примере, мы будем использовать запрос вида: https://yandex.ru/search/xml?user=Login&key=Api-key&query=Test&lr=193
Сформированный запрос уже можно использовать, для этого достаточно вставить его в строку браузера. Кстати, если воспользоваться данным запросом с другого IP, мы получим следующий результат:
Этап 3. Создание страницы
В папке на вашем хостинге создаем страницу (yandex.php). Для удобства пользования предусмотрим 2 поля:
Код страницы, который можно просто скопировать:
Этап 3. Подключение парсера
Далее в эту папку необходимо закинуть файл парсера (simple_html_dom.php), а также создать вторую страницу(yandex-result.php), ниже приложен код с комментариями (надеюсь, вопросов не возникнет).
Код страницы, который можно просто скопировать:
Этап 3. Результат
В итоге на хостинге в папке должны находиться следующие файлы:
Далее обращается к файлу на вашем хостинге с именем yandex.php, вводим необходимый поисковой запрос и выбираем регион:
После нажатия на кнопку «Отправить», в текстовом поле отобразиться результат поисковой выдачи только в формате XML:
Если мы проанализируем полученный результат мы увидим, что:
Код страницы, который можно просто скопировать:
Вновь запускаем страницу yandex.php с теми же параметрами:
Теперь мы можем считать, что результат достигнут, мы реализовали с вами «Парсер подсветок в поисковой системе Яндекс». Для ленивых прикладываю архив со скриптами (скачать бесплатно).
Как (и зачем) бесплатно парсить ключи и объявления конкурентов из Яндекс.Директ и Google Ads
Перед запуском контекстной рекламы полезно посмотреть на ключевые слова и объявления конкурентов. Так вы пополните семантику и получите новые идеи для текстов объявлений.
На примере интернет-магазина детской мебели разбираем бесплатный инструмент от PromoPult для парсинга объявлений и ключевых слов, по которым запущена реклама в вашей нише.
Для анализа контекстной рекламы конкурентов есть немало сервисов. Среди них Serpstat, Semrush, SpyWords, SpyFu. Но оплачивать подписку не всегда выгодно — например, если вам нужно лишь время от времени мониторить конкурентов или вы просто хотите сэкономить.
В PromoPult есть бесплатная альтернатива — инструмент «Слова и объявления конкурентов».
Какие задачи вы можете закрыть с помощью инструмента:
Собираем URL конкурентов
Если вы знаете основных конкурентов, запишите адреса их сайтов в XLS-файл (один адрес — одна ячейка).
Если не знаете конкурентов, вбейте в Яндексе и/или Google несколько запросов по вашей тематике и скопируйте домены магазинов из объявлений контекстной рекламы.
Мы собрали конкурентов именно так. Вот что получилось:
Разберем, как решать разные задачи с помощью парсера PromoPult.
1. Быстрый парсинг всех ключевых слов и объявлений для указанных доменов
Создайте аккаунт в системе PromoPult (или авторизуйтесь, если у вас уже есть аккаунт). Откройте инструмент «Слова и объявления конкурентов». В блоке «Добавить задачу» укажите домены конкурентов или загрузите их с помощью XLSX-файла.
Блок профессиональных настроек пока не трогаем (мы еще разберем его).
В блоке «Поисковые системы» можно выбрать, в какой поисковой системе проверять домены. По умолчанию это Яндекс и Google. Также по умолчанию стоит галочка на пункте «Результаты на едином листе XLS» — в таблице с результатами данные по всем доменам будут сведены на одном листе.
Если вы проверяете небольшое количество доменов (до 5), можете ничего не менять здесь. Если же доменов больше, уберите галочку с этого пункта. В результатах парсинга под каждый домен будет создан отдельный лист — это удобнее для анализа большого количества данных.
Жмем «Запустить проверку». Система начнет парсинг доменов (в нашем случае на это ушло 5 минут). Если у вас нет времени ждать, вы можете закрыть страницу с инструментом — все работы проводятся в фоновом режиме.
После окончания проверки вам на почту придет уведомление:
Раскройте блок «Список задач» и кликните по пиктограмме Excel-таблицы, чтобы скачать отчет. Также здесь можно удалить отчет или запустить повторный парсинг.
В настройках парсинга есть возможность выбрать отображение отчета: отдельный лист для каждого домена или все на одном листе.
В зависимости от этой настройки отчет будет выглядеть по-разному.
Отчет по каждому домену на разных листах
В нашем примере мы получили именно такой отчет. При скачивании загружается архив с файлами в формате CSV:
Что содержит архив:
Обратите внимание! При парсинге объявления собираются из результатов поисковой выдачи в таком виде, в котором они отображаются. Кроме основного текста и заголовка могут собираться уточнения, быстрые ссылки и другие расширения (если они есть в объявлении).
Данные по доменам на одном листе
При таком способе отображения отчета загружается один XLSX-файл с четырьмя листами. Даже если вы парсите 50 доменов, листов в файле все равно будет четыре. Какие это листы:
2. Находим упущенные ключевые слова
Собрать все ключи и объявления конкурентов полезно для общего анализа и понимания ситуации. Но если у вас уже запущены рекламные кампании, важно понимать другое: какие слова используют ваши конкуренты, а вы — нет.
Как это сделать
1. Подготовьте список ключевых слов, по которым у вас запущена реклама.
2. Перейдите в инструмент «Слова и объявления конкурентов». Укажите домены конкурентов (которые хотите спарсить). В блоке профессиональных настроек вставьте ключи в поле «Минус-слова».
Все слова, добавленные в поле «Минус-слова», система исключит при парсинге. В результатах будут только те ключи, которые вы еще не использовали.
Важно! В блоке профессиональных настроек парсера также есть опция «Точное вхождение без учета морфологии». Если она включена, система не будет собирать указанные ключи в базовом виде, а также с изменением падежа.
3. Запустите парсинг и скачайте результаты. На выходе вы получите готовый набор ключей, с помощью которого можете расширить семантику.
3. Исключаем из парсинга отдельные группы товаров/услуг
Ассортимент товаров или услуг конкурентов не всегда совпадает с вашим. Например, конкуренты могут предлагать дополнительные услуги, которых нет у вас. Или охватывают более широкий ассортимент.
Соответственно, в рекламных кампаниях таких конкурентов будут ключевые слова и объявления, которые не подойдут вам.
Исключите нерелевантные ключи и объявления при парсинге, чтобы получить «чистые» результаты.
Перед запуском парсинга добавьте в поле «Минус-слова» перечень товаров или услуг, которые необходимо исключить из результатов. Также исключите сущности, которые не подходят для рекламы ваших товаров: «бесплатно», «подарок», «бу» и т. д.
Снимите галочку с пункта «Точное вхождение без учета морфологии».
В нашем примере система спарсит релевантные ключевые слова, исключив фразы типа «кухни на заказ», «офисная мебель недорого», «ремонт мебели» и т. д.
4. Собираем ключевики и объявления для определенных товаров/услуг
Допустим, мы хотим собрать дополнительную семантику для группы объявлений «Детские кроватки».
В блоке профессиональных настроек (в поле «Фиксированный список слов») указываем фразу «детские кроватки» и несколько ее вариаций. Снимаем галочку с пункта «Точное вхождение» и запускаем парсинг.
Парсер соберет ключевики, подходящие для рекламы детских кроваток:
5. Выгружаем объявления и регионы показа для конкретных ключевых слов
Также с помощью инструмента «Слова и объявления конкурентов» можно спарсить объявления, которые показывают конкуренты по конкретным ключевым фразам.
Система соберет объявления конкурентов, которые показываются по заданному списку ключевиков. Проанализируйте отчет, сравните данные по показам объявлений в разных регионах, используйте идеи для создания собственных объявлений.
Парсинг завершен — что дальше?
Используйте результаты парсинга для улучшения ваших кампаний:
Несколько полезных статей по автоматизации работы с контекстом:
Как бесплатно парсить ключевые слова и объявления конкурентов в «Яндексе» и Google
Перед запуском рекламной кампании полезно посмотреть, как с контекстной рекламой работают конкуренты: какие ключи используют, на какие регионы таргетируются, как составляют тексты объявлений. Так вы пополните семантику, почерпнете идеи для объявлений и получите представление о масштабах рекламной активности конкурентов.
Для анализа конкурентов в контекстной рекламе есть разные сервисы: Semrush, SpyFu, Serpstat и др. Однако для работы в них потребуется платная подписка. Если хотите провести анализ бесплатно, обратитесь к альтернативе — бесплатному инструменту «Слова и объявления конкурентов» от Click.ru.
Этот инструмент покажет, сколько активных объявлений, в каких регионах и по каким ключевикам запускали конкуренты за последние 3 года. Инструмент работает для Яндекса и Google, в нем есть возможность сужать поиск так, как это вам необходимо.
Для примера возьмем онлайн-магазин подарков и рассмотрим, как парсить ключевые слова и объявления конкурентов для решения различных задач.
Перед началом анализа нужно понять, кто, собственно, наши конкуренты в поисковой выдаче. Для этого открываем поисковик (Яндекс или Google) и вбиваем основной запрос, по которому планируем рекламироваться. Вот результаты выдачи:
Нам нужны домены из платной выдачи, поэтому копируем URL первых четырех объявлений, указанных на скрине выше.
Под органической выдачей тоже можно найти нескольких конкурентов. Забираем из нижнего блока рекламы в Яндексе еще два домена — manbox.ru и planetasharov.ru.
Проделываем те же операции с поисковиком Google. Наш список конкурентов пополняется тремя URL — topbox.ru, dolina-podarkov.ru и giftbaskets.ru.
Если нужно расширить список, указываем еще несколько запросов по нашей тематике и добавляем новые домены. Для привязки к региону нужно уточнить поиск. Используйте запрос по шаблону «купить [товар] + [регион]».
Итак, список конкурентов готов. Переходим к парсингу.
Рассмотрим 5 ситуаций, в которых пригодится парсер. Детально покажем, как и что делать.
Также в него можно попасть, если у вас уже создан проект в Click.ru — инструмент находится в левом боковом меню в разделе «Инструменты». Кликаем по кнопке «Объявления» и выбираем инструмент.
Далее в поле «Домены конкурентов списком» вставляем собранный ранее список URL конкурентов.
Второй способ загрузки доменов — через XLSX-файл. Для этого адреса конкурентов нужно оформить в таблице Excel. Каждый URL должен находиться в отдельной ячейке, а весь список — на одном листе.
Под блоком с задачами расположены «Профессиональные настройки». Сейчас они нам не понадобятся, поэтому не обращаем на них внимания.
Также нужно отметить, в каких поисковиках будем парсить данные. Изначально сервис советует собирать их и в Яндексе, и в Google. Поэтому галочки снимать не будем.
Ниже можно выбрать, как будут представлены результаты парсинга. Если не снимать галочку, то они будут на одном листе таблицы. Количество URL на вид отчета не повлияет. А если снять галочку, инструмент вынесет данные на отдельные листы для каждого домена.
Если вы собираете ключи и объявления для списка, где меньше пяти доменов, лучше получить результаты на одной странице в XLS. Такую выборку проще анализировать, когда она представлена на одном листе.
В ином случае стоит убрать галочку из пункта выше. Большое число URL и данных по ним сложно обрабатывать на едином листе. Удобнее, чтобы сервис представил результаты по каждому URL-адресу на отдельной странице.
У нас второй вариант, поэтому галочку снимаем.
Затем нажимаем на кнопку «Запустить проверку», чтобы начать парсинг.
Чтобы посмотреть статус сбора данных, откройте раздел «Список задач»:
Инструмент работает в облаке. Поэтому можно не ждать завершения парсинга. Закрытие и перезагрузка страницы не остановят сбор данных.
Когда парсинг будет завершен, список задач обновится — здесь будет статус «Выполнен». В столбце «Действия» нажимаем на иконку документа Excel, после чего начнется загрузка результатов.
Для парсинга мы выбрали выгрузку результатов по каждому домену на отдельном листе. Расскажем, как отобразится итог работы инструмента в обоих случаях.
Скачиваем архив с файлом rezyltati.xlsx:
Открываем таблицу. Видим большое количество листов — на каждом из них собраны данные по каждому конкуренту:
В документе также есть три дополнительных листа: на двух представлена информация по всем доменам, а еще один — сервисный лист. Рассмотрим все виды листов:
1. «Rezyltati_obschie». Здесь указана статистика по всем конкурентам: число объявлений и регионы их показа. К примеру, количество объявлений у домена manbox.ru в Яндексе в регионе Москва — 742, а в Google— 65.
2. «Slova». На этом листе собраны все уникальные ключевики, используемые для рекламы доменов конкурентов. Мы провели парсинг по десяти URL-адресам — в результате инструмент нашел 35 тысяч ключевых слов.
3. «Ish_nastroiki». Перечислены домены конкурентов, а также варианты настроек парсинга.
Каждая из оставшихся страниц в документе посвящена отдельному домену. Откроем лист dolina-podarkov.ru. Здесь такие столбцы:
Важно! При показе объявление может содержать расширение (например, быстрые ссылки). В таком случае при парсинге инструмент соберет их вместе с текстом.
Загруженный документ в этом случае будет состоять из четырех листов.
Первый лист — «Rezyltati_obschie». В нем указана информация об объявлениях по всем конкурентам (регионы и количество). Ее можно отфильтровать по региону и поисковой системе.
Второй лист — «Slova_i_obyavleniya». Можно посмотреть всю текстовую часть парсинга — заголовки и тексты объявлений, а также ключевые слова.
Важно! Если вы парсили большое количество доменов, то и итоговая таблица по ключевым словам и объявлениям будет огромной. Чтобы с ней было удобно работать, стоит отфильтровать информацию — по домену, региону или поисковику.
Оставшиеся две страницы («Slova» и «Ish-nastroiki») совпадают по содержанию с листами из документа с разбивкой по доменам, который мы разбирали выше.
Для настройки действующей кампании полезно собрать упущенные ключи, чтобы запустить рекламу по ним. Это ключи, которые не используются в нашей рекламной кампании, но по которым рекламируются конкуренты.
Вначале выгружаем список ключевых слов, по которым вы рекламируетесь в Яндекс.Директе и Google Ads. Списки не смешиваем — будем собирать упущенные слова по каждой рекламной системе отдельно.
Открываем парсер конкурентов Click.ru и указываем домены конкурентов, по которым нужно собрать данные. В блоке «Профессиональные настройки» заполняем поле с минус-словами. Сюда вставляем список наших ключей. Таким образом, система исключит их из парсинга и соберет только те ключевые слова конкурентов, которые мы не используем.
Обратите внимание, что для точности подбора должна стоять галочка напротив пункта «Точное вхождение без учета морфологии».
Нет смысла собирать ключи и тексты объявлений конкурентов по группам товаров, не представленных на вашем сайте. Конечно, при анализе результатов парсинга можно их отфильтровать и не использовать в своей кампании. Но быстрее и проще изначально настроить инструмент так, чтобы он не учитывал данные по тем товарам конкурентов, которых у вас нет.
С этим нам помогут минус-слова. Прописываем в поле товары и услуги, которые хотим исключить. Также есть смысл сразу добавить минус-слова, по которым пойдет нецелевой трафик (вроде «бесплатно» или «бу»). При этом важно снять галочку с пункта «Точное вхождение без учета морфологии».
В примере мы указали четыре минус-слова для исключения групп товаров. Поэтому в документ с результатами парсинга не попадут такие ключевики, как например, «сувенирные подарки» или «подарки идея».
Теперь покажем процесс, обратный исключению товаров из парсинга. Предположим, что нам нужно настроить парсер только на те ключи и объявления, которые подходят для рекламы конкретных товаров.
Для примера возьмем группу товаров «Подарки для мужчин» — посмотрим, какие слова и объявления используют конкуренты для ее рекламы.
В поле «Фиксированный список слов» прописываем несколько слов, похожих по тематике на выбранную группу товаров. Не забываем убрать галочку в строчке «Точное вхождение».
Кликаем «Запустить проверку» и смотрим результаты.
Составляем список ключевых фраз, по которым будем парсить объявления конкурентов. Открываем парсер конкурентов Click.ru, прописываем URL конкурентов, по которым будет собирать информацию.
Нам вновь понадобится блок «Фиксированный список слов». Вставляем сюда подобранные фразы. Ставим галочку в пункте «Точное вхождение». Тогда инструмент будет собирать объявления только по точным вхождениям указанных ключей.
Запускаем инструмент, а потом скачиваем документ с результатами. Там будут тексты объявлений конкурентов, запщенные по указанным ключам.
Их нужно проанализировать и выбрать те слова, заголовки и тексты, которые помогут улучшить качество вашей кампании.
Можно расширить семантическое ядро за счет упущенных ключевиков. Это поможет достучаться до большего числа потенциальных клиентов и сэкономить бюджет.
Изучите тексты объявлений. Некоторые формулировки и формы предложений можно использовать в своей кампании.
Посмотрите на структуру объявлений — на чем сделан упор, на каких преимуществах продукта акцентировано внимание и что конкуренты предлагают. Не исключено, что вы можете предложить больше.
А можно вопрос? Вы там случайно в гос. конторах не переработали? Почему такой геморный интерфейс, придуманные мастер, не мастер акаутны?
Вы находитесь в мастер-аккаунте, профессиональные инструменты находятся в аккаунтах пользователей. Для перехода к инструменту выберите аккаунт пользователя и вы будете перемещены.
Возникла ошибка в ходе обработки запроса по причине сбоя соединения с сетью. Пожалуйста, повторите действие после восстановления соединения.
короч, пиар неудался?
Максимально! Компанию просто в черный список. Мало того что сервис не работает и сайт не очень. Так ещё вечером после регистрации кол центр спамить начал по номеру указанному при регистрации.
Год почти прошел, а ошибка все та же.
Не скажу по остальным пунктам, но для чего нужен мастер все написано сразу после регистрации.И вообще есть функции админа и юзера, их даже в винде не стоит смешивать, не говоря про юникс Все логично, короче
Ндя, в keys.so кампании конкурента можно скачать в формате для загрузки в интерфейс директа. У вас же какая то вакханалия
да чет не работает этот сервис
клик.ру скурвился, стал вознаграждение зажимать и вообще не прозрачная система. подскажите альтернативу?
Наткнулся на данную статью, решил опробовать, хотел посмотреть как конкуренты ведут себя в Google. Инструмент конечно интересный, информация есть, всё в порядке, но есть одно большое НО, сама база откуда идёт парсинг очень старая, посмотрите на скринах, какие ключевые слова и заголовки.
Подумал, может это из того, что это Google, но нет, решил пропарсить Яндекс, и увидел точно такую же картину.
Вернёмся к началу статьи:
«Перед запуском рекламной кампании полезно посмотреть, как с контекстной рекламой работают конкуренты: какие ключи используют, на какие регионы таргетируются, как составляют тексты объявлений. Так вы пополните семантику, почерпнете идеи для объявлений и получите представление о масштабах рекламной активности конкурентов.»
Исходя из этого непонятно, как с контекстной рекламой конкуренты работают сейчас, какие ключи используют сейчас, как составляют тесты объявлений сейчас, и самое главное, какие масштабы по контекстной рекламе у конкурентов СЕЙЧАС.
Исходя из всего вышесказанного отправляем очередную статью и инструмент в раздел «Бесполезное».