Как парсить в кей коллекторе

Собираем все минус-слова за несколько минут. Пошаговый алгоритм быстрого парсинга в Key Collector

В предыдущей статье мы рассказывали о нашем подходе к парсингу и чистке минус-слов для кампаний Яндекс Директ. Метод показывает свою очень высокую эффективность всегда, для любых ниш и объемов ключевиков. А экономия времени на разработку может достигать десятков часов.

В этой же статье мы дадим пошаговую инструкцию и постараемся раскрыть более подробно все нюансы метода.

Считаем нужным перед инструкцией упомянуть, что описанный алгоритм является универсальным, но никогда не стоит забывать об исключениях. Всегда оценивайте ситуацию.. но лично мы пока не встречали ситуация, когда такой способ чистки совершенно не применим.

Для простоты восприятия и наглядности за основу возьмём тематику продажи диванов.

Что нужно для работы:

1. Сбор частотности базовых запросов

1.1. Создаем проект и загружаем базисную семантику в Key Collector

1.2. Собираем частоту всех фраз из базисной семантики

1.3. Выделяем 3-5 высокочастотных фраз на одно направление. В нашем примере рассматриваем вариант с тремя фразами (см. скриншот)

2. Создание группы с тремя высокочастотными запросами

2.1. Создаем группу для выбранных высокочастотных запросов (назовем её «3 ВЧ»)

2.2. Добавляем в группу «3 ВЧ» фразы следующим образом: «слово1 слово1», «слово1 слово2 слово2» (см. скриншот)

2.3. Создаем список минус-слов «(1) общие и мусорные»

2.4. Добавляем общие минуса в список стоп-слов (1). Общие минуса, которые используем мы, можно скачать здесь

2.5. Теперь парсим левую колонку Wordstat в группе с тремя высокочастотными запросами (3 ВЧ), учитывая список стоп-слов (1)

3. Чистка группы с тремя высокочастотными запросами («3 ВЧ»)

3.1. После парсинга группы «3 ВЧ» создаем второй список стоп-слов и называем его: «(2) НЕ удалять». При чистке «3 ВЧ» в этот список мы будем добавлять слова, которые и не добавляем в запросы, и не удаляем.

Это очень важно, чтобы не делать одну и ту же работу два раза – при чистке «3 ВЧ», затем – при чистке основной семантики.

Этот список будет состоять из слов, которые не будут заминусованы, но и прямой таргетинг по ним тоже делать не планируем. Но, в целом, всё остается на усмотрение разработчика, и в каждом конкретном случае ситуация разная.

Пример: «Купить диван Версаль». «Версаль» мы добавим в список «(2) НЕ удалять», чтобы при чистке основной семантики слово «Версаль» не встречалось второй раз.

В список «(2) НЕ удалять» мы добавляем марки, модели, размеры диванов и т.д. – таких слов более 2 000. При чистке основной семантики нам не придется заново убирать эти 2 000 слов.

3.2. Делаем стандартную чистку через «Анализ групп» и все «мусорные» запросы мы добавляем в список стоп-слов «(1) общие минуса», а запросы не для таргетинга в список «(2) НЕ удалять».

Более подробно разбирать процесс чистки мы не будем, информации в интернете много на этот счет

Сам парсинг группы «3 ВЧ» и чистка занимают от 10-15 минут. Да, всего лишь. При этом около 90% минусов по всей базисной семантике попадет в список «(1) общие и мусорные».

Разумеется, в зависимости от ниши время может увеличиваться или уменьшаться.

4. Парсинг основной семантики

4.1. Создаем третий список стоп-слов «(3) только для парсинга» и добавляем в него все минус-слова из списков «(1) общие и мусорные» и «(2) НЕ удалять»

4.2. Возвращаемся к группе(ам) с базисной семантикой и парсим её(их) со списком слов «(3) только для парсинга»

Базисная семантика спарсится без «мусорных» запросов и запросов с марками, моделями, размерами и т.д. Таким образом нам не придется заново убирать огромное количество слов (они у нас в списке (2)), помимо «мусорных».

5. Окончательная чистка основной семантики

5.1. Проводим стандартную чистку спаршенной базисной семантики через «Анализ групп» от оставшихся 10% «мусорных» запросов. С учетом всех проделанных операций, чистка будет проходить очень быстро.

Минуса добавляем в список минус-слов «(1) общие и мусорные» – он и будет окончательным списком минус-слов для кампании.

5.2. Удаляем дубли с помощью «Анализ неявных дублей»

5.3. На выходе у нас получается практически идеально чистая семантика

Даже с достаточно обширной семантикой вся работа займёт несколько часов вместо нескольких дней. Теперь вы сможете сосредоточиться на грамотном формировании объявлений, повышая отдачу от вложений.

Очень надеемся, что наш метод будет полезен коллегам.

Если остались вопросы или есть чем дополнить нашу идею — пишите в комментарии.

Источник

Как парсить в кей коллекторе

Панель содержит общие настройки парсинга и добавления фраз в таблицу.

Добавлять в таблицу фразы, содержащие не более X слов

Опция задает ограничение по максимальной длине фразы. Если фраза содержит больше слов, чем указано в данной настройке, фраза игнорируется программой и не добавляется в группу ни при каких условиях.

Режим сбора

Здесь выбирается режим обработки фраз в процессе сбора статистики для фраз в таблице.

При запуске нового парсинга (не возобновлении ранее начатого и приостановленного процесса, а запуска нового процесса) программа формирует очередь заданий в соответствии с выбранным режимом. Далее элементы этой очереди будут сохранены в проект, и дальнейшее выполнение задания будет производиться именно по этой очереди.

Такой механизм позволяет сохранять актуальный статус выполнения задачи даже в случае аварийного завершения работы программы. Также проект может быть скопирован на другой ПК, и процесс сбора может быть продолжен с места приостановки — по элементам ранее сформированной очереди.

Если вы нажимаете кнопку сбора той или иной статистики, и программа загружает окно с возможностью возобновления процесса, то это означает, что в проекте обнаружена незавершенная до конца очередь для этого вида задачи.

В этом случае вы можете либо завершить обработку такой очереди — продолжить сбор, либо обнулить ее сформировать новую с актуальными параметрами сбора — начать с начала.

В очередь обработки будут добавлены все отмеченные фразы под фильтром вне зависимости от того, снята ли статистика для этих фраз или нет.

Режим может быть полезен при регулярном обновлении статистики поверх имеющихся данных: вы просто отмечаете запросы и запускаете сбор повторно, а программа перезаписывает старые результаты на новые.

Строки с неполученными данными

В очередь обработки будут добавлены фразы с отсутствующими данными по исследуемой статистике под фильтром. Если фраза уже имеет заполненные ячейки по той или иной статистике, то она будет пропущена.

Это режим по умолчанию. Он наиболее удобен в работе, т.к. позволяет запускать сбор только для тех фраз, которые еще не имеют исследуемой статистики. При этом результаты обработки абсолютно наглядны: где пустая ячейка — там алгоритм еще не собрал данные, где заполненная — уже собрал.

Опционально для данного режима можно включить режим игнорирования существующих очередей заданий. Т.е. если по запускаемому виду задачи в проекте уже имеется ранее сформированная и незавершенная очередь заданий, то программа может опционально проигнорировать ее и предложить сформировать новую очередь.

Строки с неполученными данными и отмеченные, если есть

В этом режиме в очередь заданий попадают фразы с незаполненной исследуемой статистикой или же отмеченные фразы.

Режим является гибридным для двух предыдущих и используется в редкий случаях.

Деактивация потоков

Под потоками понимаются отдельные параллельно выполняющиеся подпроцессы, выполняющие основную задачу.

В процессе работы с сервисами могут возникать различные ошибки взаимодействия, сетевые ошибки или достигаться пользовательские ограничения.

Например, может временно может пропасть связь с сетью, прокси-сервер может перестать отвечать или будет достигнут установленный лимит капчи для аккаунта.

Здесь вы можете выбрать режим обработки таких критических ситуаций, указав, требуется ли сокращать кол-во активных потоков, и если да, то по каким правилам.

При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков будет сокращено на 1 единицу.

Например, задача выполнялась в 10 потоков, и в процессе выполнения прокси-сервер исключается из обработки из-за сетевых ошибок. В этом случае кол-во потоков сократится до 9.

При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков будет сокращено на 1 единицу, если оставшееся кол-во ресурсов (прокси-серверов или аккаунтов) меньше кол-ва текущих рабочих потоков.

Например, задача выполнялась в 10 потоков через 20 прокси-серверов.

Это режим по умолчанию, и мы рекомендуем его использовать совместно с гарантированно достаточными задержками между запросами в расчете на 1 прокси-сервер.

При возникновении критической ситуации (исключение прокси-сервера или аккаунта из-за ошибок или пользовательских ограничений), количество рабочих потоков не будет сокращаться.

Этот режим опасен тем, что на оставшиеся ресурсы (прокси-серверы или аккаунты) перекладывается нагрузка от потоков, которые могли бы быть остановлены.

Например, вы запускали задачу в 5 потоков через 10 прокси-серверов и использовали задержки между запросами 30 секунд (т.е. каждый прокси-сервер участвовал в работе около 1 раза в 60 секунд).

Если 9 из 10 исходных прокси-серверов будут исключены в процессе выполнения задачи, то оставшийся прокси-сервер ляжет нагрузка от всех 10 потоков, и запросы будут выполняться каждые 3 секунды, что в 10 раз меньше тех задержек, которые вы использовали в момент начала обработки.

Фильтрация символов

В процессе добавления фраз в проект они неизбежно проходят проверку на максимальную длину, из них вычищаются двойные пробелы между словами, а также выполняется фильтрация спец. символов.

Здесь вы можете определить список символов, которые будут удаляться из фраз или заменяться на символ пробела. Также можно включить принудительное приведение символов к нижнему регистру и автозамену буквы Ё.

Источник

Как проработать семантическое ядро с помощью Key Collector. Часть 1

Рассказываем, как собрать качественное семантическое ядро: подбор масок, добавление и парсинг в Key Collector.

Любая рекламная кампания в контексте начинается со сбора семантического ядра. От ключевых слов и фраз, на основе которых пользователям показывается рекламное объявление, во многом зависит успех рекламной кампании.

Критерии качественного семантического ядра

Для заданной РК подобраны все возможные релевантные маски. (Маска — основное слово или словосочетание в запросе, на базе которого создаётся длинный список из различных ключевых фраз.)

По каждой маске собраны все вложенные ненулевые запросы из всех известных источников сбора.

Из каждой маски «отминусованы» все нецелевые слова.

Проведена кросс-минусовка ключевых слов.

Ускорить сбор позволяет Key Collector.

Подбираем маски

Пробиваем маски через Wordstat и ищем похожие запросы.

Пример: собираем РК для бокс-клуба. Наши маски: «записаться на бокс», «занятия боксом» и т. д. Само слово «бокс» слишком широкое по смыслу. Включить его в нашу РК даже в точном соответствии нельзя. Но мы можем пробить слово «бокс» (уточнённое высокочастотными минус-словами) через Wordstat и найти ещё несколько масок, например, «абонемент на бокс», «тренера по боксу» и т. п.

Всё, что нужно знать о рекламе в мобильных играх

Аналитический обзор Gameloft: рекламные форматы, портрет аудитории, надёжные бенчмарки.

Изучайте отчёты по реальным поисковым фразам в «Яндекс.Метрике» и Google AdWords.

Используйте сервисы подбора синонимов.

Пользуйтесь формулами сцепки в Excel или сервисами перемножения. Excel позволяет рассортировать все полученные маски «по полочкам», точнее, по столбикам. Сервис перемножения, наоборот, формирует единый столбец. Что удобнее — зависит от ситуации.

Пользуйтесь операторами «+» и «!», чтобы вытянуть большее количество слов из Wordstat. (Знак «!» фиксирует падеж и число слова, а «+» нужен для принудительного учёта предлогов и союзов.) По запросу с использованием операторов Wordstat выдаёт новую выборку, в которой могут оказаться и новые слова.

Пример: пробиваем маску «купить шкаф». Wordstat выдаёт фразы со следующей частотностью:

«купить шкаф» (100 000 показов);

«купить шкаф москва» (50 000 показов);

«купить шкаф недорого» (10 000 показов).

Далее пробиваем маску «Купить шкаф +в» — и тут Wordstat выдаёт новую картинку:

«купить шкаф +в» (70 000 показов);

«купить шкаф +в спальню» (40 000) показов;

Во вторую выборку попал запрос «купить шкаф +в спальню» (40 000 показов). Это вложенная фраза для «Купить шкаф». Судя по количеству показов, она должна оказаться в первой выборке между фразами «Купить шкаф москва» (50 000) и «Купить шкаф недорого» (10 000), но её там нет.

Добавляем маски в Key Collector

Следующий шаг — добавить слова на парсинг в Key Collector.

В простом случае переносим все маски в один столбец и копируем получившийся список.

Далее выбираем инструмент «Пакетный сбор фраз из левой колонки Wordstat», вставляем слова из буфера обмена, проверяем наличие галочки на опции «Не добавлять фразу, если она уже есть в любой другой группе» (тут возможны исключения) — и жмём на кнопку «Распределить все фразы по одноимённым группам».

Таким образом мы автоматически создаём в проекте группу под каждую маску:

Почему лучше не собирать все маски в единой группе?

Во-первых, при большом количестве масок Key Collector работает медленно (но в разы быстрее, чем человек). Когда у вас «спарсится» первая подгруппа, вы уже сможете с ней работать — минусовать, группировать, анализировать. Параллельно будут собираться и остальные подгруппы. Этот подход здорово экономит время, когда нужно оперативно «спарсить» маски.

В результате вам придётся несколько часов вычищать неподходящие фразы. Разумнее парсить в разные группы — тогда маска «камера школа» будет стоять особняком.

Другая крайность: масок очень много (больше 200–300). Раскидывать их по отдельным группам долго, да и нагрузка на программу неоправданно высокая. В таком случае создаём отдельную группу не под одну, а под несколько масок, желательно близких по смыслу. Обычно это столбцы или строки из нашей матрицы масок. Для этого приёма необходимо выбрать способ группировки (например, по столбцам):

Затем копируем заголовки групп и вставляем их в инструмент сбора Key Collector, жмём «Распределить все фразы по одноимённым группам» — и получаем список выбранных групп:

Удаляем из них первые слова (это просто названия столбцов) и вставляем сами группы:

Важный момент. Если используете в списке масок операторы или минус-слова, перед добавлением этих слов в Key Collector проверьте в настройках, не включено ли автоматическое удаление символов:

В противном случае фраза «Шкаф +в Москве — холодильный» отправится на парсинг как «Шкаф в Москве холодильный».

Парсинг

Далее переходим к следующему шагу — жмём «Начать сбор»:

Обратите внимание: если перед добавлением слов в проект вы отключали удаление знака «+», то перед парсингом нужно вернуть его обратно. Если, конечно, вы не хотите, чтобы слова попадали в «вордстатовском» виде, например, «купить шкаф +в москве +на таганке».

И снова о важности распределения масок на группы: пока программа готовит группы «велик» и «велек», мы уже работаем с группой «велосипед». Профит!

После минусовки рекомендуем «спарсить» ядро ещё несколько раз, так как у каждой собранной ключевой фразы могут быть вложенные фразы, которые не «спарсились» на первом круге. Собранное «отминусованное» ядро в таком случае будет новым списком масок.

Повторно следует «парсить» не все слова, а только высоко- и среднечастотные запросы, так как в низкочастотных вложенных запросов почти не будет.

Чтобы понять, как много вложенных запросов у конкретного слова, можно снять его частотность в широком и в точном соответствии, а затем поделить широкое на точное. Чем больше соотношение, тем больше в ключевике вложенных фраз. Это такой себе «коэффициент замусоренности». Также вложенные запросы можно почистить через прогнозатор «Яндекс.Директа». Кому как удобнее.

А после завершения парсинга не забудьте прогнать полученные фразы через инструмент KC «Анализ неявных дублей». Он поможет найти в списке дубли в стиле «купить велосипед москва» и «купить велосипеды в москве» — и удалить их по заданным условиям.

В следующей части статьи мы расскажем, как отминусовать ненужные слова, сгруппировать нужные, перенести данные в Excel и подготовить объявления для «Яндекс.Директа» или Google AdWords.

Анастасия Якунина, production-менеджер в Adventum,
Артур Семикин, performance-менеджер в Adventum.

Мнение редакции может не совпадать с мнением автора. Если у вас есть, что дополнить — будем рады вашим комментариям. Если вы хотите написать статью с вашей точкой зрения — прочитайте правила публикации на Cossa.

Источник

Сбор фраз

Инструменты пакетного сбора фраз позволяют расширить семантическое ядро путем сбора идей запросов из различных источников.

В зависимости от конкретного модуля функционал может немного отличаться, но в общем смысле инструменты похожи.

Формирование задания

Для запуска пакетного сбора сперва нужно выбрать режим сбора: добавление в текущую активную группу или сложный сбор в режиме распределения по группам (1).

Далее необходимо ввести запросы для обработки (2) и выбрать режим добавления запросов, задать настройки сбора (3).

Запросы можно вводить вручную или загрузить из внешнего файла. При работе в режиме распределения по группам пакеты для обработки можно сформировать вручную или воспользоваться функцией автоматического распределения по группам .

Образец окна пакетного сбора

Распределение по группам

В режиме распределения по группам вы можете указать целевые группы для добавления результатов по каждому из запросов.

В дереве групп (1) двойным кликом по заголовку или специальными кнопками на панели (3) выберите нужные группы, а затем введите запросы в панели формирования очереди (2).

Изучите подсказки к кнопкам , позволяющим автоматически наполнить выбранные целевые группы фразами из этих групп или их заголовками.

Панель распределения по группам

Автоматическое распределение

Иногда заранее известен набор фраз для обработки, но группы еще не созданы. В этом случае вы можете автоматически создать распределение по группам.

Настройки и параметры

О режиме пропуска дубликатов фраз можно прочитать здесь. Будьте внимательны при выборе режима, т.к. от этого сильно будет зависеть результат сбора фраз.

Например, если вы обрабатываете похожие или пересекающиеся по выдаче запросы, то в режиме пропуска дубликатов в других группах в проект полная выдача попадет только для одного из запросов, который успел оказаться в очереди на обработку раньше (выдача по остальным может обрезаться, т.к. дубликаты фраз согласно выбранному режиму будут пропускаться).

Использовать символ запятой как разделитель между фразами

Использовать режим импортирования «Группа:Ключ»

Принудительно добавлять исходные фразы в таблицу

Некоторые системы не гарантируют наличие исходного запроса в результатах.

Например, по запросу «макароны» может быть выдача «макароны по-флотски», «макароны с сыром» и т.д., но сам исходный запрос «макароны» в выдаче может отсутствовать.

Использование этой опции позволяет принудительно добавлять исходные запросы в результаты сбора.

При использовании ненулевой глубины парсинга программа автоматически будет подставлять собранные ранее результаты по запросу в качестве исходных запросов на следующей итерации.

Использование глубины > 0 целесообразно, если вы хотите извлечь максимальное количество результатов по исходному запросу. При этом собранные дополнительные варианты могут незначительно отличаться по теме от исходного введенного вручную запроса.

Альтернативой глубинному исследованию запросов является полуавтоматическая обработка, когда сперва вы получаете результаты при глубине = 0, затем выполняете предварительную фильтрацию данных (опционально можно удалить заведомо ненужные фразы), затем копируете оставшиеся фразы и используете их в качестве входных на следующей итерации.

Многие сервисы отображают результаты в постраничном режиме. Данный параметр отвечает за кол-во просматриваемых программой страниц.

В зависимости от задач (экспресс-анализ или полный сбор) можно устанавливать небольшие или максимальные значения параметра.

Обновлять статистику для существующих в таблице фраз

В процессе сбора фраз в результатах сбора может встретиться фраза, которая уже присутствует в целевой группе фраз.

Если вы хотите, чтобы программа принудительно обновила ранее записанные для такой фразы данные статистики на только что полученные свежие, то включите эту опцию.

Автоматическое назначение региона

В некоторых инструментах, поддерживающих выбор региона при сборе данных, может присутствовать функция автоматического назначения региона для одноименных с названием региона групп.

Эта функция может пригодится, если структура проекта содержит подгруппы регионов для некоторых категорий структуры. Например, это может встретиться при составлении семантического ядра интернет-магазинов.

Нажмите кнопку автоматического задания регионов, и программа выполнит поиск групп в проекте, заголовки которых совпадают с поддерживаемыми названиями регионов.

Сбор статистики

Можно не только собирать новые фразы, но и получать статистику для существующих в проекте фраз без добавления новых. Причем данные можно периодически обновлять.

Источник