лирическое отступление
Проблема интерпретации
Какой запрос назвать коммерческим и есть ли единые правила и стандарты для каждой ниши? Бывает ли, что один запрос может быть смешанным?
Как хотим мы
Средний уровень крутости
По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает.
Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.
Средний уровень крутости
По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает.
Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.
- Плюсы: просто интерпретировать, легко определить по вхождению определенных маркерных слов (купить, цена...), очень легко повторить самому на коленке
- Минусы: не работает с подсознанием, не учитывает интент(реальное желание пользователя), часто упускаются запросы без маркерных слов, но при этом коммерческие
- Пример: купить Iphone, пластиковые окна цена, дешевые летние платья
Как хочет поисковик
Высокий уровень крутости
По меркам поисковика, запрос будет коммерческим тогда, когда он должен привести пользователя на страницу с коммерческим содержанием по его собственному желанию.
Поисковая система, на основе опыта запросов миллионов людей пытается уловить интент пользователя и определить коммерческость запроса.
Высокий уровень крутости
По меркам поисковика, запрос будет коммерческим тогда, когда он должен привести пользователя на страницу с коммерческим содержанием по его собственному желанию.
Поисковая система, на основе опыта запросов миллионов людей пытается уловить интент пользователя и определить коммерческость запроса.
- Плюсы: классификация на основе статистики, учитывает интент, делается за секунды, с большой долей вероятности классифицируется верно
- Минусы: сложно сделать самому, порой невозможно определить коммерческость наверняка, без исторических данных работает очень криво
- Пример: наушники для Iphone, заменить пластиковые окна, платье mon blanc
Как есть на самом деле
Высокий уровень крутости
Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги.
Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие - с меньшей.
Высокий уровень крутости
Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги.
Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие - с меньшей.
- Плюсы и минусы: вероятностная модель оставляет на откуп человеку/машине решение по уровню коммерческости запроса, можно подключить сторонние факторы для классификации, можно сделать самому на коленке
- Пример: Iphone, пластиковые окна цена, летние платья
Понятие коммерческости поисковых запросов не бинарно. Лучше говорить "скорее коммерческий/некоммерческий" или "не определено"
В SEO кругах принято подгонять под поисковик
Как правило, смотрят выдачу Googgle и/или Яндекс, считают количество явно коммерческих сайтов в выдаче и выносят вердикт в пользу большинства. Данная методика хромает т.к. не определяет уровень коммерческости запроса, а пытается его классифицировать. Кроме того существует огромное количество запросов, где поисковые системы сами еще не сформировали понимание, что нужно людям, коммерция или нет.
определение коммерческости поисковых запросов
Этапность
Я предлагаю один из вариантов определения уровня коммерческости запросов, основанный на внешних данных по запросу и текстовом анализе. Данный метод выведен опытным путем на основе долгой работы с интернет-магазинами и сайтами услуг (больше 50 проектов)
Разметить несколько сотен запросов
Собрать внешние данные по запросам
Выполнить текстовый анализ
натравить нейросетку
Шаг 1
Разметка поисковых запросов
Каждому запросу можно присвоить либо бинарную оценку 0-1 в случае коммерческости/нет. Либо оценить каждый запрос по 10-ти балльной шкале. Чем выше, тем "продажнее".
Методом пристального взгляда
Берем опытного человека и просим вручную его разметить каждый запрос в Экселе, проставляя напротив каждого запроса нужную оценку. 0-1 либо 1-10, в зависимости от идейности будущей модели.
Поисковой выдачей
Анализируем поисковую выдачу и присуждаем каждому запросу количество явно коммерческих сайтов от 1 до 10. Либо придумываем другую оценку, можно бинарную.
шаг 2
Сбор внешних данных по запросу
Делаем предположение, что если множество других людей тратит на определенные запросы деньги (контекст, ссылки), то такие запросы с бОльшей вероятностью окажутся коммерческими. Эти данные мы легко можем собрать.
Бюджеты Яндекс Директ
Бюджеты Google Adwords
Ссылочные агрегаторы
Рекламные сервисы
шаг 3
Текстовый анализ
В каждый запрос вшита природа коммерческости или ее отсутсвие. Чтобы достать из запроса его потенциальную "продажную" сущность необходимо его оцифровать. Построить текстовые концепты. Делать будем это в программном комплексе - Statistica.
Как это сделать рассказывается в видео по ссылке :
https://youtu.be/ZYG7lXI26qA
Как это сделать рассказывается в видео по ссылке :
https://youtu.be/ZYG7lXI26qA
-1-
Препроцессинг
Удаление стоп слов, приведение слов в один регистр / язык, чистка от инородных символов.
-2-
Индексация текстов
Сохранение текста и запись каждого слова в базу данных.
-3-
Построение матрицы встречаемости слов
Классическая матрица обратной встречаемости каждого слова в оцениваемой семантике (IDF)
-4-
Уменьшение размерности
Сингулярное разложение матрицы (SVD) для уменьшения ее размерности для более удобного анализа.
-5-
Настройка анализа
Задаем настройки анализа в системе Statistica. Язык, условия для анализа, преобразования.
-6-
Построение концептов
Оцифровка каждого запроса и создание текстовых концептов по каждому запросу.
Концепты полученные в результате текстового анализа являются оцифрованными запросами и могут быть самостоятельной единицей для исследований и измерений.
шаг 4
Нейросеть
"Нейросеть – это обучаемая система. Она действует не только в соответствии с заданным алгоритмом и формулами, но и на основании прошлого опыта" © habrahabr. Строить нейросети мы будем в программном комплексе - Statistica.
Как это сделать рассказывается в видео по ссылке :
https://youtu.be/Bhx9H9PCaS0 - классификация
https://youtu.be/laYZtE1AFRA - регрессия
Как это сделать рассказывается в видео по ссылке :
https://youtu.be/Bhx9H9PCaS0 - классификация
https://youtu.be/laYZtE1AFRA - регрессия
построение моделей
Нейросети c настройками по-умолчанию
В качестве целевой переменной выбираем столбец с классификацией. В качестве предикторов выбираем все остальные столбцы (данные по запросу + концепты). Можно оставить все настройки по-умолчанию. Statistica сама разобьет выборку на тестовую и контрольную.
В итоге получаем заданное нами количество сетей с точностью классификации от 80 до 90%. Немного повозившись с настройками можно увеличить это значение до 95%.
В итоге получаем заданное нами количество сетей с точностью классификации от 80 до 90%. Немного повозившись с настройками можно увеличить это значение до 95%.
Разные настройки
=
разный резльтат
=
разный резльтат
Пример регрессии. Каждая нейросеть по-разному определяет целевую переменную, которая находится в диапазоне 1-10.
Вероятность верной классификации
Обучающая и тествоая выборки - 1000 запросов
Валидационная выборка - 3500 запросов
Валидационная выборка - 3500 запросов
88%
обучающая выборка
90%
тестовая выборка
90%
валидационная выборка
Важность показателей запроса по шкале 1-100
Нормированная степень важности каждого показателя в нейросети. В данном случае в модели участвовали только текстовые концепты и данные снятые по Яндекс Директ.
-
Показы [YD]82 - Бюджет [YD]91
- Concept 2,4,888
- Частотность76
- Переход [YD]54
- CTR [YD]52
итоговая логика в ДВУХ предложенииях
В каждом запросе пользователей к поисковым системам зашито скрытое желание (интент), которое может иметь коммерческое основание. Оцифровывая запрос, мы пытаемся извлечь интент и в совокупности с некоторыми характеристиками запроса, при помощи нейросети, пытаемся найти это основание на примере исторических данных.
“
Все вышеперечисленное :
- готовится под конкретный проект
- выше 85% вероятность определения коммерческих запросов
- не требует серьезных навыков на старте
- можно повторить самому
- применяется на практике в моей компании
- не является единственным способом определения коммерческости
вероятность определения коммерческости запросов
По тематикам
В разных отраслях совершенно непредсказуемая точность определения коммерческости запроса.
Свяжитесь со мной:
Санкт-Петербург, пр-т Испытателей 39 ТЦ Миллер