Дима иванов
Определение трафикового потенциала интернет-магазина
Я занимаюсь прогнозированием SEO трафика около четырех лет. Своеобразная навязчивая идея. У меня были свои триумфы и неудачи, но в итоге я пришел к тому, что прогнозирование трафика из поиска - чистое творчество, на качество которого влияет только опыт эксперта, который делает анализ. Сделать точный прогноз, как того требует мода интернет-маркетинга, нельзя, однако можно сделать оценку трафикового потенциала с диапазоном ошибки приемлемой точности.
Иванов Дмитрий
CEO & Founder
Иванов SEO
Иванов SEO
Задача прогнозирования SEO трафика нерешаема ввиду наличия нескольких десятков (а может и сотен) непрогнозируемых факторов. Это будут явления и события, на которые мы никак не можем повлиять, например, изменение алгоритмов поисковых систем. Понятие точного прогнозирования мы отметаем.
Задача определения трафикового потенциала существенно отличается от прогноза трафика и позволяет получить "коридор" по трафику, который можно ожидать с определенной вероятностью. Для этого придется решить некоторое количество сложных задач, на каждой из которых можно здорово облажаться.
Факторов, оказывающих влияние на трафик, куда больше, но можно выделить основные.
Этапы определения трафикового потенциала
Сбор полной семантики
Сбор семантики качества 10/10, привязка запросов к товарам, кластеризация и ручная группировка.
Прогноз спроса
Прогнозирование спроса на запрос, определение сезонности тематики, скоринг поисковых запросов.
Прогноз позиций
Прогнозирование позиций по каждому запросу из семантики с учетом многих факторов.
Прогнозирование CTR
Создание модели прогнозирования CTR по заранее известным факторам и позиции запроса.
Зная спрос по запросу, его позицию в выдаче и CTR мы можем посчитать количество трафика на сайт.
Семантика
Первое, что нужно собрать для оценки трафикового потенциала интернет-магазина, - полная семантика, которая охватывает до 90% фактических неуникальных запросов вашего сайта.
Запросы необходимо кластеризовать и привязать к страницам, а также товарам. Большой секретности или сложности в этой процедуре нет, однако потребуется изрядная усидчивость.
Очень приличные мануалы по сбору и кластеризации ядер:
Текстовое руководство - Илья Исерсон (MOAB)
Видео урок - Валентин Батрак (Rush-Analytics)
Запросы необходимо кластеризовать и привязать к страницам, а также товарам. Большой секретности или сложности в этой процедуре нет, однако потребуется изрядная усидчивость.
Очень приличные мануалы по сбору и кластеризации ядер:
Текстовое руководство - Илья Исерсон (MOAB)
Видео урок - Валентин Батрак (Rush-Analytics)
Пример того, что нужно иметь на первой фазе прогнозирования трафика. Простая, но точная связка запрос-документ-товар.
Прогноз спроса
Отправной точкой в предсказании трафика должна быть статистика по количеству запросов по поисковым фразам по месяцам/неделям.
Такую статистику нам дает Яндекс Wordstat. Однако, к точным цифрам это не имеет никакого отношения. Что именно показывает Вордстат - большая загадка.
Wordstat может быть большой (с учетом сезонности), но не приносить трафика. Либо "0", который приносит несколько десятков человек. Мы не можем положиться на чистый Вордстат при прогнозе спроса.
Такую статистику нам дает Яндекс Wordstat. Однако, к точным цифрам это не имеет никакого отношения. Что именно показывает Вордстат - большая загадка.
Wordstat может быть большой (с учетом сезонности), но не приносить трафика. Либо "0", который приносит несколько десятков человек. Мы не можем положиться на чистый Вордстат при прогнозе спроса.
Случайная выборка запросов с оценкой по Вордстат и сопоставление с реальным трафиком из Я.Метрики за наблюдаемый месяц.
Выходит, нужно выявить закономерность между Вордстатом и реальным трафиком. Это может быть простой коэффициент или более сложная нелинейная зависимость. Все, что нужно сделать, - это составить таблицу как на картинке под конкретный проект и попытаться увидеть такую зависимость.
Как правило, внутри проекта цифры разнятся не так сильно как на скриншоте, а значит можно составить простую формулу корректировки Вордстат на реальный потенциальный трафик. В конечном итоге, мы можем расценивать получившиеся цифры как потенциальный трафик, с учетом позиции.
— Мы будем пользоваться простейшими способами предсказания уровня спроса во времени - линиями тренда.
Простейший способ познакомиться с вариантами линий тренда - несколько простых статей с примерами и расчетами.
Имея статистику по Вордстат за 2 года, мы без особого труда можем получить ожидаемый уровень спроса в следующем году, с учетом естественного роста и сезонности.
Имея статистику по Вордстат за 2 года, мы без особого труда можем получить ожидаемый уровень спроса в следующем году, с учетом естественного роста и сезонности.
Накладывание линейного тренда на статистику по запросу в Вордстат и вычисление сезонности
Мы должны сделать прогноз спроса по каждому запросу из нашего семантического ядра. Проще всего с этим справится эксель. В качестве спроса можно взять значение линии тренда через год, умноженное на коэффициент сезонности, а также поправочный коэффицент.
Прогноз позиций
Есть несколько совершенно разных способов спрогнозировать позиции. Рассмотрим точный и эвристический.
Точный заключается в том, что у нас должен быть опыт работы с проектом в такой тематике и статистика минимум за 2 года. Имея данные по темпам роста роста позиций и сравнивая с усилиями на продвижение (например, писали по 30 текстов в месяц, покупали по 200 естественных ссылок), можно выявить определенную закономерность. Проблема заключается в том, что мы не сможем учесть все факторы, влияющие на позиции, а даже если сможем, то получим модель, которая будет хорошо работать только для того сайта, чья статистика изучалась. Мы будем только надеяться, что эта модель будет применима на продвигаемом сайте.
Точный заключается в том, что у нас должен быть опыт работы с проектом в такой тематике и статистика минимум за 2 года. Имея данные по темпам роста роста позиций и сравнивая с усилиями на продвижение (например, писали по 30 текстов в месяц, покупали по 200 естественных ссылок), можно выявить определенную закономерность. Проблема заключается в том, что мы не сможем учесть все факторы, влияющие на позиции, а даже если сможем, то получим модель, которая будет хорошо работать только для того сайта, чья статистика изучалась. Мы будем только надеяться, что эта модель будет применима на продвигаемом сайте.
Эвристика для прогноза позиций
Эвристика (в нашем случае в математике) - это функция, построенная на простой логике и не требующая доказательств. Она работает, потому что существует и ее кто-то написал :) Можно предположить, что рост позиций по любому запросу во времени можно описать с помощью эвристики.
На основе опыта прогнозирования по многим проектам я сделал вывод, что можно привязать рост любого запроса к эвристической экспоненциальной функции.
На основе опыта прогнозирования по многим проектам я сделал вывод, что можно привязать рост любого запроса к эвристической экспоненциальной функции.
Функция прогноза
1 / ( 1 + EXP(-x)) - классическая функция как на картинке.
Прямо сейчас она уже справляется с задачей прогноза. Зная текущую позицию и изменяя x (шкала времени) можно сделать грубый прогноз. Но каждый запрос уникален, и его нельзя подогнать под одну функцию. Значит, нужно добавить определенные коэффициенты, которые будут корректировать наклон и "пузатость" функции. Где взять такие коэффициенты рассказано здесь. Добавляем простую логику:
чем запрос более коммерческий, более частотный, конкурентный... трафиконосный, тем медленнее его рост во времени. Степень влияния каждого фактора определеяется индивидуально.
Прямо сейчас она уже справляется с задачей прогноза. Зная текущую позицию и изменяя x (шкала времени) можно сделать грубый прогноз. Но каждый запрос уникален, и его нельзя подогнать под одну функцию. Значит, нужно добавить определенные коэффициенты, которые будут корректировать наклон и "пузатость" функции. Где взять такие коэффициенты рассказано здесь. Добавляем простую логику:
чем запрос более коммерческий, более частотный, конкурентный... трафиконосный, тем медленнее его рост во времени. Степень влияния каждого фактора определеяется индивидуально.
Выполнив наложение функции на каждый запрос, на основе его скоринговой оценки и зная первоначальную позицию, получаем прогноз позиций на 12 месяцев. За 4 года, которые я занимался прогнозами, такой вариант показал себя не хуже других, но при этом он в десятки раз проще остальных способов. Безусловно, он не идеален. Основной проблемой является то, что функция в каждый следующий момент времени показывает рост, а это, как мы с вами знаем, достижимо не всегда.
Прогноз CTR
Поскольку мы можем собрать статистику по CTR из Яндекс Вебмастер, то мы можем предположить, что существуют некоторые факторы, которые взаимосвязаны со значением CTR. Безусловно, на CTR влияет позиция, сниппет, подсветки, наличие контекста, сервисов Яндекс и много чего еще. Если позиции мы уже умеем прогнозировать, то с другими факторами надо поработать.
Можно снять данные по запросу (например, все, что умеет стащить Key Collector), скормить эти данные нейросети (ознакомление тут или тут), после чего выявить значимые факторы, которые оказывают влияние на CTR. Кроме этого, стоит выполнить процедуру текстового анализа и разбить каждую фразу на текстовые концепты (оцифровать), которые стоит включить в нейросеть. В итоге получаем следующие данные:
Можно снять данные по запросу (например, все, что умеет стащить Key Collector), скормить эти данные нейросети (ознакомление тут или тут), после чего выявить значимые факторы, которые оказывают влияние на CTR. Кроме этого, стоит выполнить процедуру текстового анализа и разбить каждую фразу на текстовые концепты (оцифровать), которые стоит включить в нейросеть. В итоге получаем следующие данные:
На основе данных по частотности, данных Яндекс Директ, позиции запроса в поиске и текстовом анализе нейросеть построила модель, которая на контрольной выборке показывает среднюю абсолютную ошибку 2%. Причем основные проблемы у модели возникли с запросами, у которых было мало кликов (хоть я и исключил большинство из них).
итого
Определение трафикового потенциала
Сделав сводные расчеты по каждому месяцу, получаем полноценный прогноз на 24 месяца.
[ПРОГНОЗНЫЙ СПРОС] * [ПРОГНОЗНЫЙ CTR ПРОГНОЗНОЙ ПОЗИЦИИ] = [ПРОГНОЗНЫЙ ТРАФИК]
[ПРОГНОЗНЫЙ СПРОС] * [ПРОГНОЗНЫЙ CTR ПРОГНОЗНОЙ ПОЗИЦИИ] = [ПРОГНОЗНЫЙ ТРАФИК]
Мы оценили трафиковый потенциал для конкретной семантики в одном поисковике и одном регионе с коридором точности +/- 20%
Из плюсов данного способа можно отметить:
- Адекватная точность прогноза по ядру
- Относительно быстрый алгоритм прогноза
- Доступен каждому, особые навыки не требуются
- Охватываем основные факторы
Из минусов можно отметить:
- Прогноз под конкретное ядро, если собрано плохо - фу
- Прогноз под один поисковик и один регион
- Охватываем не все факторы, значит, есть вероятность серьезной ошибки
“Случайным образом составил выборку из 20 прогнозов, сделанных мною за 4 года и которые я мог проверить. Прогнозы на 6 месяц сбываются хуже, чем на 12. Средняя ошибка на 12 месяц по этим проектам - 14%, по всем моим проектам - около 20%"
В данной статье есть все необходимые ссылки для того, чтобы повторить оценку трафикового потенциала. Однако, вам могут быть любопытны другие статьи и кейсы по прогнозной аналитике в SEO.
Рассылка без спама и партнеров