Как узнать самые посещаемые страницы сайта конкурента

SEO, SEM, SMO, SMM, SEA, монетизация сайтов

Решил написать небольшую статейку, как с помощью keys.so определить страницы конкурента с наибольшим трафиком. Конечно мы не сможем узнать точное значение, но сможем отсортировать их по количеству трафика и увидеть те статьи, на которые стоит обратить более пристальное внимание.

Как будем считать? Возьмем точную частоту по ключевому слову, умножим ее на CTR в зависимости от позиции и сложим эти данные по всем фразам для конкретной статьи. Затем отсортируем статьи по убыванию.

Сразу оговорюсь, что нам понадобится платный тариф в keys.so, так как мы будем выгружать все ключевые фразы по сайту конкурента.

И так поехали. Заходим на сервис keys.so, вводим имя сайта и жмем "Анализировать".

Пролистываем вниз до пункта "Ключевые фразы" и нажимаем "Открыть все".

Дальше в фильтре устанавливаем следующие значения "Позиция в блоке" --> "Меньше или равно" --> 15. Нажимаем "Применить" Затем необходимо обратить внимание на то, сколько записей у нас получилось. Дело в том, что keys.so на тарифе "Стартовый" позволяет выгружать только 20000 записей в отчете, поэтому нам необходимо уложиться в это значение. А так как данные ниже 15 позиции мы учитывать не будем, то их можно отбросить.

Далее выгружаем все в CSV файл.

Теперь нам нужно найти значения CTR по кликам в зависимости от позиции в выдаче Яндекса. Я взял данные с исследования OverLead.

Вот что написано на самом сайте:

Исследования от OverLead: CTR на выдаче Яндекса от 2019 года
Усредненные и грубые данные CTR в топе на первой странице Яндекса на 24.05.2019 с привязкой к позиции, без учета наличия или отсутствия блоков директа, колдунщиков конкретно в вашем случае.
При расчете значений блоки директа и колдунщиков учитывались, получив эти усредненные данные.

CTR определялся для Топ-10 и Топ-15.

Позиция	~CTR для топ-10	~CTR для топ-15
1	31,19%	27.42%
2	11.20%	17.38%
3	4.69%	10.66%
4	3.23%	6.69%
5	3.05%	4.97%
6	3.86%	4.19%
7	3.93%	4.39%
8	2.61%	4.23%
9	1.85%	4.41%
10	1.32%	2.83%
11	--	1.68%
12	--	1.93%
13	--	2.52%
14	--	3.45%
15	--	3.75%

Теперь у нас есть все данные которые нам нужны.

Для вычислений я написал скрипт на языке программирования Python. Если кому интересно более подробно посмотреть код, то вот Jupyter Notebook.

Скачать скрипт можно с Github. Для этого нажимаем "Clone or download" --> "Download ZIP".

После этого будет скачан архив, который необходимо распаковать. Сам скрипт будет находиться в папке tools.

Для запуска скрипта необходимо, чтобы на компьютере был установлен интерпретатор Python с библиотекой Pandas. Посмотреть как установить Python можно тут. Пакет Pandas устанавливается с помощью команды.

pip3 install pandas

Далее нам необходимо выполнить скрипт. Его параметры можно посмотреть указав опции -h или --help.

seo_keysso_traffic_pages.py  --help

Вызываем скрипт со следующими параметрами.

seo_keysso_traffic_pages.py -f <имя_файла_выгрузки_из_keys.so> -o <имя_выходного_файла>

В результате на выходе мы получим CSV файл с таким содержанием.

Где

Page — страница сайта
[Wordstat] — сумма базовых частот всех ключевых фраз страницы
[!Wordstat] — сумма точных частот всех ключевых фраз страницы
Traffic10 — трафик вычисленный с использованием CTR по ТОП10
Traffic15 — трафик вычисленный с использованием CTR по ТОП15
QueryCount — количество ключевых фраз по которым ранжируется страница

Еще раз оговорюсь, что Traffic10 и Traffic15 не показывают точное значение трафика на статью, однако отсортировав по данному значению можно определить статьи с наибольшим трафиком. По умолчанию данные отсортированы по Traffic10, но вы можете сделать сортировку и по Traffic15.

Если есть вопросы задавайте их в комментариях.