Методология исследования выдачи Яндекса

Содержание

Слайд 2

Игорь Бакалов В клиентском SEO с 2010 года Опыт продвижения: более

Игорь Бакалов

В клиентском SEO с 2010 года
Опыт продвижения: более 100 проектов
Автор

блога http://bakalov.info/
YouTube канал: http://www.youtube.com/user/b7186rft/
Слайд 3

План доклада: Фильтр за аффилированность сайтов Фильтр за «взрослый» контент Отключение ссылок в Яндексе Определение синонимов

План доклада:

Фильтр за аффилированность сайтов
Фильтр за «взрослый» контент
Отключение ссылок в Яндексе
Определение

синонимов
Слайд 4

Фильтр за аффилированность сайтов Если Яндекс определяет, что два сайта принадлежат

Фильтр за аффилированность сайтов

Если Яндекс определяет, что два сайта принадлежат одной

компании, то они считаются аффилированными, в итоге в поисковой выдаче по одному и тому же запросу отображается только один* из сайтов.
Слайд 5

Фильтр за аффилированность сайтов Выдержка из хелпа Яндекс.Вебмастера: Мы стараемся не

Фильтр за аффилированность сайтов

Выдержка из хелпа Яндекс.Вебмастера:
Мы стараемся не индексировать или

не ранжировать высоко: группы сайтов одного владельца/компании, предоставляющие пользователю одни и те же товары или услуги, созданные с целью заполнения нескольких позиций в результатах поиска и сбора трафика...
https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml
Слайд 6

Фильтр за аффилированность сайтов Выдержка из «Клуба Поиска»: Один из общих

Фильтр за аффилированность сайтов

Выдержка из «Клуба Поиска»:
Один из общих принципов построения

качественной выдачи - обеспечение разнообразия результатов по запросу. Поисковый алгоритм настроен таким образом, чтобы это разнообразие обеспечить. Для этого используются различные подходы и задействовано множество факторов. Термин "фильтр аффилированных сайтов" придумали оптимизаторы. Обычно под ним понимается общий случай отсутствия сайта в поиске по какому-либо запросу одновременно с другими сайтами...
http://clubs.ya.ru/search/replies.xml?item_no=482
Слайд 7

Фильтр за аффилированность сайтов Однако, Платоны отвечают так: Приношу извинения за

Фильтр за аффилированность сайтов

Однако, Платоны отвечают так:
Приношу извинения за задержку с

ответом . К сожалению, никак не могу прокомментировать "аффилированность" указанных Вами сайтов, мы не оперируем подобными понятиями.
Или так:
Мы не гарантируем нахождение каких-либо сайтов по тем или иным запросам в выдаче. Задача Яндекса - показывать пользователям качественную, разнообразную информацию по теме запроса, и в этом смысле проблем с указанными Вами запросами не наблюдается. Ваш сайт хорошо индексируется и находится в поиске в соответствии с его релевантностью запросам пользователей. Каких-либо ограничений в его ранжировании с нашей стороны нет. Рассматривать же вопрос, почему тот или иной конкретный сайт не находится или плохо находится по тому или иному запросу, почему его место в результатах поиска изменилось и т.п., с иной целью, нежели улучшение алгоритмов, мы не можем, эта деятельность выходит за рамки наших задач.
Слайд 8

Фильтр за аффилированность сайтов При этом, сравнение позиций двух сайтов как бы намекает…

Фильтр за аффилированность сайтов

При этом, сравнение позиций двух сайтов как бы

намекает…
Слайд 9

Фильтр за аффилированность сайтов Как диагностировать фильтр: Есть «подозреваемый» сайт? Найдите

Фильтр за аффилированность сайтов

Как диагностировать фильтр:

Есть «подозреваемый» сайт?

Найдите кандидата

Выполните «хитрую проверку»

Нет

Да

Слайд 10

Фильтр за аффилированность сайтов Поиск кандидата на аффилированность: Взять основные запросы

Фильтр за аффилированность сайтов

Поиск кандидата на аффилированность:
Взять основные запросы из СЯ
Проверить

по ним позиции
Выбрать запросы, где сайта нет в топ-50 (топ-100)
Для каждого запроса выгрузить топ-10 (топ-30)
Модифицировать запросы из СЯ:
Запрос1 ~~ site:domain1.ru
Запрос1 ~~ site:domain2.ru

Запрос1 ~~ site:domain10.ru
По всем модифицированным запросам проверить позиции
Выбрать сайты, при исключении которых есть рост
Слайд 11

Фильтр за аффилированность сайтов Как раньше проверяли аффилированность 2 сайтов: www.domain1.ru

Фильтр за аффилированность сайтов

Как раньше проверяли аффилированность 2 сайтов:
www.domain1.ru |www.domain2.ru
host:domain1.ru |

host:domain2.ru
(domain:site1 /+1 domain:ru) | (domain:site2 /+1 domain:ru)
(domain:site1 &/(1 1) domain:ru) | (domain:site2 &/(1 1) domain:ru)
"запрос" << (url:domain1.ru | url:domain1.ru/)
запрос << (lang:ru ~~ site:domain.ru)
rhost:ru.site1.* | rhost:ru.site2.*
inurl:site1.ru | inurl:site2.ru

Слайд 12

Фильтр за аффилированность сайтов Рабочий запрос, два аффилированных сайта: lang:ru ~~ domain:ua

Фильтр за аффилированность сайтов

Рабочий запрос, два аффилированных сайта:
lang:ru ~~ domain:ua

<< (url:www.demis-promo.ru | url:www.demis.ru)
Слайд 13

Фильтр за аффилированность сайтов Рабочий запрос, два НЕ аффилированных сайта: lang:ru ~~ domain:ua

Фильтр за аффилированность сайтов

Рабочий запрос, два НЕ аффилированных сайта:
lang:ru ~~

domain:ua << (url:www.bdbd.ru | url:kokoc.com)
Слайд 14

Фильтр за взрослый контент Поиск Яндекса и контент для взрослых Мы

Фильтр за взрослый контент

Поиск Яндекса и контент для взрослых
Мы хотим обеспечить

всем нашим пользователям, в том числе и тем, которые не интересуются каким-либо эротическим контентом, релевантные результаты поиска. [...] Мы считаем, что если в поисковом запросе явно не выражено намерение найти именно порнографию и ничего другого, то поисковая машина не должна предлагать в результатах поиска ссылки на ресурсы с эротическим содержанием.
И ещё:
Для определения «порнографичности» страницы используются, в первую очередь, тексты и слова, размещенные на этой странице (в том числе — в ссылках). Используются и многие другие факторы. Например, если на сайте много страниц «для взрослых», содержащих соответствующую лексику, то, с большой вероятностью, из результатов поиска будут отфильтрованы и другие страницы с этого сайта, даже те, которые такую лексику не содержат.
https://company.yandex.ru/rules/filtration/
Слайд 15

Фильтр за взрослый контент Семейный поиск становится лучше Существенный вклад в

Фильтр за взрослый контент

Семейный поиск становится лучше
Существенный вклад в качество фильтрации

внес алгоритм обнаружения баннерной рекламы порнографического содержания: документы, содержащие такую рекламу, мы также удаляем из результатов "семейного поиска". По нашим данным реклама взрослого содержания размещена не менее, чем на 50 тысячах сайтов рунета.
И ещё:
Разработанная технология используется также и в большом поиске, когда в поисковом запросе явно не выражено намерение найти материалы "для взрослых". В этом случае поисковая система не предлагает пользователям в результатах поиска ссылки на ресурсы с подобными материалами.
http://webmaster.ya.ru/7913
Слайд 16

Фильтр за взрослый контент Как диагностировать фильтр: Использовать при поиске GET

Фильтр за взрослый контент

Как диагностировать фильтр:
Использовать при поиске GET параметр &family=yes
Без

GET параметра &family=yes
Слайд 17

Фильтр за взрослый контент Может накладываться на отдельные URL С использованием

Фильтр за взрослый контент

Может накладываться на отдельные URL
С использованием GET параметра

&family=yes
Без GET параметра &family=yes
Слайд 18

Фильтр на одинаковые сниппеты Сайт исчезает из топа по запросу (или

Фильтр на одинаковые сниппеты

Сайт исчезает из топа по запросу (или нескольким

запросам), но при этом в выдаче по ссылке “Показать все сайты без предпочтения” показывается на прежнем месте. © E. Камская
Для диагностики используется GET параметр &rd=0
Удобно проверять в KeyCollector:
Слайд 19

Отключение ссылок в Яндексе Март 2014, А. Садовский отменяет учет ссылок

Отключение ссылок в Яндексе

Март 2014, А. Садовский отменяет учет ссылок в

ранжировании коммерческих запросов в Московском регионе:
Слайд 20

Отключение ссылок в Яндексе Лето 2014, Сергей Людкевич предлагает методику проверки

Отключение ссылок в Яндексе

Лето 2014, Сергей Людкевич предлагает методику проверки отключения

ссылочного по запросам:
http://www.searchengines.ru/articles/est_li_zhizn_po.html
http://www.searchengines.ru/articles/iyunskie_apdeyt.html
http://www.searchengines.ru/articles/metodika_oprede.html
http://www.searchengines.ru/articles/metodika_opredelenia.html
http://www.searchengines.ru/articles/metodika_opredelenia_3.html
http://www.searchengines.ru/articles/otmena_ssylochnogo.html
http://www.searchengines.ru/articles/otmena_ssylok.html
http://www.searchengines.ru/articles/poiskovoe_prodv.html
http://www.searchengines.ru/seoblog/est_li_zhizn_posle.html
Слайд 21

Отключение ссылок в Яндексе Суть проверки по методу Людкевича Найти НЕ

Отключение ссылок в Яндексе

Суть проверки по методу Людкевича
Найти НЕ в Московской

выдаче документ, который:
Не является быстроботовской примесью;
Имеет сохраненную копию;
Не содержит ключевые слова из запроса в URL;
В региональной выдаче с пометкой «Ссылки на страницу содержат».
Когда подходящая страница найдена:
Сузить поиск до конкретного документа (оператор «URL»);
Проверить ищется ли документ в Московском регионе (&lr=213)
Если не ищется – ссылочное по запросу отключено
Если ищется – ссылочное по запросу НЕ отключено
Слайд 22

Отключение ссылок в Яндексе Немного занудной теории: Пусть в документе [d]

Отключение ссылок в Яндексе

Немного занудной теории:
Пусть в документе [d] нет слов

из запроса [q]. В этом случае если рассматривать отдельно «текстовую релевантность» (TR), то документ по запросу найден не будет. Однако существует ещё и «линковая релевантность» (LR), aka «анкорное». Если слова из [q] есть в текстах ссылок ведущих на [d], то документ будет найдет в результатах поиска с пометкой «СНСС».
Метод им. Сергея Людкевича позволяет проверить учет LR в Московском регионе для документов, которые имеют нулевую TR. При этом проверить «работают ли ссылки» для документов в которых есть слова из запроса таким образом невозможно.
Слайд 23

Отключение ссылок в Яндексе

Отключение ссылок в Яндексе

Слайд 24

Отключение ссылок в Яндексе Кворум — необходимая доля суммарного веса (IDF)

Отключение ссылок в Яндексе

Кворум — необходимая доля суммарного веса (IDF) слов

из поискового запроса, которая должна присутствовать в тексте документа и/или текстах входящих на него ссылок для попадания в результаты поиска (SERP) © Севальнев Дмитрий.
Где: Q — поисковый запрос; q (i) — i-ое слово запроса; w (q(i)) — функция веса слова; D — обрабатываемый документ.
После того, как все пассажи документа, прошедшие фильтрацию по кворуму, определены, наступает этап ранжирования, то есть вычисление веса документа (http://romip.ru/romip2004/07_yandex.pdf).
Слайд 25

Отключение ссылок в Яндексе Возьмем коммерческий запрос [купить пластиковые окна], по

Отключение ссылок в Яндексе

Возьмем коммерческий запрос [купить пластиковые окна], по которому

методика С. Людкевича показывает, что ссылочное ранжирование отключено. Рассмотрим 3 случая:
В документе «A» нет слов из запроса, но все слова есть в тексте входящей ссылки на документ.
В документе «B» есть одно слово «купить», а слов «пластиковые» и «окна» нет. На документ нет входящих ссылок со словами из запроса.
В документе «C» есть одно слово «купить» и все слова из запроса есть в тексте входящей ссылки на документ.
Слайд 26

Отключение ссылок в Яндексе Случай №1, регион «Нижний Новгород»: Случай №1, регион «Москва»:

Отключение ссылок в Яндексе

Случай №1, регион «Нижний Новгород»:
Случай №1, регион «Москва»:

Слайд 27

Отключение ссылок в Яндексе Случай №2, регион «Нижний Новгород», ищем просто

Отключение ссылок в Яндексе

Случай №2, регион «Нижний Новгород», ищем просто слово

«купить»
Случай №2, регион «Нижний Новгород», ищем фразу «купить пластиковые окна»
Слайд 28

Отключение ссылок в Яндексе Случай №3, регион «Нижний Новгород»: Случай №3, регион «Москва»:

Отключение ссылок в Яндексе

Случай №3, регион «Нижний Новгород»:
Случай №3, регион «Москва»:

Слайд 29

Определение синонимов в Яндексе Синонимы — слова, различные по звучанию, но

Определение синонимов в Яндексе

Синонимы — слова, различные по звучанию, но тождественные

или близкие по смыслу, а также синтаксические и грамматические конструкции, совпадающие по значению. Синонимы бывают полные и частичные. © Современная энциклопедия, 2000
Примеры синонимов:
бегемот — гиппопотам
языкознание — языковедение
помидор — томат
пианино — фортепиано
Ни одна из этой пары не является «синонимом» для Яндекса… Как определить?
Слайд 30

Определение синонимов в Яндексе Чтобы проверить являются ли «слово 1» синонимом

Определение синонимов в Яндексе

Чтобы проверить являются ли «слово 1» синонимом «слову

2» необходимо найти документ, который:
Проиндексирован в Яндексе
Содержит в контенте «Слово 1»
Не содержит в контенте «Слово 2»
Не содержит в ЧПУ кириллицу/транслит «Слово 2»
Не содержит в анкор-файле «Слово 2»
Проверить, ищется ли URL по «Слово 2»
Если URL по «Слово 2» нашелся, то значит «Слово 1» и «Слово 2» являются для Яндекса синонимами. В противном случае – не являются.
Слайд 31

Определение синонимов в Яндексе Рассмотрим на примере: Задаем в Яндекс запрос

Определение синонимов в Яндексе

Рассмотрим на примере:
Задаем в Яндекс запрос [бегемот ~~

гиппопотам]
Выбираем несколько результатов, где нет вхождения в «гиппопотам» в URL, например:
http://www.eradetstva.ru/category497.html
http://www.berl.ru/article/beno/be/begemot.htm
Для каждого URL проверяем наличие слова «гиппопотам» в анкор-файле ?
Слайд 32

Определение синонимов в Яндексе Поиск по анкор-файлу, запрос вида: [url:site.ru/page.html ©

Определение синонимов в Яндексе

Поиск по анкор-файлу, запрос вида:
[url:site.ru/page.html << inlink:запрос]


© Сергей Людкевич
Для первого URL видим, что слово «гиппопотам» есть в анкор-файле, т.е. URL нам не подходит:
Со вторым URL всё ок, слова «гиппопотам» в анкорах нет:
Слайд 33

Определение синонимов в Яндексе Заключительный шаг – проверить ищется ли выбранный

Определение синонимов в Яндексе

Заключительный шаг – проверить ищется ли выбранный URL

по запросу [гиппопотам], запрос вида:
[запрос url:site.ru/page.html]
Для рассматриваемого пример получаем:
Вывод: для Яндекса слова «бегемот» и «гиппопотам» НЕ являются синонимами. Зато например синонимами является связка «блог» / «жж».
Слайд 34

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

3 слово 4».
По описанной выше методике синонимами не являются:
«Отели» и «Гостиницы», документ ищется по [Отели]:
Но не ищется по [Гостиницы]:
Слайд 35

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

3 слово 4».
По описанной выше методике синонимами не являются:
«Голландия» и «Нидерланды», документ ищется по [Голландия]:
Но не ищется по [Нидерланды]:
Слайд 36

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

3 слово 4».
Но этот же, документ в котором нет ни «Гостиницы», ни «Нидерланды»:
Ищется по запросу [гостиницы нидерланды], т.к. есть вхождения «Отели Голландии»:
Слайд 37

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

1 слово 3».
Рассмотрим два запроса: «цифровое фортепиано» и «цифровое пианино». Убедимся, что «фортепиано» и «пианино» не синонимы. По [фортепиано] получаем:
По [пианино] этот же документ не ищется:
Слайд 38

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

1 слово 3».
Найдем документ, где есть вхождение «цифровое пианино» без «фортепиано»:
Проверим, ищется ли этот URL по [цифровое фортепиано]:
Слайд 39

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и «слово 1 слово 3».

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

1 слово 3».
Слайд 40

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

1 слово 3».
Гипотеза: А что если «цифровое фортепиано» и «цифровое пианино» вовсе не синонимы, а просто вес слова «цифровое» достаточно, чтобы пройти кворум?
Первый способ убедиться, что это не так – найти документ, в котором встречается «цифровое», но без «пианино», или «фортепиано»:
Слайд 41

Определение синонимов в Яндексе Синонимы вида «слово 1 слово 2» и

Определение синонимов в Яндексе

Синонимы вида «слово 1 слово 2» и «слово

1 слово 3».
Для полученного URL проверить, ищется ли он по [пианино] или [фортепиано]:
В качестве более простого метода можно использовать GET параметр &nosyn=1:
Слайд 42

Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка №1.

Определение синонимов в Яндексе

Возможные ошибки при определении синонимов:
Ошибка №1. «Подсветка» !=

«Синоним»
Выдача по запросу [кемпер]
Слайд 43

Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка №2.

Определение синонимов в Яндексе

Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр

&nosyn=1 – не панацея.
Выдача по запросу [террасная доска]:
Выдача по этому же запросу, но с &nosyn=1:
Слайд 44

Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка №2.

Определение синонимов в Яндексе

Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр

&nosyn=1 – не панацея.
Документ, где нет «декинг», но есть «террасная доска»:
Этот документ по запросу [декинг] не ищется:
Слайд 45

Определение синонимов в Яндексе Возможные ошибки при определении синонимов: Ошибка №2.

Определение синонимов в Яндексе

Возможные ошибки при определении синонимов:
Ошибка №2. GET параметр

&nosyn=1 – не панацея.
По [террасная декинг] тоже не ищется:
Как и по [доска декинг]: