Поисковый алгоритм «Королев»

Попытаюсь объяснить то, что сам смог понять из презентации Яндексом алгоритма «Королев». 

Картинка взята из блога Яндекса.

Что такое поисковый алгоритм «Королев» - как заявили его создатели, это новый алгоритм ранжирования документов в результатах поиска, основанный по глубоком машинном обучении, точнее на искусственных нейронных сетях. Значит, что-бы понять, что такое этот алгоритм и чем он отличается от всех предыдущих, нужно понять, что такое нейронная сеть. Буден разбирать эту основу.

Итак, что такое искусственная нейронная сеть?

Искусственная нейронная сеть — то совокупность искусственных нейронов объеденных в слои, которые в свою очередь объедены в сеть. Слои могут состоять из 1го и более нейронов, в сети может быть 1 и более слоев.

Нейроны в слоях ( в зависимости от архитектуры сети ) могут быть связаны друг с другом, с нейронам соседних слоев, с внешним миром.

Связи имеют направление — прямое или обратное. Связи с внешним миром могут быть «входящие» и «исходящие». Входящие связи принимают какой-то сигнал, сеть этот сигнал обрабатывает и на исходящих связях образуется какой-то другой сигнал. В случае с искусственными нейронными сетями, сигнал — это число, то есть, на входе группа чисел, на выходе группа чисел обработанных слоями искусственных нейронов .

Каждый искусственный нейрон имеет много входящих связей и одну исходящую. Исходящая связь может быть разветвлена и присоеденина к множеству других нейронов сети

Искусственный нейрон — функция принимающая в качестве аргумента взвешенную сумму сигналов.

Картинка из Википедии

1 — Входы
w — Веса
2 — Сумматор
3 — Функция
4 — Выход

Как он работает — на входы нейрона приходят сигналы ( числа ), у каждой входящей связи есть некоторый вес ( коэффициент ), на который будет умножен сигнал, затем все пришедшие сигналы умноженные на веса суммируются и подаются в качестве аргумента на функцию определенную внутри нейрона. Результат полученный этой функцией отдается на исходящую связь, и так от одного нейрона к другому, от входа нейронной сети к выходу.

Если веса связей нейронов будут определены случайным образом, то и результат ее работы будет случайным. Но существуют алгоритмы позволяющие настроить веса, так, что-бы результат был ожидаемым.

Этот процесс называться обучение нейронной сети. Обучение сети происходит на заранее подготовленном множестве данных, которое является подмножеством реальных данных с которыми сети предположительно придется столкнуться. Целью во время обучения является настроить веса нейронов таким образом, что-бы при подаче на вход определенных данных, на выходе был именно тот результат который определен в обучающем множестве.

Обучение нейронной сети — это процесс подбора весов входящих связей всех нейронов так, что-бы выходы нейронной сети отдавали максимально точное соответствие обучающему, тестовому и контрольному множеству.

• Обучающее множество используется для подбора весов
• На тестовом множестве происходит проверка качества обучения в его процессе
• Контрольное множество используется для проверки качества обучения сети по его завершению

Ни одно из множеств не должны пересекаться но все они должны быть подмножествами множества гипотетических реальных данных с которыми сеть столкнется в процессе ее эксплуатации. Обучающее подмножество должно быть максимально репрезентативным к общему множеству.

После того, как сеть обучена, она будет давать верный результат в том числе для данных которые раньше не встречались обучающем множестве, то есть обретет способность к прогнозированию и обобщению и группировке. Еще один важный факт — это то, что обученная сеть дает результат с высокой или приемлемой производительностью при относительно небольших вычислительных ресурсах.  

Как теперь работает поиск.

Применительно к поисковым алгоритмам, на входящие связи нейронной сети подаются: поисковый запрос и факторы ( параметры ) исследуемого документа. На исходящих связях должен получиться некоторый коэффициент, который можно назвать — релевантность.

Принцип нового алгоритма тот-же что и для всех предыдущих - алгоритм должен определить релевантность для пар запрос документ и далее отсортировать документы в соответствии с полученным результатом

Множество документов обработанных нейронной сетью в контексте поискового запроса ранжируются ( сортируются ) в результатах выдачи в соответствии с полученным коэффициентом.

Поисковый запрос и факторы предварительно обрабатываются так, чтобы превратиться в числа - искусственная нейронная сеть работает только с числами

Факторы, используемые нейронной сетью — это весь объем внешних, внутренних, временных и пользовательских параметров, которые только может получить в свое распоряжение поисковик.

Степень влияния того или иного фактора теперь определена не как некоторый коэффициент в формуле или формулах поискового алгоритма, а как набор весов связей нейронной сети выработанных в результате ее обучения и учитывает все другие факторы сразу.

Благодаря особенностям нейронной сети, степень влияния факторов становится динамической для одной и той-же пары запрос — документ, в разные моменты времени и для разных пользователей.

Следует немного расшифровать и расширить термин релевантность документа запросу — в текущей ситуации, с оглядкой на предыдущие алгоритмы и исследуя нынешний можно определить релевантность, как меру соответствия документа запросу в контексте текущего состояния окружающей среды.

Под окружающей средой здесь следует понимать всю совокупность факторов, которые должны оказать полезное влияние на качество результатов поиска для конкретного пользователя в конкретный момент времени.

То есть теперь релевантность определена, как совокупность всех внешних, внутренних и пользовательских факторов в контексте личного и коллективного пользовательского опыта с учетом и оглядки на прошлые действия или бездействия

Поверхностный пример нового отношения к факторам

Если взять ту часть факторов, что отвечает за текст. То теперь благодаря особенностям нейронных сетей поисковая машина может выявить в тексте закономерности и искать «смысл». Далее учитывать это при группировке документов, меньше обращая на на такие классические факторы, как вхождение слов запроса и их плотность. Или наоборот не учитывать «SEO текст», а ориентироваться на наличие ключевых слов в ссылках, заголовках и названиях.

Это можно проиллюстрировать на примере интернет магазинов. Для страниц со списком товара, страниц с описаниями и раздела новостей, требуются до 3х разных текстовых классификатор, что-бы выявить подобные документы во всем множестве учитывать этот фактор при ранжировании среди них.

В нейронной сети не будет 3х разных классификаторов, сеть будет одна, но она справится со всем множеством различных по сути и структуре документов.

Это-же справедливо для всех других факторов и их влияния на результаты

Что теперь с SEO, как это повлияет на продвижение?

Факторы остались, принципы ранжирования так-же остались, осталась изменчивость и адаптивность алгоритма.

Изменилась скорость «смены алгоритмов», точнее алгоритм будет меняться постоянно. Это похоже на матрикснет, но более производительный и масштабный. Теперь поисковый алгоритм будет меняться динамически и непрерывно, он будет учиться, прогнозировать и тестировать различные решения усиливая или уменьшать влияние разных факторов, практически без участия человека ( оператора ).

Для успешного продвижения по прежнему нужно выявлять степень влияния факторов и в соответствии с этим оптимизировать, сайт, страницы и внешнюю среду - дорабатывать и модернизировать сайт.

Если у Вас по запросу были позиции и трафик и вдруг все пропало, уже нельзя сказать, что виновата смена алгоритма. Нужно просто выявить новый тренд в факторах и в соответствии с ним исправить доработать страницу или весь сайт.

Теперь можно говорить о разных поисковых алгоритмах для каждого запроса в каждом регионе у каждого пользователя - да нейронные сети это позволяют сделать без какого либо существенного наращивания вычислительных ресурсов.

SEO специалист в таких условиях должен стать, статистом, аналитиком, программистом и маркетологом в одном лице. Его нейронная сеть ( мозг ), должна научиться быстро и точно анализировать, прогнозировать, находить решение и внедрять его без ожидания и задержек, в тот момент, когда оно действительно актуально и полезно. В идеале он должен работать с опережением искусственной нейронной сети. Пока еще это возможно. Вычислительная способность, способности к обучению, обобщению и прогнозированию, у естественной ( живой ) нейронной сети выше чем у искусственной.

Не нужно отчаиваться, нужно просто учится, работать и получать результат. Алгоритм «Королев» - вдохновляет и заставляет нас развиваться более динамично чем прежде.

Клепцов А. С. 28.08.2017