Алгоритм Google BERT и как он работает

Что из себя представляет алгоритм Google BERT и как он работает

Издание Search Engine Land опубликовало FAQ по BERT, чтобы собрать воедино все, что известно об алгоритме Google.

  •  Когда Google выкатил алгоритм BERT?

BERT начал выкатываться 21 октября 2019 года для запросов на английском языке, а также для избранных сниппетов.

  •  Что такое BERT?

BERT (от Bidirectional Encoder Representations from Transformers) — это технология, основанная на нейросетях, помогающая понимать и обрабатывать естественный язык.

  •  Как работает BERT?

Особенности BERT заключаются в том, что технология обучается на основе всего набора слов в предложении или запросе. Ранее нейросети обучались на упорядоченной последовательности слов (слева направо или слева направо и справа налево). BERT позволяет языковой модели изучать контекст слова на основе всех окружающих его слов.

  •  Использует ли Google алгоритм BERT для обработки всех запросов?

Нет. BERT используется примерно для 10% поисковых запросов на английском языке в США. В частности, BERT будет использоваться «для более длинных, более разговорных запросов или запросов, где предлоги имеют большое значение».

  •  В чем отличие BERT от RankBrain?

BERT и RankBrain — это два отдельных алгоритма. RankBrain работает параллельно с обычными алгоритмами и используется для корректировки результатов, рассчитанных этими алгоритмами. RankBrain смотрит на запрос и находит похожие прошлые запросы. А затем соотносит текущие результаты поиска с этими прошлыми запросами и вносит корректировки.

  •  Как происходит поиск на разных языках?

Специалисты Google  уверили в том, чтобы сделали поиск лучше для людей по всему миру. Они могут извлекать уроки из одного языка и применять их к другим. Например, они берут модели поведения, которые используются на улучшениях английского языка (языка, на котором существует подавляющее большинство веб-контента), и применяют данную методику их к другим языкам. Это помогает  выдавать релевантные результаты на многих языках, на которых предлагается поиск.Для избранных фрагментов используется модель BERT для улучшения рекомендуемых фрагментов в двух десятках стран, где эта функция доступна, и наблюдаются значительные улучшения в таких языках, как корейский, хинди и португальский.