"Яндекс" объяснил попадание Google Docs в поисковую выдачу

Фото: ТАСС/Сергей Коньков

Проблема с отображением содержания документов Google Docs в поисковой выдаче "Яндекса" связана с тем, что поиск индексирует интернет-страницы, которые не защищены логином и паролем.

"Яндекс" индексирует только открытую часть интернета: те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, "Яндекс" не индексирует, даже если они находятся в открытой части интернета", – сообщили в пресс-службе компании, передает ТАСС.

Ранее пользователи соцсетей сообщили о том, что "Яндекс" стал выдавать в поиске документы из Google Docs, в которых могут быть личные данные пользователей, включая пароли и номера телефонов. Через несколько часов документы в результатах выдачи отображаться перестали.

Летом 2017 года "Яндекс" обновил свой поисковик, выпустив версию, в основе которой лежит сопоставление смысла запроса и веб-страницы. Это позволяет точнее отвечать на сложные запросы.

Новая версия работает на алгоритме "Королев", который с помощью нейронной сети анализирует не только заголовок, а всю страницу целиком. Кроме того, "Королев" учитывает смысл других запросов. Таким образом, поисковик учится "понимать", что человек имеет в виду, когда вбивает запрос.

Поисковик определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч.