Библиотека Интернет Индустрии I2R.ru

Главный редактор "Яндекса" Елена Колмановская комментирует статью, посвященную запуску "быстрого" робота "Яндекса", индексирующего определенную часть Рунета.

Как удалось увеличить скорость индексирования?

База быстрого робота — это менее 1% всей базы, поэтому процесс обхода документов и выкладывания может происходить заметно чаще без существенного увеличения нагрузки.

Выборка из быстрой базы делается одновременно с выборкой из медленной?

Да. В момент запроса метапоиск обращается как к основным поисковым машинам, так и к машинам с базой быстрого робота. Основную базу некорректно называть "медленной", ее обновление происходит каждые 2–3 дня.

Пришлось ли ради этого увеличивать серверный парк?

Мы добавили десяток серверов к примерно пяти сотням, на которых работал поиск и робот.

Насколько возросла нагрузка на сервера?

"Быстрая база" расположена на отдельных серверах.

Планируется ли в дальнейшем увеличивать скорость?

Возможно, но скорость выкладывания не является самоцелью. Работа над быстрым роботом подразумевает: обнаружение актуальных документов; оперативную индексацию и выкладывание; правильное ранжирование. Все три составляющие важны для пользователей.

Сейчас в вашей базе находится почти 800 млн документов. Если учесть все факторы, можно сказать примерно, когда ее размер достигнет миллиарда?

Когда на главной странице "Яндекса" будет написано "Поиск по 1 000 000 000 документов Рунета". :)

И еще — мне кажется, что в этой статье допущена ошибка. А именно — прочтя ее, остаешься под впечатлением, что "Яндекс" априори назначил какие-то сервера актуальными и включил их в быструю базу. На самом деле так не происходит, включение в базу идет постранично и динамично, поэтому состав страниц (и сайтов, с которых они взяты) постоянно обновляется.

Материалы по теме:

• Яндекс индексирует быстрее, но не всех
• Быстрый робот Яндекса
• Яндекс провел семинар в Киеве
• Реклама "Яндекса" подорожает