Библиотека Интернет Индустрии I2R.ru

Nutch может переписать правила развития поисковых систем – особенно, если учесть перечень тех светил Интернета, что стоят за его созданием.

Спросите любого в Силиконовой долине о том, какое приложение в Интернете сейчас наиболее востребовано, и можете быть уверены, они ответят: «Поисковые системы». И страсти вокруг поисковиков накаляются. Еще год назад на этом рынке было около полудюжины крупных игроков. Теперь же осталось только трое: Yahoo, за 1,6 млрд. долларов купивший в прошлом месяце гигантскую поисковую компанию Overture; Google, бесспорный лидер в поиске; и Microsoft, в настоящий момент создающий собственную поисковую платформу. Они борются за право доминировать на огромном и постоянно растущем сегменте рынка, который уже сейчас приносит прибыль в 2 миллиарда долларов, а к 2007 году станет давать от 6 до 8 млрд. долларов. Поисковые системы – это борьба за использование интеллектуальной собственности, инновации и укреплении рыночных позиций. Три соревнующиеся стороны ревностно следят за использованием своих патентов (которых, например, у Yahoo более 60), привлекают ведущие инженерные умы (в Google работают сотни докторов наук) и ищут новые пути развития рынка (Microsoft – нужно ли еще что-то добавлять?). Действительно, поисковые технологии – настолько сложное и дорогое начинание, что аналитики оценивают затраты на создание собственной системы в 100 млн. долларов.

И все может вмиг изменится этой осенью с появлением на рынке нового игрока.

Вот он – Nutch, новый поисковик сообщества open source. Приложения open source необычны в том смысле, что код, на котором работает ПО, не принадлежит какой-то конкретной коммерческой компании, а все сводится к простому лицензированию, по которому любой может внести изменения в исходный код системы, использовать ее и даже получать прибыль, не тратя при этом ни копейки, пока его собственные разработки остаются доступными другим разработчикам открытых кодов.

Благодаря такому подходу любой сможет получить доступ к исходному коду Nutch и использовать его по собственному усмотрению, не платя лицензионные отчисления и не следуя правилам использования ПО какой-то конкретной компании.

Еще важнее то, что Google использует «доверительный» подход к поиску; заявляется, что формула PageRank не редактируется в пользу конкретных сайтов, но никто не может с полной уверенностью заявить, что это так. В Nutch технологии индексирования и ранжирования страниц открыты и прозрачны; можно самому посмотреть исходники, если начинает казаться, что с ранжированием какой-то страницы возникли проблемы.

Подобно Linux, ударившему по Windows, Nutch со своими революционными правилами распространения и построения поискового движка, грозит ударить по Google и другим гигантам поискового рынка. Интересно, что развитию Nutch немало поспособствовало отделение поиска и разработки компании Overture, а один из официальных представителей Overture является частым гостем форума по Nutch.

«Поиск снова становится интересным делом», заявил Дуг Каттинг (Doug Cutting), основатель и руководитель центрального проекта по разработке Nutch. Каттинг, чьи разработки были использованы в Xerox (XRX) PARC, Excite и Apple (AAPL), сейчас работает над Nutch (слово, которым его ребенок называет все виды пищи) в составе небольшой группы инженеров, раскиданных по стране. Но, по словам Каттинга, как только Nutch выйдет в свет, разработчики от Румынии до Китая и Пало Альто начнут активно способствовать продвижению платформы в духе Linux и Apache (который за пару лет захватил почти 60% рынка серверного ПО).

«Поиск – первая функция, за которой люди обращаются к сети, и в данный момент остается все меньше и меньше альтернатив», заметил Каттинг. С помощью Nutch «исследователи, университетский персонал и любой другой получат основу для улучшения технологи поиска. Повсюду есть много умных людей, которые не работают в Google».

Митч Капор (Mitch Kapor), который в свое время помог основать Lotus Development и Electronic Frontier Foundation, в настоящее время является президентом Фонда приложений на основе open source, полностью поддерживает эту точку зрения. Он оказывает содействие некоммерческому проекту Nutch, участвуя в досках обсуждений, так же как и Тим О’Рейли (Tim O’Reilly), исполнительный директор O'Reilly & Associates. Брустер Каал (Brewster Kahle), визионер Internet Archive, также предоставляет поддержку проекту. На этой неделе Nutch переезжает на новые высокоскоростные сервера Кааля, что станет значительным шагом на пути к завершению работы над поисковиком и его дебютом.

«Мне нравится Google», заявил Капор, - «но он иногда заводит на неочевидные страницы. И в целях развития инновационных технологий есть потребность в создании поисковой платформы на основе с открытым исходным кодом». Капор и остальные ожидают рождения целого семейства всевозможных приложений на основе Nutch, появления идей, которые никогда не придут в голову Yahoo или Microsoft. «Поиск близок к дуополии», отметил Капор. - «Исторический опыт убеждает нас в том, что это опасно. Слишком рискованно, когда приложение становится непрозрачным».

Каттинг не назвал конкретной даты запуска поисковика, но заявил, что Nutch.org заработает где-то в начале осени. Из-за перемещения на сервера Кааля недостаточного аппаратного обеспечения (Каттинг ищет дополнительных спонсоров) демо-версия Nutch, основанная на исходном индексе в 100 млн. страниц, остается недоступной общественности. Но Каттинг, чей богатый опыт свидетельствует о профессионализме в деле поисковых систем, уверен, что его последнее детище станет конкурентом текущих систем после того, как увидит свет. «Занятно посоперничать с лидерами на рынке», заметил он. – «Всегда интересно изобрести усовершенствованную мышеловку».