Библиотека Интернет Индустрии I2R.ru

В середине октября этого года веб-студией «Силэут» был запущен проект «Robotst.txt по-русски». Это сайт на котором будет публиковаться информация о работе с файлом robots.txt и стандарте исключений для веб-роботов. Информация ориентирована на веб-мастеров, администраторов сайтов и оптимизаторов под поисковые системы.

На сегодняшний день на сайте можно ознакомиться с переводом материалов одноименного сайта www.robotstxt.org Мартина Костера, прочитать часто задаваемые вопросы о веб-роботах и частые ошибки в robots.txt и, собственно, как работать с файлом robots.txt. Одним из главных разделов сайта является подборка материалов по наиболее активным роботам Рунета. Также будет полезны ссылки по теме.

Сегодня в Библиотеке - интервью с главным идеологом и разработчиком проекта - Дмитрием Атабековым:

Как Вас можно представить? Создатель и менеджер проекта?
Я - автор идеи проекта. Создателей и менеджеров два: я и Корнеев Михаил, исполнительный директор веб-студии "Силуэт" (www.1web.ru).

Что Вас связывает с веб-студией "Силуэт"?
Я работаю в отделе интернет-маркетинга студии "Силуэт", занимаюсь оптимизацией и контекстной рекламой. Наша "фишка" - подход к сайту как к маркетинговому инструменту. Что в свою очередь подразумевает близкое знакомство с поисковыми системами.

Почему решили посветить сайт именно robots.txt?
До сих пор вся информация о файле robots.txt была разрознена. Я сам когда-то столкнулся с тем, что приходилось собирать ее из разных источников: читать оригинал стандарта на английском языке, различные переводы, форумы и т.д.
Идея в том, чтобы свести всю эту информацию в один полноценный ресурс, посетив который веб-мастера смогут получить ответы на свои вопросы. И самое главное, чтобы все было по-русски.

Кто поддерживает ваш проект (финансово, морально)?
Морально - Михаил и я. Финансово - веб-студия "Силуэт". Хостинг предоставила телекоммуникационная компания "Новател" (www.novatel.ru).

Насколько активны веб-мастера? Сколько зарегистрировалось?
Сейчас зарегистрировано 18 пользователей, включая троих сотрудников студии. В основном это те, кому я лично разослал приглашения.
Активность небольшая. Хотя кто-то уже успел создать раздел об одной из адалт поисковых систем :).

Проект открытый, не боитесь много ненужного контента?
После внесения информации о вышеупомянутой поисковой системе, мы задумались над разделением материалов, либо некоторым изменением структуры сайта. Кроме того, особенность wiki такова, что можно достаточно удобно просматривать сделанные изменения и при необходимости убирать их.

Как планируете расширять проект?
Дополнение существующих разделов сайта, создание новых.
В ближайшее время основная работа будет вестись над разделом Роботы Рунета. В этом разделе создается по отдельной странице для поисковиков рунета и зарубежных поисковиков, чья активность в рунете довольно высока (таких как Google, MSN, Yahoo).
Ресурс открыт буквально на днях, и мы только начали переписку с заинтересованными в этой теме людьми. Мы будем держать вас в курсе развития проекта.

Материалы по теме:

• Google, Yahoo и Microsoft сотрудничают в сфере веб-индексов
• Все, все, все о Robots.txt
• Несколько слов о том, как работают роботы (spiders) поисковых машин
• Программное обеспечение в помощь создающему файл robots.txt
• Robots.txt
• Особенности индексации в Яndex
• Поисковая машина не умеет думать и читать ваши мысли
• Что видят поисковые системы при заходе на сайт?
• Исследование "Индексы цитирования сайтов Рунета" от Алексея Тутубалина
• Google отменила ограничение на индексацию страниц с id в URL