Библиотека Интернет Индустрии I2R.ru

Автор Сумантра Рой - 1stSearchRanking.net
Перевод - WebmasterPro.com.ua

Robogen - это программа для компьютеров на базе Windows 95, Windows 98 и Windows NT, которая поможет вам создать файлы robots.txt, не беспокоясь о правильном синтаксисе файла.

Есть два издания программы:

• бесплатное Limited edition и
• Standard edition, которое стоит 12,95 долларов.

Robogen можно найти здесь: http://www.rietta.com/robogen/

В этой статье я расскажу, как можно использовать Robogen для упрощения процесса создания файла robots.txt. предполагается, что вы читали мою статью о том, что такое robots.txt и как его можно создать самому.

Желательно, чтобы вы скачали ознакомительную версию Standard Edition, так как Limited Edition не поддерживает меньше поисковых средств, чем Standard Edition.

Скачав Robogen и установив его на жесткий диск, запустите программу. Ниже пошагово расписаны ваши действия по созданию файла robots.txt.

Шаг 1: Кликните на кнопку Logon FTP Server. В появившемся диалоговом окне впечатайте адрес FTP сервера вашего веб-сайта, проверьте, чтобы была отмечена опция "This server requires me to log in", а затем впечатайте в соответствующих ячейках имя и пароль, которые вы используете для получения доступа к серверу.

Далее, в зависимости от конфигурации сервера, файлы сайта могут находиться в корневом каталоге самого сервера или же в подкаталоге корневого каталога. Во втором случае кликните на опцию "Use specified root" и впечатайте соответствующий подкаталог в текстовое окно рядом с опцией. Если вы не знаете, в каком именно подкаталоге находятся файлы для сайта, запросите эту информацию у провайдера хостинга.

Готово? Теперь жмите ОК. через некоторое время Robogen отобразит каталоги и файлы, имеющиеся на сайте, в правой части основного окна Robogen. Если окажется, что Robogen не отобразил файлы, значит, вы неправильно ввели подкаталог с файлами. В этом случае опять-таки запросите информацию о подкаталоге у провайдера хостинга.

Шаг 2: В левой части основного окна Robogen кликните на маленькую кнопочку, расположенную справа от ниспадающего комбинированного меню в верхней части. В появившемся меню выберите "Popular Search Engines".

Шаг 3: Теперь кликните на ниспадающее меню и выберите поисковик, который вам нужен (скажем, AltaVista). В правой части окна выберите страницу, которая НЕ предназначается для AltaVista. Затем кликните на кнопку "<<<". Окажется, что файл, который вы выбрали в правой части окна, теперь находится в левой части. Таким же образом кликайте на все страницы, не предназначенные для AltaVista, и жмите кнопку "<<<".

Повторите Шаг 3 для каждого каждой поисковой системы. Просто выберите необходимый поисковик в ниспадающем меню, выберите в правой части окна одну за другой страницы, не предназначенные для этого поисковика, и каждый раз нажимайте кнопку "<<<". Повторите эти действия для всех целевых поисковых систем.

Шаг 4: Закачайте файл на ваш сервер при помощи кнопки "Upload Robots.Txt". При желании можно воспользоваться командой Save из меню File, чтобы сохранить копию файла robots.txt на вашем жестком диске.